CN110120085A - 一种动态纹理视频生成方法、装置、服务器及存储介质 - Google Patents

一种动态纹理视频生成方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN110120085A
CN110120085A CN201810123812.3A CN201810123812A CN110120085A CN 110120085 A CN110120085 A CN 110120085A CN 201810123812 A CN201810123812 A CN 201810123812A CN 110120085 A CN110120085 A CN 110120085A
Authority
CN
China
Prior art keywords
texture image
sample
texture
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810123812.3A
Other languages
English (en)
Other versions
CN110120085B (zh
Inventor
唐永毅
马林
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN201910838616.9A priority Critical patent/CN110517335B/zh
Priority to CN201910838614.XA priority patent/CN110533749B/zh
Priority to CN201910838615.4A priority patent/CN110458919B/zh
Priority to CN201810123812.3A priority patent/CN110120085B/zh
Publication of CN110120085A publication Critical patent/CN110120085A/zh
Application granted granted Critical
Publication of CN110120085B publication Critical patent/CN110120085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种动态纹理视频生成方法、装置、服务器及存储介质，通过接收输入的纹理图像，基于接收到的纹理图像和纹理图像生成模型生成纹理图像序列(所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果)，使得可根据纹理图像序列生成动态纹理视频，从而实现了对接收到的纹理图像对应的动态纹理视频的生成，在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高了动态纹理视频的生成效率。

Description

一种动态纹理视频生成方法、装置、服务器及存储介质
技术领域
本发明涉及数据处理技术领域，具体涉及一种动态纹理视频生成方法、装置、服务器及存储介质。
背景技术
为了增加图片的趣味性，可以对图片中的纹理部分(如水流部分、火焰部分、瀑布部分等)进行动态化处理，以得到与图像对应的一段具有动态纹理内容的视频。
现有技术通常是利用采样和重构的思想并基于迭代-优化的方式对纹理图像进行动态化处理以得到与纹理图像对应的动态纹理视频，然而，此种方式往往存在如下问题：第一、因利用采样和重构思想实现对纹理图像的动态化处理，故通常会存在生成的动态纹理视频无法从时间和空间上有效表达图像纹理的问题；第二、因基于迭代-优化的方式实现对纹理图像的动态化处理，故通常会存在生成动态纹理视频效率低的问题。
有鉴于此，提供一种动态纹理视频生成方法、装置、服务器及存储介质，以在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高动态纹理视频的生成效率，是亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种动态纹理视频生成方法、装置、服务器及存储介质，以在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高动态纹理视频的生成效率。
为实现上述目的，本发明实施例提供如下技术方案：
一种动态纹理视频生成方法，包括：
接收输入的纹理图像；
基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
一种动态纹理视频生成装置，包括：
纹理图像接收单元，用于接收输入的纹理图像；
纹理图像序列生成单元，用于基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
一种服务器，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于：
接收输入的纹理图像；
基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
一种存储介质，所述存储介质存储有适于处理器执行的程序，所述程序用于：
接收输入的纹理图像；
基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
本申请实施例提供一种动态纹理视频生成方法、装置、服务器及存储介质，通过接收输入的纹理图像，基于接收到的纹理图像和纹理图像生成模型生成纹理图像序列(所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果)，使得可根据纹理图像序列生成动态纹理视频，从而实现了对接收到的纹理图像对应的动态纹理视频的生成，在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高了动态纹理视频的生成效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种动态纹理视频生成方法流程图；
图2为本申请实施例提供的另一种动态纹理视频生成方法流程图；
图3为本申请实施例提供的一种纹理图像序列的生成过程示意图；
图4为本申请实施例提供的一种用于生成纹理图像生成模型的生成系统框架图；
图5为本申请实施例提供的一种模型生成模块中的卷积神经网络的结构示意图；
图6为本申请实施例提供的一种纹理图像生成模型构建方法流程图；
图7为本申请实施例提供的一种确定所述输出结果到所述视频流样本的欧式距离的方法流程图；
图8为本申请实施例提供的另一种纹理图像生成模型构建方法程图；
图9为本申请实施例提供的又一种纹理图像生成模型构建方法流程图；
图10为本发明实施例提供的动态纹理视频生成装置的结构框图；
图11为本申请实施例提供的一种纹理图像生成模型训练单元的详细结构示意图；
图12为服务器的硬件结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
图1为本申请实施例提供的一种动态纹理视频生成方法流程图，该方法可应用于服务器(如动态纹理视频生成服务器，或者其他专门设置的服务设备)，由服务器基于接收到的输入的纹理图像生成纹理图像序列，以便于可以通过生成的纹理图像序列生成动态纹理视频。
如图1所示，该方法包括：
S101、接收输入的纹理图像；
可选的，服务器中设置有纹理图像生成模型，所述纹理图像生成模型以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到。
在本申请实施例中，优选的，纹理图像样本的个数为至少一个，所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
也就是说，本申请实施例可以采用多个纹理图像样本对卷积神经网络进行训练以生成纹理图像生成模型，并且，这多个纹理图像样本中可以既包括第一纹理图像样本(此处的第一纹理图像样本为视频流样本中的纹理图像)，也可以包括第二纹理图像样本【此处的第二纹理图像样本是在对卷积神经网络进行训练的过程中，卷积神经网络对视频流样本中的纹理图像的输出结果(即，在对卷积神经网络进行训练的过程中，将视频流样本中的纹理图像作为输入信息输入至卷积神经网络所得到的输出结果)】。
可选的，当纹理图像样本为所述视频流样本中的纹理图像时，将视频流样本中的与该纹理图像样本相邻的下一帧纹理图像，确定为视频流样本中与该纹理图像样本对应的下一帧纹理图像。比如，视频流样本由3个依次排序的纹理图像构成(视频流样本由纹理图像1、纹理图像2和纹理图像3构成，并且，纹理图像1、纹理图像2和纹理图像3依次排序)；若纹理图像样本为视频流样本中的纹理图像1时，将视频流样本中的纹理图像2确定为视频流样本中与纹理图像样本对应的下一帧纹理图像。
可选的，当纹理图像样本为卷积神经网络对所述视频流样本中的纹理图像的输出结果时，确定视频流样本中与该纹理图像相邻的下一帧纹理图像，进而将视频流样本中与所确定的下一帧纹理图像相邻的下一帧纹理图像作为视频流样本中与该纹理图像样本对应的下一帧纹理图像。比如，视频流样本由3个依次排序的纹理图像构成(视频流样本由纹理图像1、纹理图像2和纹理图像3构成，并且，纹理图像1、纹理图像2和纹理图像3依次排序)；若纹理图像样本为卷积神经网络对视频流样本中的纹理图像1的输出结果时，将视频流样本中的纹理图像3确定为视频流样本中与纹理图像样本对应的下一帧纹理图像。
在本申请实施例中，优选的，纹理图像生成模型的输入信息是一帧纹理图像，纹理图像生成模型对输入信息的输出结果也是一帧纹理图像，并且，从纹理图像序列生成的角度来看，纹理图像生成模型对输入信息的输出结果是与该输入信息相邻的下一帧纹理图像。
也就是说，在生成纹理图像序列的过程中，若纹理图像生成模型的输入信息是待生成的纹理图像序列中的一帧纹理图像(在此称为目标帧纹理图像)；那么，纹理图像生成模型对该输入信息的输出结果便是该待生成的纹理图像序列中的与该目标帧纹理图像相邻的下一帧纹理图像。
在本申请实施例中，优选的，在接收到用户输入的纹理图像后，首先将接收到的用户输入的该纹理图像作为待生成的纹理图像序列中的首个纹理图像(即，待生成的纹理图像序列中的第一帧纹理图像)；将纹理图像生成模型对第一帧纹理图像的输出结果，作为待生成的纹理图像序列中的与第一帧纹理图像相邻的下一帧纹理图像(即，待生成的纹理图像序列中的第二帧纹理图像)；并将纹理图像生成模型对第二帧纹理图像的输出结果，作为待生成的纹理图像序列中的与第二帧纹理图像相邻的下一帧纹理图像(即，待生成的纹理图像序列中的第三帧纹理图像)；并将纹理图像生成模型对该第三帧纹理图像的输出结果，作为待生成的纹理图像序列中的与该第三帧纹理图像相邻的下一帧纹理图像…以此类推，直至待生成的纹理图像序列中包括的纹理图像的帧数满足要求，便可不再继续执行。
S102、基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果。
可选的，应用服务器接收到用户输入的纹理图像后，将该接收到的用户输入的纹理图像作为待生成的纹理图像序列中的首个纹理图像，进而根据该待生成的纹理图像序列中的首个纹理图像便可生成纹理图像序列，基于该生成的纹理图像序列便可生成动态纹理视频(该动态纹理视频便是与接收到的输入的纹理图像对应的动态纹理视频)。
为了便于对本申请实施例提供的一种动态纹理视频生成方法的理解，现提供另一种动态纹理视频生成方法流程图，请参见图2。
如图2所示，该方法包括：
S201、接收输入的纹理图像，并将接收到的纹理图像作为待生成纹理图像序列中的首个纹理图像存入所述待生成纹理图像序列；
S202、调用纹理图像生成模型，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的，所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果；
可选的，将视频流样本中的纹理图像作为纹理图像样本，以及将卷积神经网络对视频流样本中的纹理图像的输出结果作为纹理图像样本来训练卷积神经网络的方式，使得训练得到的纹理图像生成模型捕获纹理图像的时间-空间信息以生成下一帧纹理图像，实现对图像纹理的时间-空间信息的有效表达，以提高纹理图像生成的精确性。
S203、将所述待生成纹理图像序列中的最后一个纹理图像确定为所述纹理图像生成模型的输入信息，输入至所述纹理图像生成模型得到输出结果，并将所述输出结果作为所述待生成纹理图像序列中的最后一个纹理图像存入所述待生成纹理图像序列；
S204、确定所述待生成纹理图像序列中的纹理图像的个数是否达到预设动态纹理视频生成条件；若否，执行步骤S203；若是，执行步骤S205；
可选的，所述预设动态纹理视频生成条件包括预先设置的用于生成动态纹理视频的纹理图像的个数。也就是说，若确定待生成纹理图像序列中的纹理图像的个数达到预先设置的用于生成动态纹理视频的纹理图像的个数时，则说明所述待生成纹理图像序列中的纹理图像的个数达到预设动态纹理视频生成条件；若确定待生成纹理图像序列中的纹理图像的个数未达到预先设置的用于生成动态纹理视频的纹理图像的个数时，则说明所述待生成纹理图像序列中的纹理图像的个数未达到预设动态纹理视频生成条件。
S205、将所述待生成纹理图像序列确定为用于生成动态纹理视频的纹理图像序列。
可选的，基于步骤S205中的纹理图像序列便可生成与接收到的纹理图像对应的动态纹理视频。
本申请实施例中，优选的，所述服务器可以向用户返回与其输入的纹理图像对应的用于生成动态纹理视频的纹理图像序列，也可以在基于生成的纹理图像序列生成相应的动态纹理视频后，向用户返回动态纹理视频。
如图3所示，为本申请实施例提供的一种纹理图像序列的生成过程示意图。
参见图3可知，本申请实施例中，服务器接收到用户输入的纹理图像1，将纹理图像1确定为待生成纹理图像序列中的首个纹理图像；将纹理图像1作为输入信息输入至纹理图像生成模型得到输出结果，将输出结果确定为待生成纹理图像序列中与纹理图像1相邻的下一帧纹理图像2；将纹理图像2作为输入信息输入至纹理图像生成模型得到输出结果，将输出结果确定为待生成纹理图像序列中与纹理图像2相邻的下一帧纹理图像3…一直到待生成纹理图像序列中的纹理图像的个数满足预设的动态纹理视频生成条件，则不再将纹理图像生成模型当前的输出结果作为输入信息输入至所述纹理图像生成模型。
在本申请实施例中，优选的，将纹理图像生成模型对待生成纹理图像序列中当前最后一帧纹理图像的输出结果，作为待生成纹理图像序列中新的最后一帧纹理图像，实现了纹理图像序列生成过程中的前向传播，相对于现有技术采用的迭代-优化方式而言，有效提高了纹理图像序列的生成效率、即，提高了动态纹理视频的生成效率。
图4为本申请实施例提供的一种用于生成纹理图像生成模型的生成系统框架图。
如图4所示，所述生成系统包括：存储模块41、模型生成模块42、第一构建模块43、第二构建模块44以及合成模块45。
其中，所述模型生成模块中设置有卷积神经网络，卷积神经网络用于将一帧纹理图像作为输入信息输入至所述卷积神经网络得到输出结果；存储模块不仅用于存储包括至少一个纹理图像的视频流样本，还用于存储卷积神经网络的输出结果。
相应的，模型生成模块从存储模块中确定一张纹理图像作为卷积神经网络的输入信息输入至卷积神经网络，得到输出结果；第一构建模块用于接收所述卷积神经网络的输入信息和输出信息，并根据视频流样本构建第一损失函数；第二构建模块用于接收所述卷积神经网络的输入信息和输出信息，并基于接收到的输入信息和输出信息构建第二损失函数；合成模块用于接收第一构建模块构建的第一损失函数和第二构建模块构建的第二损失函数，并根据第一损失函数和第二损失函数构建联合损失函数，并基于构建的联合损失函数对所述卷积神经网络中的参数进行优化，以使得卷积神经网络生成接近真实的纹理图像。
在本申请实施例中，优选的，第一构建模块为VGG19网络模块。
图5为本申请实施例提供的一种模型生成模块中的卷积神经网络的结构示意图。如图5所示，卷积神经网络包括至少一个用于对视频流的时空信息进行捕获的控制门残差模块51，所述控制门残差模块51由并联的控制门支路61、卷积层支路62和加法层63构成，其中，所述控制门支路包括卷积模块71，所述卷积层支路包括至少一个串联的卷积模块71，所述卷积模块71包括卷积层81、实例化规一层82和激活函数层83。
在本申请实施例中，优选的，控制门支路残差模块的支路结构请参见表1，其中，卷积层支路-1对应卷积层支路中串联的第一个卷积模块，卷积层支路-2对应卷积层支路中串联的第二个卷积模块。
表1
支路 层类别 尺寸 步长 通道数 激活函数
卷积层支路-1 Conv 3 1 48 ReLU
卷积层支路-2 Conv 3 1 48 ReLU
控制门支路 Conv 3 1 48 ReLU
加法层 - - - -
在本申请实施例中，优选的，卷积神经网络中的卷积模块包括卷积层、实例化规一层和激活函数层(如图5所示，除第一个卷积模块和最后一个卷积模块不包含实例化规一层)。具体的，卷积神经网络的结构请参见表2。
表2
其中，ReLU为线性整流函数，Tanh为反切函数。
在本申请实施例中，基于上述实施例提供的卷积神经网络的结构，提供一种纹理图像生成模型构建方法，具体请参见图6。
如图6所示，该方法包括：
S601、获取视频流样本，所述视频流样本由至少一个依次排序的纹理图像构成；
S602、确定纹理图像样本；
S603、获取卷积神经网络对纹理图像样本的输出结果；
S604、确定所述输出结果到所述视频流样本的欧式距离；
图7为本申请实施例提供的一种确定所述输出结果到所述视频流样本的欧式距离的方法流程图。
如图7所示，该方法包括：
S701、确定由所述纹理图像样本与所述输出结果构成的格拉姆矩阵；
假设纹理图像样本为输入帧xt，卷积神经网络对纹理图像样本xt的输出结果为生成帧分别将输入帧xt和生成帧输入到第一构建模块(VGG19网络)中，获取第一构建模块每个卷积模块的第一线性整流函数(ReLU)的输出，对应层名为：“ReLU1_1”，“ReLU2_1”，“ReLU3_1”，“ReLU4_1”和“ReLU5_1”。对于每一层l，输入为x，其特征记为φl(x)，那么对于输入帧xt和生成帧生成时空-格拉姆矩阵为：
其中，Ml为特征φ(x)的长和宽的乘积，即Ml＝Hl×Wl。
S702、确定用于表征所述视频流样本的平均格拉姆矩阵；
可选的，对于视频流样本，使用平均格拉姆矩阵(在此称为平均的时空-格拉姆矩阵)表征，即：
S703、通过最小化所述平均格拉姆矩阵和所述格拉姆矩阵的欧氏距离，构造用于表征所述输出结果到所述视频流样本的欧式距离的第一损失函数。
可选的，通过最小化平均的时空-格拉姆矩阵和生成时空-格拉姆矩阵的欧氏距离构造第一损失函数。所述第一损失函数为：
其中，|l|为特征数目，本方案中可以为5，Nl为特征φl(x)的通道数。
S605、以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
图8为本申请实施例提供的另一种纹理图像生成模型构建方法程图。
如图8所示，该方法包括：
S801、获取视频流样本，所述视频流样本由至少一个依次排序的纹理图像构成；
S802、确定纹理图像样本；
S803、获取卷积神经网络对纹理图像样本的输出结果；
S804、确定所述输出结果到所述视频流样本的欧式距离；
S805、确定所述视频流样本中与所述输出结果对应的下一帧纹理图像；
S806、确定所述输出结果到所确定的下一帧纹理图像的映射距离；
在本申请实施例中，优选的，所述确定所述输出结果到所确定的下一帧纹理图像的映射距离，包括：通过最小化所述输出结果到所确定的下一帧纹理图像的映射距离，构造用于表征所述输出结果到所确定的下一帧纹理图像的映射距离的第二损失函数。
可选的，采用最小二程的对抗生成网络损失函数对模型生成模块和第一构建模块进行训练，目的是为了提升生成纹理图片的视觉质量。具体而言，对于第一构建模块d，其目标是判别输入的纹理图片样本是视频流样本中真实的纹理图片x，还是卷积神经网络生成的输出结果纹理图片其损失函数定义为：
其中，Ngt为输入真实图片的数目，Ngen为输入生成图片的数目，f为卷积神经网络(即，生成网络)。
对于模型生成模块中的卷积神经网络，其目标是生成出使得第一构建模块判别错误的纹理图片，具体的，第二损失函数定义为：
S807、以最小化所述欧氏距离和映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
可选的，可以通过基于第一损失函数和第二损失函数构造联合损失函数，以对我们提出的卷积神经网络框架进行参数优化，使得该卷积神经网络能生成接近真实的动态纹理视频。
可选的，联合损失函数为:
其中λ＝0.05，用于平衡第一损失函数和第二损失函数的贡献。
图9为本申请实施例提供的又一种纹理图像生成模型构建方法流程图。
如图9所示，该方法包括：
S901、获取视频流样本，所述视频流样本由至少一个依次排序的纹理图像构成；
S902、确定至少两个纹理图像样本；
S903、分别获取卷积神经网络对每个纹理图像样本的输出结果；
S904、分别确定每个所述输出结果到所述视频流样本的欧式距离；
S905、基于所确定各个所述欧式距离，确定平均欧式距离；
可选的，基于所确定的各个所述欧式距离确定平均欧式距离的方式包括：计算所确定的各个欧式距离的总和，利用计算得到的总和除以所述至少两个纹理图像样本中纹理图像样本的数量，所得的结果为平均欧式距离。
可选的，在执行完成步骤S905后，可以以最小化所述平均欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
进一步的，在本申请实施例提供的一种纹理图像生成模型构建方法中，还可以执行步骤S906。
S906、确定所述视频流样本中与所述输出结果对应的下一帧纹理图像；
S907、确定所述输出结果到所确定的下一帧纹理图像的映射距离；
S908、计算所确定的各个映射距离的平均映射距离；
可选的，计算所确定的各个映射距离的平均映射距离的方式包括：计算所确定的各个映射距离的总和，利用计算得到的总和除以所述至少两个纹理图像样本中纹理图像样本的数量，所得的结果作为平均映射距离。
S909、以最小化所述平均欧式距离和平均映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
可选的，若不执行步骤S906-S907，则以最小化所述平均欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型；若执行步骤S906-S907则以最小化所述平均欧式距离和平均映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
本申请实施例提供一种动态纹理视频生成方法，通过接收输入的纹理图像，基于接收到的纹理图像和纹理图像生成模型生成纹理图像序列(所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果)，使得可根据纹理图像序列生成动态纹理视频，从而实现了对接收到的纹理图像对应的动态纹理视频的生成，在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高了动态纹理视频的生成效率。
下面对本发明实施例提供的动态纹理视频生成装置进行介绍，下文描述的动态纹理视频生成装置可认为是，服务器为实现本发明实施例提供的动态纹理视频生成方法，所需设置的程序模块。下文描述的动态纹理视频生成装置内容，可与上文描述的动态纹理视频生成方法内容相互对应参照。
图10为本发明实施例提供的动态纹理视频生成装置的结构框图，该装置可应用于服务器，参照图10，该动态纹理视频生成装置可以包括：
纹理图像接收单元101，用于接收输入的纹理图像；
纹理图像序列生成单元102，用于基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
本申请实施例提供的一种动态纹理视频生成装置还包括纹理图像生成模型训练单元。图11为本申请实施例提供的一种纹理图像生成模型训练单元的详细结构示意图，如图11所示，该纹理图像生成模型训练单元包括：
视频流样本获取单元111，用于获取视频流样本，所述视频流样本由至少一个依次排序的纹理图像构成；
纹理图像样本确定单元112，用于确定纹理图像样本；
输出结果确定单元113，用于获取卷积神经网络对纹理图像样本的输出结果；
欧式距离确定单元114，用于确定所述输出结果到所述视频流样本的欧式距离；
递归单元115，用于以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
进一步的，本申请实施例提供的一种所述纹理图像生成模型训练单元还包括映射距离确定单元，所述映射距离确定单元，用于：确定所述视频流样本中与所述输出结果对应的下一帧纹理图像；确定所述输出结果到所确定的下一帧纹理图像的映射距离；所述递归单元，具体用于：以最小化所述欧氏距离和映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
可选的，所述欧式距离确定单元具体用于：确定由所述纹理图像样本与所述输出结果构成的格拉姆矩阵；确定用于表征所述视频流样本的平均格拉姆矩阵；通过最小化所述平均格拉姆矩阵和所述格拉姆矩阵的欧氏距离，构造用于表征所述输出结果到所述视频流样本的欧式距离的第一损失函数；
可选的，所述映射单元具体用于：通过最小化所述输出结果到所确定的下一帧纹理图像的映射距离，构造用于表征所述输出结果到所确定的下一帧纹理图像的映射距离的第二损失函数。
在本申请实施例中，优选的，所述纹理图像生成模型训练单元还包括平均欧式距离确定单元，所述平均欧式距离确定单元，用于基于所确定的分别与每个纹理图像样本对应的欧式距离，确定平均欧式距离；所述递归单元具体用于：以最小化所述平均欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
在本申请实施例中，优选的，所述纹理图像生成模型训练单元还包括平均映射距离确定单元，所述平均映射距离确定单元，用于基于所确定的分别与每个所述纹理图像样本对应的映射距离，确定平均映射距离；所述递归单元具体用于以最小化所述平均欧式距离和平均映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
在本申请实施例中，优选的，所述卷积神经网络包括至少一个用于对视频流的时空信息进行捕获的控制门残差模块，所述控制门残差模块由并联的控制门支路、卷积层支路和加法层构成；所述控制门支路包括卷积模块，所述卷积层支路包括至少一个串联的卷积模块；所述卷积模块包括卷积层、实例化规一层和激活函数层。
本发明实施例提供的动态纹理视频生成装置可应用于服务器；可选的，图12示出了服务器的硬件结构框图，参照图12，服务器的硬件结构可以包括：至少一个处理器121，至少一个通信接口122，至少一个存储器123和至少一个通信总线124；
在本发明实施例中，处理器121、通信接口122、存储器123、通信总线124的数量为至少一个，且处理器121、通信接口122、存储器3通过通信总线124完成相互间的通信；
处理器121可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器123可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
接收输入的纹理图像；
基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本发明实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
接收输入的纹理图像；
基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例提供一种动态纹理视频生成装置、服务器及存储介质，通过接收输入的纹理图像，基于接收到的纹理图像和纹理图像生成模型生成纹理图像序列(所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果)，使得可根据纹理图像序列生成动态纹理视频，从而实现了对接收到的纹理图像对应的动态纹理视频的生成，在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高了动态纹理视频的生成效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种动态纹理视频生成方法，其特征在于，包括：
接收输入的纹理图像；
基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取视频流样本，所述视频流样本由至少一个依次排序的纹理图像构成；
确定纹理图像样本；
获取卷积神经网络对纹理图像样本的输出结果；
确定所述输出结果到所述视频流样本的欧式距离；
以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
3.根据权利要求2所述的方法，其特征在于，还包括：
确定所述视频流样本中与所述输出结果对应的下一帧纹理图像；
确定所述输出结果到所确定的下一帧纹理图像的映射距离；
所述以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型，包括：
以最小化所述欧氏距离和映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
4.根据权利要求2所述的方法，其特征在于，所述确定所述输出结果到所述视频流样本的欧式距离，包括：
确定由所述纹理图像样本与所述输出结果构成的格拉姆矩阵；
确定用于表征所述视频流样本的平均格拉姆矩阵；
通过最小化所述平均格拉姆矩阵和所述格拉姆矩阵的欧氏距离，构造用于表征所述输出结果到所述视频流样本的欧式距离的第一损失函数。
5.根据权利要求3所述的方法，其特征在于，所述确定所述输出结果到所确定的下一帧纹理图像的映射距离，包括：
通过最小化所述输出结果到所确定的下一帧纹理图像的映射距离，构造用于表征所述输出结果到所确定的下一帧纹理图像的映射距离的第二损失函数。
6.根据权利要求2所述的方法，其特征在于，所述确定纹理图像样本包括确定至少两个纹理图像样本时，该方法还包括：
基于所确定的分别与每个纹理图像样本对应的欧式距离，确定平均欧式距离；
所述以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型，包括：以最小化所述平均欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
7.根据权利要求6所述的方法，其特征在于，还包括：
基于所确定的分别与每个所述纹理图像样本对应的映射距离，确定平均映射距离；
所述以最小化所述欧氏距离和映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型，包括：
以最小化所述平均欧式距离和平均映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
8.根据权利要求1-7任意一项所述的方法，其特征在于，所述卷积神经网络包括至少一个用于对视频流的时空信息进行捕获的控制门残差模块，所述控制门残差模块由并联的控制门支路、卷积层支路和加法层构成；所述控制门支路包括卷积模块，所述卷积层支路包括至少一个串联的卷积模块；所述卷积模块包括卷积层、实例化规一层和激活函数层。
9.一种动态纹理视频生成装置，其特征在于，包括：
纹理图像接收单元，用于接收输入的纹理图像；
纹理图像序列生成单元，用于基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
10.根据权利要求9所述的装置，其特征在于，还包括纹理图像生成模型训练单元，所述纹理图像生成模型训练单元，包括：
视频流样本获取单元，用于获取视频流样本，所述视频流样本由至少一个依次排序的纹理图像构成；
纹理图像样本确定单元，用于确定纹理图像样本；
输出结果确定单元，用于获取卷积神经网络对纹理图像样本的输出结果；
欧式距离确定单元，用于确定所述输出结果到所述视频流样本的欧式距离；
递归单元，用于以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
11.根据权利要求10所述的装置，其特征在于，所述纹理图像生成模型训练单元还包括映射距离确定单元，所述映射距离确定单元，用于：
确定所述视频流样本中与所述输出结果对应的下一帧纹理图像；确定所述输出结果到所确定的下一帧纹理图像的映射距离；
所述递归单元，具体用于：
以最小化所述欧氏距离和映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。
12.根据权利要求9-11任意一项所述的装置，其特征在于，所述卷积神经网络包括至少一个用于对视频流的时空信息进行捕获的控制门残差模块，所述控制门残差模块由并联的控制门支路、卷积层支路和加法层构成；所述控制门支路包括卷积模块，所述卷积层支路包括至少一个串联的卷积模块；所述卷积模块包括卷积层、实例化规一层和激活函数层。
13.一种服务器，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于：
接收输入的纹理图像；
基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
14.一种存储介质，其特征在于，所述存储介质存储有适于处理器执行的程序，所述程序用于：
接收输入的纹理图像；
基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；
其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。
CN201810123812.3A 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质 Active CN110120085B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910838616.9A CN110517335B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201910838614.XA CN110533749B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201910838615.4A CN110458919B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201810123812.3A CN110120085B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810123812.3A CN110120085B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN201910838616.9A Division CN110517335B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201910838614.XA Division CN110533749B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201910838615.4A Division CN110458919B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN110120085A true CN110120085A (zh) 2019-08-13
CN110120085B CN110120085B (zh) 2023-03-31

Family

ID=67520124

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201910838614.XA Active CN110533749B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201910838616.9A Active CN110517335B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201810123812.3A Active CN110120085B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201910838615.4A Active CN110458919B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910838614.XA Active CN110533749B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质
CN201910838616.9A Active CN110517335B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910838615.4A Active CN110458919B (zh) 2018-02-07 2018-02-07 一种动态纹理视频生成方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (4) CN110533749B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882048A (zh) * 2020-09-28 2020-11-03 深圳追一科技有限公司 一种神经网络结构搜索方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710945A (zh) * 2009-11-30 2010-05-19 上海交通大学 基于粒子纹理的流体视频合成方法
KR20140147729A (ko) * 2013-06-20 2014-12-30 (주)로딕스 렌더링 시스템에서 스트림 영상 기반의 동적 텍스처링을 위한 장치 및 그 방법
US20150348280A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic Generation Of Texture Atlases
CN107274381A (zh) * 2017-07-20 2017-10-20 深圳市唯特视科技有限公司 一种基于双识别流卷积网络的动态纹理合成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774125A (en) * 1993-11-18 1998-06-30 Sony Corporation Texture mapping method in which 3-D image data is transformed into 2-D data and mapped onto a surface of an object for display
KR100612852B1 (ko) * 2003-07-18 2006-08-14 삼성전자주식회사 ＧｏＦ/ＧｏＰ의 질감 표현 방법과, 이를 이용한ＧｏＦ/ＧｏＰ 검색 방법 및 장치
EP1498848A3 (en) * 2003-07-18 2007-03-07 Samsung Electronics Co., Ltd. GoF/GoP texture description, and texture-based GoF/GoP retrieval
US8442309B2 (en) * 2009-06-04 2013-05-14 Honda Motor Co., Ltd. Semantic scene segmentation using random multinomial logit (RML)
US8811477B2 (en) * 2010-09-01 2014-08-19 Electronics And Telecommunications Research Institute Video processing method and apparatus based on multiple texture images using video excitation signals
CN107463949B (zh) * 2017-07-14 2020-02-21 北京协同创新研究院 一种视频动作分类的处理方法及装置
CN107578455B (zh) * 2017-09-02 2019-11-01 西安电子科技大学 基于卷积神经网络的任意尺寸样本纹理合成方法
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710945A (zh) * 2009-11-30 2010-05-19 上海交通大学 基于粒子纹理的流体视频合成方法
KR20140147729A (ko) * 2013-06-20 2014-12-30 (주)로딕스 렌더링 시스템에서 스트림 영상 기반의 동적 텍스처링을 위한 장치 및 그 방법
US20150348280A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic Generation Of Texture Atlases
CN107274381A (zh) * 2017-07-20 2017-10-20 深圳市唯特视科技有限公司 一种基于双识别流卷积网络的动态纹理合成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUANLING ZHOU等: "Non-Linear Dynamic Texture Analysis and Synthesis Using Constrained Gaussian Process Latent Variable Model", 《 2009 PACIFIC-ASIA CONFERENCE ON CIRCUITS, COMMUNICATIONS AND SYSTEMS》 *
WEIGANG GUO等: "Dynamic Texture Synthesis via Image Reconstruction", 《2015 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS》 *
朱旭阳等: "动态纹理合成技术研究综述", 《系统仿真学报》 *

Also Published As

Publication number Publication date
CN110517335A (zh) 2019-11-29
CN110533749A (zh) 2019-12-03
CN110458919B (zh) 2022-11-08
CN110517335B (zh) 2022-11-11
CN110120085B (zh) 2023-03-31
CN110533749B (zh) 2022-11-11
CN110458919A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN108694401B (zh) 目标检测方法、装置及系统
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
CN108304755B (zh) 用于图像处理的神经网络模型的训练方法和装置
CN110062272B (zh) 一种视频数据处理方法和相关装置
CN108898630A (zh) 一种三维重建方法、装置、设备和存储介质
CN109285136A (zh) 一种图像的多尺度融合方法、装置、存储介质及终端
CN109064434B (zh) 图像增强的方法、装置、存储介质及计算机设备
CN109934773A (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN115965840A (zh) 图像风格迁移和模型训练方法、装置、设备和介质
CN110458875A (zh) 异常点对的检测方法、图像拼接方法、相应装置及设备
CN109408669A (zh) 一种针对不同应用场景的内容审核方法及装置
CN110120085A (zh) 一种动态纹理视频生成方法、装置、服务器及存储介质
CN113837980A (zh) 分辨率的调整方法、装置、电子设备及存储介质
CN108986210A (zh) 三维场景重建的方法和设备
CN109102468A (zh) 图像增强方法、装置、终端设备及存储介质
CN111367649A (zh) 高精地图数据并行处理方法和装置
CN108399601A (zh) 一种医学图像的处理方法和装置
CN108734712A (zh) 背景分割的方法、装置及计算机存储介质
CN106980642A (zh) 一种业务数据实时展示系统及方法
CN107180133B (zh) 一种cps建模的方法及装置
CN106887184B (zh) 路线更新方法及装置
CN112632309B (zh) 图像展示方法、装置、电子设备和存储介质
CN114782249A (zh) 一种图像的超分辨率重建方法、装置、设备以及存储介质
CN110033098A (zh) 在线gbdt模型学习方法及装置
CN106919451B (zh) 数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant