CN111009024B - 一种生成动态图像的方法、电子设备和存储介质 - Google Patents
一种生成动态图像的方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111009024B CN111009024B CN201911251345.3A CN201911251345A CN111009024B CN 111009024 B CN111009024 B CN 111009024B CN 201911251345 A CN201911251345 A CN 201911251345A CN 111009024 B CN111009024 B CN 111009024B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- model
- style
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供了一种生成动态图像的方法、电子设备和存储介质，对三维模型动态变化过程的图像集，将图像集中的至少一帧图像进行风格转换，得到以目标图像的风格进行展示的动态图像。实现了以自定义的图像风格快速生成动态图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种生成动态图像的方法、电子设备和存储介质。
背景技术
动态图像可以是多帧静态的图像连续播放的效果。相较于静态的图像，动态图像能够更为生动形象的表达物体的动态变化过程。动态图像应用于动画制作或者需要展示物体动态变化过程的场景中。通常动态图像的生成需要根据动态变化过程制作每一帧图像，制作过程复杂且耗时较长。例如，当需要展示车辆车门从关闭到打开的动态变化过程时，对车门从关闭到打开的运动轨迹中，需要制作车门在运动轨迹的每一点停留的图像，进而形成车门打开过程的动态图像。
可见，通过现有方法将静态的图像动态化或者展示物体动态变化过程，需要通过复杂且漫长的动画制作过程，且动态图像只能以特定的图像风格展示，无法以自定义的图像风格快速生成动态图像。
发明内容
本发明实施例提供一种生成动态图像的方法、电子设备和存储介质，用以解决现有技术中无法以自定义的图像风格快速生成动态图像的问题。
针对以上技术问题，第一方面，本发明实施例提供一种生成动态图像的方法，包括：
确定与目标图像匹配的三维模型；
获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；
将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；
其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。
第二方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述的生成动态图像的方法的步骤。
第三方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上任一项所述的生成动态图像的方法的步骤。
本发明的实施例提供的生成动态图像的方法、电子设备和存储介质，对三维模型动态变化过程的图像集，将图像集中的至少一帧图像进行风格转换，得到以目标图像的风格进行展示的动态图像。实现了以自定义的图像风格快速生成动态图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的生成动态图像的方法的流程示意图；
图2是本发明另一实施例提供的按照手绘图的图像风格输出的，对应云梯抬升的动态图像中的几帧；
图3是本发明另一实施例提供的对手绘图的整体执行第一操作指令的示意图；
图4是本发明另一实施例提供的控制三维模型执行第一操作指令的示意图；
图5是本发明另一实施例提供的三维模型中的云梯抬高后，以手绘图的图像风格展示的图像；
图6是本发明另一实施例提供的第二活动部位调整示意图；
图7是本发明另一实施例提供的车辆前进过程的动态图像中的几帧；
图8是本发明另一实施例提供的生成动态图像的装置的结构框图；
图9是本发明另一实施例提供的电子设备的实体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种生成动态图像的方法，应用于动画制作领域，或者展示某一物体动态变化过程的场景中，在这些应用中，通过本实施例的方法能够快速地，以用户自定义的图像风格生成动态图像。例如，在动画制作领域，以动漫风格展示某一物体的动态变化过程，或者，在教学过程中，用学生的绘画风格展示某一物体的动态变化过程。该方法可以由任一设备执行，例如，计算机、服务器、手机等。图1为本实施例提供的生成动态图像的方法的流程示意图，参见图1，该方法包括：
步骤101：确定与目标图像匹配的三维模型。
目标图像为用户输入的图像、存储的图像或者通过网络获取的图像，例如，用户输入的手绘图、存储的图像或者从网络抓取的图像。三维模型为预先存储在三维模型库中的模型或者通过网络获取的模型。
在该步骤中，通过对目标图像进行识别的图像内容确定匹配的三维模型，或者，通过将目标图像与各模型的映射图像进行匹配，根据匹配的映射图确定三维模型，本实施例对此不做具体限制。
步骤102：获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化。
图像集是三维模型动态变化过程中，确定的多帧平面图像的集合，包括三维图像整体动态变化时，以多个视角展示该动态变化过程时，各视角下的三维图像在平面内对应图像的集合，和/或，三维图像中第一活动部位动态变化时，以某一视角展示该动态变化过程时，该视角下的三维图像在平面内对应图像的集合。第一活动部位是三维模型中可活动的组成部位，例如，三维模型为出租车，第一活动部位包括车轮、车门等。三维模型整体动态变化包括三维模型整体的旋转、翻转等动态变化的方式。
步骤103：将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。
进一步地，风格转换模型为对DDPG(Deep Deterministic Policy Gradient，深度确定策略梯度)算法进行训练得到的模型，或者对GAN(Generative AdversarialNetworks，对抗网络)进行训练得到的模型。
三维图像所展示的视角，指的是三维图像所展示的，能够被用户看到的视角，例如，三维模型为出租车，三维模型在屏幕中展示出租车的车头正面，则三维模型所展示的视角为出租车车头正面的视角。平面图像的生成方法包括：将三维图像所展示的视角中每一像素点投影到平面内，得到平面图像，或者，对三维图像所展示的视角中的画面截图，得到平面图像，本实施例对此不做具体限制。
在该步骤中，将图像集中，能够体现所述动态变化过程的每一帧图像均通过风格转换模型进行转换，得到动态图像。或者，为了降低计算量，提高生成动态图像的效率，还可以从图像集中选取若干帧能够体现所述动态变化过程的图像，将选取的图像通过风格转换模型进行转换，得到动态图像。
举例来说，目标图像为手绘图，对于消防车的三维模型，控制三维模型的云梯抬升，将三维模型中“云梯”这一第一活动部位的动态变化过程记录下来，得到图像集，从图像集中选取若干帧图像输入到风格转换模型中，由风格转换模型按照手绘图的图像风格输出图像，由这些图像组成动态图像。图2中示出了按照手绘图的图像风格输出的，对应“云梯抬升”的动态图像中的几帧，可以看出，动态图像以手绘图的图像风格展示了云梯抬升的动态变化过程。
本实施例提供的生成动态图像的方法，对三维模型动态变化过程的图像集，将图像集中的至少一帧图像进行风格转换，得到以目标图像的风格进行展示的动态图像。实现了以自定义的图像风格快速生成动态图像。
为了提高用户对三维模型的动态变化过程可控性，进一步地，在上述实施例的基础上，还包括：
若接收到对所述目标图像整体执行的第一操作指令，则控制所述三维模型整体动态变化，和/或，若接收到对所述目标图像中的第二活动部位执行的第二操作指令，则根据映射关系控制所述三维模型中的第一活动部位动态变化；
其中，所述映射关系包括所述目标图像中的第二活动部位与所述三维模型中的第一活动部位的对应关系。
第一操作指令和第二操作指令是以目标图像为对象的操作指令，均可以为通过代码形式表示的指令，或者以操作手势施加到目标图像上的指令。例如，图4所示为与图3中目标图像(该目标图像为手绘图)匹配的三维模型，图3为用户输入到设备的目标图像，用户通过设备的显示界面对该手绘图整体，执行了控制手绘图按照如图3中箭头所示方向转动的第一操作指令，则该设备根据该第一操作指令，控制如图4所示的三维模型按照图4中的箭头旋转。
映射关系中记载了三维模型中，与目标图像中的第二活动部位对应的第一活动部位。当用户对图3中的云梯执行了使得云梯抬高的第二操作指令，则设备根据映射关系在图4中确定对应的云梯，使得图4中的云梯抬高。图5示出了三维模型中的云梯抬高后，以手绘图的图像风格展示的图像。
本实施例提供的方法，通过对目标图像执行的第一操作指令和/或第二操作指令，实现了对三维模型动态变化过程的控制，进而输出与第一操作指令和/或第二操作指令相对应的动态图像，生成符合用户期望的动态图像。
对于确定与目标图像匹配的三维模型，可以采用轮廓匹配的算法，将目标图像与三维模型库中所有模型对应的平面图像进行匹配，将相匹配的平面图像对应的模型作为所述三维模型，也可以采用如下所示方法：
进一步地，上述步骤101，包括：
将所述目标图像输入到识别模型中，获取由所述识别模型识别的图像内容；
获取三维模型库中与所述图像内容匹配的匹配模型，从匹配模型对应的平面图像中确定与所述目标图像匹配的目标平面图像；
将所述目标平面图像对应的匹配模型，作为所述三维模型。
具体地，通过轮廓匹配的算法，从匹配模型对应的平面图像中确定与所述目标图像匹配的目标平面图像。
图像内容为目标图像所示物体的名称，例如，出租车、消防车或者卡车等。匹配模型为三维模型库中，模型所表示的物体，与目标图像所示物体的相同的三维模型。仅从匹配模型对应的平面图像中确定目标平面图像，相比于从所有平面图像中确定目标平面图像，大大降低了计算量，提高了匹配效率。
轮廓匹配的算法指的是对图像提取轮廓特征，通过轮廓特征判断图像之间相似性的算法，例如，应用在OpenCV中的轮廓匹配的算法。通过轮廓匹配的算法能够从各平面图像中，确定与目标图像轮廓最为接近的图像。
本实施例通过图像内容的识别，以及与平面图像的匹配能够快速确定目标图像对应的三维模型。
进一步地，若未对所述目标图像执行所述第一操作指令，则以展示目标平面图像的视角，获取所述三维模型动态变化过程的平面图像，得到所述图像集；若对所述目标图像执行了所述第一操作指令，则以三维模型按照第一操作指令动态变化，所展示的变化过程中的各视角获取平面图像，得到所述图像集。
为了对目标图像中的第二活动部位的动态变化过程生成动态图像，还需建立上述映射关系，进一步地，在上述各实施例的基础上，还包括：
在所述目标平面图像中划分出多个第一识别区域，在所述目标图像中划分出多个第二识别区域，其中，对应位置处的第一识别区域和第二识别区域的面积比值为设定值；
对所述识别模型从所述目标图像识别的第二活动部位，根据第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位，建立第二活动部位与第一活动部位的映射关系。
为了能够准确定位第二活动部位在目标图像中的位置，以及准确定位第一活动部位在目标平面图像中的位置，本实施例在目标图像和目标平面图像中以相同比例划分识别区域，通过识别区域确定第二活动部位对应的第一活动部位。例如，以网格划分目标图像和目标平面图像，目标图像中的任一网格与目标平面图像中对应位置处的网格面积比保持设定值不变，则可以根据第二活动部位所在的网格，获取目标平面图像中对应位置处的网格所覆盖的第一活动部位，建立该第二活动部位与第一活动部位的映射关系。
进一步地，根据需要的识别精度确定各第一识别区域和各第一识别区域的分布密度。通常第一识别区域和第二识别区域均为规则的图形，例如，均为长方形、方格、圆形、多边形等。
通过本实施例提供的方法能够准确识别第一活动部位和第二活动部位的对应关系，快速建立映射关系。
为了进一步提高映射关系的准确性和建立映射关系的效率，进一步地，在上述各实施例的基础上，所述根据第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位，包括：
获取所述识别模型识别的各第二活动部位的位置关系；
根据所述位置关系、第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位；
其中，所述识别模型，以所述目标风格的图像作为样本图像，以对样本图像标记的图像内容和/或对样本图像按照位置关系标记的活动部位作为样本标签训练得到。
需要说明的是，本实施例中的位置关系指的是各第二活动部位之间的相对位置，例如，在目标图像中识别到一个车窗，同时识别出“车窗在车门上”这一位置关系。由于在建立映射关系的过程中，在目标映射图像中可能存在位置非常靠近的两个第一活动部位，且这两个活动部位均位于同一第一识别区域，则会导致无法确定与第二活动部位对应的第一活动部位是二者中的哪一个的情况发生。在这种情况下，可以根据识别的位置关系进行进一步地确认，例如，确定目标映射图像中在车门上的车窗为对应于目标图像中的车窗。
进一步地，所述根据所述位置关系、第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位，包括：
根据所述位置关系建立层级关系，对某一层级的第二活动部位，位于该层级的第二活动部位之上的第二活动部位属于该层级的下一层级；按照层级由高到低的顺序，从目标平面图像中确定与第二活动部位对应的第一活动部位。
例如，当目标图像是出租车时，识别出目标图像的图像内容为出租车，将出租车作为最高层级(第一层级)，在出租车上还识别出天窗、轮子和车门，则天窗、轮子和车门作为出租车的下一层级(第二层级)，在车门上识别出拉手和车窗，则拉手和车窗作为车门的下一层级(第三层级)，以此类推，表1为根据识别的各第二活动部位的位置关系建立的表示层级关系的列表。
表1各第二活动部位的层级关系
| 第一层级 | 第二层级 | 第三层级 |
| 出租车 | 天窗 | |
| 出租车 | 轮子 | |
| 出租车 | 车门 | 拉手 |
| 出租车 | 车门 | 车窗 |
在建立映射关系时，先识别第一层级，再识别第二层级、第三层级，这样识别的活动部位即便是同一个活动部位，因为知道了位置关系，在映射时也会更准确。
识别模型可以通过对CNN(Convolutional Neural Networks，卷积神经网络)或RNN(Recurrent Neural Network，循环神经网络)等，识别类型的网络进行训练得到。例如，预先对样本图像中的各活动部位进行标记，并以标记出活动部位之间的位置关系，将标记了图像内容、活动部位和活动部位之间的位置关系的样本图像作为标签，对模型进行训练得到识别模型。
通过本实施例提供的位置关系能够更为准确地识别第二活动部位与第一活动部位的对应关系，从而更为准确地建立映射关系。
为了使得从风格转换模型输出的图像与目标图形的图形风格更为接近，进一步地，在上述各实施例的基础上，还包括：
若所述风格转换模型输出的转换图像中，存在为预设图形的转换活动部位，则将所述转换活动部位所对应的第一活动部位，作为对称活动部位；
从所述目标图像中分割出与所述对称活动部位对应的第二活动部位，将分割出的第二活动部位按照所述转换活动部位放大或缩小，得到调整活动部位，以所述调整活动部位替换所述转换活动部位；
其中，所述预设图形为，控制为预设图形的转换活动部位对应的的第一活动部位动态变化时，预设图形的转换活动部位位置状态不变的图形。
预设图形通常为对称形状，例如，圆、五边形、六边形等，而目标图形中可能存在不规则的预设图形，例如，不规整的圆。在本实施例提供的方法中，若风格转换模型输出的转换图像中存在预设图形，则对这些预设图形采用目标图像中的第二活动部位进行替换，使得生成的动态图像与目标图像的图形风格更为贴近。
图6为本实施例提供的第二活动部位调整示意图，参见图6，由于第一活动部位为轮胎，其经过风格转换模型后输出为一个规整的圆。本实施例根据映射关系从手绘图中分割出与该轮胎对应的第二活动部位，如图6中最左边上方的图所示。按照图6中左边下方的轮胎放大第二活动部位，得到图6中右边的图。用放大后的第二活动部位替换，风格转换模型输出的图中，由该轮胎转换的转换活动部位。
此外，当某一第一活动部位经过风格转换模型转换后的转换活动部位为预设图形，其很可能存在无法表示该第一活动部位运动过程的情况。例如，由于通过风格转换模型输出的车轮通常为规整的圆形，车轮动态变化过程中每一帧图像均相同，动态图像无法表示出车轮的动态变化过程。
然而，由于目标图像中的这类预设图形可能存在瑕疵，例如，不是规整的圆，借助这种瑕疵却能够表示出该第一活动部位的运动过程。因此，在“以所述调整活动部位替换所述转换活动部位”之后，还包括：
若所述动态变化过程包括所述对称活动部位动态变化，则根据所述动态变化过程中所述对称活动部位的动态变化，调整所述调整活动部位在各帧转换图像中的位置状态。
例如，当三维模型的动态变化过程包括轮胎的转动，则可以使得动态图像的相邻两帧中，与该轮胎对应的调整活动部位(例如，图6中右边的图)处于不同的位置状态。图7为本实施例提供的车辆前进过程的动态图像中的几帧，可以看出，在不同帧的图像中，替换为调整活动部位的车轮处于不同的位置状态(即表示车轮的半圆位于不同位置)。
通过在各帧图像中，对调整活动部位位置状态的调整，实现了对对称活动部位动态变化过程的表示。
为了更为精确地表示对称活动部位的动态变化过程，进一步地，在上述各实施例的基础上，还包括：
对所述对称活动部位设定第一参考点和第一运动点，所述对称活动部位动态变化时，所述第一运动点相对于所述第一参考点运动；
确定所述转换图像中，与所述第一参考点对应的第二参考点和与所述第一运动点对应的第二运动点；
在各帧转换图像中，根据所述第一运动点相对于所述第一参考点的第一相对位置确定所述第二运动点相对于所述第二参考点的第二相对位置，根据所述第二相对位置，以及所述第二运动点与所述转换活动部位的相对位置，确定转换活动部位的位置状态。
例如，如图6和图7所示，在图6所示的轮胎中，第一参考点600a对应图7中转换图像的第二参考点600b，第一运动点601a对应转换图像中的第二运动点601b。若第一运动点601a相对于第一参考点600a转动了90°，则如图7所示，应该在保证第二运动点601b与所述转换活动部位(所示的轮胎的半圆)相位位置不变的情况下，使得第二运动点601b与所述转换活动部位共同相对于第二参考点600b转动90°，从而通过动态图像准确地反应三维模型的运动过程。
进一步地，还可以通过“骨骼绑定”的方法确定转换活动部位的位置状态。具体地，确定对称活动部位的活动点，确定所述调整活动部位与活动点的相对位置关系，在各帧转换图像中，根据活动点的位置变化，在保持所述调整活动部位与活动点的相对位置关系的情况下，根据活动点的位置变化确定所述调整活动部位的位置状态。
图8为本实施例提供的生成动态图像的装置的结构框图，参见图8，该装置包括确定模块801、获取模块802和生成模块803，其中，
确定模块801，用于确定与目标图像匹配的三维模型；
获取模块802，用于获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；
生成模块803，用于将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；
其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。
本实施例提供的生成动态图像的装置适用于上述实施例提供的生成动态图像的方法，在此不再赘述。
本实施例提供的生成动态图像的装置，对三维模型动态变化过程的图像集，将图像集中的至少一帧图像进行风格转换，得到以目标图像的风格进行展示的动态图像。实现了以自定义的图像风格快速生成动态图像。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器430中的逻辑指令，以执行如下方法：确定与目标图像匹配的三维模型；获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图9所示的处理器910、通信接口920、存储器930和通信总线940，其中处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信，且处理器910可以调用存储器930中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：确定与目标图像匹配的三维模型；获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：确定与目标图像匹配的三维模型；获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种生成动态图像的方法，其特征在于，包括：
确定与目标图像匹配的三维模型；
获取根据所述三维模型动态变化过程生成的图像集，所述动态变化过程包括所述三维模型整体动态变化和/或至少一个第一活动部位动态变化；
将所述图像集中至少一帧图像输入到风格转换模型中，根据所述风格转换模型的输出生成动态图像；
其中，所述风格转换模型，根据三维模型对应的平面图像和目标风格的图像训练得到；平面图像为三维图像所展示的视角，在平面内对应的图像；目标风格为所述目标图像的图像风格；
所述确定与目标图像匹配的三维模型，包括：
将所述目标图像输入到识别模型中，获取由所述识别模型识别的图像内容；
获取三维模型库中与所述图像内容匹配的匹配模型，从匹配模型对应的平面图像中确定与所述目标图像匹配的目标平面图像；
将所述目标平面图像对应的匹配模型，作为所述三维模型；
在所述目标平面图像中划分出多个第一识别区域，在所述目标图像中划分出多个第二识别区域，其中，对应位置处的第一识别区域和第二识别区域的面积比值为设定值；
对所述识别模型从所述目标图像识别的第二活动部位，根据第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位，建立第二活动部位与第一活动部位的映射关系；
其中，所述识别模型，以所述目标风格的图像作为样本图像，以对样本图像标记的图像内容和/或对样本图像按照位置关系标记的活动部位作为样本标签训练得到。
2.根据权利要求1所述的生成动态图像的方法，其特征在于，还包括：
若接收到对所述目标图像整体执行的第一操作指令，则控制所述三维模型整体动态变化，和/或，若接收到对所述目标图像中的第二活动部位执行的第二操作指令，则根据映射关系控制所述三维模型中的第一活动部位动态变化；
其中，所述映射关系包括所述目标图像中的第二活动部位与所述三维模型中的第一活动部位的对应关系。
3.根据权利要求1所述的生成动态图像的方法，其特征在于，所述根据第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位，包括：
获取所述识别模型识别的各第二活动部位的位置关系；
根据所述位置关系、第二活动部位所在的第二识别区域，以及各第二识别区域与各第一识别区域的对应位置，确定与第二活动部位对应的第一活动部位。
4.根据权利要求2所述的生成动态图像的方法，其特征在于，还包括：
若所述风格转换模型输出的转换图像中，存在为预设图形的转换活动部位，则将所述转换活动部位所对应的第一活动部位，作为对称活动部位；
从所述目标图像中分割出与所述对称活动部位对应的第二活动部位，将分割出的第二活动部位按照所述转换活动部位放大或缩小，得到调整活动部位，以所述调整活动部位替换所述转换活动部位；
其中，所述预设图形为，控制为预设图形的转换活动部位对应的的第一活动部位动态变化时，预设图形的转换活动部位位置状态不变的图形。
5.根据权利要求4所述的生成动态图像的方法，其特征在于，还包括：
若所述动态变化过程包括所述对称活动部位动态变化，则根据所述动态变化过程中所述对称活动部位的动态变化，调整所述调整活动部位在各帧转换图像中的位置状态。
6.根据权利要求4所述的生成动态图像的方法，其特征在于，还包括：
对所述对称活动部位设定第一参考点和第一运动点，所述对称活动部位动态变化时，所述第一运动点相对于所述第一参考点运动；
确定所述转换图像中，与所述第一参考点对应的第二参考点和与所述第一运动点对应的第二运动点；
在各帧转换图像中，根据所述第一运动点相对于所述第一参考点的第一相对位置确定所述第二运动点相对于所述第二参考点的第二相对位置，根据所述第二相对位置，以及所述第二运动点与所述转换活动部位的相对位置，确定转换活动部位的位置状态。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的生成动态图像的方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的生成动态图像的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911251345.3A CN111009024B (zh) | 2019-12-09 | 2019-12-09 | 一种生成动态图像的方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911251345.3A CN111009024B (zh) | 2019-12-09 | 2019-12-09 | 一种生成动态图像的方法、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111009024A CN111009024A (zh) | 2020-04-14 |
| CN111009024B true CN111009024B (zh) | 2024-03-26 |
Family
ID=70115154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911251345.3A Active CN111009024B (zh) | 2019-12-09 | 2019-12-09 | 一种生成动态图像的方法、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111009024B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147017A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 动态图像生成方法、装置、设备及存储介质 |
| CN109146825A (zh) * | 2018-10-12 | 2019-01-04 | 深圳美图创新科技有限公司 | 摄影风格转换方法、装置及可读存储介质 |
| WO2019024935A1 (zh) * | 2017-08-03 | 2019-02-07 | 杭州海康威视数字技术股份有限公司 | 一种全景图像生成方法及装置 |
| CN110288534A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
-
2019
- 2019-12-09 CN CN201911251345.3A patent/CN111009024B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019024935A1 (zh) * | 2017-08-03 | 2019-02-07 | 杭州海康威视数字技术股份有限公司 | 一种全景图像生成方法及装置 |
| CN109147017A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 动态图像生成方法、装置、设备及存储介质 |
| CN109146825A (zh) * | 2018-10-12 | 2019-01-04 | 深圳美图创新科技有限公司 | 摄影风格转换方法、装置及可读存储介质 |
| CN110288534A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 丛红艳 ; .基于多帧二维动画图像的三维自动生成技术.现代电子技术.2017,(第18期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111009024A (zh) | 2020-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104598915B (zh) | 一种手势识别方法与装置 | |
| JP2022534337A (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
| JP7263216B2 (ja) | ワッサースタイン距離を使用する物体形状回帰 | |
| CN103218605B (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| EP3080779A1 (en) | Efficient facial landmark tracking using online shape regression method | |
| CN104915972A (zh) | 图像处理装置、图像处理方法以及程序 | |
| CN104091350B (zh) | 一种利用运动模糊信息的物体跟踪方法 | |
| CN108230233A (zh) | 数据增强、处理方法和装置、电子设备和计算机存储介质 | |
| CN103049891B (zh) | 基于自适应窗口选择的视频图像去模糊方法 | |
| CN110119742B (zh) | 一种集装箱号的识别方法、装置及移动终端 | |
| CN111105452B (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN112116720A (zh) | 三维点云的增广方法、装置、存储介质及计算机设备 | |
| WO2021010342A1 (ja) | 行動認識装置、行動認識方法、及び行動認識プログラム | |
| CN112381061A (zh) | 一种面部表情识别方法及系统 | |
| KR20230144585A (ko) | 추적된 메시들의 시퀀스에서의 지오메트리 세부사항들의 보존 | |
| JP2022168167A (ja) | 画像処理方法、装置、電子機器及び記憶媒体 | |
| CN111009024B (zh) | 一种生成动态图像的方法、电子设备和存储介质 | |
| CN117011856A (zh) | 基于深度强化学习的手写笔迹骨架细化方法、系统、设备、介质 | |
| CN105279764A (zh) | 眼睛图像处理设备和方法 | |
| CN112084984A (zh) | 一种基于改进的Mask RCNN的扶梯动作检测方法 | |
| CN106780558A (zh) | 基于计算机视觉的点生成无人机目标初始跟踪框的方法 | |
| CN111145221A (zh) | 一种基于多层深度特征提取的目标跟踪算法 | |
| CN107909610A (zh) | 一种基于图像粒和亚像素边界检测的灰度目标周长估算方法 | |
| CN115443483A (zh) | 基于神经网络模型的深度估计 | |
| CN107977975A (zh) | 一种动态背景视频图像的前景目标提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |