CN110856014B - 动态图像生成方法、装置、电子设备及存储介质 - Google Patents

动态图像生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110856014B
CN110856014B CN201911071887.2A CN201911071887A CN110856014B CN 110856014 B CN110856014 B CN 110856014B CN 201911071887 A CN201911071887 A CN 201911071887A CN 110856014 B CN110856014 B CN 110856014B
Authority
CN
China
Prior art keywords
processed
video frame
feature point
image
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911071887.2A
Other languages
English (en)
Other versions
CN110856014A (zh
Inventor
郭晓锋
谭颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911071887.2A priority Critical patent/CN110856014B/zh
Publication of CN110856014A publication Critical patent/CN110856014A/zh
Application granted granted Critical
Publication of CN110856014B publication Critical patent/CN110856014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种动态图像生成方法、装置、电子设备及存储介质，其中方法包括：将各待处理视频帧的目标对象与待处理图像中的待处理对象进行对齐；基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理；对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理；利用经图像变形处理后的各待处理视频帧，生成动态图像。本发明实施例能够减少动态图像中的待处理对象的对象状态出现显示滞后的问题。

Description

动态图像生成方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种动态图像生成方法、装置、电子设备及存储介质。
背景技术
视频作为娱乐媒体的重要载体，通常承载着很多重要的信息。动态图像(例如，GIF(Graphics Interchange Format，图形交互格式)格式图像)兼具视频的很多优点，其次由于其文件相对较小，适合广泛传播，因此受到很多用户的喜欢和青睐。
现有技术中，在生成动态图像的过程中，通常需要先准备一张待处理图像和一个待处理视频，其具体生成过程为：分别提取待处理图像中待处理对象的第二特征点，和待处理视频中各待处理视频帧的目标对象的第一特征点；根据所提取的第一特征点和第二特征点，将待处理视频中各待处理视频帧的目标对象对齐至待处理图像中的待处理对象上；接着根据当前待处理视频帧的前几个待处理视频帧和后几个待处理视频帧，利用平滑处理算法对对齐后的各待处理视频帧中的第一特征点进行平滑处理；然后对待处理视频中的各待处理视频帧和待处理图像进行图像变形处理，得到多张包含待处理对象的待处理视频帧，其中待处理对象的对象状态与原始待处理视频中的目标对象的对象状态相同或相似，该图像变形处理过程具体为：根据经平滑处理后的第一特征点的位置信息，分别对各待处理视频帧进行三角剖分，得到多个第一三角形，根据待处理图像中的第二特征点的位置信息，对待处理图像进行三角剖分，得到多个第二三角形，并将第二三角形的各顶点拉伸至各待处理视频帧中对应的第一三角形的各顶点处。最后将多张待处理视频帧组成动态图像，从而可以完成动态图像的制作。
发明人在实现本发明的过程中发现，现有技术至少存在如下问题：在使用上述方法生成动态图像时，容易出现动态图像中的待处理对象的对象状态相比于待处理视频中的目标对象的对象状态出现滞后的情况，例如，出现动作或表情显示滞后的情况。
发明内容
本发明实施例的目的在于提供一种动态图像生成方法、装置、电子设备及存储介质，以减少动态图像中的待处理对象的对象状态出现显示滞后的问题。
具体技术方案如下：
第一方面，本发明实施例提供了一种动态图像生成方法，所述方法包括：
获取包含有目标对象的待处理视频和包含有待处理对象的待处理图像；
从所述待处理视频的各待处理视频帧中分别提取第一特征点；从所述待处理图像中提取第二特征点；利用所述第一特征点和所述第二特征点，分别将各所述待处理视频帧的目标对象与所述待处理图像中的待处理对象进行对齐，得到经对齐后的各待处理视频帧，用于表征所述目标对象的预设部位的所述第一特征点，和用于表征所述待处理对象的该预设部位的所述第二特征点存在对应关系；
针对经对齐后的各待处理视频帧，执行如下平滑处理操作：基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，得到经平滑处理后的第一特征点；
根据所述第二特征点所表征出的待处理对象的对象状态，以及经平滑处理后的第一特征点所表征出的目标对象的对象状态，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象的对象状态具有相同或相似状态的各待处理视频帧；
利用经图像变形处理后的各待处理视频帧，生成动态图像。
可选地，所述针对经对齐后的各待处理视频帧，执行如下平滑处理操作的步骤，包括：
针对所述待处理视频中的第一个待处理视频帧，利用所述第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理；
针对所述待处理视频中除所述第一个待处理视频帧外的其他待处理视频帧，利用所述当前待处理视频帧中的第一特征点的位置信息，以及所述当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对所述当前待处理视频帧中的第一特征点进行平滑处理。
可选地，所述针对经对齐后的各待处理视频帧，执行如下平滑处理操作的步骤，包括：
针对所述待处理视频中的第一个待处理视频帧，利用所述第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理；
针对所述待处理视频中除所述第一个待处理视频帧外的其他待处理视频帧，利用所述当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对所述当前待处理视频帧中的第一特征点进行平滑处理。
可选地，所述预设的平滑处理算法为卡尔曼滤波算法，则所述针对经对齐后的各待处理视频帧，执行如下平滑处理操作的步骤，包括：
针对各所述待处理视频帧中的第一个待处理视频帧，利用预设的初始协方差矩阵，生成该第一个待处理视频帧的卡尔曼增益；
利用所述第一个待处理视频帧的卡尔曼增益以及所述第一个待处理视频帧中的各第一特征点的位置信息，对所述第一个待处理视频帧中的各第一特征点进行平滑处理，得到所述第一个待处理视频帧中的各第一特征点的新的位置信息；
针对各所述待处理视频帧中除所述第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧的前一个待处理视频帧的协方差矩阵，生成当前卡尔曼增益，其中，所述其他待处理视频帧各自对应的协方差矩阵是基于该待处理视频帧的前一个待处理视频帧对应的协方差矩阵生成的，所述第一个待处理视频帧对应的协方差矩阵是基于所述初始协方差矩阵生成的；
利用所述当前待处理视频帧的前一个已处理视频帧的各第一特征点的位置信息，所述当前卡尔曼增益，以及所述当前待处理视频帧的各第一特征点的位置信息，对所述当前待处理视频帧中的各第一特征点进行平滑处理，得到所述当前待处理视频帧中的各第一特征点的新的位置信息。
可选地，当所述待处理对象和所述目标对象包含有人物对象时，则所述对经对齐后的各待处理视频帧和所述待处理图像进行图像变形处理，具体包括：根据所述第二特征点所表征出的人物对象的人物表情和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的人物表情和/或动作，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象具有相同或相似人物表情和/或动作的各待处理视频帧；
当所述待处理对象和所述目标对象包含有动物对象时，则所述对经对齐后的各待处理视频帧和所述待处理图像进行图像变形处理，具体包括：根据所述第二特征点所表征出的动物对象的形态和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的形态和/或动作，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象具有相同或相似形态/或动作的各待处理视频帧；
当所述待处理对象和所述目标对象包含有植物对象时，则所述对经对齐后的各待处理视频帧和所述待处理图像进行图像变形处理，具体包括：根据所述第二特征点所表征出的植物对象的形态，以及经平滑处理后的第一特征点所表征出的目标对象的形态，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象具有相同或相似形态的各待处理视频帧；
当所述待处理对象和所述目标对象包含有物体对象时，则所述对经对齐后的各待处理视频帧和所述待处理图像进行图像变形处理，具体包括：根据所述第二特征点所表征出的物体对象的操作，以及经平滑处理后的第一特征点所表征出的目标对象的操作，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象具有相同或相似操作的各待处理视频帧。
可选地，所述针对经对齐后的各待处理视频帧，利用预设的平滑处理算法对各待处理视频帧中的第一特征点进行平滑处理的步骤，包括：
按照所述待处理视频中各待处理视频帧的顺序，利用预设的平滑处理算法，依次对经对齐后的各待处理视频帧中的第一特征点进行平滑处理；
所述利用经图像变形处理后的各待处理视频帧，生成动态图像的步骤，包括：
按照所述待处理视频中各待处理视频帧的顺序，将所述经图像变形处理后的各所述待处理视频帧，组成为所述动态图像。
第二方面，本发明实施例提供了一种动态图像生成装置，所述装置包括：
获取模块，用于获取包含有目标对象的待处理视频和包含有待处理对象的待处理图像；
对齐模块，用于从所述待处理视频的各待处理视频帧中分别提取第一特征点；从所述待处理图像中提取第二特征点；利用所述第一特征点和所述第二特征点，分别将各所述待处理视频帧的目标对象与所述待处理图像中的待处理对象进行对齐，得到经对齐后的各待处理视频帧，用于表征所述目标对象的预设部位的所述第一特征点，和用于表征所述待处理对象的该预设部位的所述第二特征点存在对应关系；
处理模块，用于针对经对齐后的各待处理视频帧，执行如下平滑处理操作：基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，得到经平滑处理后的第一特征点；
变形模块，用于根据所述第二特征点所表征出的待处理对象的对象状态，以及经平滑处理后的第一特征点所表征出的目标对象的对象状态，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象的对象状态具有相同或相似状态的各待处理视频帧；
生成模块，用于利用经图像变形处理后的各待处理视频帧，生成动态图像。
可选地，所述处理模块，包括：
第一处理子模块，用于针对所述待处理视频中的第一个待处理视频帧，利用所述第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理；
第二处理子模块，用于针对所述待处理视频中除所述第一个待处理视频帧外的其他待处理视频帧，利用所述当前待处理视频帧中的第一特征点的位置信息，以及所述当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对所述当前待处理视频帧中的第一特征点进行平滑处理。
可选地，所述处理模块，包括：
第三处理子模块，用于针对所述待处理视频中的第一个待处理视频帧，利用所述第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理；
第四处理子模块，用于针对所述待处理视频中除所述第一个待处理视频帧外的其他待处理视频帧，利用所述当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对所述当前待处理视频帧中的第一特征点进行平滑处理。
可选地，所述处理模块，包括：
第一生成子模块，针对各所述待处理视频帧中的第一个待处理视频帧，利用预设的初始协方差矩阵，生成该第一个待处理视频帧的卡尔曼增益；
第五处理子模块，利用所述第一个待处理视频帧的卡尔曼增益以及所述第一个待处理视频帧中的各第一特征点的位置信息，对所述第一个待处理视频帧中的各第一特征点进行平滑处理，得到所述第一个待处理视频帧中的各第一特征点的新的位置信息；
第二生成子模块，用于针对各所述待处理视频帧中除所述第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧的前一个待处理视频帧的协方差矩阵，生成当前卡尔曼增益，其中，所述其他待处理视频帧各自对应的协方差矩阵是基于该待处理视频帧的前一个待处理视频帧对应的协方差矩阵生成的，所述第一个待处理视频帧对应的协方差矩阵是基于所述初始协方差矩阵生成的；
第六处理子模块，用于利用所述当前待处理视频帧的前一个已处理视频帧的各第一特征点的位置信息，所述当前卡尔曼增益，以及所述当前待处理视频帧的各第一特征点的位置信息，对所述当前待处理视频帧中的各第一特征点进行平滑处理，得到所述当前待处理视频帧中的各第一特征点的新的位置信息。
可选地，当所述待处理对象和所述目标对象包含有人物对象时，所述变形模块，具体用于：根据所述第二特征点所表征出的人物对象的人物表情和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的人物表情和/或动作，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象具有相同或相似人物表情和/或动作的各待处理视频帧；
当所述待处理对象和所述目标对象包含有动物对象时，所述变形模块，具体用于：根据所述第二特征点所表征出的动物对象的形态和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的形态和/或动作，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象具有相同或相似形态/或动作的各待处理视频帧；
当所述待处理对象和所述目标对象包含有植物对象时，所述变形模块，具体用于：根据所述第二特征点所表征出的植物对象的形态，以及经平滑处理后的第一特征点所表征出的目标对象的形态，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象具有相同或相似形态的各待处理视频帧；
当所述待处理对象和所述目标对象包含有物体对象时，所述变形模块，具体用于：根据所述第二特征点所表征出的物体对象的操作，以及经平滑处理后的第一特征点所表征出的目标对象的操作，对经对齐后的各待处理视频帧和所述待处理图像分别进行图像变形处理，得到与所述目标对象具有相同或相似操作的各待处理视频帧。
可选地，所述处理模块具体用于：
按照所述待处理视频中各待处理视频帧的顺序，利用预设的平滑处理算法，依次对经对齐后的各待处理视频帧中的第一特征点进行平滑处理；
所述生成模块，具体用于：
按照所述待处理视频中各待处理视频帧的顺序，将所述经图像变形处理后的各所述待处理视频帧，组成为所述动态图像。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现本发明实施例第一方面提供的动态图像生成方法的方法步骤。
第四方面，本发明实施还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一动态图像生成方法的方法步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一动态图像生成方法。
本发明实施例有益效果：
本发明实施例提供的一种动态图像生成方法、装置、电子设备及存储介质，在对各待处理视频帧的目标对象与待处理图像中的待处理对象进行对齐后，针对经对齐后的各待处理视频帧，基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，而无须预先提取当前待处理视频帧之后的待处理视频帧的第一特征点的位置信息，因此能够缩短对当前待处理视频帧的第一特征点的平滑处理过程中的耗时，不容易出现平滑处理所需的时间超过待处理视频中当前待处理视频帧与前一个待处理视频帧之间的播放时间间隔，进而能够减少动态图像中的待处理对象的对象状态出现显示滞后的问题。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的动态图像生成方法的一种流程示意图；
图2a为本发明实施例提供的待处理视频中的其中一个待处理视频帧；
图2b为本发明实施例提供的对齐后的待处理视频帧；
图2c为本发明实施例提供的待处理图像；
图3为本发明实施例提供的动态图像生成方法中，步骤S120的第一种流程示意图；
图4为本发明实施例提供的动态图像生成方法中，步骤S120的第二种流程示意图；
图5为本发明实施例提供的动态图像生成方法中，步骤S120的第三种流程示意图；
图6a为本发明实施例提供的经三角剖分后的待处理图像；
图6b为本发明实施例提供的经三角剖分后的待处理视频帧；
图6c为本发明实施例提供的拉伸后得到的动态图像中的其中一个待处理视频帧；
图7为本发明实施例提供的动态图像生成装置的一种结构示意图；
图8为本发明实施例提供的动态图像生成装置中，处理模块的第一种结构示意图；
图9为本发明实施例提供的动态图像生成装置中，处理模块的第二种结构示意图；
图10为本发明实施例提供的动态图像生成装置中，处理模块的第三种结构示意图；
图11为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，在生成动态图像的过程中，通常需要先准备一张待处理图像和一个待处理视频，其具体生成过程为：分别提取待处理图像中待处理对象的第二特征点，和待处理视频中各待处理视频帧的目标对象的第一特征点；根据所提取的第一特征点和第二特征点，将待处理视频中各待处理视频帧的目标对象对齐至待处理图像中的待处理对象上；接着根据当前待处理视频帧的前几个待处理视频帧和后几个待处理视频帧，利用平滑处理算法对对齐后的各待处理视频帧中的第一特征点进行平滑处理；然后对待处理视频中的各待处理视频帧和待处理图像进行图像变形处理，得到多张包含待处理对象的图像，其中待处理对象的对象状态与原始待处理视频中的目标对象的对象状态相同或相似，该图像变形处理过程具体为：根据经平滑处理后的第一特征点的位置信息，分别对各待处理视频帧进行三角剖分，得到多个第一三角形，根据待处理图像中的第二特征点的位置信息，对待处理图像进行三角剖分，得到多个第二三角形，并将第二三角形的各顶点拉伸至各待处理视频帧中对应的第一三角形的各顶点处。最后将多张图像组成动态图像，从而可以完成动态图像的制作。
发明人在实现本发明的过程中发现，现有技术中，引起动态图像中的待处理对象的对象状态相比于待处理视频中的待处理对象的对象状态出现滞后的原因为：现有技术通常采用中值滤波的方法对待处理视频中的各待处理视频帧中的第一特征点进行平滑处理，而在该平滑处理的过程中，通常需要将当前待处理视频帧的前几个待处理视频帧和后几个待处理视频帧中相同位置的第一特征点的坐标位置进行排序形成数列，并将该数列的中值作为当前待处理视频帧脸部特征点的坐标位置。这样一来，在生成动态图像中的各待处理视频帧的过程中，需要预先提取待处理视频中与当前待处理视频帧对应的后几个待处理视频帧的第一特征点，然后基于当前待处理视频帧的前几个待处理视频帧和后几个待处理视频帧共同进行中值滤波才能得到当前待处理视频帧，可见上述中值滤波过程耗时多，容易出现中值滤波所需的时间超过待处理视频中当前待处理视频帧与前一个待处理视频帧之间的播放时间间隔，进而导致动态图像中的待处理对象的对象状态相比于待处理视频中的目标对象的对象状态出现滞后的情况，例如，出现动作或表情显示滞后的情况。
有鉴于此，本发明实施例提供一种动态图像生成方法，从总体上而言，在对各待处理视频帧的目标对象与待处理图像中的待处理对象进行对齐后，针对经对齐后的各待处理视频帧，基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，而无须预先提取当前待处理视频帧之后的待处理视频帧的第一特征点的位置信息，因此能够缩短对当前待处理视频帧的第一特征点的平滑处理过程中的耗时，不容易出现平滑处理所需的时间超过待处理视频中当前待处理视频帧与前一个待处理视频帧之间的播放时间间隔，进而能够减少动态图像中的待处理对象的对象状态出现显示滞后的问题。
如图1所示，本发明实施例提供了一种动态图像生成方法，该过程可以包括以下步骤：
S110，获取包含有目标对象的待处理视频和包含有待处理对象的待处理图像。
在本发明实施例中，目标对象至少包含以下一种或者多种：人物对象、动物对象、植物对象或具有固定形态的物体对象。而且目标对象在各待处理视频帧中的对象状态不同，此处的对象状态可以指，目标对象的状态，例如，当目标对象为人物对象时，对象状态可以为人物对象的嘴部为闭合状态或者张开状态，即，人物对象在各待处理视频帧中的动作或者表情不同。
同样地，待处理对象至少包含以下一种或者多种：人物对象、动物对象、植物对象或具有固定形态的物体对象。而且当待处理对象为人物对象时，其可以用于实现待处理视频中各待处理视频帧中的人物对象的动作或者表情。因此，待处理对象的类型可以与目标对象的类型相同，例如，当目标对象为人物对象时，待处理对象也可以为人物对象。
S120，从待处理视频的各待处理视频帧中分别提取第一特征点；从待处理图像中提取第二特征点；利用第一特征点和第二特征点，分别将各待处理视频帧的目标对象与待处理图像中的待处理对象进行对齐，得到经对齐后的各待处理视频帧。
在本发明实施例中，可以利用特征点检测算法，从待处理视频中的各待处理视频帧中提取第一特征点，以及从待处理图像中提取第二特征点。例如可以使用Dlib算法库中的人脸检测算法提取特征点，Dlib算法库是一种机器学习库，其中包含很多常用的算法，例如，矩阵计算、图像处理、机器学习之类的算法。当然，除所举的例子所示的实现方式以外，实现该特征的方式均属于本发明实施例的保护范围。
用于表征目标对象的预设部位的第一特征点，和用于表征待处理对象的该预设部位的第二特征点存在对应关系。即，各待处理视频帧中的第一特征点的数量和第二特征点的数量相同，且各待处理视频帧中的第一特征点所表征的预设部位与第二特征点所表征的预设部位相同。举例而言，当目标对象和待处理对象均为人物对象时，预设部位可以人物对象的嘴部或者眼睛等部位。需要说明的是，可以对预设部位进行预先设置，例如，将其设置为嘴部，眼睛或者手部等。
将待处理视频中的各待处理视频帧的目标对象与待处理图像的待处理对象对齐后的效果可以参照图2a，图2b和图2c，图2a为待处理视频中的其中一个待处理视频帧，图2c为待处理图像，图2b为对图2a所示的待处理视频帧进行对齐处理后得到的待处理视频帧，从图2b和图2c可以看出，对齐后的待处理视频帧中的人物在该待处理视频帧中的位置，与待处理图像中的人物在该待处理图像中的位置相同。
S130，针对经对齐后的各待处理视频帧，执行如下平滑处理操作：基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，得到经平滑处理后的第一特征点。
需要说明的是，本发明实施例所使用的平滑处理算法可以是预设好的，该平滑处理算法的一个特点是，可以利用当前待处理视频自身的第一特征点的位置信息和/或该当前待处理视频帧之前的已处理视频帧，对当前待处理视频帧中的第一特征点进行平滑处理。发明人发现，由于生成动态图像的应用场景比较特殊，很容易出现所生成的动态图像滞后于待处理视频的情况，因此，经过深入分析后，发现是由于目前在对各待处理视频帧进行平滑处理时，技术人员往往基于惯常的图像处理模式，通常会使用当前待处理视频帧与其前后待处理视频帧间的关系，而没有考虑其他的平滑处理方式。然而发明人研究后发现，对于当前待处理视频帧的平滑处理过程，即使不使用当前待处理视频帧之后的待处理视频帧信息，而是使用当前待处理视频帧及当前待处理视频帧之前的各待处理视频帧的信息，也能达到预期的平滑处理效果，并且，发明人发现通过这种处理方式能够有效避免动态图像滞后于待处理视频的情况发生。
在对经对齐后的各待处理视频帧中的第一特征点进行平滑处理的过程中，可以利用自身的第一特征点的位置信息，即提取到的该当前帧的第一特征点的位置信息，和/或利用当前待处理视频帧之前的已处理视频帧的第一特征点的位置信息，而无须预先提取当前待处理视频帧之后的待处理视频帧的第一特征点的位置信息，因此能够缩短对当前待处理视频帧的第一特征点的平滑处理过程中的耗时，不容易出现平滑处理所需的时间超过待处理视频中当前待处理视频帧与前一个待处理视频帧之间的播放时间间隔，进而能够减少动态图像中的待处理对象的对象状态出现显示滞后的问题。
此外，在上述平滑处理过程中，由于利用了当前待处理视频帧之前的已处理视频帧的第一特征点的位置信息，其中已处理视频帧的第一特征点的位置信息为已经经过平滑处理后得到的位置信息，因此已处理视频帧与其之前的已处理视频帧中的第一特征点的位置信息之间的误差较小，也就是说，各待处理视频帧经平滑处理后的第一特征点的位置信息，均与其前一个待处理视频帧经平滑处理后的第一特征点的位置信息之间的误差较小，进而可以减少因相邻的两个已处理视频帧中的第一特征点的位置信息之间的误差过大，而导致生成的动态图像中人物脸部抖动的情况。
S140，根据第二特征点所表征出的待处理对象的对象状态，以及经平滑处理后的第一特征点所表征出的目标对象的对象状态，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象的对象状态具有相同或相似状态的各待处理视频帧。
在本发明实施例中，在对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理后，得到经图像变形处理后的各待处理视频帧，在本发明实施例中，仅包含待处理对象和目标对象，因此本领域技术人员可以理解的是，经图像变形处理后的各待处理视频帧中可以包含待处理对象，且该待处理对象的对象状态与目标对象的对象状态相同或相似，即当待处理对象和目标对象均为人物对象时，可以达到待处理图像中的待处理对象，实现待处理视频中的各待处理视频帧中的目标对象的人物表情和/或动作的效果。
S150，利用经图像变形处理后的各待处理视频帧，生成动态图像。
在得到多张包含待处理对象的待处理视频帧后，可以将这些待处理视频帧组成为动态图像，动态图像中每两个待处理视频帧之间的时间间隔，可以和原始待处理视频中每两个待处理视频帧之间的时间间隔相同。
作为本发明实施例一种可选的实施方式，如图3所示，图1所示实施例流程步骤S130可以包括：
S131，针对待处理视频中的第一个待处理视频帧，利用第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理。
由于第一个待处理视频帧位于对齐后的各待处理视频帧中的首位，在其之前并无待处理视频帧，因此可以利用该第一个待处理视频帧的第一特征点的位置信息，对其进行平滑处理。
S132，针对待处理视频中除第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧中的第一特征点的位置信息，以及当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对当前待处理视频帧中的第一特征点进行平滑处理。
对各待处理视频帧中除第一个待处理视频帧之外的其他待处理视频帧进行平滑处理时，例如，对第二个待处理视频帧中的第一特征点进行平滑处理时，可以利用提取到的第二个待处理视频帧中的第一特征点的位置信息，以及经平滑处理后的第一个待处理视频帧的第一特征点的位置信息进行平滑处理。此处需要说明的是，在对当前视频帧中的第一特征点进行平滑处理时，可以利用当前待处理视频帧的前一个已处理视频帧，当前待处理视频帧的前两个已处理视频帧，或者当前待处理视频帧之前的所有已处理视频帧。
在本发明实施例中，在对除第一个待处理视频帧外的其他待处理视频帧中的第一特征点进行平滑处理时，通过利用提取到的当前待处理视频帧中的第一特征点的位置信息，以及当前待处理视频帧之前的已处理视频帧中的第一特征点的位置信息，不需要预先提取当前待处理视频帧之后的待处理视频帧的第一特征点，因此，能够缩短对当前待处理视频帧的第一特征点的平滑处理过程中的耗时，进而能够减少动态图像中的待处理对象的对象状态出现显示滞后的问题。此外，由于在进行平滑处理过程中，综合考虑当前待处理视频帧之前待处理视频帧的第一特征点的位置信息，因此该平滑处理还能够减小当前待处理视频帧的第一特征点的位置信息，与当前待处理视频帧之前待处理视频帧的第一特征点的位置信息之间的误差，进而减少生成的动态图像出现人物脸部抖动的情况。
作为本发明实施例一种可选的实施方式，如图4所示，图1所示实施例流程步骤S130可以包括：
S133，针对待处理视频中的第一个待处理视频帧，利用第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理。
该步骤与图3所示实施例流程步骤S131相同，此处不再赘述。
S134，针对待处理视频中除第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对当前待处理视频帧中的第一特征点进行平滑处理。
对各待处理视频帧中除第一个待处理视频帧之外的其他待处理视频帧进行平滑处理时，例如，对第二个待处理视频帧中的第一特征点进行平滑处理时，可以利用提取到的第二个待处理视频帧中的第一特征点的位置信息，进行平滑处理。
作为本发明实施例一种可选的实施方式，预设的平滑处理算法为卡尔曼滤波算法，卡尔曼滤波算法具有输入的计算变量与输出的结果误差小的优点，可以将提取到的当前待处理视频帧中的第一特征点的位置信息，以及当前待处理视频帧之前的已处理视频帧的第一特征点的位置信息作为卡尔曼滤波算法的计算变量进行输入，并利用该计算变量，以及在卡尔曼滤波算法中预先设置的参数，对提取到的当前待处理视频帧的第一特征点进行平滑处理，输出当前待处理视频帧的第一特征点的新的位置信息。该新的位置信息，与提取到的当前待处理视频帧的第一特征点的位置信息，以及与当前待处理视频帧之前的已处理视频帧的第一特征点的位置信息之间的误差值均较小，因此采用该卡尔曼滤波算法在减少生成的动态图像中的待处理对象的对象状态出现滞后的问题的同时，还能够进一步减少动态图像中的待处理对象局部抖动的情况。
则，如图5所示，图1所示实施例流程步骤S130可以包括：
S135，针对各待处理视频帧中的第一个待处理视频帧，利用预设的初始协方差矩阵，生成该第一个待处理视频帧的卡尔曼增益。
初始协方差矩阵表示第一个待处理视频帧的第一特征点的位置信息，相比第一特征点的位置信息的初始值的预设变化规则与真实变化规则之间的不确定性，例如，当位置信息用坐标表示时，预设变化规则可以为：第一个待处理视频帧中的第一特征点的坐标，等于第一特征点的坐标的初始值，真实变化规则可以为当前待处理视频帧中的第一特征点的坐标，小于第一特征点的坐标的初始值。通常可以对第一特征点的初始值进行设置，例如，通常可以将其设置为提取到的第一个待处理视频帧中的第一特征点的位置信息。初始协方差矩阵可以根据应用场景进行设置，通常可以将其初始化为一个较小的对角矩阵。
卡尔曼增益表示在计算第一个待处理视频帧中的各第一特征点的新的位置信息中，提取到的第一个待处理视频帧中各第一特征点的位置信息，与第一特征点的位置信息的估计值之差的权重系数，在实际应用中，可以对第一特征点的位置信息的估计值进行预先设置，例如，可以将其设置为提取到的第一个待处理视频帧中各第一特征点的位置信息。
S136，利用第一个待处理视频帧的卡尔曼增益以及第一个待处理视频帧中的各第一特征点的位置信息，对第一个待处理视频帧中的各第一特征点进行平滑处理，得到第一个待处理视频帧中的各第一特征点的新的位置信息。
可以利用对第一个待处理视频帧的卡尔曼增益以及第一个待处理视频帧中的各第一特征点的位置信息，对第一个待处理视频帧中的各第一特征点进行平滑处理，不过由于在对第一个待处理视频帧中的第一特征点进行平滑处理的过程中，利用的是该第一个待处理视频帧自身的第一特征点的位置信息，因此，计算得到的结果可能是该第一待处理视频帧的第一特征点的位置信息。
S137，针对各待处理视频帧中除第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧的前一个待处理视频帧的协方差矩阵，生成当前卡尔曼增益。
在本发明实施例中，协方差矩阵表示当前待处理视频帧中的第一特征点的位置信息，相比当前待处理视频帧的前一个待处理视频帧中的第一特征点的位置信息的预设变化规则与真实变化规则之间的不确定性，例如，当位置信息用坐标表示时，预设变化规则可以为：当前待处理视频帧中的第一特征点的坐标，等于其前一个待处理视频帧中的第一特征点的坐标，真实变化规则可以为当前待处理视频帧中的第一特征点的坐标，小于其前一个待处理视频帧中的第一特征点的坐标。
当前卡尔曼增益为当前待处理视频帧对应的卡尔曼增益，当前卡尔曼增益表示在计算当前待处理视频帧中的各第一特征点的新的位置信息中，当前待处理视频帧中提取到的各第一特征点的位置信息，与当前待处理视频帧的第一特征点的位置信息的估计值之差的权重系数，当前待处理视频帧的第一特征点的位置信息的估计值是根据前一个已处理视频帧的第一特征点的位置信息计算得到的。
另外，其他待处理视频帧各自对应的协方差矩阵是基于该待处理视频帧的前一个待处理视频帧对应的协方差矩阵生成的，第一个待处理视频帧对应的协方差矩阵是基于初始协方差矩阵生成的，这样一来，除第一个待处理视频帧外的其他待处理视频帧对应的协方差矩阵，综合了当前待处理视频帧之前的所有待处理视频帧的协方差矩阵的信息，进而使得当前卡尔曼增益综合了当前待处理视频帧之前的所有待处理视频帧的协方差矩阵的信息。
S138，利用当前待处理视频帧的前一个已处理视频帧的各第一特征点的位置信息，当前卡尔曼增益，以及当前待处理视频帧的各第一特征点的位置信息，对当前待处理视频帧中的各第一特征点进行平滑处理，得到当前待处理视频帧中的各第一特征点的新的位置信息。
可以将当前待处理视频帧的前一个已处理视频帧的各第一特征点的位置信息，当前卡尔曼增益，以及当前待处理视频帧的各第一特征点的位置信息，进行相关运算，得到当前待处理视频帧的各第一特征点的新的位置信息。由于当前卡尔曼增益综合了当前待处理视频帧之前的所有待处理视频帧的协方差矩阵的信息，因此根据当前卡尔曼增益计算得到的第一特征点的新的位置信息，与当前待处理视频帧之前的所有待处理视频帧之间的误差均较小，因此能够进一步减少生成的动态图像中待处理对象的局部抖动的情况。
需要说明的是，本发明实施例除采用上述的卡尔曼滤波算法对当前待处理视频帧中的第一特征点进行平滑处理外，还可以采用其他算法对当前待处理视频帧中的第一特征点进行平滑处理。例如，可以采用霍尔特线性趋势法，自回归积分移动平均算法，或者时间序列预测算法对当前待处理视频帧中的第一特征点进行平滑处理。其中，采用时间序列预测算法对当前待处理视频帧中的第一特征点进行平滑处理的过程可以为：计算当前待处理视频帧中的第一特征点的位置信息，与当前待处理视频帧之前的所有已处理视频帧中的第一特征点的位置信息的平均值，并将该平均值作为当前待处理视频帧中的第一特征点的新的位置信息；或者，计算当前待处理视频帧中的第一特征点的位置信息，与当前待处理视频帧之前的所有已处理视频帧中的第一特征点的位置信息的加权平均值，并将该加权平均值作为当前待处理视频帧中的第一特征点的新的位置信息。
作为本发明实施例一种可选的实施方式，当待处理对象和目标对象包含有人物对象时，则图1所示实施例流程步骤S140，具体可以包括：根据第二特征点所表征出的人物对象的人物表情和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的人物表情和/或动作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象具有相同或相似人物表情和/或动作的各待处理视频帧。
当待处理对象和目标对象中均包含有人物对象时，第二特征点可以为表示人物面部的特征点，则该第二特征点可以表征人物对象的人物表情和/动作，同理，第一特征点也可以表征人物对象的表情和/动作，根据第二特征点表征出的人物表情和/动作，以及经平滑处理后的第一特征点所表征出的人物表情和/动作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，可以得到包含有待处理图像中的人物对象的各待处理视频帧，该各待处理视频帧中人物对象的人物表情和/动作，与待处理视频各待处理视频帧中的人物对象的人物表情和/动作相同，或者与其相似。
当待处理对象和目标对象包含有动物对象时，则图1所示实施例流程步骤S140，具体包括：根据第二特征点所表征出的动物对象的形态和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的形态和/或动作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象具有相同或相似形态/或动作的各待处理视频帧。
当待处理对象和目标对象中均包含有动物对象时，第二特征点可以为表示动物面部的特征点，则该第二特征点可以表征动物对象的形态和/动作，同理，第一特征点也可以表征动物对象的形态和/动作，根据第二特征点表征出的动物形态和/动作，以及经平滑处理后的第一特征点所表征出的动物形态和/动作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，可以得到包含有待处理图像中的动物对象的各待处理视频帧，该各待处理视频帧中动物对象的动物形态和/动作，与待处理视频各待处理视频帧中的动物对象的动物形态和/动作相同，或者与其相似。
当待处理对象和目标对象包含有植物对象时，则图1所示实施例流程步骤S140，具体包括：根据第二特征点所表征出的植物对象的形态，以及经平滑处理后的第一特征点所表征出的目标对象的形态，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象具有相同或相似形态的各待处理视频帧。
当待处理对象和目标对象中均包含有植物对象时，第二特征点可以表征植物对象的形态，同理，第一特征点也可以表征植物对象的形态，根据第二特征点表征出的植物形态，以及经平滑处理后的第一特征点所表征出的植物形态，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，可以得到包含有待处理图像中的植物对象的各待处理视频帧，该各待处理视频帧中植物对象的形态，与待处理视频中各待处理视频帧中的植物对象的形态相同，或者与其相似。
当待处理对象和目标对象包含有物体对象时，则图1所示实施例流程步骤S140，具体包括：根据第二特征点所表征出的物体对象的操作，以及经平滑处理后的第一特征点所表征出的目标对象的操作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象具有相同或相似操作的各待处理视频帧。
当待处理对象和目标对象中均包含有物体对象时，第二特征点可以表征物体对象的操作，同理，第一特征点也可以表征物体对象的操作，根据第二特征点表征出的物体操作，以及经平滑处理后的第一特征点所表征出的物体操作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，可以得到包含有待处理图像中的物体对象的各待处理视频帧，该各待处理视频帧中物体对象的操作，与待处理视频中各待处理视频帧中的物体对象的操作相同，或者与其相似。
作为本发明实施例一种可选的实施方式，图1所示实施例流程步骤S130可以包括：
按照待处理视频中各待处理视频帧的顺序，利用预设的平滑处理算法，依次对经对齐后的各待处理视频帧中的第一特征点进行平滑处理。
可以按照待处理视频中各待处理视频帧的先后顺序，对经对齐后的各待处理视频帧中的第一特征点进行平滑处理，例如，先对第一个待处理视频帧中的第一特征点进行平滑处理，接着对第二个待处理视频帧中的第一特征点进行平滑处理，以此类推。这样一来，使得对待处理视频帧中的第一特征点进行平滑处理的过程中，各待处理视频帧的处理顺序与待处理视频中各待处理视频帧的播放顺序相同。
图1所示实施例流程步骤S150，可以包括：
按照待处理视频中各待处理视频帧的顺序，将经图像变形处理后的各待处理视频帧，组成为动态图像。
在得到经图像变形处理后的各待处理视频帧后，这些待处理视频帧与待处理视频帧中的各待处理视频帧具有一一对应的关系，因此可以按照待处理视频中各待处理视频帧的先后顺序，将与各待处理视频帧对应的几个图像变形处理后的各待处理视频帧组成动态图像，这样一来，组成的动态图像中的待处理对象的对象状态的变化规则，与待处理视频中目标对象的对象状态的变化规则完全一致。
作为本发明实施例一种可选的实施方式，针对经对齐后的各待处理视频帧，执行如下平滑处理操作，其具体过程，可以为：
首先对卡尔曼滤波算法中使用到的各参数进行初始化，可以将提取到的待处理视频帧中的第一特征点的位置信息初始值设置为：
Figure BDA0002261204370000201
该初始值表示第一个待处理视频帧中的第一特征点的位置信息；可以将第一特征点的位置信息最优估计值的初始值设置为：
Figure BDA0002261204370000202
可以将状态转移矩阵设置为单位矩阵，例如，F＝[[1,0],[0,1]]；可以将协方差矩阵的初始值设置为一个较小值的对角阵，例如，P0＝[[1,0],[0,1]]，当然，在实际应用中，也可以根据具体情况对该协方差矩阵的初始值进行调整；可以将误差矩阵的初始值设置为一个较小的对角矩阵，例如，Q＝[[0.01,0],[0,0.01]]，同样的，在实际应用中，也可以根据具体情况，对该协方差矩阵的初始值进行调整；可以将观测矩阵的初始值设置为H＝[1,0]，将观测噪声协方差矩阵设置为一个较小的值，例如，R＝[1]。
利用如下表达式计算当前待处理视频帧的第一特征点的位置信息估计值：
Figure BDA0002261204370000211
式中，
Figure BDA0002261204370000212
表示第一特征点的位置信息估计值，F表示状态转移矩阵，
Figure BDA0002261204370000213
表示当前待处理视频帧的前一个已处理视频帧中的第一特征点的位置信息，i表示当前待处理视频帧在待处理视频中的位置，其中，当i等于1时，表示当前待处理视频帧为第一个待处理视频帧。由于与单位矩阵相乘的矩阵，相乘后的结果与该矩阵相同，即上式表示将当前待处理视频帧的前一已处理视频帧的第一特征点的位置信息，作为当前待处理视频帧的第一特征点的位置信息估计值。
利用如下表达式计算协方差矩阵估计值：
Figure BDA0002261204370000214
式中，
Figure BDA0002261204370000215
表示协方差矩阵估计值，F表示状态转移矩阵，Pi_1表示前一协方差矩阵，FT表示状态转移矩阵的转置矩阵，Q表示误差矩阵，i表示当前帧在待处理视频中的位置。根据该表达式可以计算得到协方差矩阵估计值，便于后续根据该协方差矩阵估计值计算当前卡尔曼增益。
利用如下表达式计算当前卡尔曼增益：
Figure BDA0002261204370000216
式中，Ki表示当前卡尔曼增益，
Figure BDA0002261204370000217
表示协方差矩阵估计值，H表示观测矩阵，HT表示观测矩阵的转置矩阵，R表示观测噪声协方差矩阵。
利用如下表达式计算当前待处理视频帧中的第一特征点的新的位置信息：
Figure BDA0002261204370000221
式中，
Figure BDA0002261204370000222
表示第一特征点的新的位置信息，
Figure BDA0002261204370000223
表示第一特征点的位置信息估计值，Ki表示当前卡尔曼增益，zi表示提取到的当前待处理视频帧中的第一特征点的位置信息，H表示观测矩阵。
利用如下表达式计算当前协方差矩阵：
Figure BDA0002261204370000224
式中，Pi表示当前协方差矩阵，表示单位矩阵，Ki表示当前卡尔曼增益，H表示观测矩阵，
Figure BDA0002261204370000225
表示协方差矩阵估计值，其中当前协方差矩阵为当前待处理视频帧对应的协方差矩阵。
从上述平滑处理的过程中可以看出，当前待处理视频帧对应的当前协方差矩阵，可以利用当前卡尔曼增益以及协方差矩阵估计值进行计算，而协方差矩阵估计值可以利用当前待处理视频帧的前一个待处理视频帧对应的协方差矩阵计算得到，因此当前协方差矩阵综合了当前待处理视频帧之前的所有待处理视频帧的协方差矩阵的信息；当前卡尔曼增益可以利用协方差矩阵估计值计算得到，当前待处理视频帧中的第一特征点的新的位置信息可以利用当前卡尔曼增益，以及提取到的当前待处理视频帧中的第一特征点的位置信息，和前一个待处理视频帧的第一特征点的位置信息最优估计值(即前一个已处理视频帧的第一特征点的位置信息)，因此，使得当前待处理视频帧中第一特征点的新的位置信息与前一个已处理视频帧的第一特征点的位置信息之间的误差较小，进而能够减少动态图像中待处理对象的脸部出现抖动的情况。
作为本发明实施例一种可选的实施方式，将各待处理视频帧的目标对象与待处理图像的待处理对象对齐的具体过程可以为：
为了便于对目标对象和待处理对象进行对齐处理，在提取到第一特征点和第二特征点之后，可以分别生成各待处理视频帧对应的第一特征点集合，以及生成待处理图像对应的第二特征点集合，第一特征点集合和第二特征点集合均可以用矩阵表示，第一特征点集合中的各元素表示第一特征点的位置信息，即第一特征点在该待处理视频帧中的坐标位置；同理，第二特征点集合中的各元素表示第二特征点在待处理图像中的位置信息，即第二特征点在该待处理图像中的坐标位置。
对于各待处理视频帧的第一特征点集合，与待处理图像的第二特征点集合，可以构造如下优化问题：
Figure BDA0002261204370000231
上式表示当LMimg-(S*Y*LMi+X)达到最小值时，S，Y，X的取值，式中，S表示旋转矩阵，Y表示尺寸变换矩阵，X表示平移矩阵，LMimg表示第二特征点集合，LMi表示各待处理视频帧对应的第一特征点集合，通过上式即可计算得到旋转矩阵、尺寸变换矩阵以及平移矩阵。
接着利用如下表达式对各待处理视频帧进行计算：
yalign-i＝S*R*yi+X
式中，Valign_i表示对齐后的各待处理视频帧，参照图2b，Vi表示对齐前的各待处理视频帧，参照图2a。
利用如下表达式对各待处理视频帧的第一特征点集合进行计算：
LMalign_i＝S*R*LMi+X
式中，LMalign_i表示对齐后的各待处理视频帧对应的第一特征点集合，LMi表示从个待处理视频帧中提取到的第一特征点组成的第一特征点集合。
作为本发明一种可选的实施方式，图1所述实施例流程步骤S140，可以包括：
第一步，利用经平滑处理后的第一特征点的位置信息，分别对各待处理视频帧进行三角剖分，得到多个第一三角形，并利用从待处理图像中提取的第二特征点的位置信息对待处理图像进行三角剖分，得到多个第二三角形。
如图6a所示，可以利用OpenCV库中的三角剖分算法，分别对经对齐后的各待处理视频帧进行三角剖分，得到多个第一三角形，且多个第一三角形中，每个第一三角形的三个顶点均为经平滑处理后的第一特征点；同理，如图6b所示，利用OpenCV库中的三角剖分算法，对待处理图像进行三角剖分，得到多个第二三角形，且多个第二三角形中，每个第二三角形的三个顶点均为第二特征点。当然，除所举的例子所示的实现方式以外，实现该特征的方式均属于本发明实施例的保护范围。
经三角剖分后，得到的多个第一三角形与多个第二三角形之间可以具有一一对应关系，便于后续基于该第一三角形和第二三角形之间的对应关系，对各待处理视频帧和待处理图像进行进一步处理。
示例性的，得到的第一三角形和第二三角形均可以表示为：
Figure BDA0002261204370000241
式中，每一行中的三个元素分别表示第一三角形或者第二三角形的三个顶点的位置信息，该位置信息例如可以是坐标位置，即上式中t1a，t1a，t1c，t2a，t2b，t2c，tma，tmb，tmc，分别表示第一三角形或者第二三角形的顶点的位置信息。
第二步，针对经三角剖分后的各待处理视频帧，基于多个第一三角形与多个第二三角形之间的对应关系，将第二三角形的各顶点拉伸至当前待处理视频帧中对应的第一三角形的顶点处，得到多张包含待处理对象的待处理视频帧。
如图6c所示，待处理图像中的人物的嘴部为闭合状态，将待处理图像中的各第二三角形的各顶点，拉伸至当前待处理视频帧中与第二三角形对应的第一三角形的各顶点处之后，由于当前待处理视频帧的人物的嘴部为张开状态，因此拉伸完成后得到的包含待处理对象的图像，人物嘴部也为张开状态。在拉伸的过程中，可以保留当前待处理视频帧中人物的牙齿。
本发明实施例提供的一种动态图像生成方法，在对各待处理视频帧的目标对象与待处理图像中的待处理对象进行对齐后，针对经对齐后的各待处理视频帧，基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，而无须预先提取当前待处理视频帧之后的待处理视频帧的第一特征点的位置信息，因此能够缩短对当前待处理视频帧的第一特征点的平滑处理过程中的耗时，不容易出现平滑处理所需的时间超过待处理视频中当前待处理视频帧与前一个待处理视频帧之间的播放时间间隔，进而能够减少动态图像中的待处理对象的对象状态出现显示滞后的问题。
本发明实施例提供了一种动态图像生成装置的一种具体实施例，与图1所示流程相对应，参考图7，图7为本发明实施例的一种动态图像生成装置的一种结构示意图，包括：
获取模块310，用于获取包含有目标对象的待处理视频和包含有待处理对象的待处理图像。
对齐模块320，用于从待处理视频的各待处理视频帧中分别提取第一特征点；从待处理图像中提取第二特征点；利用第一特征点和第二特征点，分别将各待处理视频帧的目标对象与待处理图像中的待处理对象进行对齐，得到经对齐后的各待处理视频帧，用于表征目标对象的预设部位的第一特征点，和用于表征待处理对象的该预设部位的第二特征点存在对应关系。
处理模块330，用于针对经对齐后的各待处理视频帧，执行如下平滑处理操作：基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，得到经平滑处理后的第一特征点。
变形模块340，用于根据第二特征点所表征出的待处理对象的对象状态，以及经平滑处理后的第一特征点所表征出的目标对象的对象状态，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象的对象状态具有相同或相似状态的各待处理视频帧。
生成模块350，用于利用经图像变形处理后的各待处理视频帧，生成动态图像。
作为本发明一种可选的实施方式，如图8所示，上述处理模块330，可以包括：
第一处理子模块331，用于针对待处理视频中的第一个待处理视频帧，利用第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理。
第二处理子模块332，用于针对待处理视频中除第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧中的第一特征点的位置信息，以及当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对当前待处理视频帧中的第一特征点进行平滑处理。
作为本发明一种可选的实施方式，如图9所示，上述处理模块330，可以包括：
第三处理子模块333，用于针对待处理视频中的第一个待处理视频帧，利用第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理。
第四处理子模块334，用于针对待处理视频中除第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对当前待处理视频帧中的第一特征点进行平滑处理。
作为本发明一种可选的实施方式，如图10所示，上述处理模块330，可以包括：
第一生成子模块335，针对各待处理视频帧中的第一个待处理视频帧，利用预设的初始协方差矩阵，生成该第一个待处理视频帧的卡尔曼增益。
第五处理子模块336，利用第一个待处理视频帧的卡尔曼增益以及第一个待处理视频帧中的各第一特征点的位置信息，对第一个待处理视频帧中的各第一特征点进行平滑处理，得到第一个待处理视频帧中的各第一特征点的新的位置信息。
第二生成子模块337，用于针对各待处理视频帧中除第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧的前一个待处理视频帧的协方差矩阵，生成当前卡尔曼增益，其中，其他待处理视频帧各自对应的协方差矩阵是基于该待处理视频帧的前一个待处理视频帧对应的协方差矩阵生成的，第一个待处理视频帧对应的协方差矩阵是基于初始协方差矩阵生成的。
第六处理子模块338，用于利用当前待处理视频帧的前一个已处理视频帧的各第一特征点的位置信息，当前卡尔曼增益，以及当前待处理视频帧的各第一特征点的位置信息，对当前待处理视频帧中的各第一特征点进行平滑处理，得到当前待处理视频帧中的各第一特征点的新的位置信息。
作为本发明一种可选的实施方式，当待处理对象和目标对象包含有人物对象时，上述变形模块340，具体用于：根据第二特征点所表征出的人物对象的人物表情和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的人物表情和/或动作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象具有相同或相似人物表情和/或动作的各待处理视频帧。
当待处理对象和目标对象包含有动物对象时，上述变形模块340，具体用于：根据第二特征点所表征出的动物对象的形态和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的形态和/或动作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象具有相同或相似形态/或动作的各待处理视频帧。
当待处理对象和目标对象包含有植物对象时，上述变形模块340，具体用于：根据第二特征点所表征出的植物对象的形态，以及经平滑处理后的第一特征点所表征出的目标对象的形态，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象具有相同或相似形态的各待处理视频帧。
当待处理对象和目标对象包含有物体对象时，上述变形模块340，具体用于：根据第二特征点所表征出的物体对象的操作，以及经平滑处理后的第一特征点所表征出的目标对象的操作，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象具有相同或相似操作的各待处理视频帧。
作为本发明一种可选的实施方式，上述处理模块330，具体用于：
按照待处理视频中各待处理视频帧的顺序，利用预设的平滑处理算法，依次对经对齐后的各待处理视频帧中的第一特征点进行平滑处理。
上述生成模块350，具体用于：
按照待处理视频中各待处理视频帧的顺序，将经图像变形处理后的各待处理视频帧，组成为动态图像。
本发明实施例提供的动态图像生成装置，在对各待处理视频帧的目标对象与待处理图像中的待处理对象进行对齐后，针对经对齐后的各待处理视频帧，基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，而无须预先提取当前待处理视频帧之后的待处理视频帧的第一特征点的位置信息，因此能够缩短对当前待处理视频帧的第一特征点的平滑处理过程中的耗时，不容易出现平滑处理所需的时间超过待处理视频中当前待处理视频帧与前一个待处理视频帧之间的播放时间间隔，进而能够减少动态图像中的待处理对象的对象状态出现显示滞后的问题。
本发明实施例还提供了一种电子设备，如图11所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。
存储器503，用于存放计算机程序。
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
获取包含有目标对象的待处理视频和包含有待处理对象的待处理图像。
从待处理视频的各待处理视频帧中分别提取第一特征点；从待处理图像中提取第二特征点；利用第一特征点和第二特征点，分别将各待处理视频帧的目标对象与待处理图像中的待处理对象进行对齐，得到经对齐后的各待处理视频帧，用于表征目标对象的预设部位的第一特征点，和用于表征待处理对象的该预设部位的第二特征点存在对应关系。
针对经对齐后的各待处理视频帧，执行如下平滑处理操作：基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，得到经平滑处理后的第一特征点。
根据第二特征点所表征出的待处理对象的对象状态，以及经平滑处理后的第一特征点所表征出的目标对象的对象状态，对经对齐后的各待处理视频帧和待处理图像分别进行图像变形处理，得到与目标对象的对象状态具有相同或相似状态的各待处理视频帧。
利用经图像变形处理后的各待处理视频帧，生成动态图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一动态图像生成方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一动态图像生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种动态图像生成方法，其特征在于，所述方法包括：
获取包含有目标对象的待处理视频和包含有待处理对象的待处理图像；
从所述待处理视频的各待处理视频帧中分别提取第一特征点；从所述待处理图像中提取第二特征点；利用所述第一特征点和所述第二特征点，分别将各所述待处理视频帧的目标对象与所述待处理图像中的待处理对象进行对齐，得到经对齐后的各待处理视频帧，用于表征所述目标对象的预设部位的所述第一特征点，和用于表征所述待处理对象的该预设部位的所述第二特征点存在对应关系；
针对经对齐后的各待处理视频帧，执行如下平滑处理操作：基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，得到经平滑处理后的第一特征点；
根据所述第二特征点所表征出的待处理对象的对象状态，以及经平滑处理后的第一特征点所表征出的目标对象的对象状态，对所述待处理图像进行图像变形处理，得到包括所述待处理对象的各待处理视频帧，其中，所述待处理对象具有与所述目标对象的对象状态相同或相似的状态；
利用经图像变形处理后的各待处理视频帧，生成动态图像；
其中，所述针对经对齐后的各待处理视频帧，执行如下平滑处理操作的步骤，包括：
针对所述待处理视频中的第一个待处理视频帧，利用所述第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理；
针对所述待处理视频中除所述第一个待处理视频帧外的其他待处理视频帧，利用所述当前待处理视频帧中的第一特征点的位置信息，以及所述当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对所述当前待处理视频帧中的第一特征点进行平滑处理；或，利用所述当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对所述当前待处理视频帧中的第一特征点进行平滑处理。
2.根据权利要求1所述的方法，其特征在于，所述预设的平滑处理算法为卡尔曼滤波算法，则所述针对经对齐后的各待处理视频帧，执行如下平滑处理操作的步骤，包括：
针对各所述待处理视频帧中的第一个待处理视频帧，利用预设的初始协方差矩阵，生成该第一个待处理视频帧的卡尔曼增益；
利用所述第一个待处理视频帧的卡尔曼增益以及所述第一个待处理视频帧中的各第一特征点的位置信息，对所述第一个待处理视频帧中的各第一特征点进行平滑处理，得到所述第一个待处理视频帧中的各第一特征点的新的位置信息；
针对各所述待处理视频帧中除所述第一个待处理视频帧外的其他待处理视频帧，利用当前待处理视频帧的前一个待处理视频帧的协方差矩阵，生成当前卡尔曼增益，其中，所述其他待处理视频帧各自对应的协方差矩阵是基于该待处理视频帧的前一个待处理视频帧对应的协方差矩阵生成的，所述第一个待处理视频帧对应的协方差矩阵是基于所述初始协方差矩阵生成的；
利用所述当前待处理视频帧的前一个已处理视频帧的各第一特征点的位置信息，所述当前卡尔曼增益，以及所述当前待处理视频帧的各第一特征点的位置信息，对所述当前待处理视频帧中的各第一特征点进行平滑处理，得到所述当前待处理视频帧中的各第一特征点的新的位置信息。
3.根据权利要求1所述的方法，其特征在于，当所述待处理对象和所述目标对象包含有人物对象时，则所述对所述待处理图像进行图像变形处理，具体包括：根据所述第二特征点所表征出的人物对象的人物表情和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的人物表情和/或动作，对所述待处理图像进行图像变形处理，得到包括所述待处理对象的各待处理视频帧，其中，所述待处理对象具有与所述目标对象相同或相似人物表情和/或动作；
当所述待处理对象和所述目标对象包含有动物对象时，则所述对经对齐后的各待处理视频帧和所述待处理图像进行图像变形处理，具体包括：根据所述第二特征点所表征出的动物对象的形态和/或动作，以及经平滑处理后的第一特征点所表征出的目标对象的形态和/或动作，对所述待处理图像进行图像变形处理，得到包括所述待处理对象的各待处理视频帧，其中，所述待处理对象具有与所述目标对象相同或相似形态和/或动作；
当所述待处理对象和所述目标对象包含有植物对象时，则所述对经对齐后的各待处理视频帧和所述待处理图像进行图像变形处理，具体包括：根据所述第二特征点所表征出的植物对象的形态，以及经平滑处理后的第一特征点所表征出的目标对象的形态，对所述待处理图像进行图像变形处理，得到包括所述待处理对象的各待处理视频帧，其中，所述待处理对象具有与所述目标对象相同或相似形态；
当所述待处理对象和所述目标对象包含有物体对象时，则所述对经对齐后的各待处理视频帧和所述待处理图像进行图像变形处理，具体包括：根据所述第二特征点所表征出的物体对象的操作，以及经平滑处理后的第一特征点所表征出的目标对象的操作，对所述待处理图像进行图像变形处理，得到包括所述待处理对象的各待处理视频帧，其中，所述待处理对象具有与所述目标对象相同或相似操作。
4.根据权利要求1所述的方法，其特征在于，所述针对经对齐后的各待处理视频帧，利用预设的平滑处理算法对各待处理视频帧中的第一特征点进行平滑处理的步骤，包括：
按照所述待处理视频中各待处理视频帧的顺序，利用预设的平滑处理算法，依次对经对齐后的各待处理视频帧中的第一特征点进行平滑处理；
所述利用经图像变形处理后的各待处理视频帧，生成动态图像的步骤，包括：
按照所述待处理视频中各待处理视频帧的顺序，将所述经图像变形处理后的各所述待处理视频帧，组成为所述动态图像。
5.一种动态图像生成装置，其特征在于，所述装置包括：
获取模块，用于获取包含有目标对象的待处理视频和包含有待处理对象的待处理图像；
对齐模块，用于从所述待处理视频的各待处理视频帧中分别提取第一特征点；从所述待处理图像中提取第二特征点；利用所述第一特征点和所述第二特征点，分别将各所述待处理视频帧的目标对象与所述待处理图像中的待处理对象进行对齐，得到经对齐后的各待处理视频帧，用于表征所述目标对象的预设部位的所述第一特征点，和用于表征所述待处理对象的该预设部位的所述第二特征点存在对应关系；
处理模块，用于针对经对齐后的各待处理视频帧，执行如下平滑处理操作：基于当前待处理视频帧自身所包含的第一特征点的位置信息，和/或该当前待处理视频帧之前的已处理视频帧所包含的第一特征点的位置信息，利用预设的平滑处理算法对当前待处理视频帧中的第一特征点进行平滑处理，得到经平滑处理后的第一特征点；
变形模块，用于根据所述第二特征点所表征出的待处理对象的对象状态，以及经平滑处理后的第一特征点所表征出的目标对象的对象状态，对所述待处理图像进行图像变形处理，得到包括所述待处理对象的各待处理视频帧，其中，所述待处理对象具有与所述目标对象的对象状态相同或相似的状态；
生成模块，用于利用经图像变形处理后的各待处理视频帧，生成动态图像；
其中，所述处理模块，包括：
第一处理子模块，用于针对所述待处理视频中的第一个待处理视频帧，利用所述第一个待处理视频帧中的第一特征点的位置信息，对该待处理视频帧中的第一特征点进行平滑处理；
第二处理子模块，用于针对所述待处理视频中除所述第一个待处理视频帧外的其他待处理视频帧，利用所述当前待处理视频帧中的第一特征点的位置信息，以及所述当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对所述当前待处理视频帧中的第一特征点进行平滑处理；或，利用所述当前待处理视频帧之前的一个或多个已处理视频帧中的第一特征点的位置信息，对所述当前待处理视频帧中的第一特征点进行平滑处理。
6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201911071887.2A 2019-11-05 2019-11-05 动态图像生成方法、装置、电子设备及存储介质 Active CN110856014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911071887.2A CN110856014B (zh) 2019-11-05 2019-11-05 动态图像生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911071887.2A CN110856014B (zh) 2019-11-05 2019-11-05 动态图像生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110856014A CN110856014A (zh) 2020-02-28
CN110856014B true CN110856014B (zh) 2023-03-07

Family

ID=69599513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911071887.2A Active CN110856014B (zh) 2019-11-05 2019-11-05 动态图像生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110856014B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184593A (zh) * 2020-10-14 2021-01-05 北京字跳网络技术有限公司 关键点确定方法、装置、设备和计算机可读介质
CN112233207A (zh) * 2020-10-16 2021-01-15 北京字跳网络技术有限公司 图像处理方法、装置、设备和计算机可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN109087238A (zh) * 2018-07-04 2018-12-25 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备以及计算机可读存储介质
CN109241810A (zh) * 2017-07-10 2019-01-18 腾讯科技（深圳）有限公司 虚拟角色图像的构建方法及装置、存储介质
CN109711362A (zh) * 2018-12-29 2019-05-03 深圳有咖互动科技有限公司 人脸表情提取方法、电子设备以及存储介质
CN109952594A (zh) * 2017-10-18 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN110163054A (zh) * 2018-08-03 2019-08-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法和装置
CN110324663A (zh) * 2019-07-01 2019-10-11 北京奇艺世纪科技有限公司 一种动态图像的生成方法、装置、电子设备和存储介质
CN110347877A (zh) * 2019-06-27 2019-10-18 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330023B1 (en) * 1994-03-18 2001-12-11 American Telephone And Telegraph Corporation Video signal processing systems and methods utilizing automated speech analysis
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
JP4819024B2 (ja) * 2007-12-06 2011-11-16 日本電信電話株式会社 画像符号化・復号化方法及びシステム
US8744420B2 (en) * 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
JP5740885B2 (ja) * 2010-09-21 2015-07-01 セイコーエプソン株式会社 表示装置、及び、表示方法
CN102547462B (zh) * 2010-12-28 2016-08-17 联想(北京)有限公司 信息推送系统
CN102222363B (zh) * 2011-07-19 2012-10-03 杭州实时数码科技有限公司 从人脸图像快速构建高精度个性化人脸模型的方法
TWI456984B (zh) * 2011-10-24 2014-10-11 Univ Nat Central 視訊穩定系統及其方法
CN104182718B (zh) * 2013-05-21 2019-02-12 深圳市腾讯计算机系统有限公司 一种人脸特征点定位方法及装置
US9277129B2 (en) * 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
WO2016028813A1 (en) * 2014-08-18 2016-02-25 Groopic, Inc. Dynamically targeted ad augmentation in video
US9838604B2 (en) * 2015-10-15 2017-12-05 Ag International Gmbh Method and system for stabilizing video frames
CN105681663B (zh) * 2016-02-26 2018-06-22 北京理工大学 一种基于帧间运动几何平滑性的视频抖动检测方法
CN107147949B (zh) * 2017-05-05 2020-05-05 中广热点云科技有限公司 一种直播时移的播放进度操控方法及系统
CN109040575B (zh) * 2017-06-09 2020-12-08 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质
CN107633526B (zh) * 2017-09-04 2022-10-14 腾讯科技（深圳）有限公司 一种图像跟踪点获取方法及设备、存储介质
CN108307200B (zh) * 2018-01-31 2020-06-09 深圳积木易搭科技技术有限公司 一种在线视频拼接方法系统
CN109685839B (zh) * 2018-12-20 2023-04-18 广州华多网络科技有限公司 图像对齐方法、移动终端以及计算机存储介质
CN109819313B (zh) * 2019-01-10 2021-01-08 腾讯科技（深圳）有限公司 视频处理方法、装置及存储介质
CN110147722A (zh) * 2019-04-11 2019-08-20 平安科技（深圳）有限公司 一种视频处理方法、视频处理装置及终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426182A (zh) * 2013-07-09 2013-12-04 西安电子科技大学 基于视觉注意机制的电子稳像方法
CN109241810A (zh) * 2017-07-10 2019-01-18 腾讯科技（深圳）有限公司 虚拟角色图像的构建方法及装置、存储介质
CN109952594A (zh) * 2017-10-18 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN109087238A (zh) * 2018-07-04 2018-12-25 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备以及计算机可读存储介质
CN110163054A (zh) * 2018-08-03 2019-08-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法和装置
CN109711362A (zh) * 2018-12-29 2019-05-03 深圳有咖互动科技有限公司 人脸表情提取方法、电子设备以及存储介质
CN110347877A (zh) * 2019-06-27 2019-10-18 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备及存储介质
CN110324663A (zh) * 2019-07-01 2019-10-11 北京奇艺世纪科技有限公司 一种动态图像的生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN110856014A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
US11450349B2 (en) Real time video processing for changing proportions of an object in the video
Bako et al. Kernel-predicting convolutional networks for denoising Monte Carlo renderings.
TWI721510B (zh) 雙目圖像的深度估計方法、設備及儲存介質
US11176355B2 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
CN108337551B (zh) 一种屏幕录制方法、存储介质及终端设备
US10102635B2 (en) Method for moving object detection by a Kalman filter-based approach
WO2009113144A1 (ja) 対象物追跡装置および対象物追跡方法
CN111161395B (zh) 一种人脸表情的跟踪方法、装置及电子设备
US8903139B2 (en) Method of reconstructing three-dimensional facial shape
JPWO2009113231A1 (ja) 画像処理装置および画像処理方法
TW200840365A (en) Motion-blur degraded image restoration method
WO2021232963A1 (zh) 视频去噪方法、装置、移动终端和存储介质
CN110856014B (zh) 动态图像生成方法、装置、电子设备及存储介质
US20140168204A1 (en) Model based video projection
Jiang et al. Efficient noise-level estimation based on principal image texture
CN113688907A (zh) 模型训练、视频处理方法，装置，设备以及存储介质
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及系统
US10791321B2 (en) Constructing a user's face model using particle filters
CN103871035B (zh) 图像去噪方法及装置
CN109978928B (zh) 一种基于加权投票的双目视觉立体匹配方法及其系统
Tao et al. LEGAN: A low-light image enhancement generative adversarial network for industrial internet of smart-cameras
JP4750758B2 (ja) 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体
CN113497886B (zh) 视频处理方法、终端设备及计算机可读存储介质
RU2276407C2 (ru) Способ и устройство для сегментации фона на основе локализации движения
CN109685839B (zh) 图像对齐方法、移动终端以及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant