CN110853124A - 生成gif动态图的方法、装置、电子设备及介质 - Google Patents

生成gif动态图的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN110853124A
CN110853124A CN201910875159.0A CN201910875159A CN110853124A CN 110853124 A CN110853124 A CN 110853124A CN 201910875159 A CN201910875159 A CN 201910875159A CN 110853124 A CN110853124 A CN 110853124A
Authority
CN
China
Prior art keywords
key frame
frame data
data
target
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910875159.0A
Other languages
English (en)
Other versions
CN110853124B (zh
Inventor
彭冬炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910875159.0A priority Critical patent/CN110853124B/zh
Publication of CN110853124A publication Critical patent/CN110853124A/zh
Application granted granted Critical
Publication of CN110853124B publication Critical patent/CN110853124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种生成GIF动态图的方法、装置、电子设备及介质。其中,本申请中,当获取至少包含两个关键帧数据的目标视频数据之后,可以进一步的提取目标视频数据中的关键帧数据,并基于关键帧数据,生成目标GIF动态图。通过应用本申请的技术方案,可以自动从视频数据中提取对应的关键帧数据,并根据该关键帧数据生成GIF动态图。从而可以避免相关技术中存在的需要人工合成GIF动态图而导致的生成时间较长的问题。

Description

生成GIF动态图的方法、装置、电子设备及介质
技术领域
本申请中涉及图像处理技术,尤其是一种生成GIF动态图的方法、装置、电子设备及介质。
背景技术
由于通信时代和社会的兴起,智能设备已经随着越来越多用户的使用而不断发展。
其中,随着互联网的飞速发展,人们使用智能设备观看各类视频已经成为了一种常态,例如短视频,GIF动态图等等。其中,GIF(Graphics Interchange Format,图形互换格式)是一种可以存储多幅图片的文件格式,通过从GIF文件存储的多幅图片中循环逐幅读出图片并显示到屏幕上,可以构成一种简单循环播放的动画。
然而,在相关技术生成GIF动态图的过程中,常常存在因为人工选取图像而导致的生成时间过长的问题。
发明内容
本申请实施例提供一种生成GIF动态图的方法、装置、电子设备及介质。
其中,根据本申请实施例的一个方面,提供的一种生成GIF动态图的方法,其特征在于,包括:
获取目标视频数据,所述目标视频数据中至少包含两个关键帧数据;
提取所述目标视频数据中的所述关键帧数据;
基于所述关键帧数据,生成目标GIF动态图。
根据本申请实施例的另一个方面,提供的一种生成GIF动态图的装置,包括:
获取模块,被设置为获取目标视频数据,所述目标视频数据中至少包含两个关键帧数据;
提取模块,被设置为提取所述目标视频数据中的所述关键帧数据;
生成模块,被设置为基于所述关键帧数据,生成目标GIF动态图。
根据本申请实施例的又一个方面,提供的一种电子设备,包括:
存储器,用于存储可执行指令;以及
显示器,用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述生成GIF动态图的方法的操作。
根据本申请实施例的还一个方面,提供的一种计算机可读存储介质,用于存储计算机可读取的指令,所述指令被执行时执行上述任一所述生成GIF动态图的方法的操作。
本申请中,当获取至少包含两个关键帧数据的目标视频数据之后,可以进一步的提取目标视频数据中的关键帧数据,并基于关键帧数据,生成目标GIF 动态图。通过应用本申请的技术方案,可以自动从视频数据中提取对应的关键帧数据,并根据该关键帧数据生成GIF动态图。从而可以避免相关技术中存在的需要人工合成GIF动态图而导致的生成时间较长的问题。
下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例,并且连同描述一起用于解释本申请的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:
图1为本申请提出的一种生成GIF动态图的方法的示意图;
图2为本申请生成GIF动态图的装置的结构示意图。
图3为本申请显示电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
需要说明,本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,本申请各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
下面结合图1来描述根据本申请示例性实施方式的用于进行生成GIF动态图的方法。需要注意的是,下述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种生成GIF动态图的方法、装置、目标终端及介质。
图1示意性地示出了根据本申请实施方式的一种生成GIF动态图的方法的流程示意图。如图1所示,该方法包括:
S101,获取目标视频数据,目标视频数据中至少包含两个关键帧数据。
首先,本申请中不对目标视频数据做具体限定,例如可以为长视频数据,也可以为短视频数据。需要说明的是,该目标视频数据中至少需要包含两个关键帧数据。
其中,在视频数据中,包含有可视为随时间连续变换的许多张画面,而帧则指这些画面当中的每一张。通常来说,一般的视频数据中包含三种类型的帧图像。分别为关键帧I帧(Inter Frame),非关键帧P帧(P-Frame)以及B帧 (B-Frame)。进一步的,I帧即为视频数据中的关键帧数据,也即当获得I帧的数据之后,就可以直接解码出当前帧的图像,对于P帧和B帧来说,他们所包含的内容可以理解为针对其参考帧的一个patch,也就是一个变化量,所以他们不用包含整个图像的信息,只要描述好与参考帧之间的变化关系即可。
更进一步的,由于关键帧I帧的信息量较大,为了初步去除大量冗余信息并节省计算资源,可利用ffmpeg等工具对视频文件提取关键帧。本申请中,不对提取关键帧的数量做具体限定。
还需要说明的是,本申请中不对获取目标视频数据的设备做具体限定,例如可以为智能设备,也可以为服务器。其中,智能设备可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts GroupAudioLayer III,动态影像专家压缩标准音频层面3) 播放器、MP4(Moving PictureExpertsGroup Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备等等。
S102,提取目标视频数据中的关键帧数据。
本申请中在获取目标视频数据后,可以进一步的提取该视频数据中的各个关键帧数据。需要说明的是,本申请不对提取关键帧的数量以及位置做具体限定。例如可以提取视频数据中前5帧的关键帧,也可以提取视频数据中的全部关键帧。
S103,基于关键帧数据,生成目标GIF动态图。
可选的,本申请在基于多个关键帧数据生成GIF动态图的时候,不对各关键帧数据的顺序做具体限定。例如可以按照各关键帧的时间序列排序,按照时间序列从远到近的顺序,依次排列进而生成目标GIF动态图。又或,也可以按照用户指定的帧图像顺序,将该多张帧图像生成目标GIF动态图。
本申请中,当获取至少包含两个关键帧数据的目标视频数据之后,可以进一步的提取目标视频数据中的关键帧数据,并基于关键帧数据,生成目标GIF 动态图。通过应用本申请的技术方案,可以自动从视频数据中提取对应的关键帧数据,并根据该关键帧数据生成GIF动态图。从而可以避免相关技术中存在的需要人工合成GIF动态图而导致的生成时间较长的问题。
在本申请一种可能的实施方式中,在S102(提取所述目标视频数据中的所述关键帧数据)之后,可以通过以下方式实现:
基于卷积神经网络模型,对关键帧数据进行筛除,得到目标关键帧数据;
基于目标关键帧数据,生成目标GIF动态图。
可选的,在基于卷积神经网络模型,对关键帧数据进行筛除,得到目标关键帧数据的过程中,可以通过以下步骤实现:
基于卷积神经网络模型,提取各关键帧数据中的特征信息,确定各关键帧数据对应的特征数据;
其中,卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习的代表算法之一。卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类。得益于CNN (卷积神经网络)对图像的强大特征表征能力,其在图像分类、目标检测、语义分割等领域都取得了令人瞩目的效果。
进一步的,本申请可以使用CNN神经网络模型中的提取各关键帧中的特征信息。其中,需要将各关键帧图像输入至预设的卷积神经网络模型中,并将卷积神经网络模型最后一层全连接层(FC,fully connected layer)的输出作为对该关键帧图像对应的特征数据。
另外,本申请不对提取各关键帧数据中的特征信息的方式做具体限定,例如除了可以利用CNN神经网络模型进行提取特征信息之外,还可以利用其它图像检测技术来获取各关键帧数据中的特征信息。
还需要说明的是,本申请在利用卷积神经网络模型,确定各关键帧数据对应的特征数据之前,还需要首先获取该卷积神经网络模型:
获取样本图像,其中,样本图像包括至少一个样本特征;
利用样本图像对预设的神经网络图像分类模型进行训练,得到满足预设条件的卷积神经网络模型。
可选的,对于所使用的神经网络图像分类模型,一种实施方式中,可以通过样本图像对神经网络图像分类模型进行训练。具体地,可以获取样本图像,并利用样本图像对预设的神经网络图像分类模型进行训练,得到满足预设条件的神经网络图像分类模型。
进一步的,根据各关键帧数据对应的特征数据,计算各关键帧数据之间的第一相似度匹配值;
基于各关键帧数据之间的第一相似度匹配值,对关键帧数据进行筛除,得到目标关键帧数据。
首先需要说明的是,在本申请中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
其中,本申请中在基于各关键帧数据之间的第一相似度匹配值,对关键帧数据进行筛除,得到目标关键帧数据的过程中,具体可以通过以下方式实现:
获取第一关键帧数据,第一关键帧数据为各关键帧数据中,时间序列最早的关键帧数据;
进一步的,在各关键帧数据中,我们首先可以获取其中第一帧关键帧数据,并以此作为标准帧。对比后续的关键帧进行筛除。
基于第一关键帧数据以及其他各关键帧数据对应的特征数据,分别计算各关键帧数据之间的相似度匹配值,将相似度匹配值大于第一预设阈值的关键帧数据进行筛除,得到第一待处理帧数据;
可选的,本申请不对根据第一关键帧数据以及其他各关键帧数据对应的特征数据,对关键帧数据进行筛除的方式做具体限定。在其中一种优选的实施方式中,可以将第一关键帧作为基准,后续关键帧与基准关键帧基于特征数据计算相似度匹配值,当该相似度匹配值大于第一预设阈值时,则删除该关键帧,否则保留。进一步的,再后续的关键帧与之前保留下来的所有关键帧分别逐一计算相似度匹配值,只要有一个相似度匹配值大于第一预设阈值则删除该关键帧,此筛选过程一直持续到最后一个关键帧为止。可以理解的,保留下来的所有关键帧数据即为第一待处理帧数据。
举例来说,以提取的目标视频数据中包含5个关键帧数据为例,根据时间序列排序依次为I1、I2、I3、I4、I5。首先,需要获取其中的I1作为第一关键帧(时间序列最早的关键帧数据),并将I1作为基准帧。进一步的,可以由I2 与I1进行特征数据的相似度匹配,以生成对应的相似度匹配值V1,当检测到 V1小于第一预设阈值时,将I2进行保留。进而由I3分别与I1以及I2进行特征数据的相似度匹配,以生成对应的相似度匹配值V2。当检测到V2大于第一预设阈值时,将I3进行筛除。在进一步的,由I4分别与I2与I1进行特征数据的相似度匹配,以生成对应的相似度匹配值V3,当检测到V3小于第一预设阈值时,将I4进行保留。最后,将由I5分别与I4、I2与I1进行特征数据的相似度匹配,以生成对应的相似度匹配值V4,当检测到V4小于第一预设阈值时,将I5进行保留。可以理解的,第一待处理帧数据即为包含I1、I2、I4、I5的四个关键帧数据。
需要说明的是,本申请中不对第一预设阈值做具体限定,例如第一预设阈值可以为百分之80,第一预设阈值也可以为百分之50。
在本申请另外一种实施方式中,在基于卷积神经网络模型,对关键帧数据进行筛除之后,还可以实施如下步骤:
基于卷积神经网络模型,对各关键帧数据之间的第二相似度匹配值大于第二预设阈值的关键帧数据进行筛除,得到第二待处理帧数据;
可选的,本申请中在基于卷积神经网络模型,检测各关键帧数据中的特征信息,进而确定各关键帧数据对应的特征数据后,进一步的根据各关键帧数据对应的特征数据,计算各关键帧数据之间的第二相似度匹配值,并将各关键帧数据之间的第二相似度匹配值大于第二预设阈值的关键帧数据进行筛除,得到第二待处理帧数据。
计算第二待处理帧数据中的帧数量;
需要说明的是,由于GIF动态图是一种小数据量的动态视频,因此不宜将其设置为过长的数据视频。进一步的,本申请可以检测该第二待处理帧数据中的帧数量,以保证GIF动态图的生成质量。
当确定第二待处理关键帧中的帧数量不大于第二预设阈值时,将第二待处理关键帧数据作为目标关键帧数据。
可以理解的,当检测到第二待处理关键帧中的帧数量小于或等于第二预设阈值时,才可将第二待处理关键帧数据作为后续生成GIF动态图的目标关键帧数据。
需要说明的是,本申请不对第二预设阈值做具体限定,例如可以为10张,也可以为20张。
进一步可选的,当确定第二待处理关键帧的帧数量大于第二预设阈值时,根据第二待处理关键帧中各关键帧数据对应的特征数据,计算第二待处理关键帧中各关键帧数据之间的第三相似度匹配值;
对各关键帧数据之间相似度匹配值大于第三预设阈值的关键帧数据进行筛除,得到第三待处理帧数据;
可以理解的,当检测到第二待处理关键帧的帧数量大于第二预设阈值时,为了保证GIF动态图的生成质量,则需要对第二待处理关键帧进行进一步的筛除,以保证帧图像的数量不超过阈值。因此,本申请可以基于与得到第一待处理关键帧同样的方法,以第二预设阈值为标准参数。将第二待处理关键帧中的各关键帧数据进行进一步的筛除。从而得到第三待处理帧数据。由于根据第二待处理关键帧中各关键帧数据对应的特征数据,计算第二待处理关键帧中各关键帧数据之间的第三相似度匹配值的方法上述已经提及,在此不再赘述。
当确定第三待处理帧数据中的帧数量不大于第二预设阈值时,将第三待处理关键帧作为目标关键帧数据。
同样的,当获取到第三待处理帧数据后,需要对其进行帧数量的检测,并在确定其帧数量不大于第二预设阈值时,将第三待处理关键帧作为目标关键帧数据。
可以理解的,当第三待处理帧数据的帧数量依旧大于第二预设阈值时,则需要以更好的标准继续对第三待处理帧数据中的各帧数据进行筛除。直至得到帧数量符合第二预设阈值的待处理帧数据为止。
同样的,本申请不对第三预设阈值做具体限定,例如第三预设阈值可以为百分之70,第一预设阈值也可以为百分之50。另外,第三预设阈值应为数值大于第一预设阈值的数值。
另外,对于本申请来说,在生成目标GIF动态图的方式中,还可以基于多个关键帧数据中的分类标签,来生成目标GIF动态图。
例如,进一步的,本申请中在确定多个关键帧之后,可以基于预设的策略,将该多个关键帧数据划分为至少一个图像组。其中,本申请不对预设方式做具体限定,例如可以根据多个关键帧数据中,每一类别的关键帧数据进行分组,从而生成多个不同的图像组。也可以根据多个关键帧数据中,每一关键帧数据的生成时间进行分组,从而生成多个不同的图像组。还可以根据多个关键帧数据中,各关键帧数据对应的参数信息进行分组,从而生成多个不同的图像组。预设方式的变化并不会影响本申请的保护范围。
举例来说,本申请可以根据图像内容将多个关键帧划分到多个组中,比如一个短视频前半段是人物自拍、中间是宠物、最后部分是周边风景。本申请可以根据这些内容对关键帧进行划分可使用聚类算法,以使自动生成三个相应的 GIF动态图。其中,对关键帧进行划分可使用聚类算法,聚类是将相似的对象归到同一个簇中,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起,不同数据尽量分离。
也就是说,本申请可以基于聚类算法,将多个关键帧按照不同类别,聚类成多个图像组。并根据用户的指定,选取其中的目标图像组作为最终图像组以生成目标GIF动态图。可以理解的,不同的图像组有不同的内容主题。且同一图像组中的视频帧内容是相近的。因此,对于每个图像组来讲,可以按照其中的图像帧按原来的播放时间顺序进行排列展示,以生成一个对应的GIF动态图,最终可依据多个图像组自动生成多个GIF动态图。
可选的,本申请在基于目标图像组生成目标GIF动态图的时候,不对各图像帧数据的顺序做具体限定。例如可以按照各图像帧的时间序列排序,按照时间序列从远到近的顺序,依次排列进而生成目标GIF动态图。又或,也可以按照用户指定的帧图像顺序,将该多张关键帧图像生成目标GIF动态图。
在本申请的另外一种实施方式中,如图2所示,本申请还提供一种生成GIF 动态图的装置,该装置包括获取模块201,确定模块202,发送模块203,其中,
获取模块201,被设置为获取目标视频数据,所述目标视频数据中至少包含两个关键帧数据;
确定模块202,被设置为提取所述目标视频数据中的所述关键帧数据;
发送模块203,被设置为基于所述关键帧数据,生成目标GIF动态图。
本申请中,当获取至少包含两个关键帧数据的目标视频数据之后,可以进一步的提取目标视频数据中的关键帧数据,并基于关键帧数据,生成目标GIF 动态图。通过应用本申请的技术方案,可以自动从视频数据中提取对应的关键帧数据,并根据该关键帧数据生成GIF动态图。从而可以避免相关技术中存在的需要人工合成GIF动态图而导致的生成时间较长的问题。
在本申请的另一种实施方式中,生成模块203,还包括,筛除单元,生成单元,其中:
筛除单元,被配置为基于卷积神经网络模型,对所述关键帧数据进行筛除,得到目标关键帧数据;
生成单元,被配置为基于所述目标关键帧数据,生成所述目标GIF动态图。
在本申请的另一种实施方式中,生成模块203,还包括,检测单元,计算单元,其中:
检测单元,被配置为基于所述卷积神经网络模型,检测各所述关键帧数据中的特征信息,确定各所述关键帧数据对应的特征数据;
计算单元,被配置为根据各所述关键帧数据对应的特征数据,计算各所述关键帧数据之间的第一相似度匹配值;
生成单元,被配置为基于各所述关键帧数据之间的第一相似度匹配值,对所述关键帧数据进行筛除,得到所述目标关键帧数据。
在本申请的另一种实施方式中,生成模块203,还包括,获取单元,确定单元,其中:
获取单元,被配置为获取第一关键帧数据,所述第一关键帧数据为各所述关键帧数据中,时间序列最早的关键帧数据;
获取单元,被配置为基于所述第一关键帧数据以及其他各所述关键帧数据对应的特征数据,分别计算各所述关键帧数据之间的相似度匹配值,将相似度匹配值大于第一预设阈值的关键帧数据进行筛除,得到第一待处理帧数据;
确定单元,被配置为将所述第一待处理帧数据作为所述目标关键帧数据。
在本申请的另一种实施方式中,生成模块203,还包括:
获取单元,被配置为基于所述卷积神经网络模型,对各所述关键帧数据之间第二相似度匹配值大于第二预设阈值的关键帧数据进行筛除,得到第二待处理帧数据;
计算单元,被配置为计算所述第二待处理帧数据中的帧数量;
确定单元,被配置为当确定所述第二待处理关键帧中的帧数量不大于第二预设阈值时,将所述第二待处理关键帧数据作为所述目标关键帧数据。
在本申请的另一种实施方式中,生成模块203,还包括:
计算单元,被配置为当确定所述第二待处理关键帧的帧数量大于所述第二预设阈值时,根据所述第二待处理关键帧中各所述关键帧数据对应的特征数据,计算所述第二待处理关键帧中各所述关键帧数据之间的第三相似度匹配值;
获取单元,被配置为对各所述关键帧数据之间相似度匹配值大于第三预设阈值的关键帧数据进行筛除,得到第三待处理帧数据,所述第三预设阈值为大于所述第一预设阈值的阈值;
确定单元,被配置为当确定所述第三待处理帧数据中的帧数量不大于所述第二预设阈值时,将所述第三待处理关键帧作为所述目标关键帧数据。
在本申请的另一种实施方式中,还包括,获取模块204,其中:
获取模块204,被配置为获取样本图像,其中,所述样本图像包括至少一个样本特征;
获取模块204,被配置为利用所述样本图像对预设的神经网络图像分类模型进行训练,得到满足预设条件的所述卷积神经网络模型。
图3是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如,电子设备300可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图3,电子设备300可以包括以下一个或多个组件:处理器301和存储器302。
处理器301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing,数字信号处理)、 FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA (Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器301可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器301还可以包括AI(Artificial Intelligence,人工智能)处理器,该 AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的互动特效标定方法。
在一些实施例中,电子设备300还可选包括有:外围设备接口303和至少一个外围设备。处理器301、存储器302和外围设备接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口 303相连。具体地,外围设备包括:射频电路304、触摸显示屏305、摄像头306、音频电路307、定位组件308和电源309中的至少一种。
外围设备接口303可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中,处理器301、存储器302和外围设备接口303被集成在同一芯片或电路板上;在一些其他实施例中,处理器301、存储器302和外围设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路304包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路304还可以包括NFC(Near Field Communication,近距离无线通信) 有关的电路,本申请对此不加以限定。
显示屏305用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时,显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时,显示屏305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏305可以为一个,设置电子设备300的前面板;在另一些实施例中,显示屏305可以为至少两个,分别设置在电子设备300的不同表面或呈折叠设计;在再一些实施例中,显示屏305可以是柔性显示屏,设置在电子设备 300的弯曲表面上或折叠面上。甚至,显示屏305还可以设置成非矩形的不规则图形,也即异形屏。显示屏305可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地,摄像头组件306包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及 VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器301进行处理,或者输入至射频电路 304以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路307 还可以包括耳机插孔。
定位组件308用于定位电子设备300的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源309用于为电子设备300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,电子设备300还包括有一个或多个传感器310。该一个或多个传感器310包括但不限于:加速度传感器311、陀螺仪传感器312、压力传感器313、指纹传感器314、光学传感器315以及接近传感器316。
加速度传感器311可以检测以电子设备300建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器311可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器311采集的重力加速度信号,控制触摸显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器312可以检测电子设备300的机体方向及转动角度,陀螺仪传感器312可以与加速度传感器311协同采集用户对电子设备300的3D动作。处理器301根据陀螺仪传感器312采集的数据,可以实现如下功能:动作感应 (比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器313可以设置在电子设备300的侧边框和/或触摸显示屏305的下层。当压力传感器313设置在电子设备300的侧边框时,可以检测用户对电子设备300的握持信号,由处理器301根据压力传感器313采集的握持信号进行左右手识别或快捷操作。当压力传感器313设置在触摸显示屏305的下层时,由处理器301根据用户对触摸显示屏305的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器314用于采集用户的指纹,由处理器301根据指纹传感器314 采集到的指纹识别用户的身份,或者,由指纹传感器314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器301授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器314可以被设置电子设备300的正面、背面或侧面。当电子设备300上设置有物理按键或厂商Logo时,指纹传感器314可以与物理按键或厂商Logo集成在一起。
光学传感器315用于采集环境光强度。在一个实施例中,处理器301可以根据光学传感器315采集的环境光强度,控制触摸显示屏305的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏305的显示亮度;当环境光强度较低时,调低触摸显示屏305的显示亮度。在另一个实施例中,处理器301还可以根据光学传感器315采集的环境光强度,动态调整摄像头组件306的拍摄参数。
接近传感器316,也称距离传感器,通常设置在电子设备300的前面板。接近传感器316用于采集用户与电子设备300的正面之间的距离。在一个实施例中,当接近传感器316检测到用户与电子设备300的正面之间的距离逐渐变小时,由处理器301控制触摸显示屏305从亮屏状态切换为息屏状态;当接近传感器316检测到用户与电子设备300的正面之间的距离逐渐变大时,由处理器 301控制触摸显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图3中示出的结构并不构成对电子设备300的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器304,上述指令可由电子设备300的处理器320执行以完成上述生成GIF动态图的方法,该方法包括:获取目标视频数据,所述目标视频数据中至少包含两个关键帧数据;提取所述目标视频数据中的所述关键帧数据;基于所述关键帧数据,生成目标GIF动态图。可选地,上述指令还可以由电子设备300的处理器320执行以完成上述示例性实施例中所涉及的其他步骤。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器 (RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种应用程序/计算机程序产品,包括一条或多条指令,该一条或多条指令可以由电子设备300的处理器320执行,以完成上述生成GIF动态图的方法,该方法包括:获取目标视频数据,所述目标视频数据中至少包含两个关键帧数据;提取所述目标视频数据中的所述关键帧数据;基于所述关键帧数据,生成目标GIF动态图。可选地,上述指令还可以由电子设备300的处理器320执行以完成上述示例性实施例中所涉及的其他步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种生成GIF动态图的方法,其特征在于,包括:
获取目标视频数据,所述目标视频数据中至少包含两个关键帧数据;
提取所述目标视频数据中的所述关键帧数据;
基于所述关键帧数据,生成目标GIF动态图。
2.如权利要求1所述的方法,其特征在于,在所述提取所述目标视频数据中的所述关键帧数据之后,还包括:
基于卷积神经网络模型,对所述关键帧数据进行筛除,得到目标关键帧数据;
基于所述目标关键帧数据,生成所述目标GIF动态图。
3.如权利要求2所述的方法,其特征在于,所述基于卷积神经网络模型,对所述关键帧数据进行筛除,得到目标关键帧数据,包括:
基于所述卷积神经网络模型,提取各所述关键帧数据中的特征信息,确定各所述关键帧数据对应的特征数据;
根据各所述关键帧数据对应的特征数据,计算各所述关键帧数据之间的第一相似度匹配值;
基于各所述关键帧数据之间的第一相似度匹配值,对所述关键帧数据进行筛除,得到所述目标关键帧数据。
4.如权利要求3所述的方法,其特征在于,所述基于各所述关键帧数据之间的第一相似度匹配值,对所述关键帧数据进行筛除,得到所述目标关键帧数据,包括:
获取第一关键帧数据,所述第一关键帧数据为各所述关键帧数据中,时间序列最早的关键帧数据;
基于所述第一关键帧数据以及其他各所述关键帧数据对应的特征数据,分别计算各所述关键帧数据之间的相似度匹配值,将相似度匹配值大于第一预设阈值的关键帧数据进行筛除,得到第一待处理帧数据;
将所述第一待处理帧数据作为所述目标关键帧数据。
5.如权利要求3或4所述的方法,其特征在于,在所述基于卷积神经网络模型,对所述关键帧数据进行筛除之后,还包括:
基于所述卷积神经网络模型,对各所述关键帧数据之间的第二相似度匹配值大于第二预设阈值的关键帧数据进行筛除,得到第二待处理帧数据;
计算所述第二待处理帧数据中的帧数量;
当确定所述第二待处理关键帧中的帧数量不大于第二预设阈值时,将所述第二待处理关键帧数据作为所述目标关键帧数据。
6.如权利要求5所述的方法,其特征在于,在所述计算所述第二待处理帧数据中的帧数量之后,还包括:
当确定所述第二待处理关键帧的帧数量大于所述第二预设阈值时,根据所述第二待处理关键帧中各所述关键帧数据对应的特征数据,计算所述第二待处理关键帧中各所述关键帧数据之间的第三相似度匹配值;
对各所述关键帧数据之间的第三相似度匹配值大于第三预设阈值的关键帧数据进行筛除,得到第三待处理帧数据,所述第三预设阈值为大于所述第一预设阈值的阈值;
当确定所述第三待处理帧数据中的帧数量不大于所述第二预设阈值时,将所述第三待处理关键帧作为所述目标关键帧数据。
7.如权利要求2所述的方法,其特征在于,在所述基于卷积神经网络模型,对所述关键帧数据进行筛除,得到目标关键帧数据之前,还包括:
获取样本图像,其中,所述样本图像包括至少一个样本特征;
利用所述样本图像对预设的神经网络图像分类模型进行训练,得到满足预设条件的所述卷积神经网络模型。
8.一种生成GIF动态图的装置,其特征在于,包括:
获取模块,被设置为获取目标视频数据,所述目标视频数据中至少包含两个关键帧数据;
提取模块,被设置为提取所述目标视频数据中的所述关键帧数据;
生成模块,被设置为基于所述关键帧数据,生成目标GIF动态图。
9.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;以及,
处理器,用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-7中任一所述生成GIF动态图的方法的操作。
10.一种计算机可读存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行权利要求1-7中任一所述生成GIF动态图的方法的操作。
CN201910875159.0A 2019-09-17 2019-09-17 生成gif动态图的方法、装置、电子设备及介质 Active CN110853124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910875159.0A CN110853124B (zh) 2019-09-17 2019-09-17 生成gif动态图的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910875159.0A CN110853124B (zh) 2019-09-17 2019-09-17 生成gif动态图的方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN110853124A true CN110853124A (zh) 2020-02-28
CN110853124B CN110853124B (zh) 2023-09-08

Family

ID=69595521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910875159.0A Active CN110853124B (zh) 2019-09-17 2019-09-17 生成gif动态图的方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN110853124B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291618A (zh) * 2020-10-13 2021-01-29 北京沃东天骏信息技术有限公司 视频预览内容生成方法和装置、计算机装置和存储介质
CN113209629A (zh) * 2021-05-14 2021-08-06 苏州仙峰网络科技股份有限公司 一种序列帧转gif的方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268917A (zh) * 2014-09-28 2015-01-07 厦门幻世网络科技有限公司 一种将3d动画转化为gif动态图的方法及其装置
CN104954791A (zh) * 2015-07-01 2015-09-30 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法
CN105100894A (zh) * 2014-08-26 2015-11-25 Tcl集团股份有限公司 面部自动标注方法及系统
CN107943837A (zh) * 2017-10-27 2018-04-20 江苏理工学院 一种前景目标关键帧化的视频摘要生成方法
CN108629224A (zh) * 2017-03-15 2018-10-09 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN109558782A (zh) * 2017-09-26 2019-04-02 卡西欧计算机株式会社 信息处理装置、信息处理系统、信息处理方法以及记录介质
CN109558811A (zh) * 2018-11-12 2019-04-02 中山大学 一种基于运动前景关注及非监督的关键帧提取的动作识别方法
US20190278880A1 (en) * 2018-03-12 2019-09-12 Exxonmobil Research And Engineering Company Hybrid computational materials fabrication

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100894A (zh) * 2014-08-26 2015-11-25 Tcl集团股份有限公司 面部自动标注方法及系统
CN104268917A (zh) * 2014-09-28 2015-01-07 厦门幻世网络科技有限公司 一种将3d动画转化为gif动态图的方法及其装置
CN104954791A (zh) * 2015-07-01 2015-09-30 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法
CN108629224A (zh) * 2017-03-15 2018-10-09 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN109558782A (zh) * 2017-09-26 2019-04-02 卡西欧计算机株式会社 信息处理装置、信息处理系统、信息处理方法以及记录介质
CN107943837A (zh) * 2017-10-27 2018-04-20 江苏理工学院 一种前景目标关键帧化的视频摘要生成方法
US20190278880A1 (en) * 2018-03-12 2019-09-12 Exxonmobil Research And Engineering Company Hybrid computational materials fabrication
CN109558811A (zh) * 2018-11-12 2019-04-02 中山大学 一种基于运动前景关注及非监督的关键帧提取的动作识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291618A (zh) * 2020-10-13 2021-01-29 北京沃东天骏信息技术有限公司 视频预览内容生成方法和装置、计算机装置和存储介质
WO2022078363A1 (zh) * 2020-10-13 2022-04-21 北京沃东天骏信息技术有限公司 视频预览内容生成方法和装置、计算机装置和存储介质
CN113209629A (zh) * 2021-05-14 2021-08-06 苏州仙峰网络科技股份有限公司 一种序列帧转gif的方法及装置
CN113209629B (zh) * 2021-05-14 2024-02-09 苏州仙峰网络科技股份有限公司 一种序列帧转gif的方法及装置

Also Published As

Publication number Publication date
CN110853124B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN110572711B (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
CN109360222B (zh) 图像分割方法、装置及存储介质
CN108320756B (zh) 一种检测音频是否是纯音乐音频的方法和装置
US11386586B2 (en) Method and electronic device for adding virtual item
CN111880888B (zh) 预览封面生成方法、装置、电子设备及存储介质
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
CN111432245B (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111539795A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN110853124B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN112860046B (zh) 选择运行模式的方法、装置、电子设备及介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质
CN112135191A (zh) 视频编辑方法、装置、终端及存储介质
CN113936240A (zh) 确定样本图像的方法、装置、设备及存储介质
CN111797754A (zh) 图像检测的方法、装置、电子设备及介质
CN113592874A (zh) 图像显示方法、装置和计算机设备
CN110662113B (zh) 视频播放方法、装置和计算机可读存储介质
CN111049970B (zh) 操作设备的方法、装置、电子设备及介质
CN114489559B (zh) 音频播放方法、音频播放的处理方法及装置
CN112925903B (zh) 文本分类的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant