CN110505513A - 一种视频截图方法、装置、电子设备及存储介质 - Google Patents

一种视频截图方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110505513A
CN110505513A CN201910752776.1A CN201910752776A CN110505513A CN 110505513 A CN110505513 A CN 110505513A CN 201910752776 A CN201910752776 A CN 201910752776A CN 110505513 A CN110505513 A CN 110505513A
Authority
CN
China
Prior art keywords
image
video
screenshot
frame
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910752776.1A
Other languages
English (en)
Inventor
许丹
王�琦
樊堃
潘兴浩
贺梓超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910752776.1A priority Critical patent/CN110505513A/zh
Publication of CN110505513A publication Critical patent/CN110505513A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明实施例提供一种视频截图方法、装置、电子设备及存储介质，其中视频截图方法包括获取待截图视频帧在视频中的时间点以及关键帧在视频中的时间点；根据待截图视频帧以及关键帧在视频中的时间点，在视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；根据待截图视频帧和目标关键帧在所述视频中的时间点的关系，输出第一图像或第二图像作为截图图像。本发明实施例通过待截图视频帧在视频中的时间点以及关键帧在视频中的时间点，直接定位到与待截图视频帧所对应的目标关键帧并获取该目标关键帧的图像进行解码，可以提高视频截图效率。

Description

一种视频截图方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频截图方法、装置、电子设备及存储介质。
背景技术
目前在对视频进行转码截图时，按照截图频次对整体视频进行扫描截图。该种截图方法需要首先对视频中的每一帧进行解码，并判断该帧对应的图像是否满足截图条件，然后将满足截图条件的图像进行YUV(Y表示明亮度，U和V表示色度、饱和度)编码，生成视频截图。
由于现有技术的视频截图方法中，需要对视频中的每一帧对应的图像进行解码判断，这导致该过程非常耗时，速度较慢，视频截图效率低。
发明内容
本发明实施例提供一种视频截图方法、装置、电子设备及存储介质，以解决现有技术中在进行视频截图时，视频截图效率低的问题。
第一方面，本发明实施例提供一种视频截图方法，包括：
获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；
根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；
根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
进一步地，所述预设分布规则包括：
所述待截图视频帧所在图像组GOP中所包括的关键帧为所述目标关键帧；或
基于所述待截图视频帧和所述关键帧在所述视频中的时间点，距离所述待截图视频帧最近的关键帧为所述目标关键帧。
进一步地，所述根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像，包括：
若所述待截图视频帧和所述目标关键帧在所述视频中的时间点相同，则输出所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像；
若所述待截图视频帧和所述目标关键帧在所述视频中的时间点不相同，则根据所述第一图像和所述第二图像的相似度，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
进一步地，所述根据所述第一图像和所述第二图像的相似度，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像，包括：
若所述第一图像和所述第二图像的相似度大于阈值，则输出所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像；
若所述第一图像和所述第二图像的相似度不大于阈值，则输出所述第一图像作为所述视频中与所述待截图视频帧对应的截图图像。
进一步地，所述第一图像和所述第二图像的相似度按照如下步骤确定：
计算所述第一图像和所述第二图像分别对应的直方图之间的巴氏距离，根据所述巴氏距离确定所述第一图像和所述第二图像的第一相似度；
根据感知哈希算法，计算所述第一图像和所述第二图像的第二相似度；
根据所述第一相似度和所述第二相似度，确定所述第一图像和所述第二图像的相似度。
进一步地，所述根据所述第一相似度和所述第二相似度，确定所述第一图像和所述第二图像的相似度，包括：
确定所述第一相似度和所述第二相似度分别对应的权重值；
根据所述第一相似度和所述第二相似度分别对应的权重值，对所述第一相似度和所述第二相似度进行加权求和，确定所述第一图像和所述第二图像的相似度。
进一步地，所述输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像之后，所述方法还包括：
将所述截图图像写入预设索引文件中，为所述预设索引文件生成一个消息摘要算法第五版MD5值，并写入所述预设索引文件对应的版本号参数中。
第二方面，本发明实施例提供一种视频截图装置，包括：
第一获取模块，用于获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；
第二获取模块，用于根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；
输出模块，用于根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的视频截图方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述的视频截图方法的步骤。
本发明实施例提供的视频截图方法、装置、电子设备及存储介质，通过待截图视频帧在视频中的时间点以及关键帧在视频中的时间点，直接定位到与待截图视频帧所对应的目标关键帧并获取该目标关键帧的图像进行解码，避免了现有技术中需要对视频中的每一帧对应的图像进行解码判断，减少了视频扫描以及解码无用帧的时间，从而提高了视频截图效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的视频截图方法流程示意图；
图2为本发明另一实施例提供的视频截图方法流程示意图；
图3为本发明实施例提供的视频截图装置结构示意图；
图4为本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术进行视频截图的过程中，需要对视频中的每一帧对应的图像进行解码判断，这导致该过程非常耗时，速度较慢，视频截图效率低。通过分析可知，现有技术视频截图效率低的原因是在找到待截图视频帧之前，需要扫描整个视频，才能定位到与待截图视频帧匹配的关键帧的位置并进行解码。针对上述问题，本发明各实施例提供一种解决方案，即基于待截图视频帧和视频关键帧的时间点信息，快速确定视频中与待截图视频帧匹配的关键帧的位置并截图，通过精确定位，能够快速解码，减少解码无用帧并比对的时间。
图1为本发明一实施例提供的视频截图方法流程示意图，如图1所示，该方法包括：
步骤100、获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；
在本步骤中，可以获取待截图视频帧在视频中的时间点，同时还可以获取关键帧在所述视频中的时间点。可以理解的，一个视频中包括多个帧，且每个帧均对应一个时间点，连续排列的时间点所对应的多个帧在播放时可以产生动态画面。本实施例中，待截图视频帧和关键帧均是视频中的一个帧，因此其各自具有在视频中对应的时间点。
其中，所述的待截图视频帧可以是根据预先设定的针对所述视频的截图频次而确定的。视频文件下发截图任务后，根据截图频次snap_fps计算得到视频截图的时间点(也称之为视频打点)。本发明各实施例中，将视频中该时间点所对应的帧称之为待截图视频帧。可以理解的是，由于实时预览的需要，所述的待截图视频帧根据视频的长度、截图频次等因素，其数量一般为多个，例如snap_timestamp1,snap_timestamp2,snap_timestampi,snap_timestampN。当然，也可以仅为一个，本发明实施例提供的方法，对其数量不做任何限定。
在视频编码序列中，GOP即Group of picture(图像组)，是指两个I帧之间的距离，即每个GOP是由固定模式的一系列I帧(关键帧)、P帧和B帧组成。可以理解的是每个GOP中仅包括一个关键帧，且所有GOP中各关键帧在视频中的位置是固定的。因此可以通过分析视频，获取到所有关键帧在该视频中的时间点。
步骤101、根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；
为了避免如同现有技术中需要对视频中的每一帧对应的图像进行解码判断而导致效率低的问题，本发明实施例根据确定出的待截图视频帧和关键帧在视频中的时间点，首先为各待截图视频帧确定其对应的目标关键帧，所述的目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧。
可以理解的是，为了实现视频截图，本发明实施例中针对每一个待截图视频帧进行截图的过程中，并不是先对视频中的每一帧对应的图像进行解码，然后找到与该待截图视频帧(即打点位置)相匹配的帧进行视频截图，而是首先为在视频的所有关键帧中为该待截图视频帧确定一个目标关键帧，为了保障确定出来的目标关键帧与待截图视频帧相匹配，需要该目标关键帧满足一定的条件，即该目标关键帧需要与该待截图视频帧满足预设分布规则，即可以认为满足预设分布规则的目标关键帧是与该待截图视频帧相匹配的。
其中，所述的预设分布规则可以根据实际需求进行设置，本发明实施例给出以下示例，但并不局限于此。
所述的预设分布规则可以包括：所述待截图视频帧所在图像组GOP中所包括的关键帧为所述目标关键帧。可以理解的是，所述待截图视频帧所对应的时间点一定会属于视频中某一个图像组GOP，由于该GOP中包括有I帧、P帧和B帧，因此所述待截图视频帧所对应的时间点，有可能与该GOP中的某个帧的时间点重合，即该待截图视频帧有可能是该GOP中的I帧、P帧或B帧。本发明实施例中将该待截图视频帧所在的图像组GOP中所包括的关键帧(I帧)确定为目标关键帧。
在另一个示例中，预设分布规则可以包括：基于所述待截图视频帧和所述关键帧在所述视频中的时间点，距离所述待截图视频帧最近的关键帧为所述目标关键帧。即不以该待截图视频帧属于视频中哪一个图像组GOP为提前，而是以视频中各关键帧与该待截图视频帧的时间点的距离为判断依据，将距离所述待截图视频帧最近的关键帧确定为所述目标关键帧。
在确定出待截图视频帧所对应的目标关键帧后，可以分别获取各待截图视频帧和目标关键帧在视频中所对应的图像，本发明实施例中将待截图视频帧对应的图像称之为第一图像，将目标关键帧对应的图像称之为第二图像。可以理解的是，第一图像和第二图像仅是为了区分截图视频帧和目标关键帧所对应的图像，所做的名称上的区分，并不具有其他含义。
可以理解的是，本发明实施例中并没有获取所有关键帧的图像进行解码，当然也没有获取其他的P帧和B帧对应的图像进行解码，而是直接定位到与待截图视频帧所对应的目标关键帧并获取该目标关键帧的图像进行解码，避免了现有技术中需要对视频中的每一帧对应的图像进行解码判断，减少了视频扫描以及解码无用帧的时间，从而可以提高视频截图效率。
步骤102、根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
在获得到视频中所述待截图视频帧和所述目标关键帧各自对应的图像后，可以根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，从所述第一图像或所述第二图像中确定出哪一个图像作为所述视频中与所述待截图视频帧对应的截图图像。
具体地，若所述待截图视频帧和所述目标关键帧在所述视频中的时间点相同，则输出所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。可以理解的是，当待截图视频帧与目标关键帧在所述视频中的时间点重合的时候，待截图视频帧与目标关键帧实际上是同一帧，此时第一图像和第二图像也就是同一个图像，可以将第二图像作为视频中与所述待截图视频帧对应的截图图像并输出。
进一步地，若所述待截图视频帧和所述目标关键帧在所述视频中的时间点不相同，则可以理解为待截图视频帧和目标关键帧在视频是不同的两个帧，而且因受截图频次和视频长度等因素的影响，待截图视频帧与目标关键帧的时间点不重合是经常发生的情形，例如待截图视频帧可以为P帧和B帧，那么此时需要一定的输出决策来决定第一图像和第二图像中的哪一个作为截图图像。本发明实施例中可以根据所述第一图像和所述第二图像的相似度来决定输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
本发明实施例提供的视频截图方法，通过待截图视频帧在视频中的时间点以及关键帧在视频中的时间点，直接定位到与待截图视频帧所对应的目标关键帧并获取该目标关键帧的图像进行解码，避免了现有技术中需要对视频中的每一帧对应的图像进行解码判断，减少了视频扫描以及解码无用帧的时间，从而提高了视频截图效率。
在上述实施例的基础上，根据所述第一图像和所述第二图像的相似度，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像，包括：
若所述第一图像和所述第二图像的相似度大于阈值，则输出所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像；
若所述第一图像和所述第二图像的相似度不大于阈值，则输出所述第一图像作为所述视频中与所述待截图视频帧对应的截图图像。
具体地，当所述待截图视频帧和所述目标关键帧在所述视频中的时间点不相同的时候，可以根据所述第一图像和所述第二图像的相似度来决定哪一个作为截图图像。本实施例中可以预先确定一个阈值，该阈值的大小可以根据实际需求来确定，例如90％。比较第一图像和第二图像的相似度，当所述第一图像和所述第二图像的相似度大于阈值时，说明第二图像中包括的图像信息与第一图像所包括的图像信息比较接近，而且关键帧可以不参考其他图像帧，只利用本帧的信息进行编码，因此将第二图像作为截图图像还可以进一步提高解码速度。
进一步地，所述第一图像和所述第二图像的相似度不大于阈值时，说明第二图像中包括的图像信息与第一图像所包括的图像信息不接近，不能用第二图像来代替第一图像来作为截图图像输出，因此此时需要将将第一图像作为截图图像输出。
可以理解的，由于视频截图是按照截图频次进行截取的，在关键帧的分布和待截图视频帧的分布不一致(即时间点不重合)的情况下，会导致待截图视频帧为非关键帧，基于现有技术获得的视频截图可能存在模糊或者不能代表用户想要的画面的情况，本发明实施例提供的方法，在关键帧的分布和待截图视频帧的时间点相同时，将关键帧对应的第二图像作为截图图像输出；在关键帧的分布和待截图视频帧的时间点不相同时，是结合了第一图像和第二图像之间的相似度来决定将第一图像或第二图像中的哪一个作为截图图像进行输出，能够选中最具代表的截图图像，从而在一定概率下提高了截图图像的准确度和清晰度，增强了用户体验。
在上述各实施例的基础上，所述第一图像和所述第二图像的相似度按照如下步骤确定：
步骤A01、计算所述第一图像和所述第二图像分别对应的直方图之间的巴氏距离，根据所述巴氏距离确定所述第一图像和所述第二图像的第一相似度；
先确定第一图像和第二图像各自对应的图像直方图，图像直方图(ImageHistogram)是用以表示数字图像中亮度分布的直方图，标绘了图像中每个亮度值的像素数。然后，计算两个图像直方图之间的巴氏距离来确定第一图像和所述第二图像的相似度，称之为第一相似度。
步骤A02、根据感知哈希算法，计算所述第一图像和所述第二图像的第二相似度；
考虑到直方图计算的误差，本发明实施例中还通过现有的感知哈希算法计算出第一图像和所述第二图像的相似度，称之为第二相似度。
步骤A03、根据所述第一相似度和所述第二相似度，确定所述第一图像和所述第二图像的相似度。
本发明实施例根据两个相似度综合确定所述第一图像和所述第二图像的相似度，具体包括：
确定所述第一相似度和所述第二相似度分别对应的权重值；根据所述第一相似度和所述第二相似度分别对应的权重值，对所述第一相似度和所述第二相似度进行加权求和，确定所述第一图像和所述第二图像的相似度，进一步提高截图图像的清晰度。
在上述各实施例的基础上，所述输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像之后，所述方法还包括：
将所述截图图像写入预设索引文件中，为所述预设索引文件生成一个消息摘要算法第五版MD5值，并写入所述预设索引文件对应的版本号参数中。
由于现有技术中，读取截图图像需要扫描当前目录并依据频次计算对应的截图图像，读取耗时且不准确，本发明实施例将输出的截图图像写入一个预设索引文件，该预设索引文件写入截图图像的路径、图像分辨率，生成图像相对视频的偏移量以及图像的关键帧信息等。随着截图图像的增加，该预设索引文件不断更新。截图完成后，预设索引文件生成一个MD5的key值。写入版本号参数中。该过程可减少对存储的扫描读取过程，并可通过预设索引文件的版本号即可判断该视频是否经过了截图的更新操作，提高了读取速度，解决了在工程应用中需要快速对视频文件进行截图并实时预览的问题，达到所见即所得的效果。
图2为本发明另一实施例提供的视频截图方法流程示意图，如图2所示，该方法包括：
视频文件下发截图任务后，根据截图频次snap_fps计算得到截图的时间点snap_timestamp1,snap_timestamp2,snap_timestampi,snap_timestampN。再次分析当前视频，提取关键帧的时间点，提取后生成预处理的关键帧信息表。将待截图视频帧的时间点和关键帧的时间点进行比对，找到最接近待截图视频帧的当前图像组GOP所在的目标关键帧。通过ffmpeg等seek开源工具即可直接定位到目标关键帧，截取目标关键帧和待截图视频帧，通过图像匹配相似度的方式得到相似度，进行决策是否该给出待截图视频帧对应的图像或者目标关键帧对应的图像。将截图图像信息写入预设索引文件，若文件结束，则写入预设索引文件版本号MD5值。
通过对预设索引文件生成MD5值，使得预设索引文件能够直接被客户端所读取，而无需实时扫描生成的截图文件来判断截图图像的位置和时间点信息，提高了读取环节的实时性，且能够判断当前视频是否进行了截图的更新操作，节约了客户端的请求成本。
具体地，1、找出所有待截图视频帧所对应的目标关键帧；
if(key_frame_timetampi-1＜seek_timestampi＜key_frame_stampiseek_timestampi＝key_frame_timestampi-1将视频按照关键帧的位置分成了多段，对整个视频的截图转化为，找到每个待截图视频帧所在位置进行单点截图，在截图耗时上能够大大的减少了无用帧的解码时间以及比对抛弃过程的时间。
假设待截图视频帧和目标关键帧位置时间点相同，则直接将目标关键帧
对应的图像作为截图图像输出，并将该文件写入截图信息的预设索引文件snap.index。预设索引文件设计如下：
version:md5value；
create_time:2019/3/12；
snap_rate:1/6；
vide0_duration:4x3600s；
snap_rsl:320*240；
imagepath:
0:I:mnt1/cloud/test/1.jpg；
2.1:B:/mnt1/cloud/test/1.jpg；
4.2:P:/mnt1/cloud/test/1.jpg。
2、基于图像相似度匹配加权算法找出最佳代表图；
待截图视频帧和目标关键帧的时间点不同的情况下，将待截图视频帧对应的第一图像和目标关键帧对应的第二图像，分别提取特征，进行特征比较，本实施例中采用了直方图比较和感知哈希算法两种方式进行加权比较。
直方图比较：取第一图像和第二图像，分别进行直方图计算，并将直方图信息进行归一化处理再通过计算直方图的巴氏距离进行相似度估算
得出直方图的相似度，在工程应用中，可以采用分块直方图的方式增强抗干扰性。
考虑到单直方图仅仅能反应图像灰度值的概率分布情况，对图像的空间位置信息考虑欠缺，因此导致误判性较高。本实施例将这步得到的图像相似度记为similar_histogram。
故在本实施例中，引入了感知哈希算法进行相似度匹配。采用的原因是当前截图的缩略图分辨率一致，无须缩放统一处理。
感知哈希算法步骤：
将通过直方图计算得到的图像灰度，与平均值比较，大于记为1，小于平均值记为0；
将第一步比较得到的结果进行累积，就能得到当前比较图像和待比较图像的相差度的指纹，通过该累积差值可判断出当前图像之间的相似度similar_hash；
最后，根据训练集的结果，赋予两种匹配方式得到的相似度不同的权重，得到最后的相似度的值：
similar_rate＝a×similar_histogram+b×similar_hash
按照匹配结果，若大于阈值90％，则认为目标关键帧对应的图像和待截图视频帧对应的图像是相似的，则输出目标关键帧对应的第二图像；若相似率较低，则输出待截图视频帧对应的第一图像。
采用本实施例提供的方法，对时长为4个小时的视频进行截图处理，按照10分钟一帧的截图频次，仅约需要9s即可，相对于现有技术的截图耗时约需要20分钟以上，大大提高了视频截图的效率。
本发明实施例提供的视频截图方法，能够将视频截图时间大大减少，并且能够保证截图准确性，同时为截图结果生成的索引文件能够直接被客户端所读取而无需实时扫描生成的截图文件来判断截图的位置，时间点信息，提高了读取环节的实时性。
图3为本发明实施例提供的视频截图装置结构示意图，如图3所示，该装置包括第一获取模块301、第二获取模块302和输出模块303，其中：
第一获取模块301，用于获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；
第二获取模块302，用于根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；
输出模块303，用于根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
具体地，由于待截图视频帧和关键帧均是视频中的一个帧，因此其各自具有在视频中对应的时间点，通过第一获取模块301来获得待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点。在第一获取模块301确定出的待截图视频帧和关键帧在视频中的时间点后，可以通过第二获取模块302首先为各待截图视频帧确定其对应的目标关键帧，所述的目标关键帧为所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧。第二获取模块302在确定出待截图视频帧所对应的目标关键帧后，可以分别获取各待截图视频帧和目标关键帧在视频中所对应的图像，本发明实施例中将待截图视频帧对应的图像称之为第一图像，将目标关键帧对应的图像称之为第二图像。在第二获取模块302获得到视频中所述待截图视频帧和所述目标关键帧各自对应的图像后，输出模块303可以根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，从所述第一图像或所述第二图像中确定出哪一个图像作为所述视频中与所述待截图视频帧对应的截图图像。
本发明实施例提供的视频截图装置，通过待截图视频帧在视频中的时间点以及关键帧在视频中的时间点，直接定位到与待截图视频帧所对应的目标关键帧并获取该目标关键帧的图像进行解码，避免了现有技术中需要对视频中的每一帧对应的图像进行解码判断，减少了视频扫描以及解码无用帧的时间，从而提高了视频截图效率。
在上述装置实施例的基础上，所述预设分布规则包括：
所述待截图视频帧所在图像组GOP中所包括的关键帧为所述目标关键帧；或
基于所述待截图视频帧和所述关键帧在所述视频中的时间点，距离所述待截图视频帧最近的关键帧为所述目标关键帧。
在上述装置实施例的基础上，输出模块303具体用于：
若所述待截图视频帧和所述目标关键帧在所述视频中的时间点相同，则输出所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像；
若所述待截图视频帧和所述目标关键帧在所述视频中的时间点不相同，则根据所述第一图像和所述第二图像的相似度，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
进一步地，输出模块303具体还用于：
若所述第一图像和所述第二图像的相似度大于阈值，则输出所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像；
若所述第一图像和所述第二图像的相似度不大于阈值，则输出所述第一图像作为所述视频中与所述待截图视频帧对应的截图图像。
进一步地，输出模块303具体还用于按照如下步骤确定第一图像和第二图像的相似度：
计算所述第一图像和所述第二图像分别对应的直方图之间的巴氏距离，根据所述巴氏距离确定所述第一图像和所述第二图像的第一相似度；
根据感知哈希算法，计算所述第一图像和所述第二图像的第二相似度；
根据所述第一相似度和所述第二相似度，确定所述第一图像和所述第二图像的相似度。
其中，根据所述第一相似度和所述第二相似度，确定所述第一图像和所述第二图像的相似度包括：
确定所述第一相似度和所述第二相似度分别对应的权重值；
根据所述第一相似度和所述第二相似度分别对应的权重值，对所述第一相似度和所述第二相似度进行加权求和，确定所述第一图像和所述第二图像的相似度。
在上述装置实施例的基础上，所述装置还可以包括写入模块，用于将所述截图图像写入预设索引文件中，为所述预设索引文件生成一个消息摘要算法第五版MD5值，并写入所述预设索引文件对应的版本号参数中。
本发明实施例提供的视频截图装置，具体可以用于执行上述各方法实施例提供的方法，其流程和功能可以参见上述各方法实施例，此处不再赘述。
本发明实施例提供的视频截图装置，通过待截图视频帧在视频中的时间点以及关键帧在视频中的时间点，直接定位到与待截图视频帧所对应的目标关键帧并获取该目标关键帧的图像进行解码，避免了现有技术中需要对视频中的每一帧对应的图像进行解码判断，减少了视频扫描以及解码无用帧的时间，从而提高了视频截图效率。
另外，图4为本发明实施例提供的电子设备结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储在存储器430上并可在处理器410上运行的计算机程序，以执行上述各实施例提供的方法，例如包括：获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频截图方法，其特征在于，所述方法包括：
获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；
根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；
根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
2.根据权利要求1所述的视频截图方法，其特征在于，所述预设分布规则包括：
所述待截图视频帧所在图像组GOP中所包括的关键帧为所述目标关键帧；或
基于所述待截图视频帧和所述关键帧在所述视频中的时间点，距离所述待截图视频帧最近的关键帧为所述目标关键帧。
3.根据权利要求1或2所述的视频截图方法，其特征在于，所述根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像，包括：
若所述待截图视频帧和所述目标关键帧在所述视频中的时间点相同，则输出所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像；
若所述待截图视频帧和所述目标关键帧在所述视频中的时间点不相同，则根据所述第一图像和所述第二图像的相似度，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
4.根据权利要求3所述的视频截图方法，其特征在于，所述根据所述第一图像和所述第二图像的相似度，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像，包括：
若所述第一图像和所述第二图像的相似度大于阈值，则输出所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像；
若所述第一图像和所述第二图像的相似度不大于阈值，则输出所述第一图像作为所述视频中与所述待截图视频帧对应的截图图像。
5.根据权利要求4所述的视频截图方法，其特征在于，所述第一图像和所述第二图像的相似度按照如下步骤确定：
计算所述第一图像和所述第二图像分别对应的直方图之间的巴氏距离，根据所述巴氏距离确定所述第一图像和所述第二图像的第一相似度；
根据感知哈希算法，计算所述第一图像和所述第二图像的第二相似度；
根据所述第一相似度和所述第二相似度，确定所述第一图像和所述第二图像的相似度。
6.根据权利要求5所述的视频截图方法，其特征在于，所述根据所述第一相似度和所述第二相似度，确定所述第一图像和所述第二图像的相似度，包括：
确定所述第一相似度和所述第二相似度分别对应的权重值；
根据所述第一相似度和所述第二相似度分别对应的权重值，对所述第一相似度和所述第二相似度进行加权求和，确定所述第一图像和所述第二图像的相似度。
7.根据权利要求1或2所述的视频截图方法，其特征在于，所述输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像之后，所述方法还包括：
将所述截图图像写入预设索引文件中，为所述预设索引文件生成一个消息摘要算法第五版MD5值，并写入所述预设索引文件对应的版本号参数中。
8.一种视频截图装置，其特征在于，所述装置包括：
第一获取模块，用于获取待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点；
第二获取模块，用于根据所述待截图视频帧在视频中的时间点以及关键帧在所述视频中的时间点，在所述视频中获取所述待截图视频帧对应的第一图像以及目标关键帧对应的第二图像，所述目标关键帧包括所述关键帧中与所述待截图视频帧满足预设分布规则的关键帧；
输出模块，用于根据所述待截图视频帧和所述目标关键帧在所述视频中的时间点的关系，输出所述第一图像或所述第二图像作为所述视频中与所述待截图视频帧对应的截图图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的视频截图方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的视频截图方法的步骤。
CN201910752776.1A 2019-08-15 2019-08-15 一种视频截图方法、装置、电子设备及存储介质 Pending CN110505513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752776.1A CN110505513A (zh) 2019-08-15 2019-08-15 一种视频截图方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752776.1A CN110505513A (zh) 2019-08-15 2019-08-15 一种视频截图方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110505513A true CN110505513A (zh) 2019-11-26

Family

ID=68586568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752776.1A Pending CN110505513A (zh) 2019-08-15 2019-08-15 一种视频截图方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110505513A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031378A (zh) * 2019-12-20 2020-04-17 山东云缦智能科技有限公司 一种视频打点和记录epg信息的方法
CN111083497A (zh) * 2019-12-31 2020-04-28 北京奇艺世纪科技有限公司 一种视频截图方法及装置
CN111209462A (zh) * 2020-01-02 2020-05-29 北京字节跳动网络技术有限公司 数据处理方法、装置及设备
CN111405288A (zh) * 2020-03-19 2020-07-10 北京字节跳动网络技术有限公司 视频抽帧方法、装置、电子设备及计算机可读存储介质
CN111726536A (zh) * 2020-07-03 2020-09-29 腾讯科技（深圳）有限公司 视频生成方法、装置、存储介质及计算机设备
CN113784226A (zh) * 2020-06-10 2021-12-10 北京金山云网络技术有限公司 一种视频切片方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104837030A (zh) * 2014-02-12 2015-08-12 中国电信股份有限公司 一种http流媒体实现快进快退播放的方法和系统
CN105100776A (zh) * 2015-08-24 2015-11-25 深圳凯澳斯科技有限公司 一种立体视频截图方法及装置
US20160226938A1 (en) * 2014-02-11 2016-08-04 Wowza Media Systems, LLC Server configuration including stream preview
CN106658154A (zh) * 2016-12-05 2017-05-10 乐视控股（北京）有限公司 一种视频截图方法、装置和设备以及视频处理方法、装置和设备
CN109978626A (zh) * 2019-03-29 2019-07-05 上海幻电信息科技有限公司 网页广告变更监测方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160226938A1 (en) * 2014-02-11 2016-08-04 Wowza Media Systems, LLC Server configuration including stream preview
CN104837030A (zh) * 2014-02-12 2015-08-12 中国电信股份有限公司 一种http流媒体实现快进快退播放的方法和系统
CN105100776A (zh) * 2015-08-24 2015-11-25 深圳凯澳斯科技有限公司 一种立体视频截图方法及装置
CN106658154A (zh) * 2016-12-05 2017-05-10 乐视控股（北京）有限公司 一种视频截图方法、装置和设备以及视频处理方法、装置和设备
CN109978626A (zh) * 2019-03-29 2019-07-05 上海幻电信息科技有限公司 网页广告变更监测方法、装置及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031378A (zh) * 2019-12-20 2020-04-17 山东云缦智能科技有限公司 一种视频打点和记录epg信息的方法
CN111031378B (zh) * 2019-12-20 2022-04-05 山东浪潮超高清视频产业有限公司 一种视频打点和记录epg信息的方法
CN111083497A (zh) * 2019-12-31 2020-04-28 北京奇艺世纪科技有限公司 一种视频截图方法及装置
CN111209462A (zh) * 2020-01-02 2020-05-29 北京字节跳动网络技术有限公司 数据处理方法、装置及设备
CN111209462B (zh) * 2020-01-02 2021-05-18 北京字节跳动网络技术有限公司 数据处理方法、装置及设备
CN111405288A (zh) * 2020-03-19 2020-07-10 北京字节跳动网络技术有限公司 视频抽帧方法、装置、电子设备及计算机可读存储介质
CN113784226A (zh) * 2020-06-10 2021-12-10 北京金山云网络技术有限公司 一种视频切片方法、装置、电子设备及存储介质
CN111726536A (zh) * 2020-07-03 2020-09-29 腾讯科技（深圳）有限公司 视频生成方法、装置、存储介质及计算机设备
CN111726536B (zh) * 2020-07-03 2024-01-05 腾讯科技（深圳）有限公司 视频生成方法、装置、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
CN110505513A (zh) 一种视频截图方法、装置、电子设备及存储介质
Hosu et al. KonIQ-10k: An ecologically valid database for deep learning of blind image quality assessment
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
US20190080177A1 (en) Video detection method, server and storage medium
US8965067B2 (en) Face data acquirer, end user video conference device, server, method, computer program and computer program product for extracting face data
JP5711387B2 (ja) 映像を比較する方法および装置
US8358837B2 (en) Apparatus and methods for detecting adult videos
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN109871490B (zh) 媒体资源匹配方法、装置、存储介质和计算机设备
JP2018524754A (ja) システムリソース利用を改善するためのメディア指紋保持の最適化
JP2015087903A (ja) 情報処理装置及び情報処理方法
US20220172476A1 (en) Video similarity detection method, apparatus, and device
Halit et al. Multiscale motion saliency for keyframe extraction from motion capture sequences
CN111651636A (zh) 视频相似片段搜索方法及装置
CN106231356B (zh) 视频的处理方法和装置
CN109413510B (zh) 视频摘要生成方法和装置、电子设备、计算机存储介质
CN112995654A (zh) 视频播放卡顿检测方法、装置、服务器及可读存储介质
CN110163061A (zh) 用于提取视频指纹的方法、装置、设备和计算机可读介质
CN112084812A (zh) 图像处理方法、装置、计算机设备及存储介质
CA3237450A1 (en) System and method for digital fingerprinting of media content
US11887277B2 (en) Removing compression artifacts from digital images and videos utilizing generative machine-learning models
CN114519689A (zh) 图像篡改检测方法、装置、设备及计算机可读存储介质
Liensberger et al. Color-based and context-aware skin detection for online video annotation
CN115272923B (zh) 一种基于大数据平台的智能识别方法和系统
CN117011751A (zh) 使用变换器网络分割视频图像序列

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191126