CN112291618B - 视频预览内容生成方法和装置、计算机装置和存储介质 - Google Patents

视频预览内容生成方法和装置、计算机装置和存储介质 Download PDF

Info

Publication number
CN112291618B
CN112291618B CN202011092575.2A CN202011092575A CN112291618B CN 112291618 B CN112291618 B CN 112291618B CN 202011092575 A CN202011092575 A CN 202011092575A CN 112291618 B CN112291618 B CN 112291618B
Authority
CN
China
Prior art keywords
image
video
preview content
frame list
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011092575.2A
Other languages
English (en)
Other versions
CN112291618A (zh
Inventor
莫文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011092575.2A priority Critical patent/CN112291618B/zh
Publication of CN112291618A publication Critical patent/CN112291618A/zh
Priority to US18/248,670 priority patent/US20230396861A1/en
Priority to PCT/CN2021/123447 priority patent/WO2022078363A1/zh
Application granted granted Critical
Publication of CN112291618B publication Critical patent/CN112291618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image

Abstract

本公开涉及一种视频预览内容生成方法和装置、计算机装置和存储介质。该视频预览内容生成方法包括：解析待处理视频内容，获取待处理视频内容的全部视频图像帧信息，生成有序的图像帧列表；采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾；基于过滤后的图像帧列表，生成视频预览内容。本公开可以提高基于视频生成预览内容的质量，可以忽略视频的片头和片尾文字内容。

Description

视频预览内容生成方法和装置、计算机装置和存储介质
技术领域
本公开涉及项目构建领域，特别涉及一种视频预览内容生成方法和装置、计算机装置和存储介质。
背景技术
视频内容使用越来越广泛，很多时候在面对很多视频内容的时候，需要一种快速浏览视频的方式，例如在一个视频信息列表页，既不希望列表的每个视频项把整个视频放进去，更希望使用一个视频的片段或者一个图像作为预览的内容。在这种情况下，就需要一种方法来基于视频生成比原来视频更短的视频或者一个GIF图像。
发明内容
发明人通过研究发现：相关技术抽取视频里边的部分图像帧，压缩成GIF(Graphics Interchange Format，图形交换格式)图片。相关技术可以生成对应的预览图，但预览图的质量不好，若希望生成质量较高的预览图，可能需要人工干预。例如，相关技术方法无法分辨视频的片头和片尾文字内容。
鉴于以上技术问题中的至少一项，本公开提供了一种视频预览内容生成方法和装置、计算机装置和存储介质，可以提高基于视频生成预览内容的质量，可以忽略视频的片头和片尾文字内容。
根据本公开的一个方面，提供一种视频预览内容生成方法，包括：
解析待处理视频内容，获取待处理视频内容的全部视频图像帧信息，生成有序的图像帧列表；
采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾；
基于过滤后的图像帧列表，生成视频预览内容。
在本公开的一些实施例中，所述视频预览内容生成方法还包括：
基于所述图像帧列表计算相邻图像之间的相似度，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像，之后执行基于过滤后的图像帧列表，生成视频预览内容的步骤。
在本公开的一些实施例中，所述采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾包括：
针对有序的图像帧列表中的每一张图像进行图像识别，确定每一张图像中包含文字的区域位置；
对于每一张图像，判断文字占比是否大于预定阈值，其中，所述文字占比为全部文字所占的面积与该图像面积的比值；
过滤掉全部文字所占的面积与该图像面积的比值大于预定阈值的图像。
在本公开的一些实施例中，所述基于所述图像帧列表计算相邻图像之间的相似度，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像包括：
基于所述图像帧列表中的每一张图像，计算相邻图像之间的相似度，其中，所述相邻图像为当前图像与下一张图像；
判断是否存在相似度大于预定相似度阈值的相邻图像；
在存在相似度大于预定相似度阈值的相邻图像的情况下，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像；之后，针对当前图像帧列表，执行基于所述图像帧列表中的每一张图像，计算相邻图像之间的相似度的步骤；
在不存在相似度大于预定相似度阈值的相邻图像的情况下，执行基于过滤后的图像帧列表，生成视频预览内容的步骤。
在本公开的一些实施例中，所述基于过滤后的图像帧列表，生成视频预览内容包括：
根据待处理视频长度和视频预览内容类型，确定待筛选图像张数；
从过滤后的图像帧列表中，确定待筛选图像张数的待筛选图像；
将待筛选图像生成有序的待筛选图像帧列表；
根据待筛选图像帧列表生成视频预览内容。
在本公开的一些实施例中，所述从过滤后的图像帧列表中，确定待筛选图像张数的待筛选图像包括：
根据利用每张图像与下一张图像的相似度，计算过滤后的图像帧列表中每张图像的筛选权重；
将过滤后的图像帧列表分为预定数目个分段，其中，预定数目为待筛选图像张数，每个分段内所有图像的筛选权重的和相等；
针对每个分段，将该分段中权重值最大的图像作为待筛选图像。
在本公开的一些实施例中，所述视频预览内容为图形交换格式图片和新视频中的至少一种。
根据本公开的另一方面，提供一种视频预览内容生成装置，包括：
图像帧列表生成模块，用于解析待处理视频内容，获取待处理视频内容的全部视频图像帧信息，生成有序的图像帧列表；
图像识别模块，用于采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾；
预览内容生成模块，用于基于过滤后的图像帧列表，生成视频预览内容。
在本公开的一些实施例中，所述视频预览内容生成装置用于执行实现如上述任一实施例所述的视频预览内容生成方法的操作。
根据本公开的另一方面，提供一种计算机装置，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述计算机装置执行实现如上述任一实施例所述的视频预览内容生成方法的操作。
根据本公开的另一方面，提供一种非瞬时性计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的视频预览内容生成方法。
本公开可以提高基于视频生成预览内容的质量，可以忽略视频的片头和片尾文字内容。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开视频预览内容生成方法一些实施例的示意图。
图2为本公开视频预览内容生成方法另一些实施例的示意图。
图3为本公开视频预览内容生成装置一些实施例的示意图。
图4为本公开视频预览内容生成装置另一些实施例的示意图。
图5为本公开视频预览内容生成装置又一些实施例的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
发明人通过研究发现：相关技术抽取视频里边的部分图像帧，压缩成GIF图像。例如：相关技术的方法包括：抽取视频文件的多个图像帧，将所述抽取到的多个图像帧加入缩略图图像集中，根据所述缩略图图像集中的图像帧生成动态缩略图。
但是，相关技术生成的预览图的质量不够好，若希望生成质量较高的预览图，可能需要人工干预。例如，相关技术方法无法分辨视频的片头和片尾文字内容，也无法感知视频内容快速变化(如监控视频，里边大部分内容都是雷同的，需要截取变化的部分)。
鉴于以上技术问题中的至少一项，本公开提供了一种视频预览内容生成方法和装置、计算机装置和存储介质，下面通过具体实施例对本公开进行说明。
图1为本公开视频预览内容生成方法一些实施例的示意图。优选的，本实施例可由本公开视频预览内容生成装置或计算机装置执行。该方法可以包括步骤11-步骤13，其中：
步骤11，解析待处理视频内容，获取待处理视频内容的全部视频图像帧信息，生成有序的图像帧列表。
在本公开的一些实施例中，步骤11可以包括：读取待处理视频文件内容，抽取视频文件内的全部视频帧图像信息，按照视频的时间顺序得到一个有序的图像帧列表信息。
步骤12，采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾。
在本公开的一些实施例中，步骤12可以包括步骤121-步骤123，其中：
步骤121，针对有序的图像帧列表中的每一张图像进行图像识别，确定每一张图像中包含文字的区域位置。
步骤122，对于每一张图像，判断文字占比是否大于预定阈值，其中，所述文字占比为全部文字所占的面积与该图像面积的比值。
步骤123，过滤掉全部文字所占的面积与该图像面积的比值大于预定阈值的图像。
步骤13，基于过滤后的图像帧列表，生成视频预览内容。
在本公开的一些实施例中，所述视频预览内容可以为图形交换格式图片和新视频中的至少一种。
基于本公开上述实施例提供的视频预览内容生成方法，可以提高基于视频生成预览内容的质量，可以忽略视频的片头和片尾文字内容。本公开上述实施例通过图像识别来筛选核心图像来生成GIF图像或新的视频。
图2为本公开视频预览内容生成方法一些实施例的示意图。优选的，本实施例可由本公开视频预览内容生成装置或计算机装置执行。该方法可以包括步骤20-步骤29，其中：
步骤20，解析待处理视频内容，获取待处理视频内容的全部视频图像帧信息，生成有序的图像帧列表。
在本公开的一些实施例中，步骤20可以包括：读取待处理视频文件内容，抽取视频文件内的全部视频帧图像信息，按照视频的时间顺序得到一个有序的图像帧列表信息。
步骤21，采用图像识别方式对所述图像帧列表进行处理。
在本公开的一些实施例中，步骤21可以包括：对步骤20得到的图像帧列表进行如下步骤211-步骤216的循环：
步骤211，对当前图像(图片)进行图片识别，得到当前图像中包含文字的区域位置。
在本公开的一些实施例中，步骤211可以包括：从当前图像中提取多个包含文字的图像区域。
步骤212，将全部文字所占的面积进行计算，然后求和。
步骤213，计算文字所占区域的面积与当前图像面积的比值。
步骤214，检查该比值是否大于预定阈值。
在本公开的一些实施例中，预定阈值可以配置，例如：预定阈值可以配置为10％。
步骤215，若该比值大于预定阈值，则将当前图像标记为不参与后续的图像筛选。
步骤216，检查当前图像后边是否有下一张图像。若有，则继续循环，将下一张图像作为当前图像，之后执行步骤211。若无，则执行步骤22。
步骤22，基于所述图像帧列表计算每两个相邻图像之间的相似度，确定相似度大于预定相似度阈值的相邻图像。
在本公开的一些实施例中，步骤22可以包括：对步骤21得到的图像帧列表进行如下循环：
步骤221，获取当前图像以及下一张图像进行相似度计算，得到相似度比值。
在本公开的一些实施例中，步骤221可以包括：将当前图像以及下一张图像分别作为参考图像和查询图像；将参考图像和查询图像分割为小区域；从分割的小区域中提取每一个小区域的特征量，作为查询图像和参考图像的小区域特征量；将参考图像小区域特征量与查询图像小区域特征量进行比较；和计算各个小区域的特征量的相似度，作为小区域相似度；和通过利用从局部区域权重值中得到的基于小区域的权重值对小区域相似度进行加权，来计算查询图像和参考图像之间的图像相似度。
步骤222，检查两个图像的相似度是否大于相似度阈值。
在本公开的一些实施例中，所述相似度阈值可以配置，例如相似度阈值可以配置为50％。
步骤223，若两个图像的相似度大于相似度阈值。
步骤224，将当前图像的下一张标记为不参与后续的图像筛选。
步骤225，检查当前图像是否还有下一张图像。若有，则继续循环，将下一张图像作为当前图像，之后执行步骤221；若无，则执行步骤23。
步骤23，从步骤22得到的图像帧列表中，过滤掉已经标记为不参与后续筛选的图像，得到新的一个有序图像列表。
步骤24，将步骤23得到的有序图像列表重复步骤22和步骤23的方式过滤不参与筛选的图像，直至在步骤23的环节没有任何图像被标记为不参与后续筛选。
步骤25，根据待处理视频长度和视频预览内容类型，确定待筛选图像张数。
在本公开的一些实施例中，待筛选图像张数可以为一个配置列表。
在本公开的一些实施例中，步骤25可以包括：将最终需要生成图片，根据视频长度进行阶梯配置，例如：对于1分钟视频，取5张，1-5分钟视频取10张，5-20分钟取15张，20-30分钟，30分钟以上取30张；若最终需要生成新的视频，图像张数可以多一些。
步骤26，从步骤24得到的图像帧列表中，根据利用每张图像与下一张图像的相似度，计算过滤后的图像帧列表中每张图像的筛选权重。
在本公开的一些实施例中，步骤26可以包括步骤261-步骤262，其中：
步骤261，利用每个图像与下一张图像的相似度比率，计算步骤24得到的有序图像列表的每张图像的筛选权重。
在本公开的一些实施例中，步骤261可以包括：根据公式(1)计算每张图像的筛选权重。
筛选权重＝1/(相似度比率*100)             (1)
步骤262，将每一张图像的筛选权重进行相加求和，得到总权重。
步骤263，然后计算每张图像的权重位置，算法如下：把每一张图像的位置前边的全部权重相加得到该张图像的权重位置。
步骤27，将步骤24得到的图像帧列表分为预定数目个分段，其中，预定数目为待筛选图像张数，每个分段内所有图像的筛选权重的和相等。
在本公开的一些实施例中，步骤27可以包括步骤271-步骤272，其中：
步骤271，按照需要步骤25得到的待筛选图像张数，对0-总权重之间进行平均分段。
步骤272，然后根据每一段的权重的范围，将有序图像列表也分为相同的分段。
步骤28，针对每个分段，将该分段中权重值最大的图像作为待筛选图像。
在本公开的一些实施例中，步骤28可以包括：从步骤27得到的有序图像列表分段进行步骤281和步骤282的循环：
步骤281，找到当前分段中权重值最大的图像，将该图像筛选出来放入一个新的有序图像列表中，按顺序放入，先放入在前边。
步骤282，判断是否还有下一段有序图像列表。若有，则重复步骤281；若无，则执行步骤29。
步骤29，将步骤28的得到的图像列表，生成视频预览内容。
在本公开的一些实施例中，所述视频预览内容可以为图形交换格式图片和新视频中的至少一种。
在本公开的一些实施例中，步骤29可以包括：步骤291-步骤293，其中：
步骤291，将步骤28的得到的图像列表，判断最终需要生成的内容形式是哪一种：
步骤292，若是生成GIF图像：图像调用GIF图像生成模块，对图像列表进行GIF生成。
在本公开的一些实施例中，步骤292可以包括：获取用于生成GIF图片的单张图片素材；根据所述单张图片素材，生成动画；提取所述动画的每一帧图像；根据所述动画的每一帧图像，渲染得到GIF图片。
步骤293，若是生成视频：将步骤28得到的图像帧列表形成新的图像帧列表，去掉音频内容，重新生成新的视频。
本公开上述实施例可以通过图像识别和图像相似来筛选核心图片来生成GIF图片或新的视频。本公开上述实施例可以提高基于视频生成预览内容的质量，可以忽略视频的片头和片尾文字内容以及大段雷同的视频内容。
本公开上述实施例可以分辨视频的片头和片尾文字内容，可以感知视频内容快速变化。
本公开上述实施例可以实现视频文件的快速预览，使得用户在短时间内了解视频文件的主要信息，从而提高了用户体验。
图3为本公开视频预览内容生成装置一些实施例的示意图。如图3所示，本公开视频预览内容生成装置可以包括图像帧列表生成模块31、图像识别模块32和预览内容生成模块33，其中：
图像帧列表生成模块31，用于解析待处理视频内容，获取待处理视频内容的全部视频图像帧信息，生成有序的图像帧列表。
在本公开的一些实施例中，图像帧列表生成模块31可以用于读取待处理视频文件内容，抽取视频文件内的全部视频帧图像信息，按照视频的时间顺序得到一个有序的图像帧列表信息。
图像识别模块32，用于采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾。
在本公开的一些实施例中，图像识别模块32可以用于针对有序的图像帧列表中的每一张图像进行图像识别，确定每一张图像中包含文字的区域位置；对于每一张图像，判断文字占比是否大于预定阈值，其中，所述文字占比为全部文字所占的面积与该图像面积的比值；过滤掉全部文字所占的面积与该图像面积的比值大于预定阈值的图像。
预览内容生成模块33，用于基于过滤后的图像帧列表，生成视频预览内容。
在本公开的一些实施例中，所述视频预览内容可以为图形交换格式图片和新视频中的至少一种。
基于本公开上述实施例提供的视频预览内容生成装置，可以提高基于视频生成预览内容的质量，可以忽略视频的片头和片尾文字内容。本公开上述实施例通过图像识别来筛选核心图像来生成GIF图像或新的视频。
图4为本公开视频预览内容生成装置另一些实施例的示意图。与图3实施例相比，图4实施例的本公开视频预览内容生成装置还可以包括图像相似度计算模块34，其中：
图像相似度计算模块34，用于基于所述图像帧列表计算相邻图像之间的相似度，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像，之后指示预览内容生成模块33执行基于过滤后的图像帧列表，生成视频预览内容的操作。
在本公开的一些实施例中，图像相似度计算模块34可以用于基于所述图像帧列表中的每一张图像，计算相邻图像之间的相似度，其中，所述相邻图像为当前图像与下一张图像；判断是否存在相似度大于预定相似度阈值的相邻图像；在存在相似度大于预定相似度阈值的相邻图像的情况下，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像；之后，针对当前图像帧列表，执行基于所述图像帧列表中的每一张图像，计算相邻图像之间的相似度的操作；在不存在相似度大于预定相似度阈值的相邻图像的情况下，指示预览内容生成模块33执行基于过滤后的图像帧列表，生成视频预览内容的操作。
在本公开的一些实施例中，预览内容生成模块33可以用于根据待处理视频长度和视频预览内容类型，确定待筛选图像张数；从过滤后的图像帧列表中，确定待筛选图像张数的待筛选图像；将待筛选图像生成有序的待筛选图像帧列表；根据待筛选图像帧列表生成视频预览内容。
在本公开的一些实施例中，预览内容生成模块33在从过滤后的图像帧列表中，确定待筛选图像张数的待筛选图像的情况下，可以用于根据利用每张图像与下一张图像的相似度，计算过滤后的图像帧列表中每张图像的筛选权重；将过滤后的图像帧列表分为预定数目个分段，其中，预定数目为待筛选图像张数，每个分段内所有图像的筛选权重的和相等；针对每个分段，将该分段中权重值最大的图像作为待筛选图像。
在本公开的一些实施例中，所述视频预览内容生成装置用于执行实现如上述任一实施例(例如图1或图2实施例)所述的视频预览内容生成方法的操作。
本公开上述实施例可以分辨视频的片头和片尾文字内容，可以感知视频内容快速变化。
本公开上述实施例可以实现视频文件的快速预览，使得用户在短时间内了解视频文件的主要信息，从而提高了用户体验。
图5为本公开视频预览内容生成装置又一些实施例的示意图。如图5所示，本公开视频预览内容生成装置可以包括存储器51和处理器52，其中：
存储器51，用于存储指令。
处理器52，用于执行所述指令，使得所述计算机装置执行实现如上述任一实施例(例如图1或图2实施例)所述的视频预览内容生成方法的操作。
本公开上述实施例可以通过图像识别和图像相似来筛选核心图片来生成GIF图片或新的视频。本公开上述实施例可以提高基于视频生成预览内容的质量，可以忽略视频的片头和片尾文字内容以及大段雷同的视频内容。
根据本公开的另一方面，提供一种非瞬时性计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图1或图2实施例)所述的视频预览内容生成方法。
基于本公开上述实施例提供的非瞬时性计算机可读存储介质，可以通过图像识别和图像相似来筛选核心图片来生成GIF图片或新的视频。本公开上述实施例可以提高基于视频生成预览内容的质量，可以忽略视频的片头和片尾文字内容以及大段雷同的视频内容。
本公开上述实施例可以分辨视频的片头和片尾文字内容，可以感知视频内容快速变化。
本公开上述实施例可以实现视频文件的快速预览，使得用户在短时间内了解视频文件的主要信息，从而提高了用户体验。
在上面所描述的视频预览内容生成装置可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (14)

1.一种视频预览内容生成方法，其特征在于，包括：
解析待处理视频内容，获取待处理视频内容的全部视频图像帧信息，生成有序的图像帧列表；
采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾；
基于过滤后的图像帧列表，根据每张图像与下一张图像的相似度，计算过滤后的图像帧列表中每张图像的筛选权重；
将过滤后的图像帧列表分为预定数目个分段，其中，预定数目为待筛选图像张数，每个分段内所有图像的筛选权重的和相等；
针对每个分段，将该分段中权重值最大的图像作为待筛选图像；
根据所述待筛选图像生成视频预览内容；
其中，所述计算过滤后的图像帧列表中每张图像的筛选权重包括：
根据如下所述的公式计算每张图像的筛选权重：
筛选权重＝1/(相似度比率*100)。
2.根据权利要求1所述的视频预览内容生成方法，其特征在于，还包括：
基于所述图像帧列表计算相邻图像之间的相似度，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像，之后执行基于过滤后的图像帧列表，生成视频预览内容的步骤。
3.根据权利要求1或2所述的视频预览内容生成方法，其特征在于，所述采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾包括：
针对有序的图像帧列表中的每一张图像进行图像识别，确定每一张图像中包含文字的区域位置；
对于每一张图像，判断文字占比是否大于预定阈值，其中，所述文字占比为全部文字所占的面积与该图像面积的比值；
过滤掉全部文字所占的面积与该图像面积的比值大于预定阈值的图像。
4.根据权利要求1或2所述的视频预览内容生成方法，其特征在于，所述基于所述图像帧列表计算相邻图像之间的相似度，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像包括：
基于所述图像帧列表中的每一张图像，计算相邻图像之间的相似度，其中，所述相邻图像为当前图像与下一张图像；
判断是否存在相似度大于预定相似度阈值的相邻图像；
在存在相似度大于预定相似度阈值的相邻图像的情况下，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像；之后，针对当前图像帧列表，执行基于所述图像帧列表中的每一张图像，计算相邻图像之间的相似度的步骤；
在不存在相似度大于预定相似度阈值的相邻图像的情况下，执行基于过滤后的图像帧列表，生成视频预览内容的步骤。
5.根据权利要求1或2所述的视频预览内容生成方法，其特征在于，还包括：
根据待处理视频长度和视频预览内容类型，确定待筛选图像张数；
其中，所述根据所述待筛选图像生成视频预览内容包括：
将待筛选图像生成有序的待筛选图像帧列表；
根据待筛选图像帧列表生成视频预览内容。
6.根据权利要求1或2所述的视频预览内容生成方法，其特征在于，
所述视频预览内容为图形交换格式图片和新视频中的至少一种。
7.一种视频预览内容生成装置，其特征在于，包括：
图像帧列表生成模块，用于解析待处理视频内容，获取待处理视频内容的全部视频图像帧信息，生成有序的图像帧列表；
图像识别模块，用于采用图像识别方式对所述图像帧列表进行处理，过滤视频片头和视频片尾；
预览内容生成模块，用于基于过滤后的图像帧列表，根据每张图像与下一张图像的相似度，计算过滤后的图像帧列表中每张图像的筛选权重；将过滤后的图像帧列表分为预定数目个分段，其中，预定数目为待筛选图像张数，每个分段内所有图像的筛选权重的和相等；针对每个分段，将该分段中权重值最大的图像作为待筛选图像；根据所述待筛选图像生成视频预览内容；
其中，视频预览内容生成装置，用于在计算过滤后的图像帧列表中每张图像的筛选权重的情况下，根据如下所述的公式计算每张图像的筛选权重：
筛选权重＝1/(相似度比率*100)。
8.根据权利要求7所述的视频预览内容生成装置，其特征在于，还包括：
图像相似度计算模块，用于基于所述图像帧列表计算相邻图像之间的相似度，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像，之后指示预览内容生成模块执行基于过滤后的图像帧列表，生成视频预览内容的操作。
9.根据权利要求7或8所述的视频预览内容生成装置，其特征在于，
图像识别模块，用于针对有序的图像帧列表中的每一张图像进行图像识别，确定每一张图像中包含文字的区域位置；对于每一张图像，判断文字占比是否大于预定阈值，其中，所述文字占比为全部文字所占的面积与该图像面积的比值；过滤掉全部文字所占的面积与该图像面积的比值大于预定阈值的图像。
10.根据权利要求8所述的视频预览内容生成装置，其特征在于，
图像相似度计算模块，用于基于所述图像帧列表中的每一张图像，计算相邻图像之间的相似度，其中，所述相邻图像为当前图像与下一张图像；判断是否存在相似度大于预定相似度阈值的相邻图像；在存在相似度大于预定相似度阈值的相邻图像的情况下，过滤掉相似度大于预定相似度阈值的相邻图像中的后一张图像；之后，针对当前图像帧列表，执行基于所述图像帧列表中的每一张图像，计算相邻图像之间的相似度的步骤；在不存在相似度大于预定相似度阈值的相邻图像的情况下，指示预览内容生成模块执行基于过滤后的图像帧列表，生成视频预览内容的操作。
11.根据权利要求7或8所述的视频预览内容生成装置，其特征在于，
预览内容生成模块，用于根据待处理视频长度和视频预览内容类型，确定待筛选图像张数；在根据所述待筛选图像生成视频预览内容的情况下，将待筛选图像生成有序的待筛选图像帧列表，根据待筛选图像帧列表生成视频预览内容。
12.根据权利要求7或8所述的视频预览内容生成装置，其特征在于，
所述视频预览内容为图形交换格式图片和新视频中的至少一种。
13.一种计算机装置，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述计算机装置执行实现如权利要求1-6中任一项所述的视频预览内容生成方法的操作。
14.一种非瞬时性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1-6中任一项所述的视频预览内容生成方法。
CN202011092575.2A 2020-10-13 2020-10-13 视频预览内容生成方法和装置、计算机装置和存储介质 Active CN112291618B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011092575.2A CN112291618B (zh) 2020-10-13 2020-10-13 视频预览内容生成方法和装置、计算机装置和存储介质
US18/248,670 US20230396861A1 (en) 2020-10-13 2021-10-13 Method and device for generating video preview content, computer device and storage medium
PCT/CN2021/123447 WO2022078363A1 (zh) 2020-10-13 2021-10-13 视频预览内容生成方法和装置、计算机装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011092575.2A CN112291618B (zh) 2020-10-13 2020-10-13 视频预览内容生成方法和装置、计算机装置和存储介质

Publications (2)

Publication Number Publication Date
CN112291618A CN112291618A (zh) 2021-01-29
CN112291618B true CN112291618B (zh) 2023-04-07

Family

ID=74496688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011092575.2A Active CN112291618B (zh) 2020-10-13 2020-10-13 视频预览内容生成方法和装置、计算机装置和存储介质

Country Status (3)

Country Link
US (1) US20230396861A1 (zh)
CN (1) CN112291618B (zh)
WO (1) WO2022078363A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291618B (zh) * 2020-10-13 2023-04-07 北京沃东天骏信息技术有限公司 视频预览内容生成方法和装置、计算机装置和存储介质
CN114205632A (zh) * 2021-12-17 2022-03-18 深圳Tcl新技术有限公司 视频预览方法、装置、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465954A (zh) * 2014-12-04 2017-12-12 广东欧珀移动通信有限公司 动态缩略图的生成方法及相关产品
CN109327698A (zh) * 2018-11-09 2019-02-12 杭州网易云音乐科技有限公司 动态预览图的生成方法、系统、介质和电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030026529A (ko) * 2001-09-26 2003-04-03 엘지전자 주식회사 키프레임 기반 비디오 요약 시스템
US7047494B2 (en) * 2002-05-07 2006-05-16 Hewlett-Packard Development Company, L.P. Scalable video summarization
CN103546828B (zh) * 2012-07-16 2019-02-22 腾讯科技（深圳）有限公司 节目预览的生成方法及装置
CN105981371A (zh) * 2014-03-27 2016-09-28 诺日士精密株式会社 图像处理装置
WO2016109450A1 (en) * 2014-12-29 2016-07-07 Neon Labs Inc. Selecting a high-valence representative image
KR101777242B1 (ko) * 2015-09-08 2017-09-11 네이버 주식회사 동영상 컨텐츠의 하이라이트 영상을 추출하여 제공하는 방법과 시스템 및 기록 매체
CN105761263A (zh) * 2016-02-19 2016-07-13 浙江大学 一种基于镜头边界检测和聚类的视频关键帧提取方法
US9972360B2 (en) * 2016-08-30 2018-05-15 Oath Inc. Computerized system and method for automatically generating high-quality digital content thumbnails from digital video
CN107454454A (zh) * 2017-08-30 2017-12-08 微鲸科技有限公司 信息显示方法及装置
CN110166828A (zh) * 2019-02-19 2019-08-23 腾讯科技（深圳）有限公司 一种视频处理方法和装置
CN110532983A (zh) * 2019-09-03 2019-12-03 北京字节跳动网络技术有限公司 视频处理方法、装置、介质和设备
CN110853124B (zh) * 2019-09-17 2023-09-08 Oppo广东移动通信有限公司 生成gif动态图的方法、装置、电子设备及介质
CN111523566A (zh) * 2020-03-31 2020-08-11 易视腾科技股份有限公司 目标视频片段定位方法和装置
CN112291618B (zh) * 2020-10-13 2023-04-07 北京沃东天骏信息技术有限公司 视频预览内容生成方法和装置、计算机装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465954A (zh) * 2014-12-04 2017-12-12 广东欧珀移动通信有限公司 动态缩略图的生成方法及相关产品
CN109327698A (zh) * 2018-11-09 2019-02-12 杭州网易云音乐科技有限公司 动态预览图的生成方法、系统、介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于HSV空间模型的视频场景切分;黄东军等;《计算机技术与发展》(第09期);全文 *

Also Published As

Publication number Publication date
US20230396861A1 (en) 2023-12-07
CN112291618A (zh) 2021-01-29
WO2022078363A1 (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
CN111327945B (zh) 用于分割视频的方法和装置
KR101508977B1 (ko) 이미지 분석에 의한 이미지 자동 편집 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9299004B2 (en) Image foreground detection
CN112291618B (zh) 视频预览内容生成方法和装置、计算机装置和存储介质
US10506110B2 (en) Image processing apparatus, control method, and storage medium
JP4445131B2 (ja) ビデオコンテントのヒストグラム式特徴付け方法
US20180164984A1 (en) Control method and storage medium
CN107430780B (zh) 用于基于视频内容特性的输出创建的方法
US9299177B2 (en) Apparatus, method and non-transitory computer-readable medium using layout similarity
US20060238653A1 (en) Image processing apparatus, image processing method, and computer program
JP2008187709A (ja) 画素の分類方法および画像処理装置
US10460494B2 (en) Control method and storage medium
US8411311B2 (en) Image processor
Li et al. Seam carving based aesthetics enhancement for photos
US20170277675A1 (en) Information processing apparatus and non-transitory computer readable medium
JP5984880B2 (ja) 画像処理装置
JP4804382B2 (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
CN112418220A (zh) 一种单字检测方法、装置、设备及介质
JP2021111228A (ja) 学習装置、学習方法、及びプログラム
CN110019951B (zh) 一种生成视频缩略图的方法及设备
JP2003330941A (ja) 類似画像分類装置
US20210397881A1 (en) Image processing apparatus and image processing method
JP4040905B2 (ja) 縮小画像表示装置、方法、プログラムおよびプログラムを記録した記録媒体
JP2012022413A (ja) 画像処理装置、画像処理方法、およびプログラム
US20210287412A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant