CN112651336B - 关键帧的确定方法、设备、计算机可读存储介质 - Google Patents

关键帧的确定方法、设备、计算机可读存储介质 Download PDF

Info

Publication number
CN112651336B
CN112651336B CN202011566912.7A CN202011566912A CN112651336B CN 112651336 B CN112651336 B CN 112651336B CN 202011566912 A CN202011566912 A CN 202011566912A CN 112651336 B CN112651336 B CN 112651336B
Authority
CN
China
Prior art keywords
image
frame
key frame
scene
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011566912.7A
Other languages
English (en)
Other versions
CN112651336A (zh
Inventor
侯海娜
黄腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wondershare Software Co Ltd
Original Assignee
Shenzhen Wondershare Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wondershare Software Co Ltd filed Critical Shenzhen Wondershare Software Co Ltd
Priority to CN202011566912.7A priority Critical patent/CN112651336B/zh
Publication of CN112651336A publication Critical patent/CN112651336A/zh
Application granted granted Critical
Publication of CN112651336B publication Critical patent/CN112651336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种关键帧的确定方法、设备、计算机可读存储介质。本申请的关键帧的确定方法，包括：获取内部画面序列；对所述内部画面序列进行视频序列场景分割处理，并得到至少两个场景片段；对至少两个所述场景片段进行关键帧提取处理，并得到与所述场景片段对应的有效关键帧；根据所述有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据所述综合评估结果确定视频关键帧。本申请提供的关键帧的确定方法，通过综合评估结果作为有效关键帧代表性的评价参数，以使得所得到的视频关键帧可有效地代表内容变化丰富的视频中的有效信息。

Description

关键帧的确定方法、设备、计算机可读存储介质
技术领域
本申请涉及视频处理领域，尤其涉及一种关键帧的确定方法、设备、计算机可读存储介质。
背景技术
在相关技术中，视频图像通常是在一个场景下拍摄得到的，所以在同一个场景下的各帧图像会有相当多的重复信息、冗余信息。通常选取能够描述镜头主要内容的帧，作为关键帧(也可称高亮帧)，以简洁地表达视频图像。
然而，一般提取关键帧的方法所提取到的关键帧依然存在冗余信息，且代表性不高。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种关键帧的确定方法、设备、计算机可读存储介质，本申请所提供的关键帧的确定方法通过综合评估结果作为有效关键帧代表性的评价参数，以使得所得到的视频关键帧可有效地代表内容变化丰富的视频中的有效信息。
本申请实施例第一方面提供一种关键帧的确定方法，包括：获取内部画面序列；分割所述内部画面序列的视频序列场景，并得到至少两个场景片段；提取至少两个所述场景片段的关键帧，并得到与所述场景片段对应的有效关键帧；根据所述有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据所述综合评估结果确定视频关键帧。
本申请实施例中关键帧的确定方法包括如下技术效果：通过综合评估结果作为有效关键帧代表性的评价参数，以使得所得到的视频关键帧可有效地代表内容变化丰富的视频中的有效信息。
在一些实施例中，所述获取内部画面序列，还包括：获取初始视频序列；提取所述初始视频序列的内部画面帧，得到所述内部画面序列。
在一些实施例中，所述内部画面序列至少包括依次排列的第一内部画面帧、第二内部画面帧；所述分割所述内部画面序列的视频序列场景，并得到至少两个场景片段，还包括：对所述第一内部画面帧进行图像转换得到第一灰度图像，对所述第二内部画面帧进行图像转换得到第二灰度图像；根据所述第一灰度图像、所述第二灰度图像得到像素差图像，根据所述像素差图像得到像差累加数据；根据所述像差累加数据得到相似性评估变量，根据所述相似性评估变量、相似性阈值得到场景边界；根据所述场景边界对所述内部画面序列进行视频序列场景分割，并得到至少两个场景片段。
在一些实施例中，所述根据所述像差累加数据得到相似性评估变量，根据所述相似性评估变量、相似性阈值得到场景边界，还包括：对所述相似性评估变量、所述相似性阈值进行比较处理得到相似性比较结果；根据所述相似性比较结果对所述第一灰度图像、所述第二灰度图像进行直方图比较处理得到直方比较结果；根据所述直方比较结果确定所述场景边界。
在一些实施例中，所述根据所述直方比较结果确定场景边界，还包括：根据所述直方比较结果对所述第一灰度图像、所述第二灰度图像进行图像均值比较得到图像均值比较结果；根据所述图像均值比较结果确定所述场景边界。
在一些实施例中，所述提取至少两个所述场景片段的关键帧，并得到与所述场景片段对应的有效关键帧，还包括：对每一个所述场景片段的图像进行转换计算处理得到图像熵，对所述图像依次进行直方图比较处理得到直方图比较结果列表；根据所述图像熵、所述直方图比较结果列表得到有效关键帧数组序列；其中，所述有效关键帧数组序列包括至少两个与所述场景片段对应的有效关键帧。
在一些实施例中，所述根据所述有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据所述综合评估结果确定视频关键帧，包括：根据所述人脸检测结果、与所述人脸检测结果对应的第一权重、所述图像熵值、与所述图像熵值对应的第二权重得到所述综合评估结果；根据所述综合评估结果、所述有效关键帧数组序列确定所述视频关键帧。
在一些实施例中，所述根据所述图像熵、所述直方图比较结果列表得到有效关键帧数组序列，还包括：
对所述场景片段、帧步幅进行比较处理并得到比较结果，根据所述比较结果、所述直方图比较结果列表确定所述有效关键帧的帧号，并得到所述有效关键帧数组序列；
和\或，
对所述场景片段、帧步幅进行比较处理并得到比较结果，根据所述比较结果、所述直方图比较结果列表得到暂定关键帧，对关键帧间隔差值及相邻所述暂定关键帧的差值进行比较并得到间隔比较结果；根据所述间隔比较结果对相邻所述暂定关键帧之间的图像所对应的所述直方比较结果进行平均求解处理得到直方比较平均值；对所述直方比较平均值、所述暂定关键帧的直方比较结果进行比较处理得到均值比较结果；根据所述均值比较结果确定所述有效关键帧的帧号，并得到所述有效关键帧数组序列。
本申请实施例第二方面提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行上述任一实施例中的关键帧的确定方法。
本申请实施例第三方面提供一种设备，包括：处理器；存储器，其上存储有可在所述处理器上运行的计算机程序；其中，所述计算机程序被所述处理器执行时实现上述任一实施例中的的关键帧的确定方法的步骤。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显。
附图说明
下面结合附图和实施例对本申请做进一步的说明，其中：
图1为本申请实施例一种关键帧的确定方法的流程图；
图2为本申请一实施例一种关键帧的确定方法的流程图；
图3为本申请再一实施例一种关键帧的确定方法的流程图；
图4为本申请又一实施例一种关键帧的确定方法的流程图；
图5为本申请还一实施例一种关键帧的确定方法的流程图；
图6为本申请还一实施例一种关键帧的确定方法的流程图；
图7为本申请还一实施例一种关键帧的确定方法的流程图；
图8为本申请还一实施例一种关键帧的确定方法的流程图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在相关技术中，视频图像通常是在一个场景下拍摄得到的，所以在同一个场景下的各帧图像会有相当多的重复信息、冗余信息。通常选取能够描述镜头主要内容的帧，作为关键帧(也可称高亮帧)，以简洁地表达视频图像。
其中，一般关键帧的确定方法包括：直接提取法和帧平均。然而，上述关键帧的确定方法所得到的关键帧不能较好地代表有效信息，且由于待处理数据太多导致计算量太大。
基于上述技术问题，本申请提供一种关键帧的确定方法，以使得有效地提取具有代表性的关键帧。
请参照图1，本申请提供一种关键帧的确定方法，包括：步骤S100、获取内部画面序列；步骤S200、对内部画面序列进行视频序列场景分割处理，并得到至少两个场景片段；步骤S300、对至少两个场景片段进行关键帧提取处理，并得到与场景片段对应的有效关键帧；步骤S400、根据有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据综合评估结果确定视频关键帧。
通过对原始数据图像进行内部图面帧提取以得到内部画面序列，内部画面序列包括至少两个连续排序的内部画面帧。通过对内部画面序列进行视频序列场景分割，以得到处于同一个镜头或场景的场景片段。通过对场景片段分别进行关键帧提取，以得到与每一个场景片段对应的有效关键帧。根据有效关键帧的人脸检测结果、图像熵值确定综合评估结果，以根据综合评估结果评估有效关键帧的代表性，并从有效关键帧中选取视频关键帧。
通过综合评估结果作为有效关键帧代表性的评价参数，以确定每一个场景片段中的视频关键帧。通过获取每一个场景片段对应的视频关键帧，以使得所得到的视频关键帧可有效地代表内容变化丰富的视频中的有效信息。
请参照图2，在一些实施例中，步骤S100、获取内部画面序列，还包括：步骤110、获取初始视频序列；步骤S120、对初始视频序列进行内部画面帧提取得到内部画面序列。通过获取初始视频序列，并从初始视频序列中提取内部画面序列，以降低视频关键帧获取过程中的计算量。
例如，通过H.264编码格式对视频的原始数据图像进行编码压缩处理得到视频传输数据包，以便于对视频数据进行存储、传输。
当对数据传输数据包中的视频进行播放前，通过对视频传输数据包解码以得到初始视频序列，初始视频序列包括对原始数据图像进行编码后得到的多组内部画面序列。初始视频序列为画面组(GOP，Group of Pictures)，初始视频序列包括多组子视频序列，每一个子视频序列由一张I帧和数张B帧/P帧组成。其中，子视频序列为视频图像编码器、解码器进行存取处理的基本单位。
I帧为内部画面，表示每一个子视频序列对应的内部画面；P帧为差别帧(P帧没有完整画面数据，只有与前一帧的画面差别的数据)，表示的是当前帧跟前一个I帧(或P帧)的差别；B帧为双向差别帧(可包括四种不同的参考模式)，表示的是本帧与前帧、后帧的差值。
可以理解的是，对P帧进行解码时，通过对已缓存的画面、本帧定义的差别进行叠加，以生成最终画面。对B帧进行解码时，通过对已缓存的画面(前帧)、解码后续的画面(后帧)、本帧数据进行叠加，以生成最终的画面。其中，B帧压缩率最高。进一步地，I帧(内部画面)是一个完整的画面，而P帧和B帧记录的是相对于I帧的变化。通过将I帧(内部画面)做解码基础，以对P帧、B帧进行解码。
通过对初始视频序列进行内部画面帧(I帧)提取，以得到每一个子视频序列的内部画面帧，并得到由内部画面帧依次排序所形成的内部画面序列。通过将初始视频序列进行内部画面帧(I帧)提取，以提取出的内部画面序列作为后续算法的视频输入序列，从而降低计算量并实现视频关键帧的快速提取。
例如，通过FFmpeg(多媒体视频处理的开源工具)对内部画面帧进行预提取，以形成内部画面序列。
请参照图3，在一些实施例中，内部画面序列至少包括依次排列的第一内部画面帧、第二内部画面帧；步骤S200、对内部画面序列进行视频序列场景分割处理，并得到至少两个场景片段，还包括：步骤S210、对第一内部画面帧进行图像转换得到第一灰度图像，对第二内部画面帧进行图像转换得到第二灰度图像；步骤S220、根据第一灰度图像、第二灰度图像得到像素差图像，根据像素差图像得到像差累加数据；步骤S230、根据像差累加数据得到相似性评估变量，根据相似性评估变量、相似性阈值得到场景边界；步骤S240、根据场景边界对内部画面序列进行视频序列场景分割处理，并得到至少两个场景片段。
由于视频关键帧对应于同一个场景的场景片段，通过对内部画面序列进行视频序列场景分割处理，以得到对应于不同场景的场景片段。通过对不同的场景片段进行有效关键帧提取，以得到对应不同场景片段的有效关键帧。
可以理解的是，通过前帧(第一内部画面帧)、后帧(第二内部画面帧)进行比较处理并得到比较结果，根据比较结果确定有效关键帧。
通过对内部画面序列进行顺序读取以得到第一内部画面帧、第二内部画面帧，并对第一内部画面帧、第二内部画面帧进行图像缩放、颜色空间图像转换得到对应的第一灰度图像leftgray、第二灰度图像rightgray。对内部画面序列进行顺序读取的同时，分别得到第一内部画面帧、第二内部画面帧的高度h、宽度w。
通过对第一灰度图像leftgray、第二灰度图像rightgray进行像素比较处理得到像素差图像，并根据像素差图像的像素值进行累积处理得到像差累积数据。像差累积数据可有效地表示第一灰度图像leftgray、第二灰度图像rightgray的像素差。
例如，对第一灰度图像leftgray、第二灰度图像rightgray对应位置像素进行计算处理，得到两者差值的绝对值的平方。
即像素差图像的对应像素值＝|_leftgray(x，y)-_rightgray(x，y)|*|_leftgray(x，y)-_rightgray(x，y)|。
其中，x、y表示图像中第i行第j列的像素值。在像素差值的计算过程中，对应位置的像素进行归一化处理。通过遍历第一灰度图像leftgray、第二灰度图像rightgray中每一个像素位置并进行上述计算，最终获得w*h大小的像素差图像，并记为s1。
进一步地，通过对像素差图像的每一个像素位置的数据进行累加处理得到像差累积数据(像素差图像中像素数据的累加和)，记作sse。
其中，像差累积数据其中，h表示s1的高，w表示s1的宽。
预设相似性评估变量(记作psnr)以表征第一灰度图像leftgray、第二灰度图像rightgray的相似性。若像差累积数据sse小于10-10，psnr＝100；若像差累积数据sse大于或等于10-10，其中，mse为均方误差，mse＝sse/total(_leftgray)，total(_leftgray)表示第一灰度图像_leftgray的总像素数。
进一步地，预设相似性阈值threshold(一般选取10～15范围内的值)，并对相似性评估变量、相似性阈值进行比较处理得到相似性比较结果，根据相似性比较结果从内部画面中选取对应的内部画面帧作为场景边界。其中，比较处理包括第一比较处理、第二比较处理。
具体地，对相似性评估变量、相似性阈值进行第一比较处理包括：对相似性阈值threshold、相似性评估变量psnr进行第一比较处理，以判断相似性评估变量psnr是否大于相似性阈值threshold。
若相似性评估变量psnr大于相似性阈值threshold，则判定与第二灰度图像rightgray对应的第二内部画面帧为非场景边界；若相似性评估变量psnr小于或等于相似性阈值threshold，则判定与第二灰度图像rightgray对应的第二内部画面帧为暂定的场景边界。
可以理解的是，相似性评估变量psnr用于表征相邻的第一灰度图像leftgray、第二灰度图像rightgray的相似性，若相似性评估变量psnr大于相似性阈值threshold，则说明第一灰度图像leftgray、第二灰度图像rightgray的相似性较高。
请参照图4，在一些实施例中，步骤S230、根据像差累加数据得到相似性评估变量，根据相似性评估变量、相似性阈值得到场景边界，还包括：步骤S231、对相似性评估变量、相似性阈值进行比较处理得到相似性比较结果；步骤S232、根据相似性比较结果对第一灰度图像、第二灰度图像进行直方图比较处理得到直方比较结果；步骤S233、根据直方比较结果确定场景边界。
进一步地，若相似性评估变量psnr小于或等于相似性阈值threshold，则判定与第二灰度图像rightgray对应的第二内部画面帧为暂定的场景边界，并继续执行第二比较处理。第二比较处理包括：对相似性阈值threshold、相似性评估变量psnr进行第二比较处理，以判断相似性评估变量psnr是否位于预设的相似性阈值threshold的阈值范围内。
具体地，对相似性阈值threshold、相似性评估变量psnr进行第二比较处理得到相似性比较结果，若相似性比较结果为：相似性评估变量psnr大于相似性阈值threshold-3且相似性评估变量psnr小于相似性阈值threshold+5，则对第一灰度图像、第二灰度图像进行直方图比较处理得到直方比较结果。
其中，对第一灰度图像、第二灰度图像进行直方图比较处理，可包括以下处理过程：对第一灰度图像leftgray、第二灰度图像rightgray的直方图进行分别计算得到第一直方图H1、第二直方图H2；对第一直方图H1、第二直方图H2进行比较处理得到直方图比较结果；根据直方图比较结果得到暂定的场景边界。
请参照图5，在一些实施例中，步骤S233、根据直方比较结果确定场景边界，还包括：步骤S2331、根据直方比较结果对第一灰度图像、第二灰度图像进行图像均值比较得到图像均值比较结果；步骤S2332、根据图像均值比较结果确定场景边界。
通过对第一直方图H1、第二直方图H2的相关性进行计算，以进行比较处理并得到直方图相关性参数值，并对直方图相关性参数值、预设阈值进行比较得到直方图比较结果。
其中，N表示在进行直方图计算过程中划分的灰度级(将0～255划分成的区间个数，通常是每一个灰度级划分成一个，共256个，N＝256。且公式中的I，J取值为0，1，…255)。此外，d(H1，H2)的值越接近1，则表征第一灰度图像leftgray、第二灰度图像rightgray的相关性越强，第一内部画面帧、第二内部画面帧越相似。
例如预设阈值为0.8，若当d(H1，H2)小于0.8时，则判断当前帧为暂定的场景边界；若当d(H1，H2)大于或等于0.8时，则判断当前帧为非场景边界。
进一步地，若根据图像均值比较结果判断当前帧为非场景边界或|相似性评估变量psnr-100|小于10-10，则计算第一灰度图像leftgray、第二灰度图像rightgray的均值，并得到第一灰度均值leftmean、第二灰度均值rightmean。
若第一灰度均值leftmean小于10且第二灰度均值rightmean小于10时，则判断第一内部画面帧、第二内部画面为偏黑帧，并获取当前帧的布尔量_blackjust；若当前帧的布尔量_blackjust＝0，则判定当前帧为场景边界且令_blackjust＝1。
若第二灰度均值rightmean大于10且_blackjust＝1，则判定当前帧为场景边界且令_blackjust＝0。
若第一灰度均值leftgray＝第二灰度均值rightgray时，即当前帧在下一次计算时已经作为前一帧进行比较。若判定当前帧为场景边界，将该帧的帧号进行记录。该帧之前直到上一个作为场景边界的帧之间的所有帧为同一场景。
请参照图6，在一些实施例中，S300、对至少两个场景片段进行关键帧提取处理，并得到与场景片段对应的有效关键帧，还包括：S310、对每一个场景片段的图像进行转换计算处理得到图像熵，对图像依次进行直方图比较处理得到直方图比较结果列表；S320、根据图像熵、直方图比较结果列表得到有效关键帧数组序列；其中，有效关键帧数组序列包括至少两个与场景片段对应的有效关键帧。
通过对每一个场景片段的图像进行转换计算处理得到图像熵，并进行直方图比较处理以得到包括多个直方图比较结果的直方图比较结果列表。通过获取每一个场景片段图像的图像熵，以对图像的“繁忙”程度进行估计。图像熵表示图像灰度级集合的比特平均数，也描述了图像信源的平均信息量，此处计算每一幅图像的熵，是为了对图像所带信息丰富度的一个参考值。
其中，预设图像的灰度级为[0，255]，图像熵的计算方法如下：通过遍历整幅图像中的每一个像素，将其像素值所对应的灰度级逐一累加，再计算每个灰度级的概率。
每个灰度级的概率：temp(i)＝temp(i)/(w_k*h_k)，其中i＝0，1，…，255，w_k表示图像的宽，h_k表示图像的高。
图像熵表示为变量entropy_value，对图像熵entropy_value进行初始化，对图像熵entropy_value＝0。
当灰度级的概率temp(i)＝0时，图像熵entropy_value＝0；当灰度级的概率temp(i)不等于0时，图像熵entropy_value＝entropy_value-temp(i)*(log(temp(i))/log(2.0)，i＝0，1，…，255。
通过预设图像熵序列entropyList，以记录每一帧图像的图像熵，并计算得到的第i帧图像的图像熵放入序列。即entropyList[i]＝entropy_value.。
进一步地，由于对当前处理的图像已经进行预先进行颜色空间图像转换，则当前图像为三通道图像。对图像进行直方图比较处理的过程为：对每一个图像的每一个通道进行逐一计算，以得到与每一个通道对应的三个直方图。
若当前图像不是第一帧，则对当前图像进行直方图计算处理得到对应的直方图，并将当前图像与前一图像的直方图进行比较处理得到直方图比较结果。其中，直方图的比较处理为：当前图像、前一图像的对应通道的直方图进行比较，即对三组直方图的分别进行比较以得到直方图比较结果。
由于图像包括H(色调)、S(饱和度)、V(亮度)等三组参数，而该三组参数对于图像的重要性不一致。根据图像的参数设置对应权重序列，根据权重序列、直方图计算获得有效的直方图比较结果。其中，权重序列为(0.7，0.2，0.1)，以降低光照对图像分析的影响。
对图像依次进行直方图比较处理得到直方图比较结果，具体包括：直方图比较结果distance＝H_dis*0.7+S_dis*0.2+V_dis*0.1，H_dis、S_dis、V_dis分别表示三个颜色通道直方图比较所得结果。通过对H(色调)、S(饱和度)、V(亮度)及相对应的权重进行计算，以得到直方图比较结果distance。
通过对直方图比较结果distance进行记录并放入数组中，以得到直方图比较结果列表distanceList。通过遍历所有图像并进行直方图比较处理，获得对应的直方图比较结果，以形成对应的直方图比较结果列表。
进一步地，根据图像熵、直方图比较结果列表得到有效关键帧数组序列，包括：预统计当前场景片段的图像帧数，并设定对应的有效关键帧数组序列keyFrameIndex。其中，有效关键帧数组序列keyFrameIndex的长度为帧数，且每一个组成有效关键帧数组序列的数组元素中存放关键帧标记(标记当前帧图像是否为关键帧的0或1)，以标示对应的帧图像是否为关键帧。若对应帧图像为有效关键帧，则记为1；若对应帧图像不是有效关键帧，则记为0。在进行有效关键帧获取前，对所有的数组序号进行初始化，并标示为0。例如，keyFrameIndex[5]＝1，表示该场景片段的第5帧是关键帧。
在一些实施例中，S320、根据图像熵、直方图比较结果列表得到有效关键帧数组序列，还包括：S321、对场景片段、帧步幅进行比较处理并得到比较结果，根据比较结果、直方图比较结果列表确定有效关键帧的帧号，并得到有效关键帧数组序列。
预设帧步幅frameStep(帧步幅frameStep设为N，通常选取8～10)，帧步幅frameStep用于表示从当前帧开始向前的N个帧内进行比较并获取有效关键帧。
若场景片段的总帧数小于帧步幅frameStep，获取场景片段内所有的帧图像的最大直方图比较结果。可以理解的是，通过从与场景片段对应的直方图比较结果列表选取最大值，并将其对应的序列号作为场景片段中有效关键帧的帧号，且令对应位置的有效关键帧的数组序列keyFrameIndex[i]＝1(假定i帧计算为关键帧)。
请参照图7，在一些实施例中，S320、根据图像熵、直方图比较结果列表得到有效关键帧数组序列，还包括：S322、对场景片段、帧步幅进行比较处理并得到比较结果，根据比较结果、根据直方图比较结果列表得到暂定关键帧，对关键帧间隔差值及相邻暂定关键帧的差值进行比较并得到间隔比较结果；S323、根据间隔比较结果对相邻暂定关键帧之间的图像所对应的直方比较结果进行平均求解处理得到直方比较平均值；S324、对直方比较平均值、暂定关键帧的直方比较结果进行比较处理得到均值比较结果；S325、根据均值比较结果确定有效关键帧的帧号，并得到有效关键帧数组序列。本实施例中，关键帧间隔差值被设置为等于最小镜头长度minLengthOfShot。相邻暂定关键帧包括：暂定的有效关键帧、与之对应的前一有效关键帧。
例如，若场景片段的总帧数大于或等于帧步幅frameStep，则获取当前帧图像的帧号，记作num。
若num％frameStep(帧步幅)＝0时，则从当前第num帧图像向前帧步幅frameStep个图像对应的直方图比较结果列表选取最大值，并将其对应的序列号作为场景片段中有效关键帧的帧号，并设为暂定的有效关键帧。假设为第k帧，设为暂定的有效关键帧为maxIndex＝k。
进一步地，设定前一有效关键帧参数preMaxIndex，用于表示前一个有效关键帧所在的帧号，并初始化前置参数preMaxIndex＝0。
若暂定的有效关键帧maxIndex-前一有效关键帧参数preMaxIndex大于最小镜头长度minLengthOfShot(通常选取4～8)，则进行下一步判断处理。即计算从前一有效关键帧参数preMaxIndex到暂定的有效关键帧maxIndex之间所有帧的直方图比较结果累加再求平均得到直方比较平均值avg_value。最小镜头长度minLengthOfShot(关键帧间隔差值)表示两个有效关键帧之间间隔的帧数。
若暂定的有效关键帧所代表的帧的直方图比较结果distance大于avgthreshold*avg_value，则进行下一步判断处理：根据回退帧步幅向后计算并进行有效关键帧判定。
预先设一个参数记为回退帧步幅frameStep back(设定为N，通常选取8～10)，表示从当前帧图像开始向后计算的帧数。
其中，avgthreshold是一个常数(通常选取4～6)，表示暂定的有效关键帧maxIndex所代表的帧图像的直方图比较结果distance大于均值的几倍。
从暂定的有效关键帧maxIndex开始向后寻N(根据回退帧步幅frameStep back设置的具体数值判定)个帧图像，并计算帧图像的直方图比较结果的最大值，记录下最大值所对应的帧号记为回退有效关键帧maxIndex_back。其中，计算帧图像的直方图比较结果的最大值为计算上述N个帧图的像直方图比较结果的最大值。
若暂定的有效关键帧的直方图比较结果大于上述最大值，则暂定的有效关键帧maxIndex判定为实际的有效关键帧，并使得对应的有效关键帧数组序列keyFrameIndex[maxIndex]＝1。
若暂定的有效关键帧的直方图比较结果小于或等于上述最大值，则执行下一步判断处理。下一步判断步骤具体地：从暂定的有效关键帧maxIndex至回退有效关键帧maxIndex_back之间所有帧图像的直方比较平均值(两者之间所有帧图像的直方比较结果distance的均值)。
若回退有效关键帧maxIndex_back所代表的帧图像的直方图比较结果distance大于avgthreshold*avg_value，则将回退有效关键帧maxIndex_back所表示的帧被最终判定是有效关键帧，并在关键帧的数组序列keyFrameIndex[maxIndex_back]＝1。
若回退有效关键帧maxIndex_back所代表的帧图像的直方图比较结果distance小于或等于avgthreshold*avg_value，则暂定有效帧maxIndex所表示最终判定是有效关键帧，关键帧的数组序列keyFrameIndex[maxIndex]＝1.
其中，avgthreshold是一个常数(通常选取4～6)，表示暂定的有效关键帧maxIndex所代表的帧图像的直方图比较结果distance大于均值的几倍。
通过对所有场景片段的帧图像进行遍历片段，以获得有效关键帧数组序列keyFrameIndex，从而对所有场景片段进行有效关键帧的提取。其中，有效关键帧数组序列keyFrameIndex中为1的序号所对应帧号为有效关键帧的帧号。
请参照图8、在一些实施例中，步骤S400、根据有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据综合评估结果得到视频关键帧，包括：步骤S410、根据人脸检测结果、与人脸检测结果对应的第一权重、图像熵值、与图像熵值对应的第二权重得到综合评估结果；步骤S420、根据综合评估结果、有效关键帧数组序列得到视频关键帧。
由于含有人脸的帧通常可以代表视频的主要情节或者重要的数据源，因此将人脸检测结果作为有效关键帧的代表性的评估因素之一。
通过从上述步骤中所得到的有效关键帧数组序列，以根据有效关键帧中的人脸检测结果、图像熵值进行计算得到综合评估结果，并根据综合评估结果判定有效关键帧的重要性，从而得到具有代表性的视频关键帧。
通过机器学习、深度学习、图像处理等模块开发的工具，对有效关键帧进行人脸检测以得到标识人脸位置的矩形框(x，y，w_r，h_r)，x、y分别表示矩形框的左上角点坐标，w_r、h_r分别表示矩形框的宽高。
综合评估结果S的计算如下：S＝100*[p1*(a*s_11+b*s_12)+p2*s_2]，其中，S表示综合评估结果、p1表示第一权重、p2表示第二权重、a为人脸框中心权重、b为人脸框大小权重、s_2表示图像熵值entropy_value/8所得的数值。
其中，p1＝70％、p2＝30％、a＝60％、b＝40％。s_11表示人脸框中心点位置，s_12表示人脸框大小
例如，当人脸框中心点坐标为(c_x，c_y)，位于画面的[(0，0)，(w*0.1，y*0.9)]的范围内，即矩形左上角点坐标和右下角点坐标构成的矩形区域内，则s_11＝0.1；若中心点坐标(c_x，c_y)，位于画面的[(w*0.3，0)，(w*0.7，y*0.9)]的范围内，s_11＝0.9，以此进行计算。
此外，当图像中含有多个人脸框时，则选出人脸框最大且中心点处于0.9分值区域的人脸框；若图像中没有人脸，则a*s_11+b*s_12＝0.7。s_12可表示人脸框大小除以图片大并进行归一化处理，即获得人脸框在图像帧中的占比。
通过进行上述计算以得到综合评估结果S，并选取综合评估结果S最高的有效关键帧作为视频关键帧，以获得初始视频序列的视频关键帧序列。
通过上述方法对视频关键帧进行获取，可在降低计算量的基础上，保证视频关键帧的代表性。
进一步地，本申请所提供的关键帧的确定方法可有效获得视频内容的重要信息，并去除过多的图像冗余，并快速获取原始视频中的具有代表性的片段内容。在实际应用中，对5个1920*1080分辨率总时长为7min25s的视频数据进行关键帧提取，仅约需要1min就可以获得感官上极具代表性的关键帧。
在一些实施例中，计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行上述任一实施例中的关键帧的确定方法。
在一些实施例中，设备，包括：处理器；
存储器，其上存储有可在处理器上运行的计算机程序；其中，计算机程序被处理器执行上述任一实施例中的关键帧的确定方法的步骤。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

Claims (4)

1.关键帧的确定方法，其特征在于，包括：
获取内部画面序列；
分割所述内部画面序列的视频序列场景，并得到至少两个场景片段；其中，所述内部画面序列至少包括依次排列的第一内部画面帧、第二内部画面帧；所述分割所述内部画面序列的视频序列场景，并得到至少两个场景片段，包括：对所述第一内部画面帧进行图像转换得到第一灰度图像，对所述第二内部画面帧进行图像转换得到第二灰度图像；根据所述第一灰度图像、所述第二灰度图像得到像素差图像，根据所述像素差图像得到像差累加数据；其中，所述像素差图像的对应像素值为所述第一灰度图像和所述第二灰度图像对应位置像素的差值的平方；根据所述像差累加数据得到相似性评估变量，根据所述相似性评估变量、相似性阈值得到场景边界；根据所述场景边界对所述内部画面序列进行视频序列场景分割，并得到至少两个所述场景片段；所述根据所述像差累加数据得到相似性评估变量，根据所述相似性评估变量、相似性阈值得到场景边界，包括：对所述相似性评估变量、所述相似性阈值进行比较处理得到相似性比较结果；根据所述相似性比较结果对所述第一灰度图像、所述第二灰度图像进行直方图比较处理得到直方比较结果；根据所述直方比较结果确定所述场景边界；
提取至少两个所述场景片段的关键帧，并得到与所述场景片段对应的有效关键帧；所述提取至少两个所述场景片段的关键帧，并得到与所述场景片段对应的有效关键帧，包括：对每一个所述场景片段的图像进行转换计算处理得到图像熵，对所述图像依次进行直方图比较处理得到直方图比较结果列表；根据所述图像熵、所述直方图比较结果列表得到有效关键帧数组序列；
根据所述有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据所述综合评估结果确定视频关键帧；所述根据所述有效关键帧的人脸检测结果、图像熵值得到综合评估结果具体包括：根据所述人脸检测结果、与所述人脸检测结果对应的第一权重、所述图像熵值、与所述图像熵值对应的第二权重得到所述综合评估结果；根据所述综合评估结果、有效关键帧数组序列确定所述视频关键帧；所述有效关键帧数组序列包括至少两个与所述场景片段对应的有效关键帧；
其中，根据所述图像熵值、直方图比较结果列表得到有效关键帧数组序列包括：对所述场景片段、帧步幅进行比较处理并得到比较结果，根据所述比较结果、所述直方图比较结果列表得到暂定关键帧，对关键帧间隔差值及相邻所述暂定关键帧的差值进行比较并得到间隔比较结果；根据所述间隔比较结果对相邻所述暂定关键帧之间的图像所对应的所述直方比较结果进行平均求解处理得到直方比较平均值；对所述直方比较平均值、所述暂定关键帧的直方比较结果进行比较处理得到均值比较结果；根据所述均值比较结果确定所述有效关键帧的帧号，并得到所述有效关键帧数组序列。
2.根据权利要求1所述的关键帧的确定方法，其特征在于，所述根据所述直方比较结果确定场景边界，还包括：
根据所述直方比较结果对所述第一灰度图像、所述第二灰度图像进行图像均值比较得到图像均值比较结果；
根据所述图像均值比较结果确定所述场景边界。
3.计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行权利要求1至2中任一项所述的关键帧的确定方法。
4.关键帧的确定设备，其特征在于，包括：处理器；
存储器，其上存储有可在所述处理器上运行的计算机程序；其中，所述计算机程序被所述处理器执行时实现如权利要求1至2中任一项所述的关键帧的确定方法的步骤。
CN202011566912.7A 2020-12-25 2020-12-25 关键帧的确定方法、设备、计算机可读存储介质 Active CN112651336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011566912.7A CN112651336B (zh) 2020-12-25 2020-12-25 关键帧的确定方法、设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011566912.7A CN112651336B (zh) 2020-12-25 2020-12-25 关键帧的确定方法、设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112651336A CN112651336A (zh) 2021-04-13
CN112651336B true CN112651336B (zh) 2023-09-29

Family

ID=75363069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011566912.7A Active CN112651336B (zh) 2020-12-25 2020-12-25 关键帧的确定方法、设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112651336B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014649A (zh) * 2022-04-28 2023-11-07 北京字跳网络技术有限公司 视频处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021904A (zh) * 2006-10-11 2007-08-22 鲍东山 视频内容分析系统
CN101315631A (zh) * 2008-06-25 2008-12-03 中国人民解放军国防科学技术大学 一种新闻视频故事单元关联方法
CN101394522A (zh) * 2007-09-19 2009-03-25 中国科学院计算技术研究所 一种视频拷贝的检测方法和系统
CN106713964A (zh) * 2016-12-05 2017-05-24 乐视控股（北京）有限公司 一种生成视频摘要视点图的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040088723A1 (en) * 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021904A (zh) * 2006-10-11 2007-08-22 鲍东山 视频内容分析系统
CN101394522A (zh) * 2007-09-19 2009-03-25 中国科学院计算技术研究所 一种视频拷贝的检测方法和系统
CN101315631A (zh) * 2008-06-25 2008-12-03 中国人民解放军国防科学技术大学 一种新闻视频故事单元关联方法
CN106713964A (zh) * 2016-12-05 2017-05-24 乐视控股（北京）有限公司 一种生成视频摘要视点图的方法及装置

Also Published As

Publication number Publication date
CN112651336A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
JP4271027B2 (ja) 動画データストリームで漫画を検出するための方法及びシステム
KR101369915B1 (ko) 영상 식별자 추출 장치
US6618507B1 (en) Methods of feature extraction of video sequences
CN108182421B (zh) 视频分割方法和装置
EP1021042B1 (en) Methods of scene change detection and fade detection for indexing of video sequences
US7248782B2 (en) Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method
US7031385B1 (en) Method and apparatus for detecting scene change of a compressed moving-picture, and program recording medium therefor
JP2000217121A (ja) ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法
JP2011118498A (ja) 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム
JPH10257436A (ja) 動画像の自動階層構造化方法及びこれを用いたブラウジング方法
US20090225169A1 (en) Method and system of key frame extraction
CN112651336B (zh) 关键帧的确定方法、设备、计算机可读存储介质
CN114640881A (zh) 视频帧对齐方法、装置、终端设备及计算机可读存储介质
CN106331730B (zh) H.264视频同量化因子双重压缩检测方法
CN111083481A (zh) 图像编码方法及装置
JP5644505B2 (ja) 照合加重情報抽出装置
EP2187647A1 (en) Method and device for approximating a DC coefficient of a block of pixels of a frame
CN112954318A (zh) 数据编码方法及装置
CN110312133B (zh) 图像处理方法及装置
JP4618621B2 (ja) フレームを識別する方法及びシステム
US8804046B1 (en) Methods and systems for detection of chroma dropouts in video
Aoki Play estimation using multiple 1D degenerated descriptions of MPEG motion compensation vectors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant