CN106603916A - 一种关键帧检测方法及装置 - Google Patents

Abstract

本发明公开了一种关键帧检测方法及装置。所述方法包括：获取当前视频帧；将所述当前视频帧与相邻视频帧进行比较，获得所述当前视频帧与所述相邻视频帧之间的第一相似度；根据所述第一相似度和第一预设相似度，确定所述当前视频帧是否为镜头切变帧。通过本发明的技术方案，在获取到当前视频帧后，通过将该当前视频帧与相邻视频帧进行比较，可以获得该当前视频帧与相邻视频帧之间的第一相似度，进而根据第一相似度和第一预设相似度，自动确定当前视频帧是否为镜头切变帧，从而使得确定出的镜头切变帧更加准确。

Description

一种关键帧检测方法及装置

技术领域

本发明涉及视频处理技术领域，特别涉及一种关键帧检测方法及装置。

背景技术

目前，为了方便进行视频编辑等操作，常常需要对视频中的视频帧进行检测，以识别出镜头切变帧或者关键帧，而相关技术中的视频帧检测方案为：通过视频帧的时间间隔来确定关键帧，例如：如果当前视频帧与前一个视频帧的相隔时间达到预设时间，则认为该视频帧是关键帧，或者通过人工检测等，而这些视频帧检测方案显然都不太准确，使得检测出的关键帧容易有冗余或者不太全面。

发明内容

本发明提供一种关键帧检测方法及装置，用以在获取到视频中的当前视频帧后，可以将当前视频帧与相邻视频帧进行比较，以获得该当前视频帧与相邻视频帧之间的第一相似度，进而根据第一相似度和第一预设相似度，自动确定当前视频帧是否为镜头切变帧，从而使得确定出的镜头切变帧更加准确。

本发明提供一种关键帧检测方法，包括：

获取当前视频帧；

将所述当前视频帧与相邻视频帧进行比较，获得所述当前视频帧与所述相邻视频帧之间的第一相似度；

根据所述第一相似度和第一预设相似度，确定所述当前视频帧是否为镜头切变帧。

在一个实施例中，所述根据所述第一相似度和第一预设相似度，确定所述当前视频帧是否为镜头切变帧，包括：

当所述第一相似度低于所述第一预设相似度时，确定所述当前视频帧为镜头切变帧；

当所述第一相似度不低于所述第一预设相似度时，确定所述当前视频帧不是镜头切变帧。

在一个实施例中，所述方法还包括：

当所述当前视频帧不是镜头切变帧时，将所述当前视频帧与所述当前视频帧所在的当前镜头中的相邻关键帧进行比较，获得所述当前视频帧与所述相邻关键帧之间的第二相似度；

当所述第二相似度低于第二预设相似度时，确定所述当前视频帧为所述当前镜头中的关键帧，其中，所述第二预设相似度大于所述第一预设相似度。

在一个实施例中，所述方法还包括：

当所述当前视频帧不是镜头切变帧时，将所述当前视频帧与所述当前视频帧所在的当前镜头中的所有关键帧进行比较，获得所述当前视频帧与所述所有关键帧中各关键帧之间的第二相似度；

当所述当前视频帧与所述所有关键帧中各关键帧之间的第二相似度均低于第二预设相似度时，确定所述当前视频帧为所述当前镜头中的关键帧，其中，所述第二预设相似度大于所述第一预设相似度。

在一个实施例中，所述方法还包括：

在确定所述当前视频帧为镜头切变帧时，将所述当前视频帧所在的当前镜头的上一相邻镜头的所有关键帧从缓存中清除。

本发明还提供一种关键帧检测装置，包括：

第一获取模块，用于获取当前视频帧；

第二获取模块，用于将所述当前视频帧与相邻视频帧进行比较，获得所述当前视频帧与所述相邻视频帧之间的第一相似度；

第一确定模块，用于根据所述第一相似度和第一预设相似度，确定所述当前视频帧是否为镜头切变帧。

在一个实施例中，所述第一确定模块包括：

第一确定子模块，用于当所述第一相似度低于所述第一预设相似度时，确定所述当前视频帧为镜头切变帧；

第二确定子模块，用于当所述第一相似度不低于所述第一预设相似度时，确定所述当前视频帧不是镜头切变帧。

在一个实施例中，所述装置还包括：

第三获取模块，用于当所述当前视频帧不是镜头切变帧时，将所述当前视频帧与所述当前视频帧所在的当前镜头中的相邻关键帧进行比较，获得所述当前视频帧与所述相邻关键帧之间的第二相似度；

第二确定模块，用于当所述第二相似度低于第二预设相似度时，确定所述当前视频帧为所述当前镜头中的关键帧，其中，所述第二预设相似度大于所述第一预设相似度。

在一个实施例中，所述装置还包括：

第四获取模块，用于当所述当前视频帧不是镜头切变帧时，将所述当前视频帧与所述当前视频帧所在的当前镜头中的所有关键帧进行比较，获得所述当前视频帧与所述所有关键帧中各关键帧之间的第二相似度；

第三确定模块，用于当所述当前视频帧与所述所有关键帧中各关键帧之间的第二相似度均低于第二预设相似度时，确定所述当前视频帧为所述当前镜头中的关键帧，其中，所述第二预设相似度大于所述第一预设相似度。

在一个实施例中，所述装置还包括：

缓存清除模块，用于在确定所述当前视频帧为镜头切变帧时，将所述当前视频帧所在的当前镜头的上一相邻镜头的所有关键帧从缓存中清除。

本公开的实施例提供的技术方案可以包括以下有益效果：

在获取到视频中的当前视频帧后，可以将当前视频帧与相邻视频帧进行比较，以获得该当前视频帧与相邻视频帧之间的第一相似度，进而根据第一相似度和第一预设相似度，自动确定当前视频帧是否为镜头切变帧，从而使得确定出的镜头切变帧更加准确。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据一示例性实施例示出的一种关键帧检测方法的流程图。

图2是根据一示例性实施例示出的另一种关键帧检测方法的流程图。

图3是根据一示例性实施例示出的一种关键帧检测装置的框图。

图4是根据一示例性实施例示出的另一种关键帧检测装置的框图。

图5是根据一示例性实施例示出的又一种关键帧检测装置的框图。

图6是根据一示例性实施例示出的再一种关键帧检测装置的框图。

图7是根据一示例性实施例示出的再一种关键帧检测装置的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

相关技术中，为了方便进行视频编辑等操作，常常需要对视频中的视频帧进行检测，以识别出镜头切变帧或者关键帧，而相关技术中的视频帧检测方案为：通过视频帧的时间间隔来确定关键帧，例如：如果当前视频帧与前一个视频帧的相隔时间达到预设时间，则认为该视频帧是关键帧，或者通过人工检测等，但这些视频帧检测方案显然都不太准确，使得检测出的关键帧容易有冗余或者不太全面。

为了解决上述技术问题，本公开实施例提供了一种关键帧检测方法，该方法适用于视频帧检测程序、系统或装置中，其执行主体可以是手机、平板电脑、计算机、相机等各种终端，如图1所示，步骤S101至步骤S103，

在步骤S101中，获取当前视频帧；

该当前视频帧即需要进行视频帧检测的视频中的任一帧视频。

在步骤S102中，将当前视频帧与相邻视频帧进行比较，获得当前视频帧与相邻视频帧之间的第一相似度；

其中，在进行视频帧检测时，如果是按照从前到后的顺序对视频进行检测的，则相邻视频帧是该视频中与该当前视频帧相邻的前一个视频帧，而如果是按照从后到前的顺序对视频进行检测的，则相邻视频帧是该视频中与当前视频帧相邻的后一个视频帧。

其次，在获得第一相似度时，可根据当前视频帧的颜色直方图和相邻视频帧的颜色直方图来获取。

在步骤S103中，根据第一相似度和第一预设相似度，确定当前视频帧是否为镜头切变帧，其中，镜头切变帧用于切分镜头，为镜头切换后的新镜头中的第一个视频帧，而该第一个视频帧也是新镜头中的第一个关键帧。

在获取到视频中的当前视频帧后，可以将当前视频帧与相邻视频帧进行比较，以获得该当前视频帧与相邻视频帧之间的第一相似度，进而根据第一相似度和第一预设相似度，自动确定当前视频帧是否为镜头切变帧，从而使得确定出的镜头切变帧更加准确。

如图2所示，在一个实施例中，上述图1所示的步骤S103，即根据第一相似度和第一预设相似度，确定当前视频帧是否为镜头切变帧，可以包括步骤A1和步骤A2：

在步骤A1中，当第一相似度低于第一预设相似度时，确定当前视频帧为镜头切变帧，其中，由于镜头切边帧代表镜头切换了，而不同镜头的视频帧之间相似度很低、变化很大，因而，第一预设相似度应该低一些，如可以是5％或者10％等；

在步骤A2中，当第一相似度不低于第一预设相似度时，确定当前视频帧不是镜头切变帧。

当第一相似度低于第一预设相似度时，说明当前视频帧相比于相邻视频帧变化很大，因而，可以确定镜头切换了，该当前视频帧为镜头切变帧，即该当前视频帧为新镜头的第一个视频帧(当然，新镜头的第一个视频帧也是新镜头的第一个关键帧)，当第一相似度不低于第一预设相似度时，说明当前视频帧相比于相邻视频帧变化不太大，因而，可以确定没有切换镜头，即该当前视频帧不是镜头切变帧，仍然为当前镜头的一个视频帧。

在一个实施例中，方法还包括：

当当前视频帧不是镜头切变帧时，将当前视频帧与当前视频帧所在的当前镜头中的相邻关键帧进行比较，获得当前视频帧与相邻关键帧之间的第二相似度；

当该当前视频帧不是镜头切变帧时，该当前视频帧和该相邻关键帧同属于当前镜头中的视频帧，而该相邻关键帧为该当前镜头内距离该当前视频帧最近的一个关键帧。

当第二相似度低于第二预设相似度时，确定当前视频帧为当前镜头中的关键帧，其中，第二预设相似度大于第一预设相似度，由于同一镜头内视频帧之间的相似度相比于不同镜头内视频帧之间的相似度高一些，因而，该第二预设相似度应该大于第一预设相似度，如该第二预设相似度可以是40％等。

当该当前视频帧不是镜头切变帧，说明当前没有进行镜头切换，所以，可将当前视频帧与当前视频帧所在的当前镜头中的相邻关键帧进行比较，以获得两者之间的第二相似度，进而当第二相似度低于第二预设相似度时，说明当前视频帧和相邻关键帧的画面相差稍微大一些，进而说明该当前视频帧是该当前镜头中比较重要、典型的一个视频帧，因而，可自动地将当前视频帧确定为当前镜头的关键帧，而这种检测方式也会使得检测出的关键帧相比于相关技术更加全面而又不冗余。

在确定出每个镜头的镜头切变帧和关键帧后，方便进行视频编辑，如方便进行视频片段的切分等操作，且通过提取镜头的镜头切变帧和关键帧并将其显示，便于用户可以快速了解视频内容。

在一个实施例中，方法还包括：

当当前视频帧不是镜头切变帧时，将当前视频帧与当前视频帧所在的当前镜头中的所有关键帧进行比较，获得当前视频帧与所有关键帧中各关键帧之间的第二相似度；

当当前视频帧与所有关键帧中各关键帧之间的第二相似度均低于第二预设相似度时，确定当前视频帧为当前镜头中的关键帧，其中，第二预设相似度大于第一预设相似度。

当该当前视频帧不是镜头切变帧，说明当前没有进行镜头切换，所以，为了进一步确定该当前视频帧是否为当前镜头中的关键帧，还可以将当前视频帧与当前视频帧所在的当前镜头中的所有关键帧(包括该当前视频帧所在的当前镜头中的第一个关键帧)逐一进行比较，以获得当前视频帧与所有关键帧中各关键帧之间的第二相似度，进而当当前视频帧与所有关键帧中各关键帧之间的第二相似度均低于第二预设相似度时，说明当前视频帧和当前镜头中的所有关键帧的画面相差都大一些，进而说明该当前视频帧是该当前镜头中比较重要、典型的一个视频帧，所以，可自动地将当前视频帧确定为当前镜头的关键帧，而这种检测方式也会使得检测出的关键帧相比于相关技术更加全面而又不冗余。

在一个实施例中，方法还包括：

在确定当前视频帧为镜头切变帧时，将当前视频帧所在的当前镜头的上一相邻镜头的所有关键帧从缓存中清除。

在确定该当前视频帧为镜头切换帧时，说明自该当前视频帧起开始了另一个新的镜头，因而，可将当前视频帧所在的当前镜头的上一相邻镜头的所有关键帧从缓存中清除，以在减轻缓存负担的基础上，对当前镜头中的视频帧进行快速检测，从而使得检测出的关键帧比较全面而又不冗余。

如图3所示，本发明还提供一种关键帧检测装置，包括：

第一获取模块301，被配置为获取当前视频帧；

第二获取模块302，被配置为将当前视频帧与相邻视频帧进行比较，获得当前视频帧与相邻视频帧之间的第一相似度；

第一确定模块303，被配置为根据第一相似度和第一预设相似度，确定当前视频帧是否为镜头切变帧。

如图4所示，在一个实施例中，上述图3的第一确定模块303可以包括：

第一确定子模块3031，被配置为当第一相似度低于第一预设相似度时，确定当前视频帧为镜头切变帧；

第二确定子模块3032，被配置为当第一相似度不低于第一预设相似度时，确定当前视频帧不是镜头切变帧。

如图5所示，在一个实施例中，上述图3所示的装置还可包括：

第三获取模块501，被配置为当当前视频帧不是镜头切变帧时，将当前视频帧与当前视频帧所在的当前镜头中的相邻关键帧进行比较，获得当前视频帧与相邻关键帧之间的第二相似度；

第二确定模块502，被配置为当第二相似度低于第二预设相似度时，确定当前视频帧为当前镜头中的关键帧，其中，第二预设相似度大于第一预设相似度。

如图6所示，在一个实施例中，上述图3所示的装置还可包括：

第四获取模块601，被配置为当当前视频帧不是镜头切变帧时，将当前视频帧与当前视频帧所在的当前镜头中的所有关键帧进行比较，获得当前视频帧与所有关键帧中各关键帧之间的第二相似度；

第三确定模块602，被配置为当当前视频帧与所有关键帧中各关键帧之间的第二相似度均低于第二预设相似度时，确定当前视频帧为当前镜头中的关键帧，其中，第二预设相似度大于第一预设相似度。

如图7所示，在一个实施例中，上述图3所示的装置还可包括：

缓存清除模块701，被配置为在确定当前视频帧为镜头切变帧时，将当前视频帧所在的当前镜头的上一相邻镜头的所有关键帧从缓存中清除。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

最后，本发明中的关键帧检测装置适用于终端设备。例如，可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种关键帧检测方法，其特征在于，包括：

获取当前视频帧；

将所述当前视频帧与相邻视频帧进行比较，获得所述当前视频帧与所述相邻视频帧之间的第一相似度；

根据所述第一相似度和第一预设相似度，确定所述当前视频帧是否为镜头切变帧。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述第一相似度和第一预设相似度，确定所述当前视频帧是否为镜头切变帧，包括：

当所述第一相似度低于所述第一预设相似度时，确定所述当前视频帧为镜头切变帧；

当所述第一相似度不低于所述第一预设相似度时，确定所述当前视频帧不是镜头切变帧。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述当前视频帧不是镜头切变帧时，将所述当前视频帧与所述当前视频帧所在的当前镜头中的相邻关键帧进行比较，获得所述当前视频帧与所述相邻关键帧之间的第二相似度；

当所述第二相似度低于第二预设相似度时，确定所述当前视频帧为所述当前镜头中的关键帧，其中，所述第二预设相似度大于所述第一预设相似度。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述当前视频帧不是镜头切变帧时，将所述当前视频帧与所述当前视频帧所在的当前镜头中的所有关键帧进行比较，获得所述当前视频帧与所述所有关键帧中各关键帧之间的第二相似度；

当所述当前视频帧与所述所有关键帧中各关键帧之间的第二相似度均低于第二预设相似度时，确定所述当前视频帧为所述当前镜头中的关键帧，其中，所述第二预设相似度大于所述第一预设相似度。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

在确定所述当前视频帧为镜头切变帧时，将所述当前视频帧所在的当前镜头的上一相邻镜头的所有关键帧从缓存中清除。

6.一种关键帧检测装置，其特征在于，包括：

第一获取模块，用于获取当前视频帧；

第二获取模块，用于将所述当前视频帧与相邻视频帧进行比较，获得所述当前视频帧与所述相邻视频帧之间的第一相似度；

第一确定模块，用于根据所述第一相似度和第一预设相似度，确定所述当前视频帧是否为镜头切变帧。

7.根据权利要求6所述的装置，其特征在于，

所述第一确定模块包括：

第一确定子模块，用于当所述第一相似度低于所述第一预设相似度时，确定所述当前视频帧为镜头切变帧；

第二确定子模块，用于当所述第一相似度不低于所述第一预设相似度时，确定所述当前视频帧不是镜头切变帧。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第三获取模块，用于当所述当前视频帧不是镜头切变帧时，将所述当前视频帧与所述当前视频帧所在的当前镜头中的相邻关键帧进行比较，获得所述当前视频帧与所述相邻关键帧之间的第二相似度；

第二确定模块，用于当所述第二相似度低于第二预设相似度时，确定所述当前视频帧为所述当前镜头中的关键帧，其中，所述第二预设相似度大于所述第一预设相似度。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第四获取模块，用于当所述当前视频帧不是镜头切变帧时，将所述当前视频帧与所述当前视频帧所在的当前镜头中的所有关键帧进行比较，获得所述当前视频帧与所述所有关键帧中各关键帧之间的第二相似度；

第三确定模块，用于当所述当前视频帧与所述所有关键帧中各关键帧之间的第二相似度均低于第二预设相似度时，确定所述当前视频帧为所述当前镜头中的关键帧，其中，所述第二预设相似度大于所述第一预设相似度。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述装置还包括：

缓存清除模块，用于在确定所述当前视频帧为镜头切变帧时，将所述当前视频帧所在的当前镜头的上一相邻镜头的所有关键帧从缓存中清除。