CN107613289B - 一种基于眨眼检测的视频内容分析方法及装置 - Google Patents

Abstract

本发明实施例提供的一种基于眨眼检测的视频内容分析方法及装置，属于人脸识别技术领域。该方法通过先获取待处理图像数据；再初始化所述待处理图像数据中的待测参数所对应的上一帧为睁眼，并记录开始时间点；接着再读取所述待测参数所对应的帧；判断待测参数所对应的帧是否存在睁眼；若是，且待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼；若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼；最后根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

Description

一种基于眨眼检测的视频内容分析方法及装置

技术领域

本发明涉及人脸识别技术领域，具体而言，涉及一种基于眨眼检测的视频内容分析方法及装置。

背景技术

随着网络的快速发展，越来越多的用户选择通过收看各种视频作为了解第一手资讯的手段，例如通过视频了解时事新闻、各地文化、剧情等。很多时候，用户观看视频后可能会对其中一些视频内容感兴趣，然而现有的视频评价都是通过用户手动输入评分或者是点击设置好的评分规则来采集用户对视频的喜好度，但是无论采用上述何种方式都无法获取用户对所看视频的准确评价。从而，现有技术中存在无法准确评价视频的喜好的问题。

发明内容

本发明提供一种基于眨眼检测的视频内容分析方法及装置，旨在改善上述技术问题。

本发明提供的一种基于眨眼检测的视频内容分析方法，包括：获取待处理图像数据；初始化所述待处理图像数据中的用于表征当前需要检测的帧的待测参数所对应的上一帧为睁眼，并记录开始时间点；读取所述待测参数所对应的帧；判断所述待测参数所对应的帧是否存在睁眼；若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼；若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼；根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

优选地，所述的判断所述待测参数所对应的帧是否存在睁眼，包括：识别所述待测参数所对应的帧所对应的图像；判断所述图像是否与预设睁眼图像匹配。

优选地，所述的根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度，包括：根据所述睁眼时长和所述闭眼时间点生成预设图表；基于所述图表分析待分析视频的内容精彩度。

优选地，所述的据所述睁眼时长和所述闭眼时间点生成预设图表，包括：据所述睁眼时长和所述闭眼时间点生成时间－睁眼时长折线图。

优选地，所述的根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度，之后还包括：根据所述内容精彩度获取用户感兴趣的兴趣内容以及不感兴趣的无吸引力内容。

本发明提供的一种基于眨眼检测的视频内容分析装置，包括：数据获取单元，用于获取待处理图像数据；初始化单元，用于初始化所述待处理图像数据中的用于表征当前需要检测的帧的待测参数所对应的上一帧为睁眼，并记录开始时间点；数据处理单元，用于读取所述待测参数所对应的帧；判断单元，用于判断所述待测参数所对应的帧是否存在睁眼；第一执行单元，用于若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼；第二执行单元，用于若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼；分析单元，用于根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

优选地，所述判断单元具体用于：识别所述待测参数所对应的帧所对应的图像；判断所述图像是否与预设睁眼图像匹配。

优选地，所述分析单元包括：生成单元，用于根据所述睁眼时长和所述闭眼时间点生成预设图表；分析子单元，用于基于所述图表分析待分析视频的内容精彩度。

优选地，所述生成单元具体用于：据所述睁眼时长和所述闭眼时间点生成时间－睁眼时长折线图。

优选地，所述分析单元，之后还包括：数据提取单元，用于根据所述内容精彩度获取用户感兴趣的兴趣内容以及不感兴趣的无吸引力内容。

上述本发明提供的一种基于眨眼检测的视频内容分析方法及装置，通过先获取待处理图像数据；再初始化所述待处理图像数据中的待测参数所对应的上一帧为睁眼，并记录开始时间点；接着再读取所述待测参数所对应的帧；判断所述待测参数所对应的帧是否存在睁眼；若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼；若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼；最后根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。从而有效地提高了用户对视频的喜好程度，以及对视频的精彩程度的评价，同时使得用户无需对视频进行手动评价。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种电子设备的结构示意图；

图2为本发明第一实施例提供的一种基于眨眼检测的视频内容分析方法的流程图；

图3为本发明第二实施例提供的一种基于眨眼检测的视频内容分析方法的流程图；

图4为本发明第三实施例提供的一种基于眨眼检测的视频内容分析装置的功能模块示意图；

图5为本发明第四实施例提供的一种基于眨眼检测的视频内容分析装置的功能模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的一种电子设备的结构框图。所述电子设备300包括基于眨眼检测的视频内容分析装置、存储器302、存储控制器303、处理器304及外设接口305。

所述存储器302、存储控制器303、处理器304及外设接口305各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于眨眼检测的视频内容分析装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器302中或固化在所述电子设备300的操作系统(operating system，OS)中的软件功能模块。所述处理器304用于执行存储器302中存储的可执行模块，例如所述基于眨眼检测的视频内容分析装置包括的软件功能模块或计算机程序。

其中，存储器302可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。其中，存储器302用于存储程序，所述处理器304在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器100所执行的方法可以应用于处理器304中，或者由处理器304实现。

处理器304可能是一种集成电路芯片，具有信号的处理能力。上述的处理器304可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口305将各种输入/输入装置耦合至处理器304以及存储器302。在一些实施例中，外设接口305、处理器304以及存储控制器303可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

请参阅图2，是本发明第一实施例提供的一种基于眨眼检测的视频内容分析方法的流程图。下面将对图2所示的具体流程进行详细阐述。

步骤S101，获取待处理图像数据。

在本实施例中，所述待处理图像数据可以是通过摄像头实时采集用户看视频时的图像。也可以是通过将预先拍摄完成的视频数据作为所述待处理图像数据。在此，不作具体限定。

步骤S102，初始化所述待处理图像数据中的用于表征当前需要检测的帧的待测参数所对应的上一帧为睁眼，并记录开始时间点。

其中，所述待测参数是指当前需要检测的帧。

步骤S103，读取所述待测参数所对应的帧。

步骤S104，判断所述待测参数所对应的帧是否存在睁眼。

在本实施例中，可以眨眼检测技术来判断所述待测参数所对应的帧是否存在睁眼。例如，可以利用dlib，或openface，或者人脸68关键点检测模型等所述眨眼检测技术来检测两只眼睛的关键点(每只眼睛6个关键点)，计算眼睛区域的宽高比，设定阈值，从而达到检测眨眼效果。在此，不作具体限定。

作为一种实施方式，识别所述待测参数所对应的帧所对应的图像；判断所述图像是否与预设睁眼图像匹配。

步骤S105，若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼。

步骤S106，若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼。

步骤S107，根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

作为一种实施方式，根据所述睁眼时长和所述闭眼时间点生成预设图表；基于所述图表分析待分析视频的内容精彩度。具体地，据所述睁眼时长和所述闭眼时间点生成时间－睁眼时长折线图。其中，通过分析所述图表的走势来分析待分析视频的内容精彩度。

其中，在本实施例中，睁眼时长越长(折线上升时间越持久)的时间段所对应视频片段越精彩。

其中，所述内容精彩度是指用户对所述待分析视频的喜好程度或者是感兴趣程度等。

请参阅图3，是本发明第二实施例提供的一种基于眨眼检测的视频内容分析方法的流程图。下面将对图3所示的具体流程进行详细阐述。

步骤S201，获取待处理图像数据。

步骤S202，初始化所述待处理图像数据中的用于表征当前需要检测的帧的待测参数所对应的上一帧为睁眼，并记录开始时间点。

步骤S203，读取所述待测参数所对应的帧。

步骤S204，判断所述待测参数所对应的帧是否存在睁眼。

步骤S205，若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼。

步骤S206，若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼。

步骤S207，根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

步骤S201至步骤S207的具体实施方式请参照第一实施例中对应的步骤，在此，不再赘述。

步骤S208，根据所述内容精彩度获取用户感兴趣的兴趣内容以及不感兴趣的无吸引力内容。

其中，所述感兴趣的兴趣内容的指用户感兴趣的视频片段。所述不感兴趣的无吸引力内容是指用户不感兴趣的视频片段。

例如，游戏在测试阶段常常会邀请一些玩家作为测试者，对游戏进行测试，提供游戏改进意见，描述游戏体验及感受。玩家在测试游戏的过程中，可利用对玩家的睁眼时长和面部表情进行检测，分析得出具有吸引力、体验性高的游戏部分，以及乏味无聊的游戏部分，从而对游戏进行改进，有效提高了对游戏的开发效率。

请参阅图4，是本发明第三实施例提供的一种基于眨眼检测的视频内容分析装置的功能模块示意图。所述基于眨眼检测的视频内容分析装置400包括数据获取单元410、初始化单元420、数据处理单元430、判断单元440、第一执行单元450、第二执行单元460和分析单元470。

数据获取单元410，用于获取待处理图像数据。

初始化单元420，用于初始化所述待处理图像数据中的用于表征当前需要检测的帧的待测参数所对应的上一帧为睁眼，并记录开始时间点。

数据处理单元430，用于读取所述待测参数所对应的帧。

判断单元440，用于判断所述待测参数所对应的帧是否存在睁眼。

其中，所述判断单元440具体用于：识别所述待测参数所对应的帧所对应的图像；判断所述图像是否与预设睁眼图像匹配。

第一执行单元450，用于若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼。

第二执行单元460，用于若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼。

分析单元470，用于根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

其中，所述分析单元470包括：生成单元和分析子单元。

所述生成单元，用于根据所述睁眼时长和所述闭眼时间点生成预设图表。

其中，所述生成单元具体用于：据所述睁眼时长和所述闭眼时间点生成时间－睁眼时长折线图。

所述分析子单元，用于基于所述图表分析待分析视频的内容精彩度。

请参阅图4，是本发明第四实施例提供的一种基于眨眼检测的视频内容分析装置的功能模块示意图。所述基于眨眼检测的视频内容分析装置500包括数据获取单元510、初始化单元520、数据处理单元530、判断单元540、第一执行单元550、第二执行单元560、分析单元570和数据提取单元580。

数据获取单元510，用于获取待处理图像数据。

初始化单元520，用于初始化所述待处理图像数据中的用于表征当前需要检测的帧的待测参数所对应的上一帧为睁眼，并记录开始时间点。

数据处理单元530，用于读取所述待测参数所对应的帧。

判断单元540，用于判断所述待测参数所对应的帧是否存在睁眼。

其中，所述判断单元540具体用于：识别所述待测参数所对应的帧所对应的图像；判断所述图像是否与预设睁眼图像匹配。

第一执行单元550，用于若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼。

第二执行单元560，用于若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼。

分析单元570，用于根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

其中，所述分析单元570包括：生成单元和分析子单元。

所述生成单元，用于根据所述睁眼时长和所述闭眼时间点生成预设图表。

其中，所述生成单元具体用于：据所述睁眼时长和所述闭眼时间点生成时间－睁眼时长折线图。

所述分析子单元，用于基于所述图表分析待分析视频的内容精彩度。

数据提取单元580，用于根据所述内容精彩度获取用户感兴趣的兴趣内容以及不感兴趣的无吸引力内容。

综上所述，本发明提供的一种基于眨眼检测的视频内容分析方法及装置，通过先获取待处理图像数据；再初始化所述待处理图像数据中的待测参数所对应的上一帧为睁眼，并记录开始时间点；接着再读取所述待测参数所对应的帧；判断所述待测参数所对应的帧是否存在睁眼；若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼；若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼；最后根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。从而有效地提高了用户对视频的喜好程度，以及对视频的精彩程度的评价，同时使得用户无需对视频进行手动评价。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种基于眨眼检测的视频内容分析方法，其特征在于，包括：

获取待处理图像数据；

初始化所述待处理图像数据中的用于表征当前需要检测的帧的待测参数所对应的上一帧为睁眼，并记录开始时间点；

读取所述待测参数所对应的帧；

判断所述待测参数所对应的帧是否存在睁眼；

若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼；

若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼；

根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

2.根据权利要求1所述的方法，其特征在于，所述的判断所述待测参数所对应的帧是否存在睁眼，包括：

识别所述待测参数所对应的帧所对应的图像；

判断所述图像是否与预设睁眼图像匹配。

3.根据权利要求1所述的方法，其特征在于，所述的根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度，包括：

根据所述睁眼时长和所述闭眼时间点生成预设图表；

基于所述图表分析待分析视频的内容精彩度。

4.根据权利要求3所述的方法，其特征在于，所述的据所述睁眼时长和所述闭眼时间点生成预设图表，包括：

据所述睁眼时长和所述闭眼时间点生成时间－睁眼时长折线图。

5.根据权利要求1所述的方法，其特征在于，所述的根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度，之后还包括：

根据所述内容精彩度获取用户感兴趣的兴趣内容以及不感兴趣的无吸引力内容。

6.一种基于眨眼检测的视频内容分析装置，其特征在于，包括：

数据获取单元，用于获取待处理图像数据；

初始化单元，用于初始化所述待处理图像数据中的用于表征当前需要检测的帧的待测参数所对应的上一帧为睁眼，并记录开始时间点；

数据处理单元，用于读取所述待测参数所对应的帧；

判断单元，用于判断所述待测参数所对应的帧是否存在睁眼；

第一执行单元，用于若是，且所述待测参数所对应的所述上一帧为闭眼时，记录本次睁眼开始时间点，并将所述待测参数所对应的上一帧设置为睁眼；

第二执行单元，用于若否，且所述待测参数所对应的所述上一帧为睁眼时，则记录本次睁眼时长，以及根据所述开始时间点，记录本次闭眼时间点，并将所述待测参数所对应的所述上一帧设置为闭眼；

分析单元，用于根据所述睁眼时长和所述闭眼时间点，分析待分析视频的内容精彩度。

7.根据权利要求6所述的装置，其特征在于，所述判断单元具体用于：

识别所述待测参数所对应的帧所对应的图像；

判断所述图像是否与预设睁眼图像匹配。

8.根据权利要求6所述的装置，其特征在于，所述分析单元包括：

生成单元，用于根据所述睁眼时长和所述闭眼时间点生成预设图表；

分析子单元，用于基于所述图表分析待分析视频的内容精彩度。

9.根据权利要求8所述的装置，其特征在于，所述生成单元具体用于：

据所述睁眼时长和所述闭眼时间点生成时间－睁眼时长折线图。

10.根据权利要求6所述的装置，其特征在于，所述分析单元，之后还包括：

数据提取单元，用于根据所述内容精彩度获取用户感兴趣的兴趣内容以及不感兴趣的无吸引力内容。