CN106056042B - 产生视频数据变换表示以及分析视频数据的方法和系统 - Google Patents

Abstract

一种用于产生被构造为多个帧的一定量视频数据的变换表示的方法和系统，所述多个帧包括像素的行列阵列，所述像素具有像素属性。所述系统可以基于所述行中的多个行，产生视频数据的第一表示；基于所述列中的多个列，产生视频数据的第二表示；产生帧表示，所述帧表示与所述帧对应并且基于所述第一表示和所述第二表示；以及组合所述帧表示，以形成所述视频数据的变换表示。所述系统还可以产生分别与帧对应的帧表示；组合所述帧表示，以形成视频数据的变换表示；分析所述变换表示；以及基于所述分析，识别感兴趣的帧。还提供一种分析被构造为多个帧的一定量视频数据的方法和系统。

Description

产生视频数据变换表示以及分析视频数据的方法和系统

技术领域

本公开总体涉及视频数据分析领域，更具体地，涉及产生一定量视频数据中的帧的表示以及基于这些表示识别感兴趣的帧。

背景技术

视频监视设备从视频摄像机接收视频数据流或“馈送”，以监视房屋(premise)用于各种目的，包括例如安保监控、婴儿老人监控、视频会议等。视频馈送可以由安保人员持续或周期监控，和/或记录以供稍后回顾。然而，视频馈送的内容可能是冗余的，在背景保持不变的安保监控或视频监督中尤其如此。此外，感兴趣的运动或活动在整个视频中可能很少或随机发生并且发生不可预测的次数。视频馈送的这样的特性可导致过高的成本以及监控和监督的困难。

自动识别视频馈送中感兴趣的帧(如，在视频背景中描绘运动或变化的那些帧)可以降低监控成本，并通过报警或以其他方式提供重要事件的通知来改进监控的效率和灵敏度。例如，视频摄像机的视野中的运动事件(如，人进入安全区域)可以触发监控系统开始从摄像机发送视频馈送，开始记录视频馈送，和/或以其他方式向安保人员警告潜在入侵。在另一应用中，被监控的婴儿运动或人进入婴儿房可以触发监控系统开始发送视频馈送，开始记录视频馈送，和/或警告父母。识别视频摄像机视野中的运动或变化还可以触发否则空闲的监控系统转移至激活状态，以提供警报或开始记录。

在另一应用中，自动识别所记录的视频数据中的感兴趣的帧和产生摘要表示可以允许对记录的改进的分析或编辑。取代试图从头至尾人工观看整个记录，记录的摘要表示可以允许自动识别记录中感兴趣的帧，并允许用户直接提取那些帧，而无需观看整个记录。此外，对摘要表示的分析可以允许用户快速跳到记录的关键段。自动识别视频数据中感兴趣的帧还可以应用于虚拟现实制作，以创建更好的视频或允许交互式视频编辑。

近来，小尺寸、轻型、便携式视频录像机已被开发为在各种视频分析中并入视频摘要和关键帧提取方法。然而，这些方法需要较高的计算能力和复杂的算法。还需要易于在便携视频设备中实现以解决上述挑战的、用于概括视频数据并识别数据中关键帧的方法和装置。

发明内容

与本公开的实施例一致，提供了一种用于产生被构造为多个帧的一定量视频数据的变换表示的方法，所述多个帧包括像素的行列阵列，所述像素具有像素属性。所述方法可以包括：基于所述行中的多个行，产生视频数据的第一表示；基于所述列中的多个列，产生视频数据的第二表示；产生帧表示，所述帧表示与所述帧对应并且基于所述第一表示和所述第二表示；以及组合所述帧表示，以形成所述视频数据的变换表示。所述方法还可以包括：产生所述第一表示包括基于所述行中的像素的像素属性值来确定第一多个统计值；以及产生所述第二表示包括基于所述列中的像素的像素属性值来确定第二多个统计值。此外，所述方法还可以包括：产生帧表示包括组合所述第一多个统计值和所述第二多个统计值。

与本公开的实施例一致，提供了一种分析被构造为多个帧的一定量视频数据的方法。所述方法可以包括：产生分别与帧对应的帧表示；组合所述帧表示，以形成视频数据的变换表示；分析所述变换表示；以及基于所述分析，识别感兴趣的帧。

与本公开的实施例一致，还提供了一种用于产生被构造为多个帧的一定量视频数据的变换表示的设备或系统，所述多个帧包括像素的行列阵列，所述像素具有像素属性。所述设备或系统包括处理器和存储由处理器执行的编程的存储器。所述处理器可以被配置为执行在存储器中存储的指令，以：基于所述行中的多个行，产生视频数据的第一表示；基于所述列中的多个列，产生视频数据的第二表示；产生帧表示，所述帧表示与所述帧对应并且基于所述第一表示和所述第二表示；以及组合所述帧表示，以形成所述视频数据的变换表示。所述处理器还可以被配置为执行指令，以：产生所述第一表示，其包括基于所述行中的像素的像素属性值来确定第一多个统计值；以及产生所述第二表示，其包括基于所述列中的像素的像素属性值来确定第二多个统计值。此外，所述处理器还可以被配置为执行指令，以产生帧表示，其包括组合所述第一多个统计值和所述第二多个统计值。

与本公开的实施例一致，还提供了一种用于分析被构造为多个帧的一定量视频数据的设备或系统。所述设备或系统包括处理器和存储由处理器执行的编程的存储器。所述处理器可以被配置为执行在存储器中存储的指令，以：产生分别与帧对应的帧表示；组合所述帧表示，以形成视频数据的变换表示；分析所述变换表示；以及基于所述分析，识别感兴趣的帧。

与其他公开的实施例一致，非瞬态计算机可读存储介质可以存储程序指令，所述程序指令由至少一个处理器执行并执行此处描述的任一方法。

以上的一般描述和后文的细节描述仅是示例性和解释性的，而不限制权利要求。

附图说明

按照示例性实施例，对此处描述的方法、系统和/或编程进行进一步描述。参照附图对这些非限制的示例性实施例进行详细描述，附图中：

图1是根据一些实施例的用于分析视频数据帧的一部分的示例性图示；

图2A是根据一些实施例的用于根据帧中的像素来产生视频数据帧的第一和第二表示的示例性图示；

图2B是根据一些实施例的用于使用图2A的第一和第二表示来产生帧表示的示例性图示；

图3A是根据一些实施例的用于组合帧表示以形成一定量视频数据的变换表示的示例性图示；

图3B是根据一些实施例的一定量视频数据的示例性变换表示；

图4是根据一些实施例的用于产生一定量视频数据的帧表示和变换表示的示例性过程的流程图；

图5是根据一些实施例的一定量视频数据的另一示例性变换表示；

图6是根据一些实施例的用于识别感兴趣的帧的示例性图示；

图7是根据一些实施例的用于分析一定量视频数据的变换表示并识别感兴趣的帧的示例性过程的流程图；以及

图8是根据一些实施例的用于分析一定量视频数据的示例性系统的框图。

具体实施方式

现在将详细参考公开的实施例，所述实施例的示例在附图中示出。在方便的情况下，将在全部附图中使用相同的附图标记来指代相同或相似的部分。

当参照附图考虑以下说明时，本公开的目的、特点和特征，以及操作方法和结构的相关元件的功能以及部分的组合和制造的经济性可以变得更加明显，所有附图形成本说明书的一部分。但是，应清楚地理解，附图只是用于说明和描述的目的而不意欲作为对发明的限定的定义。如说明书和权利要求书中所使用的，除非上下文清楚地另有说明，否则单数形式“一”、“一个”和“该”包括复数。

本公开的实施例提供方法、系统和制品(如，非瞬态计算机可读介质)，用于基于帧表示和变换表示来分析一定量视频数据。帧表示可以包括根据帧中所选像素(例如像素行或列)的表示。组合帧表示产生变换表示。实施例还提供方法、系统和制品(如，非瞬态计算机可读介质)，用于基于变换表示来识别一定量视频数据中感兴趣的帧。

图1是用于分析视频数据帧的一部分的示例性图示。图1示出了具有按行和列布置的多个像素(未示出)的帧100。例如，帧100可以具有1080行和1280列。帧100包括图2A中更详细地示出的帧部分101，作为用于根据帧100中的像素来产生视频数据帧的第一和第二表示的示例。

图2A示出了根据帧中的像素来产生视频数据帧的第一和第二表示的示例。使用“第一”和“第二”作为帧表示的标识不限制这些表示可以按其产生的顺序。第一表示可以根据帧中的像素行产生，第二表示可以根据帧中的像素列产生，反之亦然。

在图2A中，更具体地示出了帧部分101。部分101包括9个像素行202a-202i和11个像素列204a-204k。

每个像素可由一个或更多个属性表征，例如，颜色、灰度和亮度。针对每列和行，可以产生这些属性的一个或更多个统计值。例如，可以基于像素灰度值，获得一行像素的统计值。附加地或备选地，可以基于多个属性，获得相同行的多个统计值。统计值可以包括例如和、均值、加权平均等，并且可以基于但不限于下式计算：

在一些实施例中，可以针对行和列的所选子集(如，奇数行或列、偶数行或列、每隔两行或列等)获得统计值。在图2A所示的示例中，选择偶数像素行202b、202d、202f、202h以及偶数像素列204b、204d、204f、204h、204j。

接着，产生帧部分101的第一表示206。具体地，通过将式1应用于相应行中像素的灰度值，产生针对所选行的统计值206a-206d。

接着，产生帧部分101的第二表示208。具体地，通过将式1应用于相应列中像素的灰度值，产生针对所选列的统计值208a-208e。

图2B示出了如何使用第一和第二表示206和208来形成帧部分101的帧表示212的示例。具体地，通过形成一列交替的行和列的灰度值，产生帧表示212。可以采用用于产生帧表示的第一和第二表示的其他布置。附加地或备选地，可以根据多个像素属性，基于行和列的多个统计值，产生相同帧的多个帧表示。

在一些实施例中，可以通过选择交叉点(如210)的子集来获得统计值，以产生帧表示。

图2A和2B示出了如何获得帧部分101的第一和第二表示然后产生帧表示。附加地或备选地，可以通过将上述步骤应用于整个帧的所有行和列或行和列的子集，针对整个帧100产生帧表示212。接着，可以使用针对整个帧的帧表示212来形成一定量视频数据的变换表示的第一列，如图3A所示。

下面参照图3A和3B，在一些实施例中，可以将产生帧表示212的过程应用于一定量视频数据的一些或全部(如视频段或视频文件)中的多个帧，以产生“视频指纹”，即，包括从第一帧到最后一帧顺序排队的帧表示的合成图像在内的一定量视频数据的变换表示。

在图3A中，在一些实施例中，以上参照图2A和2B描述的基于灰度值来产生帧表示212的过程可应用于一定量视频数据的一些或全部(如视频段或视频文件)中的多个帧，以产生视频指纹300，所述视频指纹是从左到右顺序排队的帧表示列301、302、303、304……n的合成图像，所述帧表示对应于所述一定量视频数据中的帧。具体地，帧表示列起始于301、302、303、304并且终止于n。因此，图3A示出了由与一定量视频数据中的多个帧相对应的这些帧的表示产生的合成图像数据的一部分。

在图3B中，由完整帧的合成图像数据产生的图像被示为示例性视频指纹300。视频指纹300的每列像素对应于编号帧。在一些实施例中，视频指纹300可以包括一个或更多个视频数据段中的多个帧或者随机或以可预测间隔选择的连续或非连续帧。

与以上说明的帧表示212类似，图3A中的部分的帧表示301、302、303、304……n分别在列中具有9个像素。在一些实施例中，9个像素呈现出灰度值所表示的各种灰阶。备选地，视频指纹300的像素可由其他像素属性的统计值表示。

参照图3B，视频指纹300中的条纹、灰度变化和其他可检测图案可以提供与所述一定量视频数据中的活动、运动事件或变化有关的信息。例如，平滑的水平条纹(例如，段310)可以表示视频数据中较少或较慢的活动、运动事件或变化。相反，波形条纹(例如，段312)可以表示视频数据中较多或较快的活动、运动事件或变化。

图4是用于产生一定量视频数据的帧表示和变换表示(如图2A、2B、3A和3B所示)的示例过程的流程图。所述一定量视频数据可由摄像机或图像传感器实时捕获，或者可以从在存储器中存储的视频数据文件中提取。所述一定量视频数据包括多个帧，每个帧具有多行和多列像素。在400，所述帧中的一些或全部可以经受以下描述的图4中的过程。

在一些实施例中，可以对整个视频数据的每帧或视频数据段应用用于产生帧表示的过程。备选地，可以随机或以可预测间隔选择视频的多个段以进行处理。作为另一示例，可以处理连续或非连续帧。

在一些实施例中，可以将帧保存在存储器中以供将来使用。在一些实施例中，可以对帧进行缩放。附加地或备选地，可以移除、增强或使特定像素属性(例如颜色、灰度或亮度)与帧隔离，以降低计算要求。

在402，可以根据图2A中的上述步骤，基于多个像素行，产生所述一定量视频数据的第一表示。例如，可以通过将式1应用于相应行中像素的灰度值，产生针对行的统计值。在各种实施例中，第一表示可以包括：选择帧中的所有行或者选择行的子集，例如，连续行、偶数或奇数行、每隔两行等。

类似地，在404，可以基于多个像素列，产生所述一定量视频数据的第二表示。

在406，如图2B所示，可以通过形成在400获得的所述一定量视频数据的行和列的交替统计值的列，产生帧表示。对于在400获得的数据的帧，可以基于帧的行和列的统计值来产生对应的帧表示。

在408，可以顺序布置帧表示，以形成所述一定量视频数据的变换表示。

参照图5，在一些实施例中，可以将使用水平梯度函数的边缘检测方法应用于视频指纹300的一些或全部部分，以产生对应的垂直边缘值。还可以应用其他边缘检测方法，如Prewitt算子、Sobel算子、Robinson罗盘掩膜、Krisch罗盘掩膜或Laplacian算子。给定x坐标处的垂直边缘值的绝对和可以由具有相同x坐标的像素的所有垂直边缘值的绝对和获得。例如，像素P(i,j)的垂直边缘值的绝对和可以如下获得：|P_i-3,j+_i-2,j+_i-1,j-_i+1,j-_i+2,j-P_i+3,j|。垂直边缘值可以基于但不限于下式计算：

Ev＝|P_i-3,j+_i-2,j+_i-1,j-_i+1,j-_i+2,j-_i+3,j| 式2

图5示出了包括与图3的灰度图像视频指纹300相对应的图形表示500的另一示例性视频指纹，所述图形表示通过应用上述边缘检测方法产生。500中的x坐标对应于视频指纹300的x坐标，并且相应地对应于所述一定量视频数据中的帧；并且y坐标对应于视频指纹300的垂直边缘值。

图形表示500的线性特征可以提供所述一定量视频数据中的活动、运动事件或变化有关的信息。兴趣点是具有所述一定量视频数据中的活动、运动事件或者变化的帧，可以包括图形表示的峰、谷或其他可检测的变化。例如，图形表示500的相对平滑的区域可以表示所述一定量视频数据中较少或较慢的活动、运动事件或变化。相反，图形表示500的波形区域可以表示所述一定量视频数据中较多或较快的活动、运动事件或变化。

图6示出了使用图形表示500来识别感兴趣的帧。图形表示500可以被表示为y＝f(x)。在一些实施例中，可以通过确定极值点(如局部最大值和局部最小值)来识别兴趣点，所述极值点可以通过计算图形表示500的导数接近于0的点来获得。根据以下图7中说明的过程，极值点的x值可以位于f′(x)＝0的位置。例如，图6示出了局部最小值601、602和603。获得图形表示500上的局部最小值601、602和603的x值(例如x＝101、202、450)，并使用它们将所述一定量视频数据的对应帧101、202和450识别为感兴趣的帧。这些感兴趣的帧可以描绘重要活动、运动事件或变化，然后可以自动提供给用户而无需用户回顾整个视频。附加地或备选地，可以产生警报，所述警报可以包括显示与所识别的帧相关联的图像和/或视频数据。警报可以被发送至用户、第三方(例如警察)或服务提供商等。

图7是用于分析一定量视频数据的变换表示并识别感兴趣的帧的示例性过程的流程图。在700，获得被构造为多个帧的一定量视频数据，如图1和4所示。在702，产生帧表示，并且使用帧表示来形成所述一定量视频数据的变换表示，例如如图2A、2B、3A、3B和4所示。

在704，可以分析所述一定量视频数据的变换表示，以识别兴趣点，例如，具有所述一定量视频数据中的活动、运动事件或者变化的帧。在一些实施例中，如图3B所示以及如上所述，灰度图像视频指纹300中的条纹、颜色变化和其他可检测图案可以提供与在所述一定量视频数据中的活动、运动事件或者变化有关的信息。在一些其他实施例中，如图5所示，图形表示500的峰、谷或其他可检测的变化可以提供这样的信息。

附加地或备选地，在704，兴趣点可以对应于极值点，即，图形表示500上的局部最大值或最小值。

基于704的分析，可以在706基于极值点的x值识别感兴趣的帧，所述帧对应于具有所述一定量视频数据中的重要活动、运动事件或者变化的特定帧。

图8是用于分析一定量视频数据的示例性系统800的框图。系统800可以包括一个或更多个处理器810、存储器820、图像传感器830、通信端口840、输入850和输出860。在操作中，处理器810可以执行计算机指令(程序代码)并根据此处描述的方法执行功能(例如图4和7中的一个或更多个步骤)。例如，处理器810可以接收并分析图像传感器830所捕获的视频数据，并确定视频数据是否示出任何活动或运动事件。存储器820可以存储可执行计算机指令(程序代码)以及被捕获数据(如静止帧)。图像传感器830可以包括例如被配置为捕获可见和/或不可见(例如红外或紫外)光的一个或更多个CCD传感器或CMOS传感器。通信端口840可以是被配置为便于系统800和用户、第三方或服务提供商等之间的通信的设备。输入850可以是被配置为允许用户录入或输入各种信息的设备(例如键盘、键区、触摸屏和/或鼠标或其他定位设备)，输出860可以是被配置为向用户传送信息的设备(例如屏幕或显示器)。

处理器810可以包括或者是一个或更多个已知处理设备(例如微处理器)的一部分。在一些实施例中，处理器810可以包括任意类型的单核或多核处理器、移动设备微控制器、中央处理单元等。

存储器820可以以任意组合包括电子存储器，如，随机存取存储器(RAM)、只读存储器(ROM)或其他类型的存储器。存储器820还可以视为更一般地被称为“计算机程序产品”的对象，所述计算机程序产品具有当被处理器810执行时执行如上所述的方法的计算机指令(程序代码)。体现本发明各方面的计算机程序产品的示例可以包括非瞬态计算机可读存储介质，如硬盘驱动器、光盘或磁盘、固态存储器或其他计算机可读介质。

系统800可以通过网络870与一个或更多个用户设备、第三方(如警察或消防站等)或服务提供商(未示出)通信。网络870可以包括或者是本领域技术人员已知的各种网络或其他类型的通信连接中的任意一个或更多个的一部分。网络870可以包括网络连接、总线或其他类型的数据链路(如硬线或本领域已知的其他连接)。例如，网络870可以包括或者是互联网、内联网、局域网或系统800的组件可以通过其通信的其他无线或其他硬线连接(例如蓝牙、WiFi、4G、LTE蜂窝数据网等)。

虽然此处描述了说明性实施例，其范围包括任何以及所有具有本领域技术人员基于本公开将意识到的等同元素、修改、省略、组合(例如，跨不同实施例的方面)、适配和/或改变的实施例。权利要求中的限制应该基于权利要求中所使用的语言进行广义解释，并且不限于本说明书中或在本公开的审查期间所描述的示例。这些示例应该理解为非排他性的。此外，可以任意方式修改所公开的例程的步骤，所述方式包括对步骤进行重新排序和/或插入或删除步骤。特别地，非依赖性步骤可以按任意顺序或并行执行。因此，说明书和示例应视为仅仅是说明性的，真正的范围和精神由所附权利要求及其等同物的全部范围限定。

Claims (11)

1.一种用于产生被构造为多个帧的一定量视频数据的变换表示的方法，所述多个帧包括像素的行列阵列，所述像素具有像素属性，所述方法包括：

基于所述行中的多个行，产生视频数据的第一表示；

基于所述列中的多个列，产生视频数据的第二表示；

产生帧表示，所述帧表示与所述帧对应并且基于所述第一表示和所述第二表示；以及

组合所述帧表示，以形成所述视频数据的变换表示；

其中：

产生所述第一表示包括：基于所述行中的像素的像素属性值，确定第一多个统计值；以及

产生所述第二表示包括：基于所述列中的像素的像素属性值，确定第二多个统计值。

2.根据权利要求1所述的方法，还包括：

选择所述行的子集；

选择所述列的子集；以及

分别基于行子集和列子集，产生所述第一表示和所述第二表示。

3.根据权利要求1所述的方法，其中，产生帧表示还包括：组合所述第一多个统计值和所述第二多个统计值。

4.根据权利要求1所述的方法，其中，产生帧表示还包括：

将所述第一多个统计值和所述第二多个统计值转换为表示像素的视频数据；以及

将像素视频数据构造为分别与帧对应的像素列。

5.一种分析被构造为多个帧的一定量视频数据的方法，包括：

产生分别与帧对应的帧表示；

组合所述帧表示，以形成视频数据的变换表示；

分析所述变换表示；以及

基于所述分析，识别感兴趣的帧；

所述变换表示包括图；

分析所述变换表示包括：识别所述图的局部最大值或所述图的局部最小值中的至少一个。

6.根据权利要求5所述的方法，其中：

所述帧表示被构造为表示像素列的视频数据；以及

所述变换表示包括图像。

7.根据权利要求6所述的方法，其中，分析所述变换表示包括：分析图像的一个或更多个像素属性的统计值。

8.一种用于产生被构造为多个帧的一定量视频数据的变换表示的系统，所述多个帧包括像素的行列阵列，所述像素具有像素属性，所述系统包括：

存储指令的存储器；以及

处理器，被配置为执行所述指令，以：

基于所述行中的多个行，产生视频数据的第一表示；

基于所述列中的多个列，产生视频数据的第二表示；

产生帧表示，所述帧表示与所述帧对应并且基于所述第一表示和所述第二表示；以及

组合所述帧表示，以形成所述视频数据的变换表示；

其中：

产生第一表示包括：基于所述行中的像素的像素属性值，确定第一多个统计值；以及

产生所述第二表示包括：基于所述列中的像素的像素属性值，确定第二多个统计值。

9.根据权利要求8所述的系统，其中，产生帧表示还包括：

将所述第一多个统计值和所述第二多个统计值转换为表示像素的视频数据；以及

将像素视频数据构造为分别与帧对应的像素列。

10.一种分析被构造为多个帧的一定量视频数据的系统，包括：

存储指令的存储器；以及

处理器，被配置为执行所述指令，以：

产生分别与帧对应的帧表示；

组合所述帧表示，以形成视频数据的变换表示；

分析所述变换表示；以及

基于所述分析，识别感兴趣的帧；

所述变换表示包括图；

分析所述变换表示包括：识别所述图的局部最大值或所述图的局部最小值中的至少一个。

11.根据权利要求10所述的系统，其中：

所述帧表示被构造为表示像素列的视频数据；以及

所述变换表示包括图像。