CN114529844A - 相机移动的识别方法、装置、设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种相机移动的识别方法、装置、设备和计算机可读存储介质。其中，该相机移动的识别方法包括：获取图像帧序列，确定图像帧序列中每个图像帧的稠密光流场；分别对每个图像帧的稠密光流场进行聚类，并确定每个图像帧的主子光流场，其中，主子光流场为每个图像帧中最多像素分类的聚类子光流场；计算每个图像帧的主子光流场的均值光流矢量；根据每个图像帧的均值光流矢量，判断相机是否移动。通过本申请，解决了相关技术中相机移动识别的准确性低的问题，提高了相机移动识别的准确性。

Description

相机移动的识别方法、装置、设备和计算机可读存储介质

技术领域

本申请涉及图像处理领域，特别是涉及相机移动的识别方法、装置、设备和计算机可读存储介质。

背景技术

在监控系统中，相机移动是比较常见的操作，但它对于智能视频分析，却会有非常不利的后果。因为当前大多数智能视频分析系统，都会有相机静止假设，然后以此设计了类似于背景建模的运动检测方法，甚至会设置一些与当前场景非常相关的规则区域，一旦相机发生移动，这些策略都将不再适用，最终给用户带来大量的误报或者漏报。

而目前检测相机移动主要方法还是依赖移动前后的图像对比，一般会提取一些匹配特征，比如通过先检测一些关键点，然后在过滤噪声点后进行图像的匹配，得出图像的变换矩阵来判断相机是否移动的方式，这种方法的缺点在于关键点的检测精度，由于选取关键点的特征一般都比较简单，容易受到光照、噪声等因素的影响，一旦相机移动前后的关键点无法做到大量匹配，变换矩阵的精度就无法保证。为解决上述问题，通过检测相机移动前后图像的车道线来进行匹配，从而获得图像的变换矩阵，由于检测车道线的特征往往比较强，所以稳定性有较高的保证，但对于没有车道线的场景，或者车道线破损，或者车辆拥堵遮挡了车道线的情况，性能就会急剧下降，导致了相机移动识别的准确性低。

目前针对相关技术中相机移动识别的准确性低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例中提供了一种相机移动的识别方法、装置、设备和计算机可读存储介质，以至少解决相关技术中相机移动识别的准确性低的问题。

第一方面，本申请实施例中提供了一种相机移动的识别方法，包括：

获取图像帧序列；

确定所述图像帧序列中每个图像帧的稠密光流场；

分别对所述每个图像帧的稠密光流场进行聚类，并确定所述每个图像帧的主子光流场，其中，所述主子光流场为所述每个图像帧中最多像素分类的聚类子光流场；

计算所述每个图像帧的主子光流场的均值光流矢量；

根据所述每个图像帧的均值光流矢量，判断相机是否移动。

在其中一些实施例中，确定所述图像帧序列中每个图像帧的稠密光流场之前，所述方法还包括：

对所述图像帧序列进行预处理，其中，所述预处理包括以下至少之一：灰度处理、降噪处理。

在其中一些实施例中，分别对所述每个图像帧的稠密光流场进行聚类，并确定所述每个图像帧的主子光流场包括：

根据所述每个图像帧的稠密光流场的大小进行分块处理，并获取每个图像区块内各个像素点的光流矢量；

采用K-means聚类算法对每个图像区块内各个像素点的光流矢量进行聚类，并得到所述每个图像帧的主子光流场。

在其中一些实施例中，采用K-means聚类算法对每个图像区块内各个像素点的光流矢量进行聚类，并得到所述每个图像帧的主子光流场包括：

采用K-means聚类算法对每个图像区块内各个像素点的光流矢量进行聚类，得到多个聚类子光流场；

确定所述多个聚类子光流场中每个聚类子光流场的均值光流矢量之间的第一距离；

将所述第一距离小于预设阈值的聚类子光流场进行合并；

从合并之后的聚类子光流场中，筛选出最多像素分类的聚类子光流场作为所述主子光流场。

在其中一些实施例中，主子光流场的均值光流矢量包括以下至少之一：X方向的均值光流矢量、Y方向的均值光流矢量。

在其中一些实施例中，主子光流场的均值光流矢量包括X方向的均值光流矢量；根据所述每个图像帧的均值光流矢量，判断相机是否移动包括：

将所述每个图像帧的X方向的均值光流矢量以帧为单位在时间轴上显示，形成X方向的光流波形；

根据所述X方向的光流波形的振幅，判断相机是否移动。

在其中一些实施例中，主子光流场的均值光流矢量包括Y方向的均值光流矢量；根据所述每个图像帧的均值光流矢量，判断相机是否移动包括：

将所述每个图像帧的Y方向的均值光流矢量以帧为单位在时间轴上显示，形成Y方向的光流波形；

根据所述Y方向的光流波形的振幅，判断相机是否移动。

第二方面，本申请实施例还提供了一种相机移动的识别装置，包括：

确定模块，用于确定图像帧序列中每个图像帧的稠密光流场；

聚类模块，用于分别对所述每个图像帧的稠密光流场进行聚类，并确定所述每个图像帧的主子光流场，其中，所述主子光流场为所述每个图像帧中最多像素分类的聚类子光流场；

计算模块，用于计算所述每个图像帧的主子光流场的均值光流矢量；

判断模块，根据所述每个图像帧的均值光流矢量，判断相机是否移动。

第三方面，本申请实施例中提供了一种相机移动的识别设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的相机移动的识别方法。

第四方面，本申请实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的相机移动的识别方法。

相比于相关技术，本申请实施例中提供的相机移动的识别方法、装置、设备和计算机可读存储介质，通过获取图像帧序列，确定图像帧序列中每个图像帧的稠密光流场；分别对每个图像帧的稠密光流场进行聚类，并确定每个图像帧的主子光流场，其中，主子光流场为每个图像帧中最多像素分类的聚类子光流场；计算每个图像帧的主子光流场的均值光流矢量；根据每个图像帧的均值光流矢量，判断相机是否移动的方式，解决了相关技术中相机移动识别的准确性低的问题，提高了相机移动识别的准确性。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的相机移动的识别方法的终端的硬件结构框图；

图2是根据本申请实施例的相机移动的识别方法的流程图；

图3是根据本申请实施例的X方向的光流波形图的示意图；

图4是根据本申请实施例的Y方向的光流波形图的示意图；

图5是根据本申请实施例的相机移动的识别装置的结构框图；

图6是根据本申请实施例的相机移动的识别设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所做出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是根据本申请实施例的相机移动的识别方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的相机移动的识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例还提供了一种相机移动的识别方法。图2是根据本申请实施例的相机移动的识别方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取图像帧序列。

在本步骤中，图像帧序列可以是相机实时获取的，也可以是从存储有图像帧序列的数据库中获取的。

步骤S202，确定图像帧序列中每个图像帧的稠密光流场。

在步骤S202之前，可以对图像帧序列进行预处理，其中，预处理包括但不限于以下至少之一：灰度处理、降噪处理。通过该方式，可以提高图像帧序列中的图像帧的图像质量，以及通过灰度处理可以便于步骤S202中确定稠密光流场。

在本实施例中，可以通过光流算法来确定每个图像帧的稠密光流场。而本实施例采用光流计算来实现对光流场的计算，可以降低图像结构的要求。例如只要图像中有一定的纹理层次即可实现对图像的光流场计算。

例如，在一些实施例中，可以采用但不限于DeepFlow光流算法或其他能够实现本实施例方案的光流算法，来确定图像帧序列中的每个图像帧的稠密光流场的方式，来确定每个图像帧的稠密光流场。

需要说明的是，监控相机中的光流场是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的，目前光流场的计算方法有很多种，例如有基于梯度、基于匹配、基于能量、基于相位、基于神经网络等来计算光流场，在本实施例中，通过采用了DeepFlow光流算法形成稠密光流场的方式，可以对刚体运动(例如车辆等)有较好的效果，同时实现计算速度较快的有益效果。

光流场：在空间中，运动可以用运动场描述，而在一个图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布的不同体现的，从而，空间中的运动场转移到图像上就表示为光流场(optical flow field)。对于视频，每帧都可以计算一个光流场。光流场大小与视频分辨率一致，每个像素都有一个对应的光流矢量。

步骤S203，分别对每个图像帧的稠密光流场进行聚类，并确定每个图像帧的主子光流场，其中，主子光流场为每个图像帧中最多像素分类的聚类子光流场。

在本步骤中，可以通过一些聚类算法来实现对每个图像帧的稠密光流场进行光流聚类。

需要说明的是，光流聚类可以是在光流场上对光流进行聚类，聚类特征可以包括光流矢量以及像素位置信息。主子光流场可以是根据聚类结果形成的若干个子光流场，每个聚类光流场的内像素的光流矢量可以是类似的。

在本实施例中，由于视频中的运动像素可能是由相机移动产生，也有可能是运动目标产生，甚至也有可能是晃动的树叶产生，所以本实施例通过一些聚类算法来确定每个图像帧的主子光流场的方式，可以实现降低运动目标以及背影运动所产生的干扰。

在其中一些实施例中，步骤S203可以通过根据每个图像帧的稠密光流场的大小进行分块处理，并获取每个图像区块内各个像素点的光流矢量；对每个图像区块内各个像素点的光流矢量进行聚类，并得到每个图像帧的主子光流场的方式来实现。

需要说明的是，步骤S202中得到的光流场的输出结果可以为一张光流矢量图，其光流矢量图的尺度可以与相机的视频分辨率一致，且每个像素点都可以由(of_x，of_y)分别表示其在x方向和y方向上的光流值。

在光流矢量图的基础上，以及结合每个像素在每个视频帧中的坐标信息(pos_x，pos_y)，可以形成一个四维的特征空间(of_x，of_y，pos_x，pos_y)，假设一帧图像的总像素个数为N，则在这个特征空间中有N个点。

对于这N个点，在本实施例中可以通过采用但不限于K-means聚类算法进行聚类，也可以是其他能够实现本实施例方案的聚类算法。其中K的取值可以由用户设定，例如可以默认设置为K＝4，该K＝4设置的依据可以为：一般道路摄像头的监控范围包括来去两个方向，所以运动目标的极易形成两个聚类，而图像背景为一致运动场，单独形成一个聚类，另外对于树叶摆动等运动背景，再单独赋予一类，所以K取值为4是比较合理的。

在聚类完成后，可能存在实际类别不足四类时，例如没有运动目标或者只有一个方向运动目标时，此时K取值为4会强行将背景光流场聚成4类，将会降低内像素个数，进而降低后续计算的精度。

因此，在其中一些实施例中，可以通过采用K-means聚类算法对每个图像区块内各个像素点的光流矢量进行聚类，得到多个聚类子光流场；确定多个聚类子光流场中每个聚类子光流场的均值光流矢量之间的第一距离；将第一距离小于预设阈值的聚类子光流场进行合并；从合并之后的聚类子光流场中，筛选出最多像素分类的聚类子光流场作为主子光流场的方式。实现了对聚类子光流场的合并，避免了内像素个数降低的问题，进而提高了后续计算的精度。

需要说明的是，预设阈值可以由用户设定。

步骤S204，计算每个图像帧的主子光流场的均值光流矢量。

在一些实施例中，步骤S204中的均值光流矢量可以包括以下至少之一：X方向的均值光流矢量、Y方向的均值光流矢量。

其中，X方向的均值光流矢量和Y方向的均值光流矢量可以通过以下公式计算得到：

其中，式中x代表光流矢量的水平方向，y代表竖直方向的坐标值。

图3是根据本申请实施例的X方向的光流波形图的示意图，图4是根据本申请实施例的Y方向的光流波形图的示意图，如图3和图4所示，在本实施例中，可以将计算得到的每个图像帧的主子光流场的均值光流矢量在对应的坐标中显示，且显示的方式可以是将主子光流场的均值光流矢量以帧为单位在时间轴上进行显示，得到与每个图像帧的主子光流场的均值光流矢量对应的X方向的光流波形图(如图3所示)，以及Y方向的光流波形图(如图4所示)。

需要说明的是，X方向的光流波形图可以用来表示相机的移动，Y方向的光流波形图可以用来表示相机的抖动。图3和图4中的数值是一个示例性的实施例，本申请实施例并不仅限于此。

步骤S205，根据每个图像帧的均值光流矢量，判断相机是否移动。

在本步骤中，根据每个图像帧的均值光流矢量，判断相机是否移动可以分为以下方式：

方式一：在其中一些实施例中，主子光流场的均值光流矢量包括X方向的均值光流矢量，可以通过将每个图像帧的X方向的均值光流矢量以帧为单位在时间轴上显示，形成X方向的光流波形；根据X方向的光流波形的振幅，判断相机是否移动。

方式二：在其中一些实施例中，主子光流场的均值光流矢量包括Y方向的均值光流矢量，可以通过将每个图像帧的Y方向的均值光流矢量以帧为单位在时间轴上显示，形成Y方向的光流波形；根据Y方向的光流波形的振幅，判断相机是否移动。

基于图3中的X方向的波形图，可以得到，正常的相机移动，每帧的X方向的均值光流矢量的值都比较大，而且方向都是一致；基于图4中的Y方向的波形图，可以得出，相机抖动的Y方向的均值光流矢量的值就比较小，而且方向上会有周期性的波动，因此，可以将X方向的波形图和Y方向的波形图的振幅再细分为：平均振幅、振幅大于0时的帧数与小于0时的帧数的比例、振幅大于一定阈值的帧数大于一定阈值等。

例如：用户可以设置但不仅限于满足以下条件时，即判定相机发生了移动：

1)平均振幅大于8，则判定相机发生了移动。

2)振幅大于0时的帧数与小于0时的帧数的比例大于80％或者小于20％。则判定相机发生了移动。

3)振幅大于5时的帧数大于20帧，则判定相机发生了移动。

需要说明的是，上述的数值可以由用户设定，本申请并不做限定。

在本实施例中，方式一和方式二通过将运动过程抽象为波形的振幅特征来判定相机移动的方式，能更好地区分大幅相机抖动与小幅相机移动之间的差异性，提高检测灵敏度。

通过上述步骤S201至步骤S205，本申请通过获取每个图像帧的稠密光流场，然后再分别对每个图像帧的稠密光流场进行聚类，并确定每个图像帧的主子光流场，最后再根据每个图像帧的均值光流矢量，判断相机是否移动的方式，能有效剔除运动目标，背景随机摆动等带来的影响；无需根据相机移动前后图像的车道线来进行匹配，解决了相关技术中相机移动识别的准确性低的问题，提高了相机移动识别的准确性。

基于上述实施例，本申请实施例通过相机移动过程中的光流场作为判断相机移动的主要特征，无需不依赖于移动前后的图像差异性，也不依赖特定的图像内容特征，对检测相机移动有更高的鲁棒性。

图5是根据本申请实施例的相机移动的识别装置的结构框图，如图5所示，该装置包括：

获取模块51，用于获取图像帧序列；

确定模块52，耦合至获取模块51，用于确定图像帧序列中每个图像帧的稠密光流场；

聚类模块53，耦合至确定模块52，用于分别对每个图像帧的稠密光流场进行聚类，并确定每个图像帧的主子光流场，其中，主子光流场为每个图像帧中最多像素分类的聚类子光流场；

计算模块54，耦合至聚类模块53，用于计算每个图像帧的主子光流场的均值光流矢量；

判断模块55，耦合至计算模块54，根据每个图像帧的均值光流矢量，判断相机是否移动。

在其中一些实施例中，该装置还包括：预处理模块，用于对图像帧序列进行预处理，其中，预处理包括以下至少之一：灰度处理、降噪处理。

在其中一些实施例中，聚类模块53包括：分块单元，用于根据每个图像帧的稠密光流场的大小进行分块处理，并获取每个图像区块内各个像素点的光流矢量；聚类单元，用于采用K-means聚类算法对每个图像区块内各个像素点的光流矢量进行聚类，并得到每个图像帧的主子光流场。

在其中一些实施例中，分块单元包括：聚类子单元，用于采用K-means聚类算法对每个图像区块内各个像素点的光流矢量进行聚类，得到多个聚类子光流场；确定子单元，用于确定多个聚类子光流场中每个聚类子光流场的均值光流矢量之间的第一距离；合并子单元，用于将第一距离小于预设阈值的聚类子光流场进行合并；筛选子单元，用于从合并之后的聚类子光流场中，筛选出最多像素分类的聚类子光流场作为主子光流场。

在其中一些实施例中，主子光流场的均值光流矢量包括以下至少之一：X方向的均值光流矢量、Y方向的均值光流矢量。

在其中一些实施例中，主子光流场的均值光流矢量包括X方向的均值光流矢量；判断模块55包括：第一显示单元，用于将每个图像帧的X方向的均值光流矢量以帧为单位在时间轴上显示，形成X方向的光流波形；第一判断子单元，用于根据X方向的光流波形的振幅，判断相机是否移动。

在其中一些实施例中，主子光流场的均值光流矢量包括Y方向的均值光流矢量；判断模块55还包括：第二显示单元，用于将每个图像帧的Y方向的均值光流矢量以帧为单位在时间轴上显示，形成Y方向的光流波形；第二判断单元，用于根据Y方向的光流波形的振幅，判断相机是否移动。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

另外，结合图2描述的本申请实施例相机移动的识别方法可以由相机移动的识别设备来实现。图6是根据本申请实施例的相机移动的识别设备的硬件结构示意图。

相机移动的识别设备可以包括处理器61以及存储有计算机程序指令的存储器62。

具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。

处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种相机移动的识别方法。

在其中一些实施例中，相机移动的识别设备还可包括通信接口63和总线60。其中，如图6所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。

通信接口63用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口63还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线60包括硬件、软件或两者，将相机移动的识别设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该相机移动的识别设备可以基于获取到的图像帧序列，执行本申请实施例中的相机移动的识别方法，从而实现结合图2描述的相机移动的识别方法。

另外，结合上述实施例中的相机移动的识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种相机移动的识别方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种相机移动的识别方法，其特征在于，包括：

获取图像帧序列；

确定所述图像帧序列中每个图像帧的稠密光流场；

分别对所述每个图像帧的稠密光流场进行聚类，并确定所述每个图像帧的主子光流场，其中，所述主子光流场为所述每个图像帧中最多像素分类的聚类子光流场；

计算所述每个图像帧的主子光流场的均值光流矢量；

根据所述每个图像帧的均值光流矢量，判断相机是否移动。

2.根据权利要求1所述的相机移动的识别方法，其特征在于，确定所述图像帧序列中每个图像帧的稠密光流场之前，所述方法还包括：

对所述图像帧序列进行预处理，其中，所述预处理包括以下至少之一：灰度处理、降噪处理。

3.根据权利要求1所述的相机移动的识别方法，其特征在于，分别对所述每个图像帧的稠密光流场进行聚类，并确定所述每个图像帧的主子光流场包括：

根据所述每个图像帧的稠密光流场的大小进行分块处理，并获取每个图像区块内各个像素点的光流矢量；

对每个图像区块内各个像素点的光流矢量进行聚类，并得到所述每个图像帧的主子光流场。

4.根据权利要求3所述的相机移动的识别方法，其特征在于，对每个图像区块内各个像素点的光流矢量进行聚类，并得到所述每个图像帧的主子光流场包括：

采用K-means聚类算法对每个图像区块内各个像素点的光流矢量进行聚类，得到多个聚类子光流场；

确定所述多个聚类子光流场中每个聚类子光流场的均值光流矢量之间的第一距离；

将所述第一距离小于预设阈值的聚类子光流场进行合并；

从合并之后的聚类子光流场中，筛选出最多像素分类的聚类子光流场作为所述主子光流场。

5.根据权利要求1所述的相机移动的识别方法，其特征在于，主子光流场的均值光流矢量包括以下至少之一：X方向的均值光流矢量、Y方向的均值光流矢量。

6.根据权利要求1所述的相机移动的识别方法，其特征在于，主子光流场的均值光流矢量包括X方向的均值光流矢量；根据所述每个图像帧的均值光流矢量，判断相机是否移动包括：

将所述每个图像帧的X方向的均值光流矢量以帧为单位在时间轴上显示，形成X方向的光流波形；

根据所述X方向的光流波形的振幅，判断相机是否移动。

7.根据权利要求1所述的相机移动的识别方法，其特征在于，主子光流场的均值光流矢量包括Y方向的均值光流矢量；根据所述每个图像帧的均值光流矢量，判断相机是否移动包括：

将所述每个图像帧的Y方向的均值光流矢量以帧为单位在时间轴上显示，形成Y方向的光流波形；

根据所述Y方向的光流波形的振幅，判断相机是否移动。

8.一种相机移动的识别装置，其特征在于，包括：

确定模块，用于确定图像帧序列中每个图像帧的稠密光流场；

聚类模块，用于分别对所述每个图像帧的稠密光流场进行聚类，并确定所述每个图像帧的主子光流场，其中，所述主子光流场为所述每个图像帧中最多像素分类的聚类子光流场；

计算模块，用于计算所述每个图像帧的主子光流场的均值光流矢量；

判断模块，根据所述每个图像帧的均值光流矢量，判断相机是否移动。

9.一种相机移动的识别设备，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的相机移动的识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的相机移动的识别方法。

Images