CN110428452B - 非静态场景点的检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于非静态场景点的检测方法、装置、电子设备及存储介质，涉及增强现实技术领域，用以解决现有技术中对非静态场景点识别不准确的问题，本公开方法包括：通过图像采集装置采集同一场景的两帧图像，并确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度；根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量；根据所有场景点对应的光流位移分量的长度和方向，确定所述场景点中在采集所述两帧图像时发生运动的非静态场景点。其根据旋转角度排除图像采集装置旋转特性对各个场景点的光流的影响进而获取的各个场景点的位移光流分量准确地确定出非静态场景点。

Description

非静态场景点的检测方法、装置、电子设备及存储介质

技术领域

本公开涉及增强现实技术领域，特别涉及一种非静态场景点的检测方法、装置、电子设备及存储介质。

背景技术

在增强现实技术领域，将图像采集装置采集的图像中背景的特征点作为场景点，可以检测并跟踪图像采集装置采集的图像中的场景点，根据相同的场景点在不同帧图像上的位置，确定图像采集设备或其他物体的位置，但是一些图像中可能存在运动物体，由于运动物体会在采集多帧图像时发生运动，因而在运动物体上检测到的场景点会变为非静态场景点，由于位置发生变化的非静态场景点的影响，会导致在利用场景点进行场景中某些设备位置估算或追踪不准确等，因此，需要识别并过滤上述场景点中的非静态场景点，以便使得利用场景点估计出的设备位置更准确。

为了识别场景点中的非静态场景点，现有技术常通过场景点对应的光流的方向，识别出与绝大多数光流方向不一致的光流，进而将其对应的场景点确定为非静态场景点并过滤，但是上述识别非静态场景点的方案只适用于光流方向分布范围较小的情况，当图像采集装置沿光轴转动或沿光轴移动时，场景点对应的光流分布于各个方向，此时，非静态场景点对应的光流会和某些不发生移动的场景点对应的光流一致，进而不能有效区分不发生移动的场景点和发生移动的非静态场景点。

综上所述，在现有技术中，存在对场景点中的非静态场景点识别不准确的问题。

发明内容

本公开提供一种非静态场景点的识别方法及设备，以至少解决现有技术中对场景点中的非静态场景点识别不准确的问题。

根据本公开实施例的第一方面，提供一种非静态场景点的检测方法，包括：

通过图像采集装置采集同一场景的两帧图像，并确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度；

根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量；

根据所有场景点对应的光流位移分量的长度和方向，确定所述场景点中在采集所述两帧图像时发生运动的非静态场景点。

根据本公开实施例的第二方面，提供一种非静态场景点的检测装置，包括图像采集单元、光流确定单元、非静态场景点检测单元，其中：

所述图像采集单元被配置为执行通过图像采集装置采集同一场景的两帧图像，并确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度；

所述光流确定单元被配置为执行根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量；

所述非静态场景点检测单元被配置为执行根据所有场景点对应的光流位移分量的长度和方向，确定所述场景点中在采集所述两帧图像时发生运动的非静态场景点。

根据本公开实施例的第三方面，提供一种电子设备，包括处理器、用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行本公开实施例的第一方面所述的非静态场景点检测方法的步骤。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面所述的非静态场景点的检测方法的步骤。

本公开实施例提供的技术方案至少带来以下有益效果：

通过旋转角度，排除图像采集装置旋转特性对光流的影响，进而获取各个场景点由图像采集装置位移产生的光流，进而根据所有场景点对应的光流的长度和方向确定非静态场景点，不仅使得确定出的非静态场景点准确度高，且该方法可应用于图像采集装置沿光轴转动或沿光轴移动的场景。

应当理解的是，以上的一般描述和后文的细节描述仅时示意性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种非静态场景点的检测方法示意图；

图2为本公开实施例提供的图像二维坐标系的示意图；

图3为本公开实施例提供的一种三维坐标系的示意图；

图4为本公开实施例提供的各场景点对应的光流的方向示意图；

图5为本公开实施例提供的根据光流方向确定非静态场景点的示意图；

图6为本公开实施例提供的一种非静态场景点的识别装置示意图；

图7为本公开实施例提供的一种电子设备示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

目前Pedro Santana在通过删除光流离群点改善视觉里程计中，提出删除光流非静态场景点的方法，该方法认为一张图像中光流的方向是平滑且单调的，正确光流的方向比较一致且在同一方向上数量比较多，而非静态场景点作为离群点，其方向是和其周围区域的光流方向平均值有比较大的差异并且数量比较少，如果图像采集设备沿光轴转动，整张图像中的光流的方向变化范围比较大，这使得非静态场景点对应的光流可能包含于正确光流方向范围中不易区分，因此将图像分为左右两部分，每一部分的范围相对缩小，光流方向分布相应缩小，对每部分单独处理更易于筛选非静态场景点，具体包括如下步骤：

1)把采集的图像分为左右两部分，对每部分的光流分别计算光流方向直方图；

其中，在直方图中，每列表示光流的一个方向，如光流分8个方向，则直方图上共有8列。

2)设直方图中某一方向的光流数量和光流总数量的比率最高的为Fmax,则如果某列的光流数量和光流总数量的比率Fo小于hf×Fmax，则属于Fo列的光流为非静态场景点；

其中，hf为一个计算系数，可由本领域的技术人员根据经验设置；

若光流总数量为100,每个方向上光流数量分别为1、3、5、40、25、10、1、15则8列的直方图中，每列的比率就是0.01、0.03、0.05、0.4、0.25、0.1、0.01、0.15；若Fmax为0.4,hf为0.3，则比率小于(hf×Fmax＝0.3×0.4＝0.12)的列中的场景点就是非静态场景点。

3)如果某列的比例Fo小于预设阈值，则确定属于Fo的光流对应的场景点为非静态场景点。

其中，在2)中通过光流的方向和光流的数量筛选非静态场景点，3)中仅通过光流的数量筛选非静态场景点。

但所述筛选非静态场景点的方案只适用于光流的方向分布范围较小的情况，当图像采集装置在采集多帧图像时沿光轴转动，或者沿光轴位移时，此时各场景点对应的光流会分布在各个方向，此时非静态场景点对应的光流会和某些不发生移动的场景点对应的光流一致，进而不能有效区分不发生移动的场景点和发生移动的非静态场景点。

为了解决所述问题，本公开实施例提供一种非静态场景点的识别方法和设备，在该方法中，通过图像采集装置采集同一场景的两帧图像，并确定所述两帧图像分别对应的惯性测量单元(Inertial Measurement Unit，IMU)数据，根据IMU数据确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度，进而利用旋转角度将每个场景点在所述两帧图像中的坐标点转化到同一个坐标系中，在所述同一个坐标系中，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量，进而根据所有场景点对应的光流位移分量的长度和方向，确定所述场景点中在采集所述两帧图像时发生运动的非静态场景点。

其中，在根据所有场景点对应的光流位移分量的长度和方向确定非静态场景点时，首先根据所有场景点对应的光流位移分量的长度确定图像采集装置是否发生位移，在采集装置未发生位移时，根据所有场景点对应的光流位移分量的长度，确定非静态场景点；在图像采集装置发生位移时，根据所有场景点对应的光流位移分量的方向，确定非静态场景点。

应当说明的是，所述惯性测量单元(Inertial Measurement Unit，IMU)是测量物体三轴姿态角/角速率以及加速度的装置；一个IMU内会装有三轴的陀螺仪和三个方向的加速度计，来测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

为了便于理解，下面结合说明书附图对本公开示意性实施例做进一步详细描述。

图1是根据一示意性实施例示出的一种非静态场景点的检测方法的流程图，如图1所示，所述具体包括以下步骤：

步骤S100，通过图像采集装置采集同一场景的两帧图像，并确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度；

对所述图像采集装置不做过多限定，本领域的技术人员可根据实际需求选用各种摄像装置；

在本步骤中，通过图像采集装置连续采集两帧图像，并确定所述两帧图像分别对应的惯性测量单元IMU数据；

在本实施例中，根据所述IMU数据，可直接确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度Rd，其中，所述第一帧图像先于所述第二帧图像采集。

步骤S101，根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量；

可选地，确定图像采集装置采集所述两帧图像时的旋转角度Rd后，可以分别确定所述两帧图像所在的坐标系；

如在本实施例中，分别确定所述两帧图像中的第一帧图像和第二帧图像所在的第一坐标系和第二坐标系，具体确定方法如下：

建立以第一帧图像的左上角的点为原点，y轴向下的二维的第一坐标系；且建立以第二帧图像左上角的点为原点，y轴向下的二维的第二坐标系；

利用所述旋转角度Rd，将同一个场景点在两个坐标系中的坐标点转化到同一个坐标系中，并在所述同一个坐标系中，根据同一个场景点的两个坐标点的确定该场景点对应的光流位移分量；

具体地，将所述场景点在所述两帧图像中的第一帧图像对应的坐标点作为起点，将从所述起点指向所述场景在第二帧图像对应的另一坐标点的矢量确定为所述场景点对应的光流位移分量。

应当说明的是，所述同一个坐标系可以是所述两个坐标系中的一个，也可以是所述两个坐标系外的第三坐标系，以下仅以将任一场景点中的两个坐标点转换到所述两个坐标系中的一个，进而确定任一场景点对应的光流位移分量为例进行示意性说明。

以下为确定任一场景点对应的光流位移分量的方法的示意性的说明：

为便于叙述，此处将该场景点在第一帧图像和第二帧图像中的位置分别记为第一位置点和第二位置点；

根据旋转角度Rd以及该场景点在第二帧图像中的第二位置点，确定在图像采集装置旋转前，该场景点在第二帧图像中的目标位置点；

应当说明的是，所述目标位置点为除去图像采集设备发生旋转而引起的光流特性后，该场景点对应的位置点。

进而根据该场景点对应的第一位置点和目标位置点，确定该场景点的光流位移分量，即将第一帧图像和第二帧图像重叠，确定以该场景点的第一位置点为起点，将由所述起点指向该场景对应的目标位置点的矢量为该场景点对应的光流位移分量。

如在本实施例中，以第一帧图像和第二帧图像为参考，建立图像二维坐标系(即第一帧图像和第二帧图像使用同一个二维的坐标系)，如图2所示，将第一帧图像和第二帧图像重叠，以重叠的图像21的左上角为原点O(0,0)，沿图像上侧的边向右的方向为x轴，沿图像的左侧的边向下的方向为y轴建立图像二维坐标系。

将该场景点在第一帧图像中的第一位置点转化到所述图像二维坐标系中得到第一坐标点；

根据旋转角度Rd以及该场景点在第二帧图像中的第二位置点，确定在图像采集装置旋转前，确定该场景点在第二帧图像中的目标位置点，并将所述目标位置点转化到所述图像二维坐标系中得到第二坐标点；

进而在所述图像二维坐标系中，将由该场景点对应的第一坐标点指向第二坐标点的矢量确定为该场景对应的光流位移分量，如图2所示，若点A1和A2分别为该场景点A对应的第一坐标点和第二坐标点，则从A1指定A2的矢量即为场景点A对应的光流位移分量。

以下给出利用旋转角度Rd以及该场景点在第二帧图像中的第二位置点，确定所述第二坐标点的过程：

以第二帧图像和图像采集装置的位置为参考，建立图像采集装置所在的三维坐标系，如图3所示，建立以第二帧图像31的中心点为原点，y轴与图像二维坐标系的y轴方向相反，方向x轴方向与图像二维坐标系的x轴方向一致，z轴和光轴重合的三维坐标系。

进而将该场景点在第二帧图像中的第二位置点在三维坐标系中坐标记为P0{k(x，y，z)}，即该场景对应的三维射线表示为k(x，y，z)，此处为了方便叙述，记在图像采集装置旋转前，该场景点对应的三维射线为(x1，y1，z1)，即在图像采集装置旋转前，该场景点在第二帧图像中的目标位置点的坐标记为P1(x1，y1，z1)；

将P1的坐标(x1，y1，z1)与

相乘得到P1在三维坐标系中坐标的另一种形式

进而将P1的坐标

转化至二维基准坐标系中得到坐标

其中，本实施例中的f为相机的焦距，二维基准坐标系以第二帧图像的中心点为原点，y轴以及x轴方向与所述三维坐标系的y轴以及x轴方向一致的二维坐标系。根据如下公式1求得坐标

的具体值：

公式1：(x1，y1，z1)＝inv(Rd)×k(x，y，z)；

在本实施例中，图像采集装置采用的是相机，所述公式1中的inv(Rd)指所述旋转角度Rd反方向旋转相同的角度，公式1中的k为任意值。

即通过所述公式1，可以用已知的x、y和z表示未知的x1、y1和z1，即可求得

的具体值。

求得

的具体值之后，根据所述二维基准坐标系和图像二维坐标系的变换关系，将坐标

转换到图像二维坐标系得到所述该场景点对应的第二坐标点(即若所述场景点为图2中的场景点A，则此处求得的第二坐标点为所述图2中的A2)。

应当说明的是，本公开实施例中建立所述图像二维坐标系、所述三维坐标系以及二维基准坐标系的方法仅为举例说明，在具体的实施过程中，所述图像二维坐标系、所述三维坐标系以及二维基准坐标系不一定按照所述方法确定，本领域的技术人员可以根据其他方法构建所述图像二维坐标系、所述三维坐标系以及二维基准坐标系，仅在确定各场景点对应的光流位移分量时，知道所述图像二维坐标系、所述三维坐标系以及二维基准坐标系间的变换关系即可。

步骤S102，根据所有场景点对应的光流位移分量的长度和方向，确定所述场景点中在采集所述两帧图像时发生运动的非静态场景点。

具体地，根据所有场景点对应的光流位移分量的长度确定所述图像采集装置是否发生位移；

当所述图像采集装置未发生位移时，根据所有场景点对应的光流位移分量的长度，确定所述场景点中的非静态场景点；当所述图像采集装置发生位移时，根据所有场景点对应的光流位移分量的方向，确定所述场景点中的非静态场景点。

可选地，可以根据所有场景点对应的光流位移分量的长度确定所述图像采集装置是否发生位移，包括：

确定所有光流位移分量中，光流位移分量的长度小于预设有效光流位移分量长度的光流位移分量数量；

若所述光流位移分量数量与光流位移分量总数量的比值超过预设阈值，确定所述图像采集装置未发生位移，否则确定所述图像采集装置发生位移。

对所述预设阈值不做过多限定，本领域的技术人员可根据实际需求设置，如将所述预设阈值设置为30％，即当光流位移分量数量与光流位移分量总数量的比值超过30％时，确定所述图像采集装置未发生位移。

当图像采集装置未发生位移时，理想状态下各个静态的场景点对应的光流位移分量为0，但因有噪音等其他因素的影响，即使图像采集装置未发生位移，各个静态的场景点对应的光流位移分量长度不为0，但其长度不会太大，此时，可由技术人员设定一个预设有效光流位移分量长度，将光流位移分量长度大于所述预设有效光流位移分量长度的场景点识别为非静态场景点，即确定任一场景点对应的光流位移分量的长度大于预设有效光流位移分量长度时，确定该场景点为非静态场景点。

当图像采集装置发生位移时，因为其中的非静态场景点也在运动，因此各个场景点对应的光流位移分量长度不一定在固定范围内，此时仍以预设有效光流位移分量长度为基准识别非静态场景点误差较大，但是，对于静态的场景点而言，在没有噪音等环境的干扰下，各个静态的场景点对应的光流位移分量的方向会趋于相交于一点，而非静态场景点对应的光流位移分量方向与此偏离，具体可参见图4，其中，各个场景点对应的光流位移分量示意为带箭头的线段，点M即为所述光流位移分量方向的交点，从图4中可以看出，光流位移分量41的方向明显不指向点M，此即表明光流位移分量41对应的场景点为非静态场景点。

即图像采集装置发生位移时，根据所有光流位移分量的方向预估在采集所述两帧图像时未发生运动的静态场景点对应的光流位移分量的方向的交点；

确定任一场景点对应的光流位移分量的起点至所述交点的连线，与该光流位移分量的方向夹角大于预设夹角时，确定该场景点为非静态场景点。

参见图5，图5中点M为所述光流位移分量的方向的交点，光流位移分量41对应的方向夹角为角1，角1的数值为60度，光流位移分量51对应的方向夹角为角2，角2的数值为20度；若本领域的技术人员根据多次试验设置所述预设夹角为25度时，因所述角1大于25度，故而光流位移分量41对应的场景点被确定为非静态场景点，因角2小于25度，故而光流位移分量51对应的场景点被确定为静态的场景点。

图6是根据一示例性实施例示出的一种非静态场景点的检测装置的装置框图。参见图6，该装置包括图像采集单元601、光流确定单元602、非静态场景点检测单元603，其中：

所述图像采集单元被配置为执行通过图像采集装置采集同一场景的两帧图像，并确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度；

所述光流确定单元被配置为执行根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量；

所述非静态场景点检测单元被配置为执行根据所有场景点对应的光流位移分量的长度和方向，确定所述场景点中在采集所述两帧图像时发生运动的非静态场景点。

所述图像采集单元被配置为执行：

确定所述两帧图像分别对应的惯性测量单元数据；

根据所述惯性测量单元数据确定所述旋转角度。

所述光流确定单元被配置为执行：

分别确定所述两帧图像所在的坐标系；

根据所述旋转角度，将同一个场景点在两个坐标系中的坐标点转化到同一个坐标系中，并在所述同一个坐标系中，根据同一个场景点的两个坐标点确定所述同一个场景点对应的光流位移分量。

所述光流确定单元被配置为执行：

将所述场景点在所述两帧图像中的第一帧图像对应的坐标点作为起点，将从所述起点指向所述场景在第二帧图像对应的另一坐标点的矢量确定为所述场景点对应的光流位移分量，所述第一帧图像先于所述第二帧图像采集。

所述非静态场景点检测单元被配置为执行：

根据所有场景点对应的光流位移分量的长度确定所述图像采集装置是否发生位移；

当所述图像采集装置未发生位移时，根据所有场景点对应的光流位移分量的长度，确定所述场景点中的非静态场景点；

当所述图像采集装置发生位移时，根据所有场景点对应的光流位移分量的方向，确定所述场景点中的非静态场景点。

所述非静态场景点检测单元被配置为执行：

确定所有光流位移分量中，光流位移分量的长度小于预设有效光流长度的光流数量；

若所述光流数量与光流总数量的比值超过预设阈值，确定所述图像采集装置未发生位移，否则确定所述图像采集装置发生位移。

所述非静态场景点检测单元被配置为执行：

确定任一场景点对应的光流位移分量的长度大于预设有效光流长度时，确定所述任一场景点为非静态场景点。

述非静态场景点检测单元被配置为执行：

根据所有光流位移分量的方向预估在采集所述两帧图像时未发生运动的静态场景点对应的光流位移分量的方向的交点；

确定任一场景点对应的光流位移分量的起点至所述交点的连线，与所述光流位移分量的方向夹角大于预设夹角时，确定所述任一场景点为非静态场景点。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7是根据一示意性实施例示出的一种用于非静态场景点检测的电子设备，包括处理器71、用于存储所述处理器可执行指令的存储器72，其中，所述处理器被配置为执行如下过程：

通过图像采集装置采集同一场景的两帧图像，并确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度；

根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量；

根据所有场景点对应的光流位移分量的长度和方向，确定所述场景点中在采集所述两帧图像时发生运动的非静态场景点。

所述处理器被配置为执行确定所述两帧图像分别对应的惯性测量单元数据；根据所述惯性测量单元数据确定所述旋转角度。

所述处理器被配置为执行分别确定所述两帧图像所在的坐标系；根据所述旋转角度，将同一个场景点在两个坐标系中的坐标点转化到同一个坐标系中，并在所述同一个坐标系中，根据同一个场景点的两个坐标点确定所述同一个场景点对应的光流位移分量。

所述处理器被配置为执行将所述场景点在所述两帧图像中的第一帧图像对应的坐标点作为起点，将从所述起点指向所述场景在第二帧图像对应的另一坐标点的矢量确定为所述场景点对应的光流位移分量，所述第一帧图像先于所述第二帧图像采集。

所述处理器被配置为执行根据所有场景点对应的光流位移分量的长度确定所述图像采集装置是否发生位移；当所述图像采集装置未发生位移时，根据所有场景点对应的光流位移分量的长度，确定所述场景点中的非静态场景点；当所述图像采集装置发生位移时，根据所有场景点对应的光流位移分量的方向，确定所述场景点中的非静态场景点。

所述处理器被配置为执行确定所有光流位移分量中，光流位移分量的长度小于预设有效光流长度的光流数量；若所述光流数量与光流总数量的比值超过预设阈值，确定所述图像采集装置未发生位移，否则确定所述图像采集装置发生位移。

所述处理器被配置为执行确定任一场景点对应的光流位移分量的长度大于预设有效光流长度时，确定所述任一场景点为非静态场景点。

所述处理器被配置为执行根据所有光流位移分量的方向预估在采集所述两帧图像时未发生运动的静态场景点对应的光流位移分量的方向的交点；

确定任一场景点对应的光流位移分量的起点至所述交点的连线，与所述光流位移分量的方向夹角大于预设夹角时，确定所述任一场景点为非静态场景点。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器4，上述指令可由所述电子设备的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种非静态场景点的检测方法，其特征在于，所述方法包括：

通过图像采集装置采集同一场景的两帧图像，并确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度；

根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量；

确定所有光流位移分量中，光流位移分量的长度小于预设有效光流长度的光流数量；

若所述光流数量与光流总数量的比值未超过预设阈值，确定所述图像采集装置发生位移；

当所述图像采集装置发生位移时，根据所有场景点对应的光流位移分量的方向，确定所述场景点中的非静态场景点；

所述根据所有场景点对应的光流位移分量的方向，确定所述场景点中的非静态场景点，包括：

根据所有场景点对应的光流位移分量的方向，预估在采集所述两帧图像时未发生运动的静态场景点对应的光流位移分量的方向的交点；

确定任一场景点对应的光流位移分量的起点至所述交点的连线，与该光流位移分量的方向夹角大于预设夹角时，确定该场景点为非静态场景点。

2.如权利要求1所述的方法，其特征在于，所述根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量，包括：

分别确定所述两帧图像所在的坐标系；

根据所述旋转角度，将同一个场景点在两个坐标系中的坐标点转化到同一个坐标系中，并在所述同一个坐标系中，根据同一个场景点的两个坐标点确定所述同一个场景点对应的光流位移分量。

3.如权利要求2所述的方法，其特征在于，所述根据同一个场景点的两个坐标点确定所述场景点对应的光流位移分量，包括：

将所述场景点在所述两帧图像中的第一帧图像对应的坐标点作为起点，将从所述起点指向所述场景点在第二帧图像对应的另一坐标点的矢量确定为所述场景点对应的光流位移分量，所述第一帧图像先于所述第二帧图像采集。

4.如权利要求1所述的方法，其特征在于，还包括：

若所述光流数量与光流总数量的比值超过预设阈值，确定所述图像采集装置未发生位移；

当所述图像采集装置未发生位移时，根据所有场景点对应的光流位移分量的长度，确定所述场景点中的非静态场景点。

5.如权利要求4所述的方法，其特征在于，所述根据所有场景点对应的光流位移分量的长度，确定所述场景点中的非静态场景点，包括：

确定任一场景点对应的光流位移分量的长度大于预设有效光流长度时，确定所述任一场景点为非静态场景点。

6.如权利要求1所述的方法，其特征在于，所述确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度，包括：

确定所述两帧图像分别对应的惯性测量单元数据；

根据所述惯性测量单元数据确定所述旋转角度。

7.一种非静态场景点的检测装置，其特征在于，包括图像采集单元、光流确定单元、非静态场景点检测单元，其中：

所述图像采集单元被配置为执行通过图像采集装置采集同一场景的两帧图像，并确定采集所述两帧图像中第二帧图像时相对于采集第一帧图像时所述图像采集装置的旋转角度；

所述光流确定单元被配置为执行根据所述旋转角度，确定每个场景点在所述两帧图像中由所述图像采集装置位移产生的光流位移分量；

所述非静态场景点检测单元被配置为执行确定所有光流位移分量中，光流位移分量的长度小于预设有效光流长度的光流数量；所述单元被配置为执行若所述光流数量与光流总数量的比值未超过预设阈值，确定所述图像采集装置发生位移；所述单元被配置为执行当所述图像采集装置发生位移时，根据所有场景点对应的光流位移分量的方向，确定所述场景点中的非静态场景点；

所述根据所有场景点对应的光流位移分量的方向，确定所述场景点中的非静态场景点，包括：

根据所有场景点对应的光流位移分量的方向，预估在采集所述两帧图像时未发生运动的静态场景点对应的光流位移分量的方向的交点；

确定任一场景点对应的光流位移分量的起点至所述交点的连线，与该光流位移分量的方向夹角大于预设夹角时，确定该场景点为非静态场景点。

8.如权利要求7所述的装置，其特征在于，所述光流确定单元被配置为执行：

分别确定所述两帧图像所在的坐标系；

根据所述旋转角度，将同一个场景点在两个坐标系中的坐标点转化到同一个坐标系中，并在所述同一个坐标系中，根据同一个场景点的两个坐标点确定所述同一个场景点对应的光流位移分量。

9.如权利要求8所述的装置，其特征在于，所述光流确定单元被配置为执行：

将所述场景点在所述两帧图像中的第一帧图像对应的坐标点作为起点，将从所述起点指向所述场景点在第二帧图像对应的另一坐标点的矢量确定为所述场景点对应的光流位移分量，所述第一帧图像先于所述第二帧图像采集。

10.如权利要求7所述的装置，其特征在于，所述非静态场景点检测单元被配置为执行：

若所述光流数量与光流总数量的比值超过预设阈值，确定所述图像采集装置未发生位移；

当所述图像采集装置未发生位移时，根据所有场景点对应的光流位移分量的长度，确定所述场景点中的非静态场景点。

11.如权利要求10所述的装置，其特征在于，所述非静态场景点检测单元被配置为执行：

确定任一场景点对应的光流位移分量的长度大于预设有效光流长度时，确定所述任一场景点为非静态场景点。

12.如权利要求7所述的装置，其特征在于，所述图像采集单元被配置为执行：

确定所述两帧图像分别对应的惯性测量单元数据；

根据所述惯性测量单元数据确定所述旋转角度。

13.一种电子设备，其特征在于，包括处理器、用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至6中任一项所述的非静态场景点检测方法的步骤。

14.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行权利要求1-6中任一项所述的非静态场景点的检测方法的步骤。

Images