CN114255261A - 运动方向的检测方法、装置、存储介质及终端设备 - Google Patents

Abstract

本申请实施例公开了一种运动方向的检测方法、装置、存储介质及终端设备，其中，该方法包括：基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；根据前N帧图像之后的每个后续帧图像的每个像素点与K个高斯模型中的每个高斯模型的距离，确定每个后续帧图像的运动目标；提取运动目标的特征点，并对每个特征点进行光流跟踪，得到每个特征点的运动方向；根据运动目标中每个特征点的运动方向，确定运动目标的运动方向，提升运动目标的运动方向检测的准确性，以及降低成本。

Description

运动方向的检测方法、装置、存储介质及终端设备

技术领域

本申请涉及电梯技术领域，具体涉及一种运动方向的检测方法、装置、存储介质及终端设备。

背景技术

目前，利用图像处理技术对电梯人员进出状态进行判断时，先查找图像跳变点，并对上下相邻跳变点连成特征线，根据前后帧的特征线的颜色相似度，判断前后帧特征线是否为同一目标，根据多帧特征线的移动轨迹，判断是否有人员进出电梯。该算法最大缺点是鲁棒性不好，手动设计提取图像跳变点具有主观性，包括特征线的连接逻辑和特征线的匹配逻辑都是针对调试场景设计的，而实际电梯内环境光线差异很大，会导致很多误检。另外该算法实现复杂，计算量比较大，单帧分析耗时长，又会反作用影响算法的计算效果。

利用红外传感器检测技术对电梯人员进出状态进行判断时，在电梯门同侧里外放置两个红外传感器，通过判断触发顺序来实现人员进入的检测目的。但是，红外传感器与语音交互系统还需要单独通信线路，另外电梯设备上打孔安装附加设备是要符合国家安全标准，经过审核通过才能安装，导致红外传感器安装成本比较高。

发明内容

本申请实施例提供一种运动方向的检测方法、装置、存储介质及终端设备，可以提升运动目标的运动方向检测的准确性，以及降低成本。

第一方面，提供一种运动方向的检测方法，所述方法包括：

基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；

根据所述前N帧图像之后的每个后续帧图像的每个像素点与K个所述高斯模型中的每个高斯模型的距离，确定每个所述后续帧图像中的运动目标；

提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，得到每个所述特征点的运动方向；

根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向。

第二方面，提供一种运动方向的检测装置，所述装置包括：

建模单元，用于基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；

第一确定单元，用于根据所述前N帧图像之后的每个后续帧图像的每个像素点与所述K个高斯模型中的每个高斯模型的距离，确定每个所述后续帧图像中的运动目标；

提取单元，用于提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，得到每个所述特征点的运动方向；

第二确定单元，用于根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向。

第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的运动方向的检测方法中的步骤。

第四方面，提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的运动方向的检测方法中的步骤。

本申请实施例通过基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；根据前N帧图像之后的每个后续帧图像的每个像素点与K个高斯模型中的每个高斯模型的距离，确定每个后续帧图像的运动目标；提取运动目标的特征点，并对每个特征点进行光流跟踪，得到每个特征点的运动方向；根据运动目标中每个特征点的运动方向，确定运动目标的运动方向。本申请实施例通过高斯混合背景建模来检测运动目标，并利用光流法跟踪运动目标来判断运动目标的运动方向，遍历每帧后续帧图像中运动目标的运动方向，实现识别乘梯人员进入电梯的目的，可以提升运动目标的运动方向检测的准确性，以及降低计算成本和设备安装成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的运动方向的检测方法的第一流程示意图。

图2为本申请实施例提供的运动方向的检测方法的第二流程示意图。

图3为本申请实施例提供的运动方向的检测方法的第三流程示意图。

图4为本申请实施例提供的运动方向的检测方法的第四流程示意图。

图5为本申请实施例提供的运动方向的检测装置的结构示意图。

图6为本申请实施例提供的运动方向的检测装置的另一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种运动方向的检测方法、装置、终端设备和存储介质。具体地，本申请实施例的运动方向的检测方法可以由终端设备执行，其中，该终端设备可以为终端或者服务器等设备。

首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语作如下解释：

帧差法：由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。首先，将相邻帧图像对应像素值相减得到差分图像，然后对差分图像二值化，在环境亮度变化不大的情况下，若对应像素值变化小于预设的阈值时，可以认为此处为背景像素；若图像区域的像素值变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。

背景建模：可以采用帧差法和高斯混合模型进行背景建模。基于帧差法，将连续两帧的图像数据进行差分运算，即进行相减操作,如果其相减后的绝对值大于或等于阈值，则像素点的像素值变为255；如果连续两帧的图像数据进行相减操作,其相减后的绝对值小于阈值，则像素点的像素值变为0。通过这种方法来找出视频中的运动目标。然后，基于混合高斯模型，将图像分为3-5个高斯模型，一个像素点来了，若该像素点离任何一个高斯模型的距离大于或等于其2倍的标准差，则判断为前景(即运动目标)；若该像素点离任何一个高斯模型的距离小于其2倍的标准差，则判断为背景。

光流法是目标、场景或摄像机在连续两帧图像间运动时造成的目标的运动。它是图像在平移过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场，反映了微小时间间隔内由于运动形成的图像变化，以确定图像点上的运动方向和运动速率。

其中，在本申请实施例中，电梯语音交互系统在人员进入电梯时需要主动唤醒。本申请实施例提出通过背景建模算法检测运动目标，再通过光流法跟踪运动目标，实现识别乘梯人员进入电梯的目的，再唤醒语音交互系统，实现主动沟通的目的。

为了实现人员进入电梯检测，本申请实施例采用高斯混合背景建模，对采集的图像建立K个高斯模型，计算后续帧图像(每获取到的新的一帧图像)中每个像素点与之前建立的高斯模型的距离，如果大于二倍的标准差，则判断为前景像素点，遍历所有像素点，以得到包含有所有前景像素点的前景区域；再对前景区域中的运动目标提取特征点，利用运动目标的特征点进行光流跟踪，当运动目标的特征点50％以上的运动方向是从电梯轿厢外到轿厢内时，就可以判断运动目标的运动方向为进入电梯方向，然后，若后续帧图像中最新的三帧图像中有两帧图像的运动目标的运动方向为进入电梯方向，则判断该运动目标存在进入电梯的行为，再将算法结果返回给语音交互系统。

本申请实施例采用图像处理技术，应用在智慧电梯项目，为智慧电梯的语音交互系统提供人员进入的信息。通过调用图像算法接口，实现人员进入电梯的检测，无需额外打孔安装，部署方便。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。

本申请各实施例提供了一种运动方向的检测方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以运动方向的检测方法由服务器执行为例来进行说明。

请参阅图1至图3，图1至图3均为本申请实施例提供的运动方向的检测方法的流程示意图。该方法包括：

步骤110，基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型。

例如，当电梯轿厢门打开时，通过安装于电梯轿厢内的相机或者摄像头获取监控视频。其中可以只安装一个相机或者摄像头。

然后，从监控视频中连续获取前N帧图像，并基于高斯混合模型对图像中的各像素建立高斯模型。其中，先初始化每个高斯模型的矩阵参数；通过监控视频中的前N帧图像来训练高斯模型，当出现第一个像素点之后用该第一个像素点做第一个高斯分布，将后面出现的像素点与前面已有的高斯的均值比较，如果该后面出现的像素点的值与目标高斯模型的均值差在3倍的方差内，则说明该后面出现的像素点属于该当前高斯模型的高斯分布，并对该当前高斯模型进行参数更新；若下一次出现的像素点不满足当前高斯模型的高斯分布，则利用该下一次出现的像素点来创建一个新的高斯分布。

例如，K的取值范围可以为3至5，比如可以创建3-5个高斯模型。

步骤120，根据所述前N帧图像之后的每个后续帧图像的每个像素点与所述K个高斯模型中的每个高斯模型的距离，确定每个所述后续帧图像的运动目标。

可选的，如图2所示，步骤120可以通过步骤121至步骤123来实现，具体为：

步骤121，获取所述K个高斯模型中每个高斯模型的均值。

例如，在所述获取K个高斯模型中每个高斯模型的均值之前，还可以先对所述后续帧图像进行图像预处理，以得到预处理的后续帧图像。具体的，将所述后续帧图像的分辨率缩小为原分辨率的十分之一，并将所述分辨率缩小后的后续帧图像转换成灰度图像，且对所述灰度图像进行高斯平滑滤波，以得到预处理的后续帧图像。

其中，通过图像预处理，可以使得被处理的图像既能被模型准确识别，又能减小模型的计算量，以及减小图像中的噪声干扰。

其中，在利用高斯混合模型处理所述后续帧图像时，每次输入的是单帧图像。即在所述前N帧图像之后，将后续出现的每一个新一帧图像作为输入图像进行处理。该后续帧图像为监控视频中前N帧图像之后出现的图像。

其中，高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的像素值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的像素值。

其中，高斯模型即为高斯分布，获取每个高斯模型的均值，即为获取每个高斯分布的平均值。

步骤122，根据每个所述后续帧图像中的每个像素点的灰度值与对应的所述均值的差值确定所述后续帧图像中的前景像素点，得到每个所述后续帧图像的前景区域。

可选的，所述根据每个所述后续帧图像中的每个像素点的灰度值与对应的所述均值的差值确定所述后续帧图像中的前景像素点，得到每个所述后续帧图像的前景区域，包括：

可选的，根据所述差值大于所述像素点对应的标准差的预设倍数，确定所述像素点为前景像素点，以得到每个所述后续帧图像的前景区域。

例如，在建立了K个高斯模型后，当后续帧图像新出现时，用已建立的高斯模型检查新出现的后续帧图像中的每个像素点，若后续帧图像中的某些像素点与k个高斯模型的绝对距离在标准差的预设倍数之内，则认为像素点与高斯模型中的一个或多个匹配，进而将匹配的像素带你确定为前景像素点。例如，该预设倍数为两倍。

例如，将后续帧图像(或者预处理的后续帧图像)中的每个像素点的灰度值与所述K个高斯模型中每个高斯模型的均值进行比较，若当前用于比较的像素点的灰度值与所述K个高斯模型中任何一个高斯模型的均值的差值大于所述当前用于比较的像素点的两倍标准差，则将所述当前用于比较的像素点判断为前景像素点，以得到所述后续帧图像的前景区域。

步骤123，根据每个所述后续帧图像的前景区域，确定每个所述后续帧图像中的运动目标。

其中，所述前景区域可能会存在一个或多个运动的个体目标，需要从个体目标中确定出运动目标。其中，该个体目标中可能包含有人员、动物或其他物体的轮廓。其中，该运动目标可以为人员。

可选的，步骤123可以通过步骤1231至步骤1233来实现，具体为：

步骤1231，对所述前景区域中的前景像素点进行形态学闭运算处理，以将包含所有前景像素点的前景区域联合成包含个体目标的个体目标区域。

其中，形态学闭运算处理的原理为先膨胀运算，再腐蚀运算，融合细微连接的图块，以将两个细微连接的图块封闭在一起。其中，闭运算能够填平前景区域内的小裂缝，而总的位置和形状不变。闭运算是通过填充图像的凹角来滤波图像的。

步骤1232，对所述个体目标区域中的个体目标进行特征项的选取，并通过所述个体目标与预设对象的面积和外接矩形长宽比的特征项，过滤掉所述个体目标区域中的干扰区域，以得到包含候选运动目标的运动目标区域。

其中，该候选运动目标为人体对象。例如，通过将个体目标与预设对象进行面积和外接矩形长宽比特征项的匹配，若个体目标与预设对象的面积和外接矩形长宽比的特征项相匹配，则认为该个体目标为候选运动目标。该预设对象可以为人员，通常，人员在图像中的面积和外接矩形长宽比的特征项具有一定的取值范围，若个体目标的面积和外接矩形长宽比的特征项处于该预设对象的特征项的取值范围内，则认为该个体目标为人员。若个体目标的面积和外接矩形长宽比的特征项处于该预设对象的特征项的取值范围之外，则认为该个体目标不是人员，而可能是其他对象。

步骤1233，过滤所述运动目标区域中位置处于所述后续帧图像上显示的轿厢中心以内的候选运动目标，并保留所述运动目标区域中位置处于所述后续帧图像上显示的轿厢门口的候选运动目标，以得到每个所述后续帧图像总的运动目标。

可选的，在所述过滤所述运动目标区域中位置处于所述后续帧图像上显示的轿厢中心以内的候选运动目标，并保留所述运动目标区域中位置处于所述后续帧图像上显示的轿厢门口的候选运动目标，以得到每个所述后续帧图像中的运动目标之前，还包括：根据所述后续帧图像上显示的轿厢门的安装位置，确定所述后续帧图像上显示的所述轿厢中心内和所述轿厢门口的位置。

其中，根据后续帧图像上显示的轿厢门的安装位置，确定后续帧图像上显示的轿厢中心内和轿厢门口的位置，然后过滤运动目标区域中位置处于后续帧图像上显示的轿厢中心以内的候选运动目标，并保留运动目标区域中位置处于后续帧图像上显示的轿厢门口的候选运动目标，以得到每个后续帧图像中的运动目标。例如，电梯的轿厢门是已知的，比如右开门，以图像中心为分界线，图像内的右侧处于轿厢门口的位置，图像内的左侧处于轿厢中心以内的位置。在进行光流追踪时，当运动目标进入轿厢中心以内的区域范围时，即运动目标位于图像左侧时，就判断该运动目标进入了轿厢中心以内，后续不再对这个进入轿厢中心以内的运动目标进行追踪。

可选的，如图3所示，步骤120还包括步骤124至步骤126来实现，具体为：

步骤124，计算当前运动目标与光流跟踪目标的交并比，所述当前运动目标为所述后续帧图像中当前帧图像的运动目标，所述光流跟踪目标为所述当前帧图像的前一帧图像的运动目标；

步骤125，基于所述交并比大于第一预设比例，则将所述当前运动目标与所述光流跟踪目标确定为同一个运动目标，或者基于所述交并比小于或等于所述第一预设比例，则将所述当前运动目标确定为新运动目标；

步骤126，更新所述后续帧图像的运动目标，以使更新后的运动目标包含所述当前运动目标和所述新运动目标。

例如，第一预设比例为50％，遍历计算当前运动目标与光流跟踪目标的交并比，如果交并比大于50％，则认为当前运动目标与光流跟踪目标是同一个运动目标，如果交并比小于或等于50％，则认为当前运动目标是新运动目标。

步骤130，提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，以确定每个所述特征点的运动方向。

可选的，所述提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，得到每个所述特征点的运动方向，包括：

提取所述当前运动目标和所述新运动目标的特征点，并对所述当前运动目标和所述新运动目标的特征点进行光流跟踪，以确定所述更新后的运动目标中每个特征点的运动方向和运行距离；

遍历所述更新后的运动目标中每个运动目标的特征点的运动方向和运动距离，以从所述更新后的运动目标中过滤掉所述运动距离小于第一阈值的目标，并更新每个所述更新后的运动目标的运动方向。

例如，当单个后续帧图像中存在多个运动目标时，即单个后续帧图像中同时存在当前运动目标和新运动目标时，均需要对当前运动目标和新运动目标的特征点进行光流跟踪，以重新确定每个所述更新后的运动目标的运动方向。

其中，可以利用SURF特征检测算法提取特征点。其中，图像中的特征点通常是指与周围像素值存在明显差异、颜色值不连续的点，一般包括线段交点、重心点、高差异的点、局部曲率不连续点、曲线拐点、小波变换的局部极值点、角点以及兴趣算子点等。通常特征点都具有一定的旋转、平移、尺度缩放不变性，对光照变化保持一定的不变性。考虑到跟踪算法实时性的要求，选用FAST特征点来进行目标跟踪。FAST特征点是指在该像素点的周围邻域内，有足够多的像素点与该点的颜色值相差较大，也就是说在图像中FAST特征点与其周围像素点颜色值不同，在算法的处理过程中，根据上一帧的跟踪结果确定当前帧中目标的搜索区域，再提取出搜索区域的FAST特征点，然后将当前搜索区域的FAST特征点与上一帧中目标的FAST特征点进行匹配。匹配方法如下：计算出要匹配的两个FAST特征点集合中每一个特征点在另一个特征点集合中的最近邻和次近邻，若特征点和最近邻之间的距离与其到次近邻的距离之间的比值小于一定的阈值时，就认为此最近邻是样本的一个初始匹配。

其中，光流法是目标、场景或摄像机在连续两帧图像间运动时造成的目标的运动。它是图像在平移过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场，反映了微小时间间隔内由于运动形成的图像变化，以确定图像点上的运动方向和运动速率。本申请实施例通过光流跟踪来确定所述更新后的运动目标中每个特征点的运动方向和运行距离。

步骤140，根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向。

可选的，所述根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向，包括：

根据所述运动目标中每个所述特征点的运动方向，从所述后续帧图像中确定出运动目标的运动方向为第一方向的图像；

基于所述后续帧图像中最新的多帧图像中，所述运动目标的运动方向为第一方向的图像的占比高于预设值，确定所述第一方向为所述运动目标的运动方向。

可选的，所述预设值为50％。

例如，根据所述运动目标中每个所述特征点的运动方向，从所述后续帧图像中确定出运动目标的运动方向为第一方向的图像；然后基于所述后续帧图像中最新的多帧图像中，所述运动目标的运动方向为第一方向的图像的占比高于预设值，确定所述第一方向为所述运动目标的运动方向。

可选的，所述第一方向为进入电梯方向，所述根据所述运动目标中每个所述特征点的运动方向，从所述后续帧图像中确定出运动目标的运动方向为第一方向的图像，包括：基于所述运动目标中特征点数量大于第二预设比例的特征点的运动方向为从电梯轿厢外到轿厢内的方向，以从所述后续帧图像中确定出运动目标的运动方向为进入电梯方向的图像。

例如，该第二预设比例为50％，将后续帧图像中运动目标的特征点50％以上的运动方向是从电梯轿厢外到轿厢内的方向的图像，确定为运动目标的运动方向为进入电梯方向的图像。

例如，基于所述后续帧图像中最新的多帧图像中，所述运动目标的运动方向为第一方向的图像的占比高于预设值，确定所述第一方向为所述运动目标的运动方向。具体的，遍历每帧后续帧图像中所述运动目标的运动方向，若所述后续帧图像中最新的M帧图像中有L帧图像的所述运动目标的运动方向为第一方向(进入电梯方向)，则判断所述运动目标存在进入电梯行为，其中L与M的比值大于预设值(比如0.5)，进而确定第一方向(进入电梯方向)为运动目标的运动方向。

其中，后续帧图像中最新的M帧图像为连续的图像。例如，M为3，L为2，遍历每个目标的运动方向，如果最新的三帧中有两帧的运动目标的运动方向是向进入电梯方向，则判断该运动目标存在进入电梯行为。

可先的，所述方法还包括：基于所述运动目标的运动方向，唤醒语音交互系统。

例如，如果最新的三帧中有两帧的运动目标的运动方向是第一方向(进入电梯方向)，则判断该运动目标存在进入电梯行为，确定第一方向(进入电梯方向)为运动目标的运动方向，进一步唤醒语音交互系统。

例如，通过唤醒语音交互系统，可以实现进入人员与智慧电梯的语音交互。本申请实施例采用图像处理技术，应用在智慧电梯项目，为智慧电梯的语音交互系统提供人员进入的信息。通过调用图像算法接口，实现人员进入电梯的检测，无需额外打孔安装，部署方便。

本申请实施例通过高斯混合背景建模来检测运动目标，并利用特征提取过滤掉非人体目标，且利用光流法跟踪运动目标，判断运动目标的运动方向，进而识别人员进入电梯的行为，本申请实施例提供的运动方向的检测方法可以直接嵌入到语音交互系统内，只需要在平板系统外添加一个相机或摄像头，就可以分析运行，该运动方向的检测方法还可以自适应环境亮度，提升实用性和兼容性，极大的节省了硬件成本。

为便于更好的理解本申请实施例，请参阅图4，图4为本申请实施例提供的运动方向的检测方法的第四流程示意图。该方法包括：

步骤401，基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型。

步骤402，获取所述K个高斯模型中每个高斯模型的均值。

步骤403，根据每个所述后续帧图像中的每个像素点的灰度值与对应的所述均值的差值确定所述后续帧图像中的前景像素点，得到每个所述后续帧图像的前景区域。

步骤404，对所述前景区域中的前景像素点进行形态学闭运算处理，以将包含所有前景像素点的前景区域联合成包含个体目标的个体目标区域。

步骤405，对所述个体目标区域中的个体目标进行特征项的选取，并通过所述个体目标与预设对象的面积和外接矩形长宽比的特征项，过滤掉所述个体目标区域中的干扰区域，以得到包含候选运动目标的运动目标区域。

步骤406，过滤所述运动目标区域中位置处于所述后续帧图像上显示的轿厢中心以内的候选运动目标，并保留所述运动目标区域中位置处于所述后续帧图像上显示的轿厢门口的候选运动目标，以得到每个所述后续帧图像中的运动目标。

步骤407，计算当前运动目标与光流跟踪目标的交并比，所述当前运动目标为所述后续帧图像中当前帧图像的运动目标，所述光流跟踪目标为所述当前帧图像的前一帧图像的运动目标。

步骤408，基于所述交并比大于第一预设比例，则将所述当前运动目标与所述光流跟踪目标确定为同一个运动目标，或者基于所述交并比小于或等于所述第一预设比例，则将所述当前运动目标确定为新运动目标。

步骤409，更新所述后续帧图像的运动目标，以使更新后的运动目标包含所述当前运动目标和所述新运动目标。

步骤410，提取所述运动目标的特征点，并对所述运动目标的特征点进行光流跟踪，以确定每个所述特征点的运动方向。

步骤411，根据所述运动目标中每个所述特征点的运动方向，从所述后续帧图像中确定出运动目标的运动方向为第一方向的图像。

步骤412，基于所述后续帧图像中最新的多帧图像中，所述运动目标的运动方向为第一方向的图像的占比高于预设值，确定所述第一方向为所述运动目标的运动方向。

步骤413，基于所述运动目标的运动方向，唤醒语音交互系统。

上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

本申请实施例通过基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；根据前N帧图像之后的每个后续帧图像的每个像素点与K个高斯模型中的每个高斯模型的距离，确定每个后续帧图像的运动目标；提取运动目标的特征点，并对每个特征点进行光流跟踪，得到每个特征点的运动方向；根据运动目标中每个特征点的运动方向，确定运动目标的运动方向。本申请实施例通过高斯混合背景建模来检测运动目标，并利用光流法跟踪运动目标来判断运动目标的运动方向，遍历每帧后续帧图像中运动目标的运动方向，若后续帧图像中最新的M帧图像中有L帧图像的运动目标的运动方向为进入电梯方向，则判断运动目标存在进入电梯行为，实现识别乘梯人员进入电梯的目的，可以提升运动目标的运动方向检测的准确性，以及降低计算成本和设备安装成本。

为便于更好的实施本申请实施例的运动方向的检测方法，本申请实施例还提供一种运动方向的检测装置。请参阅图5，图5为本申请实施例提供的运动方向的检测装置的结构示意图。其中，该运动方向的检测装置500可以包括：

建模单元510，用于基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；

第一确定单元520，用于根据所述前N帧图像之后的每个后续帧图像的每个像素点与所述K个高斯模型中的每个高斯模型的距离，确定每个所述后续帧图像中的运动目标；

提取单元530，用于提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，得到每个所述特征点的运动方向；

第二确定单元540，用于根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向。

可选的，所述第二确定单元，可以用于：

根据所述运动目标中每个所述特征点的运动方向，从所述后续帧图像中确定出运动目标的运动方向为第一方向的图像；

基于所述后续帧图像中最新的多帧图像中，所述运动目标的运动方向为第一方向的图像的占比高于预设值，确定所述第一方向为所述运动目标的运动方向。

可选的，所述预设值为50％。

可选的，所述第一确定单元520，可以包括：

获取子单元522，用于获取所述K个高斯模型中每个高斯模型的均值；

第一确定子单元523，用于根据每个所述后续帧图像中的每个像素点的灰度值与对应的所述均值的差值确定所述后续帧图像中的前景像素点，得到每个所述后续帧图像的前景区域；

第二确定子单元524，用于根据每个所述后续帧图像的前景区域，确定每个所述后续帧图像中的运动目标。

可选的，所述第一确定子单元523，可以用于根据所述差值大于所述像素点对应的标准差的预设倍数，确定所述像素点为前景像素点，以得到每个所述后续帧图像的前景区域。

可选的，所述第一确定单元520，还包括：

预处理子单元521，用于将每个所述后续帧图像的分辨率缩小为原分辨率的十分之一，并将所述分辨率缩小后的后续帧图像转换成灰度图像，且对所述灰度图像进行高斯平滑滤波，以得到预处理的后续帧图像。

可选的，所述第二确定子单元524，用于：

对所述前景区域中的前景像素点进行形态学闭运算处理，以将包含所有前景像素点的前景区域联合成包含个体目标的个体目标区域；

对所述个体目标区域中的个体目标进行特征项的选取，并通过所述个体目标与预设对象的面积和外接矩形长宽比的特征项，过滤掉所述个体目标区域中的干扰区域，以得到包含候选运动目标的运动目标区域；

过滤所述运动目标区域中位置处于所述后续帧图像上显示的轿厢中心以内的候选运动目标，并保留所述运动目标区域中位置处于所述后续帧图像上显示的轿厢门口的候选运动目标，以得到每个所述后续帧图像中的运动目标。

可选的，所述第二确定子单元524，用于还根据所述后续帧图像上显示的轿厢门的安装位置，确定所述后续帧图像上显示的所述轿厢中心内和所述轿厢门口的位置。

可选的，所述第一确定单元520，还包括：

计算子单元525，用计算当前运动目标与光流跟踪目标的交并比，所述当前运动目标为所述后续帧图像中当前帧图像的运动目标，所述光流跟踪目标为所述当前帧图像的前一帧图像的运动目标；

第三确定子单元526，用于基于所述交并比大于第一预设比例，则将所述当前运动目标与所述光流跟踪目标确定为同一个运动目标，或者基于所述交并比小于或等于所述第一预设比例，则将所述当前运动目标确定为新运动目标；

更新子单元527，用于更新所述后续帧图像的运动目标，以使更新后的运动目标包含所述当前运动目标和所述新运动目标。

可选的，所述提取单元530，用于：

提取所述当前运动目标和所述新运动目标的特征点，并对所述当前运动目标和所述新运动目标的特征点进行光流跟踪，以确定所述更新后的运动目标中每个特征点的运动方向和运行距离；

遍历所述更新后的运动目标中每个运动目标的特征点的运动方向和运动距离，以从所述更新后的运动目标中过滤掉所述运动距离小于第一阈值的目标，并更新所述更新后的每个运动目标的运动方向。

可选的，所述装置还包括：

唤醒单元550，用于基于所述运动目标的运动方向，唤醒语音交互系统。

需要说明的是，本申请实施例中的运动方向的检测装置500中各模块的功能可对应参考上述各方法实施例中任意实施例的具体实现方式，这里不再赘述。

上述运动方向的检测装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于终端设备中的处理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调用执行上述各个单元对应的操作。

运动方向的检测装置500例如可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该运动方向的检测装置500为该终端或服务器。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、个人计算机(Personal Computer，PC)等设备，终端还可以包括客户端，该客户端可以是视频客户端、浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

图6为本申请实施例提供的运动方向的检测装置的另一示意性结构图，如图6所示，运动方向的检测装置600可以包括：通信接口601，存储器602，处理器603和通信总线604。通信接口601，存储器602，处理器603通过通信总线604实现相互间的通信。通信接口601用于装置600与外部设备进行数据通信。存储器602可用于存储软件程序以及模块，处理器603通过运行存储在存储器602的软件程序以及模块，例如前述方法实施例中的相应操作的软件程序。

可选的，该处理器603可以调用存储在存储器602的软件程序以及模块执行如下操作：

基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；

根据所述前N帧图像之后的每个后续帧图像的每个像素点与K个所述高斯模型中的每个高斯模型的距离，确定每个所述后续帧图像中的运动目标；

提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，得到每个所述特征点的运动方向；

根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向。

可选的，运动方向的检测装置600例如可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该运动方向的检测装置600为该终端或服务器。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、个人计算机等设备。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

可选的，本申请还提供了一种终端设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，用于存储计算机程序。该计算机可读存储介质可应用于终端设备，并且该计算机程序使得终端设备执行本申请实施例中的运动方向的检测方法中的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得终端设备执行本申请实施例中的运动方向的检测方法中的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得终端设备执行本申请实施例中的运动方向的检测方法中的相应流程，为了简洁，在此不再赘述。

应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本申请实施例描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是个人计算机，服务器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种运动方向的检测方法，其特征在于，所述方法包括：

基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；

根据所述前N帧图像之后的每个后续帧图像的每个像素点与所述K个高斯模型中的每个高斯模型的距离，确定每个所述后续帧图像中的运动目标；

提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，得到每个所述特征点的运动方向；

根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向。

2.如权利要求1所述的方法，其特征在于，所述根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向，包括：

根据所述运动目标中每个所述特征点的运动方向，从所述后续帧图像中确定出运动目标的运动方向为第一方向的图像；

基于所述后续帧图像中最新的多帧图像中，所述运动目标的运动方向为第一方向的图像的占比高于预设值，确定所述第一方向为所述运动目标的运动方向。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述前N帧图像之后的每个后续帧图像的每个像素点与所述K个高斯模型中的每个高斯模型的距离，确定每个所述后续帧图像中的运动目标，包括：

获取所述K个高斯模型中每个高斯模型的均值；

根据每个所述后续帧图像中的每个像素点的灰度值与对应的所述均值的差值确定所述后续帧图像中的前景像素点，得到每个所述后续帧图像的前景区域；

根据每个所述后续帧图像的前景区域，确定每个所述后续帧图像中的运动目标。

4.如权利要求3所述的方法，其特征在于，所述根据每个所述后续帧图像中的每个像素点的灰度值与对应的所述均值的差值确定所述后续帧图像中的前景像素点，得到每个所述后续帧图像的前景区域，包括：

根据所述差值大于所述像素点对应的标准差的预设倍数，确定所述像素点为前景像素点，以得到每个所述后续帧图像的前景区域。

5.如权利要求3所述的方法，其特征在于，在所述获取K个高斯模型中每个高斯模型的均值之前，还包括：

将每个所述后续帧图像的分辨率缩小为原分辨率的十分之一，并将所述分辨率缩小后的后续帧图像转换成灰度图像，且对所述灰度图像进行高斯平滑滤波，以得到预处理的后续帧图像。

6.如权利要求3所述的方法，其特征在于，所述根据每个所述后续帧图像的前景区域，确定每个所述后续帧图像中的运动目标，包括：

对所述前景区域中的前景像素点进行形态学闭运算处理，以将包含所有前景像素点的前景区域联合成包含个体目标的个体目标区域；

对所述个体目标进行特征项的选取，并通过所述个体目标与预设对象的面积和外接矩形长宽比的特征项，过滤掉所述个体目标区域中的干扰区域，以得到包含候选运动目标的运动目标区域；

过滤所述运动目标区域中位置处于所述后续帧图像上显示的轿厢中心以内的候选运动目标，并保留所述运动目标区域中位置处于所述后续帧图像上显示的轿厢门口的候选运动目标，以得到每个所述后续帧图像中的运动目标。

7.如权利要求6所述的方法，其特征在于，在所述过滤所述运动目标区域中位置处于所述后续帧图像上显示的轿厢中心以内的候选运动目标，并保留所述运动目标区域中位置处于所述后续帧图像上显示的轿厢门口的候选运动目标，以得到每个所述后续帧图像中的运动目标之前，还包括：

根据所述后续帧图像上显示的轿厢门的安装位置，确定所述后续帧图像上显示的所述轿厢中心内和所述轿厢门口的位置。

8.如权利要求6所述的方法，其特征在于，在所述得到每个所述后续帧图像中的运动目标之后，还包括：

计算当前运动目标与光流跟踪目标的交并比，所述当前运动目标为所述后续帧图像中当前帧图像的运动目标，所述光流跟踪目标为所述当前帧图像的前一帧图像的运动目标；

基于所述交并比大于第一预设比例，则将所述当前运动目标与所述光流跟踪目标确定为同一个运动目标，或者基于所述交并比小于或等于所述第一预设比例，则将所述当前运动目标确定为新运动目标；

更新所述后续帧图像的运动目标，以使更新后的运动目标包含所述当前运动目标和所述新运动目标。

9.如权利要求8所述的方法，其特征在于，所述提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，得到每个所述特征点的运动方向，包括：

提取所述当前运动目标和所述新运动目标的特征点，并对所述当前运动目标和所述新运动目标的特征点进行光流跟踪，以确定所述更新后的运动目标中每个特征点的运动方向和运行距离；

遍历所述更新后的运动目标中每个运动目标的特征点的运动方向和运动距离，以从所述更新后的运动目标中过滤掉所述运动距离小于第一阈值的目标，并更新每个所述更新后的运动目标的运动方向。

10.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述运动目标的运动方向，唤醒语音交互系统。

11.一种运动方向的检测装置，其特征在于，所述装置包括：

建模单元，用于基于高斯混合背景建模，根据监控视频中连续的前N帧图像建立K个高斯模型；

第一确定单元，用于根据所述前N帧图像之后的每个后续帧图像的每个像素点与所述K个高斯模型中的每个高斯模型的距离，确定每个所述后续帧图像中的运动目标；

提取单元，用于提取所述运动目标的特征点，并对每个所述特征点进行光流跟踪，得到每个所述特征点的运动方向；

第二确定单元，用于根据所述运动目标中每个所述特征点的运动方向，确定所述运动目标的运动方向。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-10任一项所述的运动方向的检测方法中的步骤。

13.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-10任一项所述的运动方向的检测方法中的步骤。

Images