CN109697409A - 一种运动图像的特征提取方法及起立动作图像的识别方法 - Google Patents

Abstract

本发明公开一种运动图像的特征提取方法及起立动作图像的识别方法，其中，运动图像的提取方法包括：获取运动图像，并对其进行处理得到目标运动像素点；确定该目标运动像素点构成的最大矩形区域一顶点坐标值、第一边长值和第二边长值；获取矩形区域内各目标运动像素点的光流角度值；计算矩形区域内目标运动像素点的位移均值和光流角度均值；预先设定多个不同光流方向，计算每个光流方向所在区域内目标运动像素点的数量概率值；将顶点坐标值、第一边长值、第二边长值、光流角度均值和位移均值、数量概率值作为运动图像的特征值，并进行特征提取。本发明通过提取运动图像的多个特征值，结合神经网络模型，能快速识别出目标运动图像。

Description

一种运动图像的特征提取方法及起立动作图像的识别方法

技术领域

本发明涉及视频图像检测技术领域，具体涉及一种运动图像的特征提 取方法及起立动作图像的识别方法。

背景技术

运动图像表示物体发生运动，存在运动状态的图像。例如：跑步图像、 跳高图像或挥手图像或起立动作图像，其中，起立动作图像在教学视频学 习中会经常出现，例如：在教学课堂或视频会议中，为了参与课堂学习或 会议学习，听课的学生或听会的参会人员通常为了回答问题，通常会从所 在位置起立后回答问题。因此，运动图像的采集或识别对教学录播或会议 录播具有重要意义，且运动图像的采集或识别有利于视频录播的互动学习。

目前传统的运动图像的采集或特征提取方法，一般利用水平摄像头或 俯拍摄像头采集具有运动动作的视频图像，由于水平摄像头在水平方向上 检测位于某个高度以上的目标运动图像会存在很多干扰图像，所以，很难 设定出明确的检测区域，而由于俯拍摄像头会检测到在垂直方向上的多个 运动图像，为了检测出目标运动动作，通常需要调试人员根据经验结合运 动图像的目标尺寸、长和宽的比值设置阈值，该阈值与摄像头的高度、起 立人员与摄像头的距离有关、所以需要设置多个不同检测区域的阈值，显 然，参数设置较为复杂，且调试难度较大。

发明内容

因此，本发明实施例要解决的技术问题在于现有技术中的运动图像的 采集或提取方法，很难设定明确的检测区域以及通过人工调试设置多个不 同检测区域的阈值，参数设置较为复杂，调试难度较大。

为此，本发明实施例提供了如下技术方案：

本发明实施例提供一种运动图像的特征提取方法，包括如下步骤：

获取运动图像；

对所述运动图像进行处理，得到目标运动像素点；

根据所述目标运动像素点，确定该所述目标运动像素点构成的最大矩 形区域，并获取所述矩形区域的一顶点坐标值、第一边长值和第二边长值；

获取所述矩形区域内所述目标运动像素点的第一数量；

获取所述矩形区域内各所述目标运动像素点的光流角度值；

根据所述第一数量和所述光流角度值，计算所述矩形区域内所述目标 运动像素点的位移均值和光流角度均值；

预先设定多个不同光流方向，并统计每个光流方向所在区域内所述目 标运动像素点的第二数量；

根据所述第一数量和所述第二数量，计算所述每个光流方向所在区域 内所述目标运动像素点的数量概率值；

将所述顶点坐标值、所述第一边长值、所述第二边长值、所述光流角 度均值和所述位移均值、所述数量概率值作为所述运动图像的特征值，并 进行特征提取。

可选地，所述对所述运动图像进行处理，得到目标运动像素点的步骤 包括：

将所述运动图像进行灰度化和平滑化预处理；

将所述预处理后的图像进行帧间差分法处理得到帧间差图像；

将所述帧间差图像进行二值化处理；

对所述二值化处理后的图像进行连通域搜索得到所述目标运动像素 点。

可选地，所述利用帧间差分法对所述预处理后的图像进行处理得到帧 间差图像的步骤包括：

预先设定预设帧数的队列；

将所述预处理后的图像按照视频流顺序依次存入所述队列中构成队列 图像；

确认所述队列图像的帧数是否等于到预设帧数；

如果所述队列图像的帧数等于预设帧数，计算所述队列图像的首帧图 像和尾帧图像的差值得到所述帧间差图像。

可选地，所述获取所述矩形区域内各所述目标运动像素点的光流角度 值的步骤包括：

利用光流算法获取所述矩形区域内各所述目标运动像素点的偏移坐标 值；

根据所述偏移坐标值，计算所述矩形区域内各所述目标运动像素点的 偏移位移值；

根据所述偏移位移值，计算所述矩形区域内各所述目标运动像素点的 光流角度值。

可选地，所述根据所述第一数量和所述光流角度均值，计算所述矩形 区域内所述目标运动像素点的位移均值和光流角度均值；

获取所述偏移坐标均值和所述第一数量；

根据所述第一数量和所述偏移坐标值，计算所述述矩形区域内所述目 标运动像素点偏移坐标均值；

根据所述偏移坐标均值，计算所述矩形区域内所述目标运动像素点所 述位移均值；

根据所述偏移坐标均值和所述位移均值，计算所述矩形区域内所述目 标运动像素点的所述光流角度均值。

可选地，所述预先设定多个不同光流方向，并统计每个光流方向所在 区域内的所述目标运动像素点的第二数量的步骤包括：

预先设定所述每个光流方向所在区域的角度范围阈值；

获取所述矩形区域内各所述目标运动像素点的光流角度值；

确定所述光流角度值所属的角度范围阈值；

根据所述光流角度值所属的角度范围阈值，统计每个光流方向所在区 域内所述目标运动像素点的第二数量。

本发明实施例提供一种起立动作图像的识别方法，包括：

预先构建神经网络模型；

利用所述运动图像的特征提取方法提取运动图像的特征值；

将所述特征值输入所述神经网络模型进行训练，并输出所述神经网络 模型的训练参数；

判断所述训练参数是否大于或等于预设阈值；

如果所述训练参数小于所述预设阈值，则所述运动图像为非起立动作 图像。

可选地，如果所述训练参数大于或等于预设阈值，则所述运动图像为 起立动作图像。

可选地，所述预设阈值为通过采集所述起立动作图像和所述非起立动 作图像经过所述神经网络模型训练得出。

本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被 处理器执行时实现所述的运动图像的特征提取方法；或，实现所述的起立 动作的起立动作图像的识别方法的步骤。

本发明实施例提供一种摄像设备，包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现 所述的运动图像的特征提取方法的步骤；或，实现所述的起立动作图像的 识别方法的步骤。

本发明实施例技术方案，具有如下优点：

本发明提供一种运动图像的特征提取方法及起立动作图像的识别方 法，其中，运动图像的提取方法包括：获取运动图像；并对运动图像进行 处理，得到目标运动像素点；根据目标运动像素点，确定该目标运动像素 点构成的最大矩形区域一顶点坐标值、第一边长值和第二边长值；获取矩 形区域内各目标运动像素点的光流角度值；计算矩形区域内目标运动像素 点的位移均值和光流角度均值；预先设定多个不同光流方向，计算每个光 流方向所在区域内目标运动像素点的数量概率值；将顶点坐标值、第一边 长值、第二边长值、光流角度均值和位移均值、数量概率值作为运动图像 的特征值，并进行特征提取。本发明通过提取运动图像的多个特征值，结 合神经网络模型，能快速识别出目标运动图像。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下 面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。

图1为本发明实施例中运动图像的特征提取方法的第一流程图；

图2为本发明实施例中运动图像的特征提取方法的第二流程图；

图3为本发明实施例中运动图像的特征提取方法的第三流程图；

图4为本发明实施例中目标运动像素点确定的矩形区域；

图5为本发明实施例中运动图像的特征提取方法的第四流程图；

图6为本发明实施例中目标运动像素点发生偏移与光流方向构建的 直角三角形；

图7为本发明实施例中运动图像的特征提取方法的第五流程图；

图8为本发明实施例中运动图像的特征提取方法的第六流程图；

图9为本发明实施例中每个光流方向所在区域示意图；

图10为本发明实施例中运动图像的特征提取方法的第七流程图；

图11为本发明实施例中运动图像的识别方法的神经网络模型示意 图；

图12为本发明实施例中摄像设备的硬件示意图。

具体实施方式

下面将结合附图对本发明实施例的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基 于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下 所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、 “左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为 基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化 描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定 的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、 “第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限 定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固 定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以 是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两 个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼 此之间未构成冲突就可以相互结合。

实施例1

本发明实施例提供一种运动图像的特征提取方法，此处的运动图像为摄 像设备拍摄人体产生起立动作所形成的图像，如图1所示，包括如下步骤：

S1、获取运动图像。此处的运动图像为存在运动状态的图像，其通过 摄像设备进行采集，即为摄像设备采集的原始图像。

S2、对运动图像进行处理，得到目标运动像素点。

具体地，如图2所示，上述步骤S2包括：

S21、将运动图像进行灰度化和平滑化预处理。灰度化处理是将运动图 像的彩色图像转变为灰度图像，为了防止图像出现锯齿，还需要对图像进 行平滑化处理，即将图像进行细化。

S22、将预处理后的图像进行帧间差分法处理得到帧间差图像。帧间差 分法是利用两帧图像相减得到运动信息，图像中物体位置发生变化。

具体地，如图3所示，利用帧间差分法对预处理后的图像进行处理得 到帧间差图像的步骤S22包括：

S221、预先设定预设帧数的队列。此处的队列由多帧图像组成。可以 预先设定该队列由预设帧数构成。例如：队列L的预设帧数可以为2帧-10 帧，例如：预设帧数为6帧，所以6帧的图像组成该队列。

S222、将预处理后的图像按照视频流顺序依次存入队列中构成队列图 像。将进行灰度化处理和平滑化处理的图像按照视频流顺序依次存入预设 帧数的队列中构成队列图像。预处理后的图像是由一帧帧连续的图像构成， 其按照视频流顺序排列，所以，按照视频流顺序依次存入预设帧数的队列 中构成队列图像。

S223、确认队列图像的帧数是否等于预设帧数。预处理后的图像帧数 通常会比预设帧数要多，经预处理后多帧连续的图像存入预设帧数的队列 中进行帧间差处理，所以，可以将预处理后的多帧连续的图像按顺序依次 存入预设帧数的队列中。当存入队列图像的帧数等于预设帧数，说明预设 帧数的队列存满多帧预处理后的图像。

S224、如果队列图像的帧数等于预设帧数，计算队列图像的首帧图像 和尾帧图像的差值得到帧间差图像。该实施方式作为本实施例较佳的实施 方式。

具体地，例如：预处理后的图像由a、b、c、d、e、f、g、h、l帧图 像组成。由于a、b、c、d、e、f为6帧，其构成第一队列图像，该队列图 像的首帧图像为a，尾帧图像为f，计算af的差值得到af的帧间差图像； 第二队列图像b、c、d、e、f、g,首帧图像为b，尾帧图像为g，计算bg的差值得到帧间差图像；第三队列图像为c、d、e、f、g、h，首帧图像为c， 尾帧图像为h,计算ch的差值得到帧间差图像；第四队列图像为d、e、f、 g、h、l,首帧图像为d，尾帧图像为l，计算dl的差值得到帧间差图像。 当队列图像的队列一旦存满6帧图像，利用帧间差分法计算首帧图像和尾 帧图像的差值可计算出帧间差图像。因此，通过上述方式可计算出视频流 所有帧图像的帧间差图像。

作为其它可替换的实施方式，直接计算视频流图像中的相邻两帧图像 的差值得到帧间差图像。

S23、将帧间差图像进行二值化处理。图像的二值化，就是将图像上的 像素点的灰度值设置为0或255，即整个图像呈现出明显的只有黑和白的视 觉效果。例如：预设灰度阈值h＝25，提取帧间差图像中的某个像素点p， 判断p是否小于或等于预设灰度阈值，当p≦25,则p＝0，当p>25,则p＝255。 将帧间差图像通过二值化处理可以转变为黑白格图像。

S24、对二值化处理后的图像进行连通域搜索得到目标运动像素点。例 如：二值化图像为D，对图像D进行连通域搜索，具体地，在图像D中，将 标记的某个像素点为种子点，然后不断向其周围扩散，找出其他的与该种 子点相连通的可标记的像素点，这样就能标记出一个连通域，再以另一个 连通域中的某一个需要标记的点为种子点，如此不断循环，把整幅图像D 都遍历一遍，直到搜索到目标运动像素点。

S3、根据目标运动像素点，确定该目标运动像素点构成的最大矩形区 域，并获取矩形区域的一顶点坐标值、第一边长值和第二边长值。图像是 由多个像素点构成，所以，根据多个排布的目标运动像素点，可以勾勒出 由多个目标运动像素点构成的矩形区域图像，通过勾勒目标运动像素点的 边缘确定由多个目标运动像素点确定出的最大矩形局域，该最大矩形区域 为目标运动像素点的最大外接矩形。此处的顶点坐标通常为矩形区域的标定点，位于该矩形区域的左上角的顶点处，当然，标定点也可以为矩形区 域的其它顶点。此处的第一边长值可以为矩形区域的长L，第二边长值可以 为矩形区域的宽H。例如：该矩形区域的一顶点坐标A：(x₁₁，y₁₁),第一边 长值和第二边长值通过矩形区域的四个顶点坐标确定。例如：如图4所示， 矩形区域为ABCD，顶点A坐标：(5,6)，顶点B坐标：(10,6)，顶点C坐标： (5,9),顶点D坐标：(10,9)，所以，AB＝CD＝10-5＝5，AC＝BD＝9-6＝3。作为 其它可替换的实施方式，还可以获取矩形区域的第一边长和第二边长的比 值，矩形区域的面积，将该比值和面积也可作为特征值。

S4、获取矩形区域内目标运动像素点的第一数量。矩形区域的图像是 由多个目标运动像素点构成，统计出矩形区域内目标运动像素点的数量总 数。所以，此处的第一数量为矩形区域内目标运动像素点个数的总数。

S5、获取矩形区域内各目标运动像素点的光流角度值。此处的光流角 度值为矩形区域内每个目标运动像素点的光流角度值，指每个目标运动像 素点发生偏移的位移坐标与光流方向所形成的角度。如图6所示，光流角 度值为θ₁。

上述步骤S5，如图5所示，具体包括：

S51、利用光流算法获取矩形区域内各目标运动像素点的偏移坐标值。 此处的光流算法为评估两幅图像之间的变形，计算两帧图像在时间上t到 t+△t之间每个像素点的位移。例如：在图6中，目标运动像素点为O,其 坐标为(x₁₁，y₁₁)，该目标运动像素点O的光流方向为s，当目标运动像素 点移动到另一个位置为O1,其坐标为(x₁₁+u，y₁₁+w)，所以，偏移坐标值 为(u，w)，该光流角度值为θ₁。

S52、根据偏移坐标值，计算矩形区域内各目标运动像素点的偏移位移 值。上述计算偏移位移值的具体公式如下：

其中，V₁为偏移位移值，u为偏移坐标值的横坐标值， w为偏移坐标值的纵坐标值。在图6中，构建包含OO₁点的直角三角形，其 中V₁为O发生偏移在光流方向上所形成的位移。

S53、根据偏移位移值，计算矩形区域内各目标运动像素点的光流角度 值。上述光流角度值的具体公式如下：

θ₁＝a sin(w/V₁)，其中，θ₁为光流角度值，V₁为偏移位移值，w为偏 移坐标值的纵坐标值。θ₁为矩形区域内每个目标运动像素点的光流角度值。 在包含OO₁的直角三角形中，利用反三角弦函数可得到θ₁，即为光流角度值。

S6、根据第一数量和光流角度值，计算矩形区域内目标运动像素点的 位移均值和光流角度均值。如图7所示，该步骤S6，包括：

S61、获取偏移坐标均值和第一数量。例如：通过上述步骤S14所获取 目标运动像素点的第一数量为m，上述步骤S15所获取的偏移坐标值为 (u，w)。

S62、根据第一数量和偏移坐标值，计算矩形区域内目标运动像素点的 偏移坐标均值。上述所计算出的偏移坐标值为(u，w)，例如：所统计出的 矩形区域内的目标运动像素点的第一数量为m，则偏移坐标均值为

S63、根据偏移坐标均值，计算矩形区域内目标运动像素点位移均值。 计算该位移均值的具体公式如下：

其中，V₂为位移均值，u_e为偏移坐标均值的横坐标值， w_e为偏移坐标均值的纵坐标值。

S64、根据偏移坐标均值和位移均值，计算矩形区域内目标运动像素点 的光流角度均值。该步骤64中的光流角度均值的具体公式如下：

θ₂＝a sin(w_e/V₂)，其中θ₂为矩形区域内目标运动像素点的光流角度均 值，其中w_e为偏移坐标均值的纵坐标值，V₂为位移均值，再次利用反三角函 数可得到光流角度均值。

S7、预先设定多个不同光流方向，并统计每个光流方向所在区域内目 标运动像素点的第二数量。例如：预先设定光流向上方向、光流向下方向 以及其它光流方向。其中，光流向上方向为Nu，光流向下方向为Nd，其它 光流方向为Nh，Nh代表光流向左方向或光流向右方向。分别统计Nu、Nd 和Nh区域内的目标运动像素点的第二数量。

具体地，如图8所示，上述步骤S7包括：

S71、预先设定每个光流方向所在区域角度范围阈值。例如：在图9中， 预设的光流向上方向Nu的角度范围阈值为[π/4,3π/4],Nu所在区域为第 一区域，即第一区域的角度范围阈值为[π/4,3π/4]；预设的光流向下方 向Nd的角度范围阈值为[5π/4,7π/4]，Nd所在区域为第二区域，即第二 区域的角度范围阈值为[5π/4,7π/4]，预设其它方向Nh的角度范围阈值 为(3π/4，5π/4)和(0，π/4)和(0，-π/4)，Nh所在的区域为第三 区域，即第三区域的角度范围阈值为(3π/4，5π/4)和(0，π/4)和(0， -π/4。所以，在图9中，[π/4,3π/4]可代表向上的光流方向，[5π/4,7 π/4]可表示向下的光流方向，(3π/4，5π/4)可表示向左的光流方向，(0， π/4)和(0，-π/4)可表示向右的光流方向。

S72、获取矩形区域内各目标运动像素点的光流角度值。在上述步骤S15 中已经获取到矩形区域内各目标运动像素点的光流角度值，利用矩形区域 内各目标运动像素点的光流角度值，可确定其所属的角度范围阈值。

S73、确定光流角度值所属的角度范围阈值。例如：某一个目标运动像 素点的光流角度值为π/3，该光流角度值属于[π/4,3π/4]所在区域中。 此处，确认矩形区域内各目标运动像素点所属的角度范围阈值。

S74、根据光流角度值所属的角度范围阈值，统计每个光流方向所在区 域内的目标运动像素点的第二数量。例如：某一个目标运动像素点的光流 角度值为π/3，该光流角度值属于[π/4,3π/4]所在区域中，可得出该目 标运动像素点位于Nu向上光流方向所在区域中，如果确定出目标区域中各 目标运动像素点的角度范围阈值，就可得出各目标运动像素点分别位于具 体哪个光流方向所在区域，即可统计出每个光流方向所在区域内目标运动像素点的第二数量。

S8、根据第一数量和第二数量，计算每个光流方向所在区域内目标运 动像素点的数量概率值。例如：在图9中，向上的光流方向为Nu，Nu所在 第一区域内的目标运动像素点的第一数量为Nue，设Nu的数量概率值为Pu； 向下的光流方向为Nd，Nd所在第二区域内的目标运动像素点的第一数量为 Nde,设Nd的数量概率值为Pd；向左或向右的其它光流方向为Nh,Nh所在第 三区域内的目标运动像素点的第一数量为Nhe,设Nh的数量概率值为Ph。 上述中的第一数量为Nm，所以，Pu＝Nue/Nm,Pd＝Nde/Nm,Ph＝Nhe/Nm。

S9、将顶点坐标值、第一边长值、第二边长值、位移均值、光流角度 均值、数量概率值作为运动图像的特征值，并进行特征提取。例如：上述 步骤中计算出的顶点坐标值为(x₁₁，y₁₁)，第一边长值为L，第二边长值为 H，位移均值为V₂，光流角度均值为θ₂，数量概率值为Pu,Pd,Ph。因此，设 运动图像为FL，将x₁₁，y₁₁、L、H、V₂、θ₂、Pu,Pd,Ph作为运动图像的特征值，即FL＝(x₁₁，y₁₁、L、H、V₂、θ₂、Pu、Pd、Ph)。

本发明实施例中的运动图像的特征提取方法主要对运动图像进行处理 提取具有代表性的9个特征值，便于将该9个特征值输入到神经网络模型 学习，可快速识别出目标运动图像，无需确定出特定的图像检测区域，也 无需设置不同的运动图像阈值，直接利用所提取的特征值送入神经网络学 习，可快速检测出目标运动图像，该运动图像的特征提取方法有助于快速 检测或识别出目标运动图像，例如：直接应用所提取运动图像的多个特征值送入神经网络训练识别目标起立动作，无需人工设置起立动作调试参数。 将本实施例中的运动图像的特征提取方法应用在视频录播系统或人机互动 系统进行目标运动图像的识别，有利于远程视频录播的互动学习以及有利 于增强人机互动的乐趣。

实施例2

本发明实施例提供一种起立动作图像的识别方法，如图10所示，包括：

S101、预先构建神经网络模型。此处的神经网络模型可以现有的多层 卷积神经网络，如图11所示。

S102、利用运动图像的特征提取方法提取运动图像的特征值。利用实 施例1中的运动图像的特征提取方法提取运动图像FL的特征值，x₁₁，y11、 L、H、V₂、θ₂、Pu、Pd、Ph。因此，实施例1中的运动图像可作为本实施例 的待识别运动图像。

S103、将特征值输入神经网络模型进行训练，并输出神经网络模型的 训练参数。在图11中，将特征值输入神经网络的第一层，在神经网络模型 中结合输入的9个特征值进行训练学习，得出网络调制参数，具体地，在 图11中，

α⁽¹⁾＝G(Z⁽¹⁾)；

α⁽²⁾＝G(Z⁽²⁾)；

α⁽³⁾＝GZ⁽³⁾)；

α⁽⁴⁾＝G(Z⁽⁴⁾)；

Y＝α⁽⁴⁾；

其中G是神经网络模型的激活函数，本实施例中选用

其中系数矩阵W⁽¹⁾，W⁽²⁾，W⁽³⁾，W⁽⁴⁾为需要训练得出的网络调制参数，记为 W。

在图11中，神经网络模型输出的网络调制参数为Y1和Y2，Y1和Y2 均为神经网络模型训练的输出结果，在这两输出结果中选取其中一个结果 作为最终结果。例如：Y1与Y2相比，Y1更精确，可将Y1作为最终的输出 结果。

S104、判断训练参数是否大于或等于预设阈值。此处的预设阈值通过 采集起立动作图像和非起立动作图像经过神经网络模型训练得出。例如： 事先采集出起立动作图像和非起立动作图像的标准样本作为参考，利用神 经网络模型训练出标准样本对应的数值，将该数值作为预设阈值。例如： 在预先构建的神经网络模型中，利用摄像设备采集一批样本，记S＝(X，Y) 为一组训练数据，其中X表示运动特征数据，Y表示该运动是否是起立动 作，Y＝1表示是起立动作，Y＝0表示非起立动作。训练数据采集分为起立 动作数据抓取和非起立动作数据抓取。先对起立动作进行采集，确保摄像 设备检测范围里只有一个起立动作目标，在起立过程中，对起立动作图像 FM进行归一化处理后得到运动特征数据X，即X为FM的归一化结果，并 记Y＝1。在摄像设备检测范围内，请多人分别进行多次起立动作，记录N 组起立动作数据，N不小于100。然后，对非起立动作图像进行采集，摄像 设备检测范围内可以同时有多人活动，除了起立动作外，可以做任何动作， 同时不断获取运动目标特征序列，进行归一化处理后得到X，并记Y＝0， 组成一组非起立动作样本。采集样本数量不低于1000。最后，起立动作和 非起立动作样本采集结束后，对每组样本(X，Y)中的Y映射为向量，当 Y＝1，映射为(0，1)；当Y＝0，映射为(1，0)。

通过对起立动作图像和非起立动作图像的训练可训练出一个分辨起立 动作和非起立动作的阈值，该阈值即为上述中的预设阈值，例如：训练出 的预设阈值为0.7。

S105、如果训练参数大于或等于预设阈值，则运动图像为起立动作图 像。当Y的输出结果大于或等于0.7,均认为运动图像FL为起立动作图像。 当利用实施例1中的运动图像的特征提取方法提取出的9个特征值输入神 经网络模型进行训练后得到Y1或Y2，判断Y1是否大于或等于0.7,当输出 的训练参数Y1的值大于或等于0.7，认为运动图像FL为起立动作图像。

S106、如果训练参数小于预设阈值，则运动图像为非起立动作图像。 当神经网络模型的输出结果小于0.7,认为运动图像FL为非起立动作图像。

综上，本实施例借助实施例1中的运动图像的特征提取方法提取多个 特征参数，将多个特征参数输入到神经网络模型进行训练学习，可快速识 别出起立动作图像，无需依赖人工设置起立动作参数，即提高了起立动作 图像的检测效果，也无需设置特定的图像检测区域，直接将提取的图像特 征值输入神经网络训练学习，便可得出识别结果，其识别精度较高，应用 方便。

实施例3

本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被 处理器执行时实现实施例1和实施例2中的方法的步骤。该存储介质上还 存储有运动图像，矩形区域的顶点坐标值，第一边长值、第二边长值、矩 形区域内目标运动像素点的第一数量、矩形区域内各目标运动像素点的光 流角度值、矩形区域内目标运动像素点的位移均值、光流角度均值、每个 光流方向所在区域内目标运动像素点的第二数量、每个光流方向所在区域 内目标运动像素点的数量概率值等。

其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机 可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流 程。其中，存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储 记忆体(RAM)等。

实施例4

本发明实施例提供一种摄像设备，如图12所示，包括存储器120、处 理器121及存储在存储器120上并可在处理器121上运行的计算机程序， 处理器121执行程序时实现实施例1和实施例2中方法的步骤。

图12是本发明实施例提供的执行列表项操作的处理方法的一种摄像设 备的硬件结构示意图，如图12所示，该摄像设备包括一个或多个处理器121 以及存储器120，图11中以一个处理器121为例。

执行列表项操作的处理方法的设备还可以包括：输入装置123和输出 装置124。

处理器121、存储器120、输入装置123和输出装置124可以通过总线 或者其他方式连接，图12中以通过总线连接为例。

处理器121可以为中央处理器(Central Processing Unit，CPU)。处 理器121还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件 组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者 该处理器也可以是任何常规的处理器等。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方 式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可 以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予 以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保 护范围之中。

Claims (11)

1.一种运动图像的特征提取方法，其特征在于，包括如下步骤：

获取运动图像；

对所述运动图像进行处理，得到目标运动像素点；

根据所述目标运动像素点，确定该所述目标运动像素点构成的最大矩形区域，并获取所述矩形区域的一顶点坐标值、第一边长值和第二边长值；

获取所述矩形区域内所述目标运动像素点的第一数量；

获取所述矩形区域内各所述目标运动像素点的光流角度值；

根据所述第一数量和所述光流角度值，计算所述矩形区域内所述目标运动像素点的位移均值和光流角度均值；

预先设定多个不同光流方向，并统计每个光流方向所在区域内所述目标运动像素点的第二数量；

根据所述第一数量和所述第二数量，计算所述每个光流方向所在区域内所述目标运动像素点的数量概率值；

将所述顶点坐标值、所述第一边长值、所述第二边长值、所述光流角度均值和所述位移均值、所述数量概率值作为所述运动图像的特征值，并进行特征提取。

2.根据权利要求1所述的运动图像的特征提取方法，其特征在于，所述对所述运动图像进行处理，得到目标运动像素点的步骤包括：

将所述运动图像进行灰度化和平滑化预处理；

将所述预处理后的图像进行帧间差分法处理得到帧间差图像；

将所述帧间差图像进行二值化处理；

对所述二值化处理后的图像进行连通域搜索得到所述目标运动像素点。

3.根据权利要求2所述的运动图像的特征提取方法，其特征在于，所述利用帧间差分法对所述预处理后的图像进行处理得到帧间差图像的步骤包括：

预先设定预设帧数的队列；

将所述预处理后的图像按照视频流顺序依次存入所述队列中构成队列图像；

确认所述队列图像的帧数是否等于到预设帧数；

如果所述队列图像的帧数等于预设帧数，计算所述队列图像的首帧图像和尾帧图像的差值得到所述帧间差图像。

4.根据权利要求1所述的运动图像的特征提取方法，其特征在于，所述获取所述矩形区域内各所述目标运动像素点的光流角度值的步骤包括：

利用光流算法获取所述矩形区域内各所述目标运动像素点的偏移坐标值；

根据所述偏移坐标值，计算所述矩形区域内各所述目标运动像素点的偏移位移值；

根据所述偏移位移值，计算所述矩形区域内各所述目标运动像素点的光流角度值。

5.根据权利要求4所述的运动图像的特征提取方法，其特征在于，所述根据所述第一数量和所述光流角度均值，计算所述矩形区域内所述目标运动像素点的位移均值和光流角度均值；

获取所述偏移坐标均值和所述第一数量；

根据所述第一数量和所述偏移坐标值，计算所述述矩形区域内所述目标运动像素点偏移坐标均值；

根据所述偏移坐标均值，计算所述矩形区域内所述目标运动像素点所述位移均值；

根据所述偏移坐标均值和所述位移均值，计算所述矩形区域内所述目标运动像素点的所述光流角度均值。

6.根据权利要求1所述的运动图像的特征提取方法，其特征在于，所述预先设定多个不同光流方向，并统计每个光流方向所在区域内的所述目标运动像素点的第二数量的步骤包括：

预先设定所述每个光流方向所在区域的角度范围阈值；

获取所述矩形区域内各所述目标运动像素点的光流角度值；

确定所述光流角度值所属的角度范围阈值；

根据所述光流角度值所属的角度范围阈值，统计每个光流方向所在区域内所述目标运动像素点的第二数量。

7.一种起立动作图像的识别方法，其特征在于，包括：

预先构建神经网络模型；

利用权利要求1-6任一项所述运动图像的特征提取方法提取运动图像的特征值；

将所述特征值输入所述神经网络模型进行训练，并输出所述神经网络模型的训练参数；

判断所述训练参数是否大于或等于预设阈值；

如果所述训练参数大于或等于预设阈值，则所述运动图像为起立动作图像。

8.根据权利要求7所述的起立动作图像的识别方法，其特征在于，还包括：如果所述训练参数小于预设阈值，则所述运动图像为非起立动作图像。

9.根据权利要求8所述的起立动作图像的识别方法，其特征在于，所述预设阈值为通过采集所述起立动作图像和所述非起立动作图像经过所述神经网络模型训练得出。

10.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6任一项所述的运动图像的特征提取方法；或，实现所述权利要求7-9任一项所述的起立动作图像的识别方法的步骤。

11.一种摄像设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述的运动图像的特征提取方法的步骤；或，实现所述权利要求7-9任一项所述的起立动作图像的识别方法的步骤。