CN103914677B - 一种动作识别方法及装置 - Google Patents
一种动作识别方法及装置 Download PDFInfo
- Publication number
- CN103914677B CN103914677B CN201310000676.6A CN201310000676A CN103914677B CN 103914677 B CN103914677 B CN 103914677B CN 201310000676 A CN201310000676 A CN 201310000676A CN 103914677 B CN103914677 B CN 103914677B
- Authority
- CN
- China
- Prior art keywords
- image
- action
- image corresponding
- difference
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000013598 vector Substances 0.000 claims abstract description 100
- 238000012545 processing Methods 0.000 claims abstract description 91
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 230000000875 corresponding effect Effects 0.000 claims description 156
- 230000000977 initiatory effect Effects 0.000 claims description 62
- 238000001914 filtration Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种动作识别方法及装置，该方法包括基于获取的源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；基于所述源图像，进行差分处理并获取终止动作所对应的二值化图像；对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；获取前后两个中心点的向量并求差；将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联。本申请只针对初始动作所对应的图像以及终止动作所对应的图像进行滤波处理，大大缩减了图像的处理过程。
Description
技术领域
本申请涉及一种动作识别方法及装置,以及一种将动作转换成操作指令的方法及装置。
背景技术
随着动作识别技术的发展，越来越多的娱乐及游戏装置出现在消费者面前。用户可以通过作出各种姿势控制画面中虚拟人物的动作。
但是，现有的图像分析系统对获取到的图像的处理方法主要是基于对每一帧图像进行跟踪处理，而跟踪处理过程中的前期滤波处理和后期滤波处理占据了大量的系统资源。因此，需要一种既能节省系统资源又能准确识别用户动作的方法和装置。
发明内容
为了解决上述问题，本申请提供了一种动作识别方法，包括：
获取至少一组人体动作的源图像；
基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
计算所述第一向量和第二向量的差值；
将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作。
优选地，所述基于所述源图像，获取初始动作所对应的二值化图像进一步包括将获取的源图像转换为灰度图像，再由灰度图像转换为二值化图像。
优选地，所述基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像包括：
将所述源图像转换为灰度图像或二值化图像；
计算相邻两帧图像的差分值，并将所述相邻帧图像的差分值与预设的阈值进行比较，若差分值大于阈值，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
优选地，所述基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像包括：
将所述源图像转换为灰度图像或二值化图像；
分别计算中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值，分别将所述的中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值与预设的阈值进行比较，再对两组比较结果进行逻辑与计算，若计算结果为非，则对新一组相邻的三帧图像进行差分处理，若计算结果为是，则将所述三帧图像中的后一帧图像界定为终止动作所对应的图像。
相应的，本申请还提供了一种将动作转换成指令的方法，包括：
获取至少一组人体动作的源图像；
基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
计算所述第一向量和第二向量的差值；
将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作。
根据映射文件将与所述差值相关联的动作转换为可识别的操作指令，其中，所述映射文件包括所述动作与所述可识别的操作指令的对应关系。
优选地，所述基于所述源图像，获取初始动作所对应的二值化图像进一步包括将获取的源图像转换为灰度图像，再由灰度图像转换为二值化图像。
优选地，所述基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像包括：
将所述源图像转换为灰度图像或二值化图像；
计算相邻两帧图像的差分值，并将所述相邻帧图像的差分值与预设的阈值进行比较，若差分值大于阈值，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
优选地，所述基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像包括：
将所述源图像转换为灰度图像或二值化图像；
分别计算中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值，分别将所述的中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值与预设的阈值进行比较，再对两组比较结果进行逻辑与计算，若计算结果为非，则对新一组相邻的三帧图像进行差分处理，若计算结果为是，则将所述三帧图像中的后一帧图像界定为终止动作所对应的图像。
相应的，本申请还提供了一种动作识别装置，包括：
图像获取模块，用于获取至少一组人体动作的源图像；
初始动作图像处理模块，用于基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
差分处理模块，用于基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
终止动作图像处理模块，对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
向量获取模块，用于获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
向量计算模块，用于计算所述第一向量和第二向量的差值；
动作关联模块，用于将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作。
相应的，本申请还提供了一种将动作转换成指令的装置，包括：
图像获取模块，用于获取至少一组人体动作的源图像；
初始动作图像处理模块，用于基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
差分处理模块，用于基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
终止动作图像处理模块，对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
向量获取模块，用于获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
向量计算模块，用于计算所述第一向量和第二向量的差值；
动作关联模块，用于将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作。
指令转换模块，用于根据映射文件将与所述差值相关联的动作转换为可识别的操作指令，其中，所述映射文件包括所述动作与所述可识别的操作指令的对应关系。
与现有技术相比，本申请包括以下优点：
1.本发明只针对初始动作所对应的图像以及终止动作所对应的图像进行滤波处理，大大缩减了图像的处理过程，并且图像处理过程所占用的系统资源也大大减少。
2.本发明仅通过获取初始动作所对应的图像中人体的轮廓的中心点的向量和终止动作所对应的图像中人体的局部轮廓的中心点的向量，并将两个向量相减以确定用户做出的动作，判断动作的运算步骤简单、准确，并且进一步减少了图像识别过程的处理量。
附图说明
图1是本发明动作识别方法的流程图。
图2是本发明动作识别方法实施例的示意图。
图3是本发明将动作转换成操作指令的方法的流程图。
图4是本发明将动作转换成操作指令的方法实施例的示意图。
图5是本发明动作识别装置的示意图。
图6是本发明将动作转换成操作指令的装置的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请动作识别方法的流程图。
步骤S11：获取至少一组人体动作的源图像。
该动作可以是由一个或多个用户做出的动作。该源图像可以是彩色图像或灰度图像。
彩色图像是由红（R）、绿（G）、蓝（B）三种颜色组合而成的。在本发明一实施例中，为了减少数据处理量，将彩色图像转换为灰度图像，例如可以通过浮点算法公式：Gray=R*0.3+G*0.59+B*0.11将彩色值转换为灰度值，也可以通过其他算法公式进行转换。通过上述任一种方法求得Gray后，将原来的RGB(R,G，B)中的R,G，B统一用Gray替换，形成新的颜色RGB(Gray,Gray,Gray)，用它替换原来的RGB(R,G，B)就得到灰度图。
步骤S12：基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点。
当源图像是彩色图像时，可以将源图像先转换为灰度图像，再由灰度图像转换为二值化图像，也可以直接将源图像转换为二值化图像。
将源图像先转换为灰度图像，再由灰度图像转换为二值化图像的方法包括：按照步骤S11将彩色图像转换为灰度图像后，将图像上的像素点以像素值=0（0≤灰度值≤127），像素值=1（128≤灰度值≤255）将所有像素点的像素值分为两类，也就是将整个图像呈现出明显的只有黑和白的视觉效果。
直接将源图像转换为二值化图像的方法包括：按照一定的规则将整幅图像划分为N个窗口，对这N个窗口中的每一个窗口再按照像素值=0（0≤灰度值≤127），像素值=1（128≤灰度值≤255）将该窗口内的像素划分为两部分，进行二值化处理。
该初始动作的图像可以是身体未做出动作之前的静止画面。由于在光电、电磁转换的过程中会引入人为噪声、摄像机采集图像不稳定等原因，原始图像中会包含一些干扰和噪声，因此要对图像进行滤波处理。
在本发明一实施例中，采用邻域平均滤波法，具体方法是用像素邻域的像素灰度值或二值平均代表先前的像素的灰度值或二值，以实现图像的平滑。以使用灰度值计算为例，假设某像素点的原始图像为f(x,y)，它的邻域S为m×n的矩形窗口，经邻域平均处理后的图像为g(x,y)，则
其中，
为了进一步优化灰度图像，可以通过直方图均衡法使图像的灰度间距变大或灰度均匀分布，使图像细节变得更清晰。
用tk表示第k级，rk表示第k级灰度值，t表示增强图像的像素的灰度值，并对tk和rk作归一化处理，直方图均衡化表示为
0≤rk,tk≤1,k=(1,2,...,255)
式中的EH代表增强的操作。
对初始动作的图像进行滤波处理后，人体的轮廓便分离出来，在本发明一实施例中，根据该轮廓上各个像素点所对应的坐标求得该轮廓的中心点。
步骤S13：基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像。
当源图像是彩色图像或灰度图像时，将所述源图像转换为灰度图像或二值化图像，转换方法与步骤S11和步骤S12相同。帧间差分法可以使用二帧差分法或，具体地：
分别以Ik(x,y)和Ik+1(x,y)表示相邻两帧的灰度图像，以bk,k-1(x,y)表示相邻两帧的灰度图像差分后的二值化图像，则二帧差分法计算方法为：
其中，T为二值化图像的阈值。
将相邻帧灰度图像Ik(x,y)和Ik+1(x,y)的差分值与预设的阈值T进行比较，若差分值大于阈值T，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
分别以Ik-1(x,y)、Ik(x,y)和Ik+1(x,y)表示相邻三帧的灰度图像，以bk,k-1(x,y)和bk+1,k(x,y)表示相邻两帧的灰度图像差分后的二值化图像，则二帧差分法计算方法为：
其中，T1、T2为二值化图像的阈值。然后对差分图像bk,k-1(x,y)和bk+1,k(x,y)取逻辑与运算，得到三帧图像差分，计算方法为：
分别计算中间帧Ik(x,y)与前一帧图像Ik-1(x,y)的差分值以及中间帧Ik(x,y)与后一帧图像Ik+1(x,y)的差分值，分别将这两组差分值与预设的阈值T1、T2进行比较，再对两组比较结果进行逻辑与计算，若计算结果为非(0)，则对新一组相邻的三帧图像进行差分处理，若计算结果为是(1)，则将所述三帧图像中的后一帧图像界定为终止动作所对应的图像。
步骤S14：对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点。
按照与步骤S12相同的滤波方法处理终止动作所对应的图像以及该图像中人体的轮廓，在滤波过程中进行二维傅里叶变换，得到图像的频谱图，对于手部轮廓设定阈值，从频谱图中提取符合该阈值范围的轮廓，并按照与步骤S12相同的方法确定手部的中心点。
步骤S15：获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量。
在本发明一实施例中，将初始动作所对应的图像中人体的轮廓的中心点的坐标定义为（0,0），则该中心点的向量为0向量，以该中心点为坐标原点建立坐标系，并定义在x轴上由中心点到人体边缘点的距离为1个单位。终止动作所对应的图像中人体的局部轮廓（如手部）的中心点也对应着一个向量。
步骤S16：计算所述第一向量和第二向量的差值。
假设终止动作所对应的图像中人体的局部轮廓的中心点的向量为初始动作所对应的图像中人体的轮廓的中心点的向量为0，两个向量的差为该向量差的绝对值表示终止动作所对应的图像中人体的局部轮廓的中心点与初始动作所对应的图像中人体的轮廓的中心点之间的距离，向量与x坐标轴之间的夹角代表用户做出的动作的方向。
步骤S17：将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作。
数据库中的数据列表是一组或多组数据范围，一组数据范围包括比例数值和角度数值两类数据，每一组数据范围对应一个动作。例如，以表示x轴上人体边缘点的向量，以表示手部中心点的向量，以θ表示与之间的夹角，如下表所示：
表1数据范围与动作的对应关系
由上表可以看出，根据手部中心点的向量与人体边缘点的向量的绝对值之比和这两个向量之间的夹角的变化范围，分别将手伸到上下左右四个方向的动作按照远近距离的不同定义了8个动作。
参照图2，示出了本发明动作识别方法实施例的示意图。
步骤S21：获取用户右手向右挥20cm的120帧彩色图像。
步骤S22：根据浮点算法公式：Gray=R*0.3+G*0.59+B*0.11将彩色图像转换为灰度图像。提取初始动作所对应的灰度图像，按照像素值=0（0≤灰度值≤127），像素值=1（128≤灰度值≤255）将图像上的像素点进行二值化，得到二值化图像。采用邻域平均滤波法对该二值化图像进行滤波处理和直方图均衡化，分离人体的轮廓，根据该轮廓上各个像素点所对应的坐标求得该轮廓的中心点。
步骤S23：对120帧灰度图像进行二帧差分处理，当相邻帧图像的差分值小于阈值时，则可确定相邻帧图像中的后一帧图像是终止动作所对应的图像。
步骤S24：提取该终止动作所对应的图像，该图像为二值化图像，采用邻域平均滤波法对该二值化图像进行滤波处理和直方图均衡化，在滤波过程中进行二维傅里叶变换，得到图像的频谱图，取手部轮廓所对应的阈值范围，分离手部轮廓，并根据该轮廓上各个像素点所对应的坐标求得该轮廓的中心点。
步骤S25：定义初始动作所对应的图像中人体的轮廓的中心点的的坐标为（0,0），以该中心点为坐标原点建立坐标系，并定义在x轴上由中心点到人体边缘点的距离为1个单位，该边缘点的向量为终止动作所对应的图像中手部的中心点的向量为
步骤S26：将步骤S25中的两个向量相减，得到
步骤S27：两个向量的绝对值之比为1.2，两个向量的夹角为15°，根据表1的数据范围与动作的对应关系判断出用户发出的该动作为“手向左小幅挥手”。
参照图3，示出了本申请将动作转换成操作指令的方法的流程图。
图3中步骤S31-S37与图1中步骤S11-S17相同，在此不再赘述。
步骤S38：根据映射文件将与所述差值相关联的动作转换为可识别的操作指令，其中，所述映射文件包括所述动作与所述可识别的操作指令的对应关系。
在本发明一实施例中，在系统中嵌入一应用程序，通过运行该应用程序可将识别出的动作转换为系统可识别的操作指令。该应用程序可由程序人员根据客户端类型及操作系统类型使用JAVA语音或C语言编写的应用程序。该操作指令包括电脑键盘或鼠标指令。
参照图4，示出了本申请将动作转换成操作指令的方法实施例的示意图。
图4中步骤S41-S47与图2中步骤S21-S27相同，在此不再赘述。
在步骤S48中，映射文件中规定向左小幅挥手映射为键盘A按下，通过系统通过应用程序将向左小幅挥手转换为键盘A按下指令，根据该指令，对显示画面做出响应。
参照图5，示出了本申请动作识别装置的示意图。
所述动作识别装置包括：
图像获取模块，用于获取至少一组人体动作的源图像；
初始动作图像处理模块，用于基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
差分处理模块，用于基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
终止动作图像处理模块，对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
向量获取模块，用于获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
向量计算模块，用于计算所述第一向量和第二向量的差值；
动作关联模块，用于将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作。
优选地，所述初始动作图像处理模块进一步包括图像二值化单元，用于将获取的源图像转换为灰度图像，再由灰度图像转换为二值化图像。
优选地，所述差分处理模块进一步包括二帧差分处理单元，用于将所述源图像转换为灰度图像或二值化图像；计算相邻两帧图像的差分值，并将所述相邻帧图像的差分值与预设的阈值进行比较，若差分值大于阈值，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
和三帧差分处理单元，用于将所述源图像转换为灰度图像或二值化图像；分别计算中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值，分别将所述的中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值与预设的阈值进行比较，再对两组比较结果进行逻辑与计算，若计算结果为非，则对新一组相邻的三帧图像进行差分处理，若计算结果为是，则将所述三帧图像中的后一帧图像界定为终止动作所对应的图像。
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图6，示出了本申请将动作转换成指令的装置的示意图。
所述将动作转换成指令的装置包括：
图像获取模块，用于获取至少一组人体动作的源图像；
初始动作图像处理模块，用于基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
差分处理模块，用于基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
终止动作图像处理模块，对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
向量获取模块，用于获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
向量计算模块，用于计算所述第一向量和第二向量的差值；
动作关联模块，用于将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作；
指令转换模块，用于根据映射文件将与所述差值相关联的动作转换为可识别的操作指令，其中，所述映射文件包括所述动作与所述可识别的操作指令的对应关系。
优选地，所述初始动作图像处理模块进一步包括图像二值化单元，用于将获取的源图像转换为灰度图像，再由灰度图像转换为二值化图像。
优选地，所述差分处理模块进一步包括二帧差分处理单元，用于将所述源图像转换为灰度图像或二值化图像；计算相邻两帧图像的差分值，并将所述相邻帧图像的差分值与预设的阈值进行比较，若差分值大于阈值，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
和三帧差分处理单元，用于将所述源图像转换为灰度图像或二值化图像；分别计算中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值，分别将所述的中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值与预设的阈值进行比较，再对两组比较结果进行逻辑与计算，若计算结果为非，则对新一组相邻的三帧图像进行差分处理，若计算结果为是，则将所述三帧图像中的后一帧图像界定为终止动作所对应的图像。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明优选应用于嵌入式系统中。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上对本申请所提供的一种动作识别方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种动作识别方法，包括:
获取至少一组人体动作的源图像；
基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
计算所述第一向量和第二向量的差值；
将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，每组向量值范围对应一个动作；
其中，基于所述源图像获取所对应的二值化图像的方法包括:按照一定的规则将整幅图像划分为N个窗口，对这N个窗口中的每一个窗口再按照：像素值＝0、0≤灰度值≤127，像素值＝1、128≤灰度值≤255，将该窗口内的像素划分为两部分，进行二值化处理；
根据差分处理结果确定终止动作所对应的二值化图像，具体步骤包括:将所述源图像转换为灰度图像或二值化图像；计算相邻两帧图像的差分值，并将所述相邻帧图像的差分值与预设的阈值进行比较，若差分值大于阈值，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述源图像，获取初始动作所对应的二值化图像进一步包括将获取的源图像转换为灰度图像，再由灰度图像转换为二值化图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像包括:
将所述源图像转换为灰度图像或二值化图像；
分别计算中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值，分别将所述的中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值与预设的阈值进行比较，再对两组比较结果进行逻辑与计算，若计算结果为非，则对新一组相邻的三帧图像进行差分处理，若计算结果为是，则将所述三帧图像中的后一帧图像界定为终止动作所对应的图像。
4.一种将动作转换成指令的方法，包括:
获取至少一组人体动作的源图像；
基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
计算所述第一向量和第二向量的差值；
将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作；
根据映射文件将与所述差值相关联的动作转换为可识别的操作指令，其中，所述映射文件包括所述动作与所述可识别的操作指令的对应关系；
其中，基于所述源图像获取所对应的二值化图像的方法包括:按照一定的规则将整幅图像划分为N个窗口，对这N个窗口中的每一个窗口再按照：像素值＝0、0≤灰度值≤127，像素值＝1、128≤灰度值≤255，将该窗口内的像素划分为两部分，进行二值化处理；
根据差分处理结果确定终止动作所对应的二值化图像，具体步骤包括:将所述源图像转换为灰度图像或二值化图像；计算相邻两帧图像的差分值，并将所述相邻帧图像的差分值与预设的阈值进行比较，若差分值大于阈值，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
5.根据权利要求4所述的方法，其特征在于，所述基于所述源图像，获取初始动作所对应的二值化图像进一步包括将获取的源图像转换为灰度图像，再由灰度图像转换为二值化图像。
6.根据权利要求4所述的方法，其特征在于，所述基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像包括:
将所述源图像转换为灰度图像或二值化图像；
分别计算中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值，分别将所述的中间帧与前一帧图像的差分值以及中间帧与后一帧图像的差分值与预设的阈值进行比较，再对两组比较结果进行逻辑与计算，若计算结果为非，则对新一组相邻的三帧图像进行差分处理，若计算结果为是，则将所述三帧图像中的后一帧图像界定为终止动作所对应的图像。
7.一种动作识别装置，包括:
图像获取模块，用于获取至少一组人体动作的源图像；
初始动作图像处理模块，用于基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
差分处理模块，用于基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
终止动作图像处理模块，对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
向量获取模块，用于获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
向量计算模块，用于计算所述第一向量和第二向量的差值；
动作关联模块，用于将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作；
其中，基于所述源图像获取所对应的二值化图像的方法包括:按照一定的规则将整幅图像划分为N个窗口，对这N个窗口中的每一个窗口再按照：像素值＝0、0≤灰度值≤127，像素值＝1、128≤灰度值≤255，将该窗口内的像素划分为两部分，进行二值化处理；
根据差分处理结果确定终止动作所对应的二值化图像，具体步骤包括:将所述源图像转换为灰度图像或二值化图像；计算相邻两帧图像的差分值，并将所述相邻帧图像的差分值与预设的阈值进行比较，若差分值大于阈值，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
8.一种将动作转换成指令的装置，包括:
图像获取模块，用于获取至少一组人体动作的源图像；
初始动作图像处理模块，用于基于所述源图像，获取初始动作所对应的二值化图像，并对所述初始动作所对应的图像进行滤波处理，获取所述初始动作所对应的二值化图像中人体的轮廓的中心点；
差分处理模块，用于基于所述源图像，利用帧间差分法对相邻帧的图像进行差分处理，根据所述差分处理结果确定终止动作所对应的二值化图像；
终止动作图像处理模块，对所述终止动作所对应的二值化图像进行滤波处理，并获取所述终止动作所对应的图像中人体的局部轮廓的中心点；
向量获取模块，用于获取所述初始动作所对应的图像中人体的轮廓的中心点的第一向量，和所述终止动作所对应的图像中人体的局部轮廓的中心点的第二向量；
向量计算模块，用于计算所述第一向量和第二向量的差值；
动作关联模块，用于将所述差值与数据库中预置的数据列表进行比较，并根据比较结果将所述差值与相应的动作相关联，其中，所述数据列表包括至少一组向量值范围，所述每组向量值范围对应一个动作；
指令转换模块，用于根据映射文件将与所述差值相关联的动作转换为可识别的操作指令，其中，所述映射文件包括所述动作与所述可识别的操作指令的对应关系；
其中，基于所述源图像获取所对应的二值化图像的方法包括:按照一定的规则将整幅图像划分为N个窗口，对这N个窗口中的每一个窗口再按照：像素值＝0、0≤灰度值≤127，像素值＝1、128≤灰度值≤255，将该窗口内的像素划分为两部分，进行二值化处理；
根据差分处理结果确定终止动作所对应的二值化图像，具体步骤包括:将所述源图像转换为灰度图像或二值化图像；计算相邻两帧图像的差分值，并将所述相邻帧图像的差分值与预设的阈值进行比较，若差分值大于阈值，则对新一组相邻帧图像进行差分处理，若差分值小于阈值，则将所述相邻帧图像中的后一帧图像界定为终止动作所对应的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310000676.6A CN103914677B (zh) | 2013-01-04 | 2013-01-04 | 一种动作识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310000676.6A CN103914677B (zh) | 2013-01-04 | 2013-01-04 | 一种动作识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103914677A CN103914677A (zh) | 2014-07-09 |
| CN103914677B true CN103914677B (zh) | 2019-03-08 |
Family
ID=51040347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310000676.6A Active CN103914677B (zh) | 2013-01-04 | 2013-01-04 | 一种动作识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103914677B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107436679B (zh) * | 2016-05-27 | 2020-08-07 | 富泰华工业（深圳）有限公司 | 手势控制系统及方法 |
| CN108363482A (zh) * | 2018-01-11 | 2018-08-03 | 江苏四点灵机器人有限公司 | 一种基于双目结构光的三维手势控制智能电视的方法 |
| CN109697409B (zh) * | 2018-11-27 | 2020-07-17 | 北京文香信息技术有限公司 | 一种运动图像的特征提取方法及起立动作图像的识别方法 |
| CN109938768A (zh) * | 2019-03-11 | 2019-06-28 | 深圳市比邻星精密技术有限公司 | 超声成像方法、装置、计算机设备及存储介质 |
| CN109993781B (zh) * | 2019-03-28 | 2021-09-03 | 北京清微智能科技有限公司 | 基于双目立体视觉匹配的视差图像生成方法及系统 |
| CN112396796A (zh) * | 2020-10-19 | 2021-02-23 | 浙江理工大学 | 一种基于计算机视觉的火灾自动识别预警监控系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004840A (zh) * | 2009-08-28 | 2011-04-06 | 深圳泰山在线科技有限公司 | 一种基于计算机实现虚拟拳击的方法和系统 |
| CN102799263A (zh) * | 2012-06-19 | 2012-11-28 | 深圳大学 | 一种姿态识别方法及姿态识别控制系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110299737A1 (en) * | 2010-06-04 | 2011-12-08 | Acer Incorporated | Vision-based hand movement recognition system and method thereof |
-
2013
- 2013-01-04 CN CN201310000676.6A patent/CN103914677B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004840A (zh) * | 2009-08-28 | 2011-04-06 | 深圳泰山在线科技有限公司 | 一种基于计算机实现虚拟拳击的方法和系统 |
| CN102799263A (zh) * | 2012-06-19 | 2012-11-28 | 深圳大学 | 一种姿态识别方法及姿态识别控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103914677A (zh) | 2014-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103914677B (zh) | 一种动作识别方法及装置 | |
| CN108629306B (zh) | 人体姿态识别方法及装置、电子设备、存储介质 | |
| WO2021008019A1 (zh) | 姿态跟踪方法、装置及计算机可读存储介质 | |
| US20190171866A1 (en) | Apparatus and method for data processing | |
| US20180204052A1 (en) | A method and apparatus for human face image processing | |
| US20160154469A1 (en) | Mid-air gesture input method and apparatus | |
| Bi et al. | A dynamic mode decomposition based edge detection method for art images | |
| CN103218605B (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| WO2023160312A1 (zh) | 基于自监督学习的行人重识别方法、装置、设备及存储介质 | |
| CN105718885B (zh) | 一种人脸特征点跟踪方法 | |
| CN102096471A (zh) | 一种基于机器视觉的人机交互方法 | |
| WO2020108010A1 (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN109389569A (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| Liu et al. | Salient region detection via simple local and global contrast representation | |
| KR20210095817A (ko) | 얼굴 합성 이미지의 검출방법, 검출장치, 전자기기 및 저장매체 | |
| WO2020155984A1 (zh) | 人脸表情图像处理方法、装置和电子设备 | |
| CN105791635A (zh) | 基于gpu的视频增强去噪方法及装置 | |
| CN108647605B (zh) | 一种结合全局颜色与局部结构特征的人眼凝视点提取方法 | |
| WO2018113206A1 (zh) | 一种图像处理方法及终端 | |
| CN111860643B (zh) | 基于调频模型的视觉模板匹配的鲁棒性提升方法 | |
| Hu et al. | Simulation of English classroom effectiveness based on human-computer interaction and facial identification | |
| CN108491820B (zh) | 图像中肢体表示信息的识别方法、装置及设备、存储介质 | |
| KR101909326B1 (ko) | 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템 | |
| CN102855025A (zh) | 一种基于视觉注意模型的光学多点触控触点检测方法 | |
| Xue et al. | MPE-DETR: A multiscale pyramid enhancement network for object detection in low-light images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: TIANJIN MIYOU TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: YUNLIAN (BEIJING) INFORMATION TECHNOLOGY CO., LTD. Effective date: 20150415 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100015 CHAOYANG, BEIJING TO: 301708 WUQING, TIANJIN |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20150415 Address after: 301708 Tianjin city Wuqing District Flower Town Government Road No. 22 Applicant after: TIANJIN MIYOU TECHNOLOGY Co.,Ltd. Address before: 100015, 706 North four street, 798 Art District, 4 Jiuxianqiao Road, Beijing, Chaoyang District Applicant before: Cloud Alliance (Beijing) Information Technology Co.,Ltd. |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201020 Address after: Room 1201, No. 136, banhe Road, Huangpu District, Guangzhou City, Guangdong Province Patentee after: Guangzhou Tai Yun Technology Co.,Ltd. Address before: 301708, No. 22, South Government Road, Huanghua Town, Wuqing District, Tianjin Patentee before: TIANJIN MIYOU TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211018 Address after: 100000 room 801-a40, 8th floor, building 2, No. A5, Rongchang East Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (Yizhuang group, high-end industrial area of Beijing Pilot Free Trade Zone) Patentee after: CLOUD ALLIANCE (BEIJING) INFORMATION TECHNOLOGY Co.,Ltd. Address before: 510535 room 1201, No. 136, Panhe Road, Huangpu District, Guangzhou City, Guangdong Province Patentee before: Guangzhou Tai Yun Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100000 room 801-a40, 8th floor, building 2, No. A5, Rongchang East Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (Yizhuang group, high-end industrial area of Beijing Pilot Free Trade Zone) Patentee after: Beijing Millennium Information Technology Co.,Ltd. Address before: 100000 room 801-a40, 8th floor, building 2, No. A5, Rongchang East Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (Yizhuang group, high-end industrial area of Beijing Pilot Free Trade Zone) Patentee before: Cloud Alliance (Beijing) Information Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20231227 Address after: 100000 C5-05, F1, Building 19, No. 10, Langjiayuan, Jianguomenwai, Chaoyang District, Beijing Patentee after: Taiyi Yunjing Technology Co.,Ltd. Address before: 100000 room 801-a40, 8th floor, building 2, No. A5, Rongchang East Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (Yizhuang group, high-end industrial area of Beijing Pilot Free Trade Zone) Patentee before: Beijing Millennium Information Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |