CN110569711A - 面向人体动作识别方法 - Google Patents

面向人体动作识别方法 Download PDF

Info

Publication number
CN110569711A
CN110569711A CN201910657503.9A CN201910657503A CN110569711A CN 110569711 A CN110569711 A CN 110569711A CN 201910657503 A CN201910657503 A CN 201910657503A CN 110569711 A CN110569711 A CN 110569711A
Authority
CN
China
Prior art keywords
image
quantum
human body
color value
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910657503.9A
Other languages
English (en)
Other versions
CN110569711B (zh
Inventor
常丽
朱宇祥
蒋辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Priority to CN201910657503.9A priority Critical patent/CN110569711B/zh
Publication of CN110569711A publication Critical patent/CN110569711A/zh
Application granted granted Critical
Publication of CN110569711B publication Critical patent/CN110569711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

面向人体动作识别方法，该方法步骤如下：第一步，使用红外摄像头采集人体动作图像；第二步，对第一步中的人体动作图像依次进行锐化和二值化；第三步，对第二步中的人体动作量子图像进行边缘特征点提取；第四步，基于相似度检测的人体动作量子图像分类方法，利用基于第三步中量子图像中提取的特征点构成的图形上进行量子漫步来分析该图与人体动作量子匹配库中的图之间的相似程度，完成人体动作识别。1）使用红外摄像头对人体动作进行捕捉，可以降低自然光的干扰，并且夜间也可以工作；2）人体动作识别引入量子处理，充分利用量子的并行计算能力；3）量子态具有高效编码能力，减小算法存储量；4）量子的不确定性提高人体动作识别的准确性。

Description

面向人体动作识别方法
技术领域
本发明方案主要用于人体动作识别领域。
背景技术
在人体动作识别领域中，主要有基于计算机视觉的识别和基于运动捕获技术的识别。基于计算机视觉的识别主要通过视频序列，利用人体轮廓、多视角等特征信息对人体姿态动作进行识别。基于运动捕获技术的人体姿态识别是通过对人体构建三维骨架模型，捕获并存储人体骨架关节点的数据，并对这些数据分析识别。在传统的计算机视觉识别中，例如基于Kinect的图形识别，在静态图像识别中，当操作者距离远，捕获图像比较模糊，无法精确提取图像信息；在动态识别中存在处理速度慢的缺点。
发明内容
发明目的：
本发明提供一种面向人体动作识别方法，其目的是解决以往所存在的问题。
技术方案：
面向人体动作识别方法，其特征在于：
该方法步骤如下：
第一步，使用红外摄像头采集人体动作图像；
第二步，对第一步中的人体动作图像依次进行锐化和二值化；
第三步，对第二步中的人体动作量子图像进行边缘特征点提取；
第四步，基于相似度检测的人体动作量子图像分类方法，利用基于第三步中量子图像中提取的特征点构成的图形上进行量子漫步来分析该图与人体动作量子匹配库中的图之间的相似程度，完成人体动作识别。从而完成针对图像进行智能分类聚类识别工作
第二步中的锐化步骤如下：
采用Laplace算子x，y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子。在一个二维函数f(x,y)中，x，y两个方向的二阶差分为：
其中是f(x,y)对x求二阶导数，是f(x,y)对y求二阶导数。
Laplace的差分形式为：
▽2f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y) (3)
其中▽2是梯度算子，f(x,y)在x，y两个方向求二阶导数。
对量子图像锐化操作形式为：
|I′>＝|I>+▽2|I> (4)
|I′>是锐化后的图像，|I>是锐化前的图像。
二值化方式：人体动作图像量子二值化：操作定义为色彩变换操作UB。
其中是二进制串，是张量积符号，q是量子的个数，|a>是所需的辅助量子位。在这个操作中一共需要使用到2(q-1)辅助量子位，因为一共有q-1个量子与门和q-1个量子或门被使用到。|a′>表示了这些辅助量子位在完成操作之后的状态。针对人体动作量子图像|I>进行该操作，将图像中所有色彩值小于128的像素变成黑色，而剩下的像素则置为白色。
第三步中的动作边缘提取如下：
人体动作有静态和动态之分。
静态提取：
步骤一：进行梯度计算准备算法；在该算法中，在完成平移后就可以针对图像中的所有像素都得到其邻域像素的色彩信息，并分别将其保存在辅助的量子位中。
①U(x±)，该操作完成图像沿X方向的单位平移操作。
②U(y±)，该操作完成图像沿Y方向的单位平移操作。
式(6)(7)中x±是在X方向的单位平移，y±是在Y方向的单位平移；2n是图像的大小；f(Y,X)是图像在(Y,X)位置的色彩值，用二进制串来编码，而(X±1)mod 2n是对X方向的单位平移进行模2运算，(Y±1)mod 2n是对Y方向的单位平移进行模2运算。
步骤二：当得到了像素3×3邻域像素色彩信息之后，将使用量子黑盒操作UΩ来为每一个像素同时计算Prewitt梯度并将结果保存在量子位Ω(Y，X)中。这个量子位与位置量子序列纠缠即形成新的量子图像，量子黑盒为UΩ。
量子黑盒操作的定义为：
其中和|Ω(X,Y)>表示为：
其中CY-1X+1是(Y-1,X+1)位置的色彩值，CYX+1是(Y,X+1)位置的色彩值，CY+1X+1是(Y+1,X+1)位置的色彩值，CY+1X是(Y+1,X)位置的色彩值，CY+1X-1是(Y+1,X-1)位置的色彩值，CYX-1是(Y,X-1)位置的色彩值，CY-1X-1是(Y-1,X-1)位置的色彩值，CY-1X是(Y-1,X)位置的色彩值。
采用Prewitt算子，其中T是设定的阈值，Gx和Gy为水平和垂直方向的梯度，表达式如下。
Gx(Y,X)＝(CY-1X+1+CYX+1+CY+1X+1)-(CY-1X-1+CYX-1+CY+1X-1) (11)
Gy(Y,X)＝(CY-1X-1+CY-1X+CY-1X+1)-(CY+1X-1+CY+1X+CY+1X+1) (12)
在结果量子图像中，属于边缘的像素的色彩值将为|1>，显示为白色。反之，非边缘的像素点显示为黑色，色彩值为|0>；CY-1X+1是(Y-1,X+1)位置的色彩值，CYX+1是(Y,X+1)位置的色彩值，CY+1X+1是(Y+1,X+1)位置的色彩值，CY+1X是(Y+1,X)位置的色彩值，CY+1X-1是(Y+1,X-1)位置的色彩值，CYX-1是(Y,X-1)位置的色彩值，CY-1X-1是(Y-1,X-1)位置的色彩值，CY-1X是(Y-1,X)位置的色彩值。
动态提取：利用背景差分法，其公式为：
Dk(x,y)＝|fk(x,y)-Bk(x,y)| (13)
首先用事先存储的图像为视频序列当中每帧图像进行统计建模，所得到的背景模型为Bk，接下来将包含运动目标的图像帧fk与Bk相减，Dk为相减之后的结果；接下来将作差之后的结果进行二值化处理，T为阈值。当作差之后的结果与背景模型偏离较大的情况时，该部分就被定义为运动的目标，也就是前景，反之就是背景；Rk(x,y)是二值化图像在(X,Y)位置的灰度值。
第四步中的人体动作量子匹配库构建方式如下：
(4.1)、使用红外摄像头对人体动作进行捕捉；
(4.2)、使用灰度变换对(4.1)步骤中的人体动作图像进行预处理；
(4.3)、对(4.2)中预处理的图像进行人体动作图像存储构建图像存储模型，
(4.4)、对(4.3)步骤中的图像存储模型进行人体动作特征点提取，架建立人体动作量子匹配库。
(4.2)步骤中预处理采用灰度变换法，其步骤如下：
其中y1和y2是灰度值的阈值点。如果灰度变化后的图像g(x,y)灰度范围大于原图像f(x,y)的灰度变化范围，图像像素间的灰度差变大图像的质量得以改善；分段线性函数的转折点为x1和x2,原图像f(x,y)未经过灰度变换，其灰度直方图会出现一个最大的波峰，该图像的大部分灰度级也分布在最大灰度值波峰左右，两个转折点x1和x2一般选波峰两侧的波谷处；在进行分段线性变换时，如果分段函数某一灰度区间斜率大于1，那么该段函数范围内的图像将会被拉伸，如果分段函数某一区间的斜率小于1，那么该段函数范围内的图像将会被压缩，分段函数的斜率等于1，则该区间的灰度值未发生改变。
(4.3)步骤中的存储模型构建方式如下：
对所有像素扫描找到每个灰度值的第一个位置作为基地址base记录在全局页内。接着继续查找下一个相同灰度值的位置，将位置差D和连续的个数L记录在相应灰度值的页中。最后，把所有的页保存在存储器中，如下公式表示：
|M>用来表示编码灰度图像的灰度信息，范围[0，255]。|P>是图像的位置信息，22n＝2n×2n是图像的大小，n是量子的个数,j是图像的位置信息。
T是映射函数，是上一个相同像素值的位置。
在图像存储模型中，本方法选用NEQR(新型增强量子表示法)量子存储模型，NEQR(新型增强量子表示法)利用两个量子比特列来分别存储人体动作像素的位置信息和灰度信息，并同时将两者纠缠叠加起来，从而同时将图像所有像素存储下来；具体表达式如下。
位置(Y,X)处的像素色彩值f(Y,X)用二进制串来编码，像素灰度范围为[0,255]，故需要8位量子比特列来表征图像像素的灰度信息；对于一幅2q灰度范围的2n×2n图像来说，量子图像模型NEQR(新型增强量子表示法)共需要2n+q个量子位来保存图像信息。
(4.4)步骤如下：
NEQR量子图像模型的特征提取算法流程，具体操作步骤如下：
步骤1：通过对量子图像进行若干量子图像循环平移操作获取平移后的量子图像，形成人体动作量子图像集合；
步骤2：选择计算像素灰度梯度的方法；为了获取图像中所有像素的一阶差分，一系列量子图像加减法需要针对量子图像集合中的元素进行操作；这个步骤中的具体操作依赖于具体选用的方法的不同；接着我们使用zero cross方法；在zero cross方法中，每个像素的四个子方向的梯度将被计算对于位置在(Y,X)的像素来说，梯度将根据其3×3邻域的信息来进行如下计算:
G1＝|2CYX-(CY+1X+CY-1X)|/2 (19)
G2＝|2CYX-(CY+1X+1+CY-1X-1)|/2 (20)
G3＝|2CYX-(CYX+1+CYX-1)|/2 (21)
G4＝|2CYX-(CY+1X-1+CY-1X+1)|/2(22)
其中G1、G2、G3、G4是四个梯度值，CYX为位置在(Y,X)的灰度值，CY-1X+1是(Y-1,X+1)位置的色彩值，CYX+1是(Y,X+1)位置的色彩值，CY+1X+1是(Y+1,X+1)位置的色彩值，CY+1X是(Y+1,X)位置的色彩值，CY+1X-1是(Y+1,X-1)位置的色彩值，CYX-1是(Y,X-1)位置的色彩值，CY-1X-1是(Y-1,X-1)位置的色彩值，CY-1X是(Y-1,X)位置的色彩值。对于每个子方向来说，我们需要2次量子图像加法操作，1次量子图像减法操作操作来完成梯度的计算。
步骤3：基于设定的门限T对图像进行UT操作；首先选定一个合适的门限T；根据特征点的属性，提取的特征点的所有子方向的梯度都会大于门限值；一些辅助量子位需要将在该过程中被使用到用来保存每个子方向的梯度值与门限值的比较结果；利用zero cross(零交叉点边缘检测算子)完成该步骤；
步骤4：在完成步骤3后，整个量子系统中的有用的部分是位置量子序列和四个分类结果量子位|Ψ>的纠缠如下公式
其中是Y轴和X轴张量积。接下来在该量子序列上进行Grover(量子搜索算法)振幅扩大技术进行量子测量，当我们观测到|Z>＝|11…1>时，量子态将坍缩到一个量子叠加态中，最后从这个叠加态中提取特征点；通过量子算法对这些特征点进行提取，构建人体构架建立人体动作量子匹配库。使用Grover(量子搜索算法)算法对人体动作量子匹配库的量子搜索，完成图像批准，提高配准速度。
第四步中：在运行若干时间的量子漫步之后，通过在采集的人体动作图像与匹配库的图之间构建近似的不精确的结点匹配，即刻画两个图之间的相似程度。若两个图完成正确匹配，则两个图是同构的。图同构问题是图形匹配问题的数学抽象，即判断给定的两幅图是否具有相同的拓扑结构。其严格的数学定义如下：对于给定的两幅图都是二元组G＝(V1,E1)和H＝(V2,E2)，V是图的所有节点的集合，E是所有节点连接关系，若二者同构则存在从图G节点到图H节点的映射f:V(G)→V(H)，使得对于G中任意节点u、v，若u和v在图G中相邻，则f(u)和f(v)在图H中也相邻。离散时间的量子漫步测量图中节点的距离。离散时间量子漫步的相消干涉效应用来检测图同构。k步离散时间量子漫步检测图的(k-2)阶同构邻域对。
假设整个图的初始状态是对称的,节点v可以被看作是连接节点u1和w1的辅助节点。每一步量子漫步后，u1和w1之间的干涉振幅的结果均为0，则u1和w1是同构的。根据图同构的算法将采集的人体动作图像与匹配库的图像进行相似性检测，最后识别出人体动作。
优点效果：
为克服现有技术中夜间不能识别人体动作、人体动作图像存储量大，人体动作识别速度慢、人体动作识别准确度低等缺陷。本发明方案使用红外摄像头采集人体动作图像，在处理方面引入量子的模型，使用高效的编码模型NEQR，量子边缘和特征点提取算法，量子漫步的图同构完成识别过程，总体方案构架如图1所示。
本发明解决其技术问题所采用的技术方案：第一部分是使用红外摄像头采集人体动作图像；第二部分使用灰度变换对人体动作图像进行预处理；第三部分是进行人体动作量子图像存储，从而完成从经典信息到量子信息的转化，同时也为后续的量子图像处理提供模型基础；第四部分对人体动作图像进行锐化，提高动作边缘的清晰度；第五部分对人体动作图像进行量子二值化；第六部分采用QPrewitt对人体动作量子图像边缘提取，人体动作量子图像特征提取，建立人体动作匹配库。第八部分基于相似度检测的人体动作量子图像分类研究，主要利用基于量子图像中提取的特征点构成的图形上进行量子漫步来分析图与图之间的相似程度，从而完成针对图像进行智能分类聚类等识别工作。
本发明采用红外摄像头可以实现白天、黑夜对人体动作识别。使用NEQR模型可以减少图像存储容量。QPrewitt量子边缘、特征点提取算法和离散漫步图同构可提高识别的速度和准确度。
本方案具有以下几点具体优势：1)使用红外摄像头对人体动作进行捕捉，可以降低自然光的干扰，并且夜间也可以工作；2)人体动作识别引入量子处理，充分利用量子的并行计算能力；3)量子态具有高效编码能力，减小算法存储量；4)量子的不确定性提高人体动作识别的准确性。
附图说明
下面结合附图和实施例对本发明方案进一步说明。
图1人体动作识别总体构架
图2分段线性变换
图3 8×8灰度图像存储
图4 2×2NEQR图像存储模型
图5 Laplace filter mask
图6量子黑盒UΩ
图7 Prewitt算子
图8跑步姿态图
图9基于NEQR量子图像模型的特征提取算法流程
图10图同构示例图
具体实施方式
(1)使用红外摄像头对人体动作进行捕捉
(2)灰度变换：对采集的图像进行分段线性变换。
如果灰度变化后的图像g(x,y)灰度范围大于原图像f(x,y)的灰度变化范围，图像像素间的灰度差变大图像的质量得以改善。图2给出了线性变换的示意图。分段线性函数的转折点为x1和x2,原图像f(x,y)未经过灰度变换，其灰度直方图会出现一个最大的波峰，该图像的大部分灰度级也分布在最大灰度值波峰左右，两个转折点x1和x2一般选波峰两侧的波谷处。在进行分段线性变换时，如果分段函数某一灰度区间斜率大于1，那么该段函数范围内的图像将会被拉伸，如果分段函数某一区间的斜率小于1，那么该段函数范围内的图像将会被压缩，分段函数的斜率等于1，则该区间的灰度值未发生改变。
(3)人体动作图像存储：1)本方案提出新的存储模型，减小图像的存储空间。对于一幅灰度图像，其中灰度值会多次重复。那么在存储图像时，可以将重复的灰度值压缩存储，而不是像传统存储方式中每个灰度值占据一个存储空间。
首先对所有像素扫描找到每个灰度值的第一个位置作为基地址base记录在全局页内。接着继续查找下一个相同灰度值的位置，将位置差D和连续的个数L记录在相应灰度值的页中。最后，把所有的页保存在存储器中。图3是8×8灰度图像的量子页表存储模型。
|M>用来表示编码灰度图像的灰度信息，范围[0,255]。|P>是图像的位置信息。
T(P)是映射关系，是上一个相同像素值的位置。
2)在图像存储模型中，本方案选用NEQR量子存储模型。NEQR利用两个量子比特列来分别存储人体动作像素的位置信息和灰度信息，并同时将两者纠缠叠加起来，从而可以同时将图像所有像素存储下来。具体表达式如下。
如图4是2×2的NEQR图像存储模型。在图4中，(Y,X)位置像素色彩值f(Y,X)用二进制串来编码，像素灰度范围为[0,255]，故需要8位量子比特列来表征图像像素的灰度信息。因此，对于一幅2q灰度范围的2n×2n图像来说，量子图像模型NEQR共需要2n+q个量子位来保存图像信息。
(4)人体动作量子图像锐化：用红外摄像头采集的动作图像清晰度低，因此利用图像锐化技术，使图像的边缘变得清晰。图像锐化处理的目的是为了使图像的边缘、轮廓线以及图像的细节变得清晰。本方案采用对Laplace算子x、y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子。在一个二维函数f(x,y)中，x、y两个方向的二阶差分分别如下：
Laplace的差分形式为：
▽2f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y) (7)
filter mask的形式如图5所示。对量子图像锐化操作形式为：
|I′>＝|I>+▽2|I> (8)
(5)人体动作量子图像二值化：操作定义为色彩变换操作UB，如下所示。
其中|a>是所需的辅助量子位。在这个操作中一共需要使用到2(q-1)辅助量子位，因为一共有q-1个量子与门∩和q-1个量子或门∪被使用到。|a′>表示了这些辅助量子位在完成操作之后的状态。针对人体动作量子图像|I>进行该操作，将图像中所有色彩值小于128的像素变成黑色，而剩下的像素则置为白色。
(6)人体动作边缘提取：人体动作有静态和动态之分。
a.静态提取
步骤一：进行梯度计算准备算法。在该算法中，在完成平移后就可以针对图像中的所有像素都得到其邻域像素的色彩信息，并分别将其保存在辅助的量子位中。
①U(x±)操作完成图像沿X方向的单位平移操作。
②U(y±)操作完成图像沿Y方向的单位平移操作。
步骤二：当得到了像素3×3邻域像素色彩信息之后，我们将使用量子黑盒操作UΩ来为每一个像素同时计算Prewitt梯度并将结果保存在量子位Ω(Y,X)中。这个量子位与位置量子序列纠缠即形成新的量子图像。图5给出了量子黑盒UΩ。
量子黑盒操作的定义如下：
其中和|Ω(X,Y)>表示如下：
本方案采用Prewitt算子，掩膜如图6所示。其中T是设定的阈值，Gx和Gy为水平和垂直方向的梯度，表达式如下。
Gx(Y,X)＝(CY-1X+1+CYX+1+CY+1X+1)-(CY-1X-1+CYX-1+CY+1X-1) (13)
Gy(Y,X)＝(CY-1X-1+CY-1X+CY-1X+1)-(CY+1X-1+CY+1X+CY+1X+1) (14)
类似于Prewitt边缘提取算法的，在结果量子图像中，属于边缘的像素的色彩值将为|1>，显示为白色。反之，非边缘的像素点显示为黑色，色彩值为|0>。因此，QPrewitt算法能够区分图像中的不同像素从而提取出肢体动作图像的边缘。
b.动态提取
背景差分法目前在图像处理领域的应用较为广泛，该方法的主要思想是不断的将当前帧图像与背景帧图像进行做差运算来进行前景与背景的分离。背景差分法的公式如下：
Dk(x,y)＝|fk(x,y)-Bk(x,y)| (15)
具体来讲，首先用事先存储的图像为视频序列当中每帧图像进行统计建模，所得到的背景模型为Bk，接下来将包含运动目标的图像帧fk与Bk相减，Dk为相减之后的结果；接下来将作差之后的结果进行二值化处理，T为阈值。当作差之后的结果与背景模型偏离较大的情况时，该部分就被定义为运动的目标，也就是前景，反之就是背景。
(7)人体动作特征点提取：像素领域的自相关矩阵的特征值超过设定的阈值时，就认为该像素的各个方向上的信息变化都很大，则该像素就是特征点。如图8所示跑步姿态图，我们所希望从图像中提取的特征点是动作图像中的角点，这种特征点的特别之处在于其与所有方向上的邻域像素的色彩差都很大。因此，我们选取人体头部、关节点作为角点。
如图9NEQR量子图像模型的特征提取算法流程，具体操作步骤如下：
步骤1：通过对量子图像进行若干量子图像循环平移操作获取平移后的量子图像，形成人体动作量子图像集合。
步骤2：选择计算像素灰度梯度的方法；为了获取图像中所有像素的一阶差分，一系列量子图像加减法需要针对量子图像集合中的元素进行操作；这个步骤中的具体操作依赖于具体选用的方法的不同；接着我们使用zero cross方法；在zero cross方法中，每个像素的四个子方向的梯度将被计算对于位置在(Y,X)的像素来说，梯度将根据其3×3邻域的信息来进行如下计算：
G1＝|2CYX-(CY+1X+CY-1X)|/2 (17)
G2＝|2CYX-(CY+1X+1+CY-1X-1)|/2 (18)
G3＝|2CYX-(CYX+1+CYX-1)|/2 (19)
G4＝|2CYX-(CY+1X-1+CY-1X+1)|/2 (20)
其中CYX为位置在(Y,X)的灰度值；对于每个子方向来说，我们需要2次量子图像加法操作，1次量子图像减法操作操作来完成梯度的计算。
步骤3：基于设定的门限T对图像进行UT操作；门限T的选择在图像特征提取中是非常重要的；一般来说，有两种常用的策略会被使用，也就是用户指定的门限和自适应的门限；由于量子操作UT的量子电路的构造完成取决于门限值的选取，一旦构建完成无法进行更改，因此自适应的门限选取方法在我们设计的算法中不适用；因此，在我们的算法中，我们需要在进行该步骤时首先选定一个合适的门限T；根据特征点的属性，我们需要提取的特征点的所有子方向的梯度都会大于门限值；因此一些辅助量子位需要将在该过程中被使用到用来保存每个子方向的梯度值与门限值的比较结果；zero cross可以完成该步骤。
步骤4：在完成步骤3后，整个量子系统中的有用的部分是位置量子序列和四个分类结果量子位|Ψ>的纠缠如下公式：
接下来在该量子序列上进行Grover振幅扩大技术进行量子测量，当我们观测到|Z>＝|11...1>时，量子态将坍缩到一个量子叠加态中，最后从这个叠加态中提取特征点；通过量子算法对这些特征点进行提取，构建人体构架建立人体动作量子匹配库，为图同构提供基础。
(8)人体动作识别：利用离散时间量子漫步和连续时间量子漫步构造了检测图的相似程度的模型。由于量子漫步具有相干相消性，故在图之间构建辅助图，并运行量子漫步后可发现相近的结点匹配的辅助点的量子干涉振幅近乎为0，而不相近的结点匹配结构则相差较大。因此，在运行若干时间的量子漫步之后，通过在图之间构建近似的不精确的结点匹配，即可以刻画两个图之间的相似程度。若两个图可以完成正确匹配，则两个图是同构的。图同构问题是图形匹配问题的数学抽象，即判断给定的两幅图是否具有相同的拓扑结构。其严格的数学定义如下：对于给定的两幅图G和H，若二者同构则存在从图G节点到图H节点的映射f:V(G)→V(H)，使得对于G中任意节点u、v，若u和v在图G中相邻，则f(u)和f(v)在图H中也相邻。一个节点的量子振幅将在量子漫步中根据距离传播向其他的节点。因此，离散时间的量子漫步可以测量图中节点的距离。离散时间量子漫步的相消干涉效应可以用来检测图同构。k步离散时间量子漫步可以检测图的(k-2)阶同构邻域对。如图10所示对称的示例图。当整个图的初始状态是对称的时,节点v可以被看作是连接节点u1和w1的辅助节点。每一步量子漫步后，u1和w1之间的干涉振幅的结果均为0，则u1和w1是同构的。根据图同构的算法可以将采集的人体动作图像与匹配库的图像进行相似性检测，最后识别出人体动作。

Claims (10)

1.面向人体动作识别方法，其特征在于：
该方法步骤如下：
第一步，使用红外摄像头采集人体动作图像；
第二步，对第一步中的人体动作图像依次进行锐化和二值化；
第三步，对第二步中的人体动作量子图像进行边缘特征点提取；
第四步，基于相似度检测的人体动作量子图像分类方法，利用基于第三步中量子图像中提取的特征点构成的图形上进行量子漫步来分析该图与人体动作量子匹配库中的图之间的相似程度，完成人体动作识别。
2.根据权利要求1所述的面向人体动作识别方法，其特征在于：
第二步中的锐化步骤如下：
采用Laplace算子x，y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子。在一个二维函数f(x,y)中，x，y两个方向的二阶差分为：
其中是f(x,y)对x求二阶导数，是f(x,y)对y求二阶导数；
Laplace的差分形式为：
其中是梯度算子，f(x,y)在x，y两个方向求二阶导数；
对量子图像锐化操作形式为：
|I′>是锐化后的图像，|I>是锐化前的图像。
3.根据权利要求2所述的面向人体动作识别方法，其特征在于二值化方式：人体动作图像量子二值化：操作定义为色彩变换操作UB；
其中 是二进制串，是张量积符号，q是量子的个数，|a>是所需的辅助量子位。在这个操作中一共需要使用到2(q-1)辅助量子位，因为一共有q-1个量子与门和q-1个量子或门被使用到；|a′>表示了这些辅助量子位在完成操作之后的状态。针对人体动作量子图像|I>进行该操作，将图像中所有色彩值小于128的像素变成黑色，而剩下的像素则置为白色。
4.根据权利要求3所述的面向人体动作识别方法，其特征在于：第三步中的动作边缘提取如下：
人体动作有静态和动态之分。
静态提取：
步骤一：进行梯度计算准备算法；在该算法中，在完成平移后就可以针对图像中的所有像素都得到其邻域像素的色彩信息，并分别将其保存在辅助的量子位中；
①U(x±)，该操作完成图像沿X方向的单位平移操作；
②U(y±)，该操作完成图像沿Y方向的单位平移操作；
式(6)(7)中x±是在X方向的单位平移，y±是在Y方向的单位平移；2n是图像的大小；f(Y,X)是图像在(Y,X)位置的色彩值，用二进制串来编码，而(X±1)mod2n是对X方向的单位平移进行模2运算，(Y±1)mod2n是对Y方向的单位平移进行模2运算；
步骤二：当得到了像素3×3邻域像素色彩信息之后，将使用量子黑盒操作UΩ来为每一个像素同时计算Prewitt梯度并将结果保存在量子位Ω(Y，X)中。这个量子位与位置量子序列纠缠即形成新的量子图像，量子黑盒为UΩ；
量子黑盒操作的定义为：
其中和|Ω(X,Y)>表示为：
其中CY-1X+1是(Y-1,X+1)位置的色彩值，CYX+1是(Y,X+1)位置的色彩值，CY+1X+1是(Y+1,X+1)位置的色彩值，CY+1X是(Y+1,X)位置的色彩值，CY+1X-1是(Y+1,X-1)位置的色彩值，CYX-1是(Y,X-1)位置的色彩值，CY-1X-1是(Y-1,X-1)位置的色彩值，CY-1X是(Y-1,X)位置的色彩值；
采用Prewitt算子，其中T是设定的阈值，Gx和Gy为水平和垂直方向的梯度，表达式如下。
Gx(Y,X)＝(CY-1X+1+CYX+1+CY+1X+1)-(CY-1X-1+CYX-1+CY+1X-1) (11)
Gy(Y,X)＝(CY-1X-1+CY-1X+CY-1X+1)-(CY+1X-1+CY+1X+CY+1X+1) (12)
在结果量子图像中，属于边缘的像素的色彩值将为|1>，显示为白色。反之，非边缘的像素点显示为黑色，色彩值为|0>；CY-1X+1是(Y-1,X+1)位置的色彩值，CYX+1是(Y,X+1)位置的色彩值，CY+1X+1是(Y+1,X+1)位置的色彩值，CY+1X是(Y+1,X)位置的色彩值，CY+1X-1是(Y+1,X-1)位置的色彩值，CYX-1是(Y,X-1)位置的色彩值，CY-1X-1是(Y-1,X-1)位置的色彩值，CY-1X是(Y-1,X)位置的色彩值；
动态提取：利用背景差分法，其公式为：
Dk(x,y)＝|fk(x,y)-Bk(x,y)| (13)
首先用事先存储的图像为视频序列当中每帧图像进行统计建模，所得到的背景模型为Bk，接下来将包含运动目标的图像帧fk与Bk相减，Dk为相减之后的结果；接下来将作差之后的结果进行二值化处理，T为阈值。当作差之后的结果与背景模型偏离较大的情况时，该部分就被定义为运动的目标，也就是前景，反之就是背景；Rk(x,y)是二值化图像在(X,Y)位置的灰度值。
5.根据权利要求4所述的面向人体动作识别方法，其特征在于：
第四步中的人体动作量子匹配库构建方式如下：
(4.1)、使用红外摄像头对人体动作进行捕捉；
(4.2)、使用灰度变换对(4.1)步骤中的人体动作图像进行预处理；
(4.3)、对(4.2)中预处理的图像进行人体动作图像存储构建图像存储模型；
(4.4)、对(4.3)步骤中的图像存储模型进行人体动作特征点提取，建立人体动作量子匹配库。
6.根据权利要求5所述的面向人体动作识别方法，其特征在于：
(4.2)步骤中预处理采用灰度变换法，其步骤如下：
其中y1和y2是灰度值的阈值点。如果灰度变化后的图像g(x,y)灰度范围大于原图像f(x,y)的灰度变化范围，图像像素间的灰度差变大图像的质量得以改善；分段线性函数的转折点为x1和x2,原图像f(x,y)未经过灰度变换，其灰度直方图会出现一个最大的波峰，该图像的大部分灰度级也分布在最大灰度值波峰左右，两个转折点x1和x2一般选波峰两侧的波谷处；在进行分段线性变换时，如果分段函数某一灰度区间斜率大于1，那么该段函数范围内的图像将会被拉伸，如果分段函数某一区间的斜率小于1，那么该段函数范围内的图像将会被压缩，分段函数的斜率等于1，则该区间的灰度值未发生改变。
7.根据权利要求6所述的面向人体动作识别方法，其特征在于：
(4.3)步骤中的存储模型构建方式如下：
对所有像素扫描找到每个灰度值的第一个位置作为基地址base记录在全局页内；接着继续查找下一个相同灰度值的位置，将位置差D和连续的个数L记录在相应灰度值的页中；最后，把所有的页保存在存储器中，如下公式表示：
|M>用来表示编码灰度图像的灰度信息，范围[0，255]；|P>是图像的位置信息，22n＝2n×2n是图像的大小，n是量子的个数，j是图像的位置信息；
T是映射函数，是上一个相同像素值的位置。
8.根据权利要求7所述的面向人体动作识别方法，其特征在于：在图像存储模型中，本方法选用NEQR量子存储模型，NEQR利用两个量子比特列来分别存储人体动作像素的位置信息和灰度信息，并同时将两者纠缠叠加起来，从而同时将图像所有像素存储下来；具体表达式如下：
位置(Y,X)处的像素色彩值f(Y,X)用二进制串来编码，像素灰度范围为[0,255]，故需要8位量子比特列来表征图像像素的灰度信息；对于一幅2q灰度范围的2n×2n图像来说，量子图像模型NEQR共需要2n+q个量子位来保存图像信息。
9.根据权利要求8所述的面向人体动作识别方法，其特征在于：(4.4)步骤如下：
NEQR量子图像模型的特征提取算法流程，具体操作步骤如下：
步骤1：通过对量子图像进行若干量子图像循环平移操作获取平移后的量子图像，形成人体动作量子图像集合；
步骤2：选择计算像素灰度梯度的方法；为了获取图像中所有像素的一阶差分，一系列量子图像加减法需要针对量子图像集合中的元素进行操作；这个步骤中的具体操作依赖于具体选用的方法的不同；接着我们使用zero cross方法；在zero cross方法中，每个像素的四个子方向的梯度将被计算对于位置在(Y,X)的像素来说，梯度将根据其3×3邻域的信息来进行如下计算：
G1＝|2CYX-(CY+1X+CY-1X)|/2 (19)
G2＝|2CYX-(CY+1X+1+CY-1X-1)|/2 (20)
G3＝|2CYX-(CYX+1+CYX-1)|/2 (21)
G4＝|2CYX-(CY+1X-1+CY-1X+1)|/2 (22)
其中G1、G2、G3、G4是四个梯度值，CYX为位置在(Y,X)的灰度值，CY-1X+1是(Y-1,X+1)位置的色彩值，CYX+1是(Y,X+1)位置的色彩值，CY+1X+1是(Y+1,X+1)位置的色彩值，CY+1X是(Y+1,X)位置的色彩值，CY+1X-1是(Y+1,X-1)位置的色彩值，CYX-1是(Y,X-1)位置的色彩值，CY-1X-1是(Y-1,X-1)位置的色彩值，CY-1X是(Y-1,X)位置的色彩值；对于每个子方向来说，我们需要2次量子图像加法操作，1次量子图像减法操作来完成梯度的计算；
步骤3：基于设定的门限T对图像进行UT操作；首先选定一个合适的门限T；根据特征点的属性，提取的特征点的所有子方向的梯度都会大于门限值；在该过程中将使用一些辅助量子位用来保存每个子方向的梯度值与门限值的比较结果；利用zero cross完成该步骤；
步骤4：在完成步骤3后，整个量子系统中的有用的部分是位置量子序列和四个分类结果量子位|Ψ>的纠缠如下公式：
其中是Y轴和X轴张量积；接下来在该量子序列上进行Grover振幅扩大技术进行量子测量，当我们观测到|Z>＝|11…1>时，量子态将坍缩到一个量子叠加态中，最后从这个叠加态中提取特征点；通过量子算法对这些特征点进行提取，构建人体构架建立人体动作量子匹配库。
10.根据权利要求9所述的面向人体动作识别方法，其特征在于：第四步中：在运行若干时间的量子漫步之后，通过在采集的人体动作图像与匹配库的图之间构建近似的不精确的结点匹配，即刻画两个图之间的相似程度；若两个图完成正确匹配，则两个图是同构的；图同构问题是图形匹配问题的数学抽象，即判断给定的两幅图是否具有相同的拓扑结构；其严格的数学定义如下：对于给定的两幅图都是二元组G＝(V1,E1)和H＝(V2,E2)，V是图的所有节点的集合，E是所有节点连接关系，若二者同构则存在从图G节点到图H节点的映射f：V(G)→V(H)，使得对于G中任意节点u、v，若u和v在图G中相邻，则f(u)和f(v)在图H中也相邻；离散时间的量子漫步测量图中节点的距离；离散时间量子漫步的相消干涉效应用来检测图同构；k步离散时间量子漫步检测图的(k-2)阶同构邻域对；
假设整个图的初始状态是对称的，节点v可以被看作是连接节点u1和w1的辅助节点；每一步量子漫步后，u1和w1之间的干涉振幅的结果均为0，则u1和w1是同构的；根据图同构的算法将采集的人体动作图像与匹配库的图像进行相似性检测，最后识别出人体动作。
CN201910657503.9A 2019-07-19 2019-07-19 面向人体动作识别方法 Active CN110569711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910657503.9A CN110569711B (zh) 2019-07-19 2019-07-19 面向人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910657503.9A CN110569711B (zh) 2019-07-19 2019-07-19 面向人体动作识别方法

Publications (2)

Publication Number Publication Date
CN110569711A true CN110569711A (zh) 2019-12-13
CN110569711B CN110569711B (zh) 2022-07-15

Family

ID=68773190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910657503.9A Active CN110569711B (zh) 2019-07-19 2019-07-19 面向人体动作识别方法

Country Status (1)

Country Link
CN (1) CN110569711B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434723A (zh) * 2021-05-26 2021-09-24 中国电子技术标准化研究院 基于量子Grover算法的图像检索方法、装置和介质
CN116092199A (zh) * 2023-04-11 2023-05-09 山东易视智能科技有限公司 一种员工工作状态识别方法及识别系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310734A1 (en) * 2007-06-18 2008-12-18 The Regents Of The University Of California High speed video action recognition and localization
US20100111370A1 (en) * 2008-08-15 2010-05-06 Black Michael J Method and apparatus for estimating body shape
CN102592150A (zh) * 2012-01-16 2012-07-18 河南科技大学 基于模糊理论决策的双向二维主成分分析的步态识别方法
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
CN102955855A (zh) * 2012-10-30 2013-03-06 河南理工大学 基于量子算法的掌纹数据库搜索方法
CN104778710A (zh) * 2015-04-24 2015-07-15 大连理工大学 一种基于量子理论的形态学图像边缘检测方法
CN106599770A (zh) * 2016-10-20 2017-04-26 江苏清投视讯科技有限公司 一种基于体感动作识别及抠像的滑雪场景显示方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法
CN107423729A (zh) * 2017-09-20 2017-12-01 湖南师范大学 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法
CN107818304A (zh) * 2017-10-27 2018-03-20 佛山科学技术学院 一种智能安防系统身份识别方法
CN109140168A (zh) * 2018-09-25 2019-01-04 广州市讯码通讯科技有限公司 一种体感采集多媒体播放系统
WO2019062092A1 (zh) * 2017-09-30 2019-04-04 深圳市颐通科技有限公司 基于超像素-多色彩空间的人体轮廓提取方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310734A1 (en) * 2007-06-18 2008-12-18 The Regents Of The University Of California High speed video action recognition and localization
US20100111370A1 (en) * 2008-08-15 2010-05-06 Black Michael J Method and apparatus for estimating body shape
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
CN102592150A (zh) * 2012-01-16 2012-07-18 河南科技大学 基于模糊理论决策的双向二维主成分分析的步态识别方法
CN102955855A (zh) * 2012-10-30 2013-03-06 河南理工大学 基于量子算法的掌纹数据库搜索方法
CN104778710A (zh) * 2015-04-24 2015-07-15 大连理工大学 一种基于量子理论的形态学图像边缘检测方法
CN106599770A (zh) * 2016-10-20 2017-04-26 江苏清投视讯科技有限公司 一种基于体感动作识别及抠像的滑雪场景显示方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法
CN107423729A (zh) * 2017-09-20 2017-12-01 湖南师范大学 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法
WO2019062092A1 (zh) * 2017-09-30 2019-04-04 深圳市颐通科技有限公司 基于超像素-多色彩空间的人体轮廓提取方法
CN107818304A (zh) * 2017-10-27 2018-03-20 佛山科学技术学院 一种智能安防系统身份识别方法
CN109140168A (zh) * 2018-09-25 2019-01-04 广州市讯码通讯科技有限公司 一种体感采集多媒体播放系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PING FAN等: "Quantum image edge extraction based on Laplacian operator and zero-cross method", 《QUANTUM INFORMATION PROCESSING》 *
安星星: "量子聚类分析和量子图像识别", 《中国硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434723A (zh) * 2021-05-26 2021-09-24 中国电子技术标准化研究院 基于量子Grover算法的图像检索方法、装置和介质
CN113434723B (zh) * 2021-05-26 2023-10-10 中国电子技术标准化研究院 基于量子Grover算法的图像检索方法、装置和介质
CN116092199A (zh) * 2023-04-11 2023-05-09 山东易视智能科技有限公司 一种员工工作状态识别方法及识别系统

Also Published As

Publication number Publication date
CN110569711B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
US20210342586A1 (en) Systems and methods for extracting and vectorizing features of satellite imagery
Mou et al. IM2HEIGHT: Height estimation from single monocular imagery via fully residual convolutional-deconvolutional network
Hou et al. Change detection based on deep features and low rank
Hu et al. Efficient coarse-to-fine patchmatch for large displacement optical flow
Zhong et al. A multiple conditional random fields ensemble model for urban area detection in remote sensing optical images
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN109902565B (zh) 多特征融合的人体行为识别方法
JP2006524394A (ja) 画像における人体輪郭描写
CN111340881B (zh) 一种动态场景下基于语义分割的直接法视觉定位方法
CN104123554B (zh) 基于mmtd的sift图像特征提取方法
Havasi et al. Detection of gait characteristics for scene registration in video surveillance system
CN108764244B (zh) 基于卷积神经网络和条件随机场的潜在目标区域检测方法
CN110414571A (zh) 一种基于特征融合的网站报错截图分类方法
CN109101981A (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
CN107766864A (zh) 提取特征的方法和装置、物体识别的方法和装置
CN112396036B (zh) 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN110569711B (zh) 面向人体动作识别方法
CN114419732A (zh) 基于注意力机制优化的HRNet人体姿态识别方法
Diaz et al. Detecting dynamic objects with multi-view background subtraction
Basavaiah et al. Robust Feature Extraction and Classification Based Automated Human Action Recognition System for Multiple Datasets.
CN111160255B (zh) 一种基于三维卷积网络的捕鱼行为识别方法及系统
Pham Efficient texture retrieval using multiscale local extrema descriptors and covariance embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant