CN107729823B - 一种基于e-soinn网络的在线人机交互方法 - Google Patents

一种基于e-soinn网络的在线人机交互方法 Download PDF

Info

Publication number
CN107729823B
CN107729823B CN201710894420.2A CN201710894420A CN107729823B CN 107729823 B CN107729823 B CN 107729823B CN 201710894420 A CN201710894420 A CN 201710894420A CN 107729823 B CN107729823 B CN 107729823B
Authority
CN
China
Prior art keywords
image
gesture
soinn
network
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710894420.2A
Other languages
English (en)
Other versions
CN107729823A (zh
Inventor
杨滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201710894420.2A priority Critical patent/CN107729823B/zh
Publication of CN107729823A publication Critical patent/CN107729823A/zh
Application granted granted Critical
Publication of CN107729823B publication Critical patent/CN107729823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于E‑SOINN网络的在线人机交互方法，包括采集手势动作视频，通过帧间差分法获得手势轮廓图像，进行E‑SOINN自组织增量神经网络学习等训练神经网络的步骤；和手机采集手势视频，获得手势轮廓图像和通过网络实现手势识别的手势判断的步骤。本发明是主要针对廉价移动终端开发交互手势识别方法。基于帧间差分法和E‑SOINN自组织增量神经网络，客户端采集手势视频，通过网络就可以实现手势识别。实现低性能的移动终端手势识别过程。

Description

一种基于E-SOINN网络的在线人机交互方法
技术领域
本发明属于人机交互技术领域，特别是涉及一种基于E-SOINN网络的在线人机交互方法。
背景技术
人机交互的发展过程就是从人适应计算机到计算机逐步适应人的过程,人机交互的发展经历了早期的手工操作阶段、作业控制语言及交互命令语言阶段、图形用户界面(GUI)阶段、网络用户界面阶段、多通道与多媒体智能人机交互阶段。手作为身体上最灵活的部位，是最早用来进行人与人之间肢体交流的工具。动态手势识别是人机交互领域中的重要研究课题，具有重要的理论研究意义以及广泛的应用前景。
国外对基于视觉的动态手势识别技术的研究起步比较早，在该领域的研究中有着丰富的经验，并取得了一定的研究成果。M.Elmezain等人通过融合Camshift算法和Kalman滤波算法来提高动态手势跟踪的效果，然后对相应的动态手势轨迹特征进行提取，最后通过HMM算法识别数字0～9的轨迹，识别率达到95.87％。M.Al-Rousan和K.Assaleh对动态手势识别做了深入研究，他们首先从视频中分割出手部，然后采用HMM模型对阿拉伯手语进行识别，最终该手势识别系统的在线识别率达到90.6％。R.Shrivastava利用Hu矩和手势轨迹方向角作为特征进行提取，然后使用HMM算法进行手势轨迹的识别，提高了识别速度，并且平均识别率达到了90％以上。R L.Vieriu等人利用HMM算法对手势轮廓的序列点进行判断分类，实现了9个不同角度手势的识别。华南理工大学的常亚南在经典HMM算法的基础上，提出了一种基于HMM的阈值模型的动态手势识别方法，最终完成了动态手势轨迹的识别，并且对典型动态手势轨迹的识别率达到97.87％。国内大连理工大学的杨青通过定位手势指尖的方法提取轨迹特征，最终利用HMM算法实现26个英文字母的动态手势轨迹的识别，其识别率可达85％以上。电子科技大学的杜晓川提出了一种基于外接椭圆中心距离的跟踪算法，并通过HMM算法进行轨迹的识别，平均识别率达到87％。中科院自动化研究所的单彩峰等人开发出了基于动态手势识别的智能轮椅控制系统，通过改进的粒子滤波算法实现对动态手势的实时跟踪，并在提取动态手势轨迹特征后，利用训练好的手势轨迹模型对待识别手势轨迹进行识别，最后将识别结果转化为控制轮椅的指令，从而实现对轮椅的运动控制。近年来，随着人工智能、模式识别、机器学习技术的快速发展。越来越多手势识别方法应用了人工神经网络和SVM等技术。马风力提出了一种基于MLP神经网络的手势识别方法。
从上述介绍可以知道，基于手势识别的人机交互方法已经吸引了国内外众多学者的兴趣并取得了比较丰富的成果，但是已有的基于机器学习的算法在效率及通用性等方面仍存在许多亟待解决的问题。本发明主要针对廉价移动终端开发交互手势识别方法。由于在性能较低的移动终端较难实现大规模神经网络运算，因此现有的在线手势识别方法一般都无法使用机器学习技术，因此难以高效准确的处理交互手势的识别和判断。而非在线技术则由于设备性能的限制，难以使用在轻量化设备中。
发明内容
本发明目的在于针对现有基于机器学习的手势交互方法对于性能较低的移动终端较难实现大规模神经网络运算的缺陷，提供一种基于E-SOINN网络的在线人机交互方法。
本发明为实现上述目的，采用如下技术方案：
一种基于E-SOINN网络的在线人机交互方法，其特征在于包括下述步骤：
(1)训练神经网络：
1.1从视频库中获取一段手势动作帧序列，假设总帧数为n；
1.2从帧序列提取第i帧，第i+1帧，第i+2帧图像，记为：Ii,Ii+1,Ii+2，i的初始值为1；
1.3将图像Ii分解为RGB三通道，根据图像Ii的R G B三个分量中各自的平均值确定出图像Ii的平均灰度值，然后调整图像Ii每个像素的R G B值，使得调整后图像Ii的R GB三个分量中各自的平均值都趋于平均灰度值；
1.4对图像的红色通道进行如下处理：
1.4.1假设IRi，IRi+1，IRi+2分别对应图像Ii，Ii+1，Ii+2的红色通道图像，记其像素点(x，y)的亮度值记分别为IRi(x,y)、IRi+1(x,y)和IRi+2(x,y)，按照以下公式分别得到像素点(x，y)的差分图像DRi(x,y)和DRi+1(x,y)；
DRi(x,y)＝|IRi(x,y)-IRi+1(x,y)|
DRi+1(x,y)＝|IRi+1(x,y)-IRi+2(x,y)|
1.4.2对差分图像DRi(x,y)和DRi+1(x,y)按照以下公式进行与操作，得到像素点(x，y)的图像DRi'(x,y)；
Figure BDA0001421868610000021
Figure BDA0001421868610000031
DRi′(x,y)＝BRi(x,y)∩BRi+1(x,y)
其中∩是“与”运算，T是一个阈值；
1.5按照步骤1.4分别对绿蓝通道进行相同的处理；得到像素点(x，y)的图像DGi'(x,y)和图像DBi'(x,y)；
1.6根据像素点(x，y)的图像DRi(x,y)、图像DGi'(x,y)和图像DBi'(x,y)得到整个图像DRi'、DGi'、DBi'，对得到的三个图像DRi'、DGi'、DBi'进行以下公式运算，得到图像Di'：
Di′＝DRi∩DGi∩DBi
其中∩是“与”运算；
1.7根据人体肤色灰度值数据Gskin，标记出图像Di'中的手轮廓Aj；通过数学形态学方法填充图像Di'中的手轮廓；Gskin值通过100张照片数据求平均值得出；
1.8轮廓外区域设置颜色值为0，轮廓内区域设置颜色值为INT(256*i/n)，得到图像Si；
1.9如果第i帧是倒数第二帧，则执行步骤1.10，否则，则i＝i+1，跳转到步骤1.3；
1.10把图像Si输入到E-SOINN自组织增量神经网络中进行训练，输入下个视频，跳转到步骤1.1；
1.11对训练库里的所有视频执行步骤1.1-1.10后，得到训练好的神经网络；
(2)手势判断：
2.1在客户端，通过摄像头拍摄获取到一段手势动作帧序列，假设总帧数为n；
2.2执行训练神经网络步骤中的1.2-1.9步骤，得到图像S；
2.3把图像S通过互联网发送至服务器端，保存在服务器端存储器中；
2.4服务器端在接收到图像S后，输入到训练好的E-SOINN自组织增量神经网络中，判断出输入的手势动作属于什么类型手势；
2.5把结果输出，发送至客户端,进行相应手势操作。
其进一步特征在于：在步骤1.1和步骤1.2之间对图像Ii进项中值滤波去噪操作，提高鲁棒性。
优选的：所述步骤1.4.2中红色通道T的阈值设置为20，绿色通道T的阈值设置为8，蓝色通道T的阈值设置为13。
步骤2.3中，当服务器空闲时，同时保存的图像数量大于阈值N后，使用新的数据调整神经网络；所述N的阈值设置为100。
本发明是主要针对廉价移动终端开发交互手势识别方法。基于帧间差分法和E-SOINN自组织增量神经网络，客户端采集手势视频，通过网络就可以实现手势识别。实现低性能的移动终端手势识别过程。
附图说明
图1为本发明方法流程示意图。
具体实施方式
如图1所示一种基于E-SOINN网络的在线人机交互方法，主要分为训练神经网络和手势交互识别两个步骤。
一、训练神经网络的步骤如下：
1.从视频库中获取一段手势动作帧序列，假设总帧数为n。
2.对帧序列内的所有图像进项中值滤波去噪，提高鲁棒性。
3.从帧序列提取第i帧，第i+1帧，第i+2帧图像，记为：Ii，Ii+1，Ii+2(i的初始值为1)。
4.假设图像是RGB三通道图像，根据图像Ii的R G B三个分量中各自的平均值确定出图像Ii的平均灰度值，然后调整图像Ii每个像素的R G B值，使得调整后图像Ii的R G B三个分量中各自的平均值都趋于平均灰度值。
5.分别对其三个通道执行以下操作(以下以红色通道为例，其余通道操作类似)：
a)假设IRi，IRi+1，IRi+2分别对应图像Ii，Ii+1，Ii+2的红色通道图像，记其像素点(x,y)的亮度值记分别为IRi(x,y)、IRi+1(x,y)和IRi+2(x,y)，按照以下公式分别得到素点(x,y)的差分图像DRi(x,y)和DRi+1(x,y)；
DRi(x,y)＝|IRi(x,y)-IRi+1(x,y)|
DRi+1(x,y)＝|IRi+1(x,y)-IRi+2(x,y)|
b)对差分图像DRi(x,y)和DRi+1(x,y)按照以下公式进行与操作，得到图像DRi'(x,y)；
Figure BDA0001421868610000041
Figure BDA0001421868610000042
DRi′(x,y)＝BRi(x,y)∩BRi+1(x,y)
其中∩是“与”运算，T是一个阈值，由于人体皮肤在红色通道中与背景差异最大，因此T的值设为20即可。
6.对绿和蓝通道也分别执行步骤5的操作，其中的阈值T分别设为8和13；得到图像DGi'(x,y)和图像DBi'(x,y)
7.根据像素点(x，y)的图像DRi(x,y)、图像DGi'(x,y)和图像DBi'(x,y)得到整个图像DRi'、DGi'、DBi'，对得到的三个图像DRi'、DGi'、DBi'进行以下公式运算，得到图像Di'：
Di′＝DRi∩DGi∩DBi
其中∩是“与”运算。
8.根据人体肤色灰度值数据Gskin(该值通过100张照片数据求平均值得出)，标记出图像Di'中的手轮廓Aj；通过数学形态学方法填充图像Di'中的手轮廓。
9.轮廓外区域设置颜色值为0，轮廓内区域设置颜色值为INT(256*i/n)，得到图像Si。
10.如果第i帧是倒数第二帧，则执行步骤11，否则，则i＝i+1，跳转到步骤3。
11.把图像Si输入到E-SOINN自组织增量神经网络中进行训练，输入下个视频，跳转到步骤1。
12.对训练库里的所有视频执行步骤1-11后，得到训练好的神经网络。
二、手势判断的步骤如下：
1.在客户端，通过摄像头拍摄获取到一段手势动作帧序列，假设总帧数为n。
2.执行训练步骤一中的2-10小步骤，得到图像S。
3.把图像S通过互联网发送至服务器端。
4.服务器端在接收到图像S后，输入到训练好的E-SOINN自组织增量神经网络中，判断出输入的手势动作属性什么类型手势。
5.把图像S保存在服务器端存储器中，当服务器空闲时，同时保存的图像数量大于阈值N后(N＝100)，使用新的数据调整神经网络。
6.把结果输出，发送至客户端,进行相应手势操作。

Claims (5)

1.一种基于E-SOINN网络的在线人机交互方法，其特征在于包括下述步骤：
(1)训练神经网络：
1.1 从视频库中获取一段手势动作帧序列，假设总帧数为n；
1.2 从帧序列提取第i帧，第i+1帧，第i+2帧图像，记为：Ii，Ii+1，Ii+2，i的初始值为1；
1.3 将图像Ii分解为RGB三通道，根据图像Ii的R G B三个分量中各自的平均值确定出图像Ii的平均灰度值，然后调整图像Ii每个像素的R G B值，使得调整后图像Ii的R G B三个分量中各自的平均值都趋于平均灰度值；
1.4 对图像的红色通道进行如下处理：
1.4.1 假设IRi，IRi+1，IRi+2分别对应图像Ii，Ii+1，Ii+2的红色通道图像，记其像素点(x，y)的亮度值记分别为IRi(x，y)、IRi+1(x，y)和IRi+2(x，y)，按照以下公式分别得到像素点(x，y)的差分图像DRi(x，y)和DRi+1(x，y)；
DRi(x，y)＝|IRi(x，y)-IRi+1(x，y)|
DRi+1(x，y)＝|IRi+1(x，y)-IRi+2(x，y)|
1.4.2 对差分图像DRi(x，y)和DRi+1(x，y)按照以下公式进行与操作，得到像素点(x，y)的图像DRi′(x，y)；
Figure FDA0002246128000000011
Figure FDA0002246128000000012
DRi′(x，y)＝BRi(x，y)∩BRi+1(x，y)
其中∩是“与”运算，T是一个阈值；
1.5 按照步骤1.4分别对绿蓝通道进行相同的处理；得到像素点(x，y)的图像DGi′(x，y)和图像DBi′(x，y)；
1.6 根据像素点(x，y)的图像DRi′(x，y)、图像DGi′(x，y)和图像DBi′(x，y)得到整个图像DRi′、DGi′、DBi′，对得到的三个图像DRi′、DGi′、DBi′进行以下公式运算，得到图像Di′：
D′i＝DR′i∩DG′i∩DB′i
其中∩是“与”运算；
1.7 根据人体肤色灰度值数据Gskin，标记出图像Di′中的手轮廓Aj；通过数学形态学方法填充图像Di′中的手轮廓；Gskin值通过100张照片数据求平均值得出；
1.8 轮廓外区域设置颜色值为0，轮廓内区域设置颜色值为INT(256*i/n)，得到图像Si；
1.9 如果第i帧是倒数第二帧，则执行步骤1.10，否则，则i＝i+1，跳转到步骤1.3；
1.10 把图像Si输入到E-SOINN自组织增量神经网络中进行训练，输入下个视频，跳转到步骤1.1；
1.11 对训练库里的所有视频执行步骤1.1-1.10后，得到训练好的神经网络；
(2)手势判断：
2.1 在客户端，通过摄像头拍摄获取到一段手势动作帧序列，假设总帧数为n；
2.2 执行训练神经网络步骤中的1.2-1.9步骤，得到图像S；
2.3 把图像S通过互联网发送至服务器端，保存在服务器端存储器中；
2.4 服务器端在接收到图像S后，输入到训练好的E-SOINN自组织增量神经网络中，判断出输入的手势动作属于什么类型手势；
2.5 把结果输出，发送至客户端,进行相应手势操作。
2.根据权利要求1所述的基于E-SOINN网络的在线人机交互方法，其特征在于：在步骤1.1和步骤1.2之间对图像Ii进项中值滤波去噪操作，提高鲁棒性。
3.根据权利要求1所述的基于E-SOINN网络的在线人机交互方法，其特征在于：所述步骤1.4.2中红色通道T的阈值设置为20，绿色通道T的阈值设置为8，蓝色通道T的阈值设置为13。
4.根据权利要求1-3任一项所述的基于E-SOINN网络的在线人机交互方法，其特征在于：步骤2.3中，当服务器空闲时，同时保存的图像数量大于阈值N后，使用新的数据调整神经网络。
5.根据权利要求4所述的基于E-SOINN网络的在线人机交互方法，其特征在于：所述N的阈值设置为100。
CN201710894420.2A 2017-09-28 2017-09-28 一种基于e-soinn网络的在线人机交互方法 Active CN107729823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710894420.2A CN107729823B (zh) 2017-09-28 2017-09-28 一种基于e-soinn网络的在线人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710894420.2A CN107729823B (zh) 2017-09-28 2017-09-28 一种基于e-soinn网络的在线人机交互方法

Publications (2)

Publication Number Publication Date
CN107729823A CN107729823A (zh) 2018-02-23
CN107729823B true CN107729823B (zh) 2020-03-17

Family

ID=61207126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710894420.2A Active CN107729823B (zh) 2017-09-28 2017-09-28 一种基于e-soinn网络的在线人机交互方法

Country Status (1)

Country Link
CN (1) CN107729823B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191421A (zh) * 2021-04-25 2021-07-30 东北大学 一种基于Faster-RCNN的手势识别系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129674A (zh) * 2010-12-17 2011-07-20 北京优纳科技有限公司 一种自适应彩色图像颜色平衡校正方法
CN104167006A (zh) * 2014-07-10 2014-11-26 华南理工大学 一种任意手形的手势跟踪方法
CN104298354A (zh) * 2014-10-11 2015-01-21 河海大学 一种人机交互的手势识别方法
CN106372564A (zh) * 2015-07-23 2017-02-01 株式会社理光 手势识别方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146318B2 (en) * 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
US10168785B2 (en) * 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129674A (zh) * 2010-12-17 2011-07-20 北京优纳科技有限公司 一种自适应彩色图像颜色平衡校正方法
CN104167006A (zh) * 2014-07-10 2014-11-26 华南理工大学 一种任意手形的手势跟踪方法
CN104298354A (zh) * 2014-10-11 2015-01-21 河海大学 一种人机交互的手势识别方法
CN106372564A (zh) * 2015-07-23 2017-02-01 株式会社理光 手势识别方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Anenhanced self-organizing incremental neural network for online unsupervised learning;Shen F.等;《ScienceDirect》;20070712;第893-903页 *
基于二值化卷积神经网络的手势分类方法研究;胡俊飞 等;《湖南工业大学学报》;20170131;第31卷(第1期);第75-80页 *
基于手势识别的机器人控制系统;师哲 等;《计算机系统应用》;20151231;第24卷(第2期);第266-269页 *

Also Published As

Publication number Publication date
CN107729823A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
Bheda et al. Using deep convolutional networks for gesture recognition in american sign language
WO2019174439A1 (zh) 图像识别方法、装置、终端和存储介质
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN103593680B (zh) 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN105354791B (zh) 一种改进的自适应混合高斯前景检测方法
CN110738161A (zh) 一种基于改进生成式对抗网络的人脸图像矫正方法
WO2016070688A1 (zh) 虚拟操作界面遥控控制方法及系统
CN107480640A (zh) 一种基于二值卷积神经网络的人脸对齐方法
CN111027465A (zh) 一种基于光照迁移的视频人脸替换方法
CN110472566B (zh) 一种高精度的模糊人脸识别方法
CN111274921A (zh) 一种利用姿态掩模进行人体行为识别的方法
CN105718885B (zh) 一种人脸特征点跟踪方法
CN116958771A (zh) 一种计算机视觉识别系统及方法
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
WO2022127494A1 (zh) 位姿识别模型训练方法、装置、位姿识别方法和终端设备
CN106060653A (zh) 一种对互联网视频直播中的不雅动作过滤的方法
CN112487981A (zh) 基于双路分割的ma-yolo动态手势快速识别方法
CN111291669A (zh) 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法
Burande et al. Notice of Violation of IEEE Publication Principles: Advanced recognition techniques for human computer interaction
CN110866962B (zh) 一种基于卷积神经网络的虚拟人像与表情同步方法
CN107885324B (zh) 一种基于卷积神经网络的人机交互方法
CN107729823B (zh) 一种基于e-soinn网络的在线人机交互方法
CN110008876A (zh) 一种基于数据增强与特征融合的人脸验证方法
CN112200008A (zh) 一种社区监控场景下人脸属性识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant