CN106295479A - 基于体感技术动作识别编辑系统 - Google Patents

基于体感技术动作识别编辑系统 Download PDF

Info

Publication number
CN106295479A
CN106295479A CN201510307292.8A CN201510307292A CN106295479A CN 106295479 A CN106295479 A CN 106295479A CN 201510307292 A CN201510307292 A CN 201510307292A CN 106295479 A CN106295479 A CN 106295479A
Authority
CN
China
Prior art keywords
action
action message
described action
message
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510307292.8A
Other languages
English (en)
Inventor
胡雪桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI THEATRE ACADEMY CHINA
Original Assignee
SHANGHAI THEATRE ACADEMY CHINA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI THEATRE ACADEMY CHINA filed Critical SHANGHAI THEATRE ACADEMY CHINA
Priority to CN201510307292.8A priority Critical patent/CN106295479A/zh
Publication of CN106295479A publication Critical patent/CN106295479A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供的基于体感技术动作识别编辑系统，具有这样的特征，包括：若干个动作采集单元；动作识别单元，与动作采集单元相连接，其中，动作采集单元，具有：动作采集模块，采集动作信息；以及动作信息传输模块，与动作采集模块相连接，将动作信息传输到动作识别单元，动作识别单元具有：动作信息存储模块，存储采集到的动作信息；动作信息对比模块，将实时采集到的动作信息与动作信息存储模块中存储的动作信息进行对比；以及动作识别控制模块，与动作信息存储模块、动作信息对比模块分别相连接。

Description

基于体感技术动作识别编辑系统
技术领域
本发明涉及一种动作识别系统，特别涉及一种基于体感技术动作识别编辑系统。
背景技术
体感技术，在于人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互动。依照体感方式与原理的不同，主要可分为三大类：惯性感测、光学感测以及惯性及光学联合感测。
惯性感测，主要是以惯性传感器为主，例如用重力传感器，陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数，分别为加速度、角速度以及磁场，再根据此些物理参数来求得使用者在空间中的各种动作。
光学感测，主要代表厂商为Sony及Microsoft。早在2005年以前，Sony便推出了光学感应套件——EyeToy，主要是通过光学传感器获取人体影像，再将此人体影像的肢体动作与游戏中的内容互动，主要是以2D平面为主，而内容也多属较为简易类型的互动游戏。直到2010年，Microsoft发表了跨世代的全新体感感应套件——Kinect，号称无需使用任何体感手柄，便可达到体感的效果，而比起EyeToy更为进步的是，Kinect同时使用激光及摄像头(RGB)来获取人体影像信息，可捕捉人体3D全身影像，具有比起EyeToy更为进步的深度信息，而且不受任何灯光环境限制。
联合感测，主要代表厂商为Nintendo及Sony。2006年所推出的Wii，主要是在手柄上放置一个重力传感器，用来侦测手部三轴向的加速度，以及一红外线传感器，用来感应在电视屏幕前方的红外线发射器讯号，主要可用来侦测手部在垂直及水平方向的位移，来操控一空间鼠标。这样的配置往往只能侦测一些较为简单的动作，因此Nintendo在2009年推出了Wii手柄的加强版——Wii Motion Plus，主要为在原有的Wii手柄上再插入一个三轴陀螺仪，如此一来便可更精确地侦测人体手腕旋转等动作，强化了在体感方面的体验。至于在2005年推出EyeToy的Sony，也不甘示弱地在2010年推出游戏手柄Move，主要配置包含一个手柄及一个摄像头，手柄包含重力传感器、陀螺仪以及磁传感器，摄像头用于捕捉人体影像，结合这两种传感器，便可侦测人体手部在空间中的移动及转动。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种识别度高，反应速度快，系统结构简单的基于体感技术动作识别编辑系统。
本发明提供的基于体感技术动作识别编辑系统，具有这样的特征，包括：若干个动作采集单元；动作识别单元，与动作采集单元相连接，其中，动作采集单元，具有：动作采集模块，采集动作信息；以及动作信息传输模块，与动作采集模块相连接，将动作信息传输到动作识别单元，动作识别单元，具有：动作信息存储模块，存储采集到的动作信息；动作信息对比模块，将实时采集到的动作信息与动作信息存储模块中存储的动作信息进行对比；以及动作识别控制模块，与动作信息存储模块、动作信息对比模块分别相连接，动作识别控制模块将接收到的动作信息通过动作信息对比模块与动作信息存储模块中存储的动作信息进行对比，当判断实时采集到的动作信息与存储的动作信息相同时，运行与动作信息相对应的程序步骤；当判断实时采集到的动作信息与存储的动作信息不相同时，重新采集动作信息进行下一轮对比。
本发明提供的基于体感技术动作识别编辑系统，还具有这样的特征：其中，动作识别单元，还具有：动作信息训练模块，与动作识别控制模块相连接，对采集到的动作信息进行训练，动作信息训练模块将动作采集模块采集到的动作信息进行训练，并将训练结果存储在动作信息存储模块中用于动作信息对比模块进行对比。
本发明提供的基于体感技术动作识别编辑系统，还具有这样的特征：动作采集单元与动作识别单元通过无线网络连接。
本发明提供的基于体感技术动作识别编辑系统，还具有这样的特征：其中，动作采集模块采用Kinect传感器。
本发明提供的基于体感技术动作识别编辑系统，还具有这样的特征：其中，动作信息为肢体动作和手势动作。
本发明提供的基于体感技术动作识别编辑系统，还具有这样的特征：其中，动作采集单元数量为四个。
本发明提供的基于体感技术动作识别编辑系统，还具有这样的特征：其中，训练，具有：步骤S1，创建新动作信息包，进入步骤S2；步骤S2，创建全手势，已经添加过序列的动作信息包直接进入步骤S5，为添加序列的动作信息包进入步骤S3；步骤S3，为动作信息包添加序列，进入步骤S4；步骤S4，标记序列，返回步骤S2；步骤S5，指定动作信息包的规则和设置，进入步骤S6；步骤S6，建立手势数据库，进入步骤S7；步骤S7，对手势数据库进行分析和测试，测试通过，进入步骤S9，测试不通过，进入步骤S8；步骤S8，对手势数据库进行细化，返回步骤S7，再次进行分析和测试，直至测试通过；以及步骤S9，公开测试通过的手势数据库。
发明作用和效果
根据本发明所涉及基于体感技术动作识别编辑系统，通过全身骨骼的实时跟踪了保证动作手势识别的精准度，每个用户能够提取不少于二十个关节的三维空间数据(旋转和平移数据)，识别距离应该在0.5-3.5米之间，多用户跟踪识别，具有自动生成遮罩的功能使得在多用户的环境中，系统应该具有指定用户的剔除功能，多个用户参与时不会相互干扰，支持肢体运动识别或手势识别能够达到一下效果：观众的走位或者头部的转动更多的是幅度较大动作，而当观众站立不动，可以通过手掌或手指的动作，也就是我们说的手势，进行交互控制，可视化的高效的动作手势训练工具，实现快速录入预先动作的功能，整个系统识别度高，反应速度快，系统结构简单的基于体感技术动作识别编辑系统。
附图说明
图1是本发明在实施例中的基于体感技术动作识别编辑系统的系统框图；
图2是本发明在实施例中的动作信息训练的流程图；
图3是本发明在实施例中的存储的动作信息的示意图；以及
图4是本发明在实施例中的采集时的动作信息的示意图。
具体实施方式
以下参照附图及实施例对本发明所涉及的基于体感技术动作识别编辑系统作详细的描述。
实施例
图1是本发明在实施例中的基于体感技术动作识别编辑系统的系统框图。
图3是本发明在实施例中的存储的动作信息的示意图。
图4是本发明在实施例中的采集时的动作信息的示意图。
如图1、图3和图4所示，基于体感技术动作识别编辑系统具有：动作采集单元1和动作识别单元2。
动作采集单元1与动作识别单元2通过无线网络连接。
动作采集单元1数量为四个，分别具有：动作采集模块1-1和动作信息传输模块1-2。
动作采集模块1-1采用Kinect传感器采集人体的动作信息。动作信息包含肢体动作和手势动作。
动作信息传输模块1-2将动作采集模块1-1采集到的动作信息传输给动作识别单元2。
动作识别单元2，具有：动作信息训练模块2-1、动作信息存储模块2-2、动作信息对比模块2-3和动作识别控制模块2-4。
动作识别控制模块2-4与动作信息训练模块2-1、动作信息存储模块2-2、动作信息对比模块2-3分别相连接，控制动作信息训练模块2-1、动作信息存储模块2-2、动作信息对比模块2-3运作。
动作信息训练模块2-1对动作信息进行训练。动作信息训练模块2-1将动作采集模块1-1采集到的动作信息进行训练，并将训练结果存储在动作信息存储模块2-2中用于动作信息对比模块2-3进行对比。
动作信息存储模块2-2用于存储采集到的动作信息。
动作信息对比模块2-3将实时采集到的动作信息与动作信息存储模块中存储的动作信息进行对比。
动作识别控制模块2-4将接收到的动作信息通过动作信息对比模块2-3与动作信息存储模块2-2中存储的动作信息进行对比。当判断实时采集到的动作信息与存储的动作信息相同时，运行与动作信息相对应的程序步骤。当判断实时采集到的动作信息与存储的动作信息不相同时，重新采集动作信息进行下一轮对比。
图2是本发明在实施例中的动作信息训练的流程图。
如图2所示，动作信息训练步骤如下：
步骤S1创建新动作信息包，进入步骤S2。
步骤S2创建全手势。已经添加过序列的动作信息包直接进入步骤S5，为添加序列的动作信息包进入步骤S3。
步骤S3为动作信息包添加序列，进入步骤S4。
步骤S4标记序列，返回步骤S2。
步骤S5指定动作信息包规则和设置，进入步骤S6。
步骤S6建立手势数据库，进入步骤S7。
步骤S7对手势数据库进行分析和测试。测试通过，进入步骤S9。测试不通过，进入步骤S8。
步骤S8对手势数据库进行细化，返回步骤S7，再次进行分析和测试，直至测试通过。
步骤S9公开测试通过的手势数据库。
整个交互环境中，存在多个观众同时参与交互控制，多个体感硬件设备并行联网操作，数据共享与数据插值是必要的。
实施例的作用与效果
根据本实施例所涉及基于体感技术动作识别编辑系统，通过全身骨骼的实时跟踪了保证动作手势识别的精准度，每个用户能够提取不少于二十个关节的三维空间数据(旋转和平移数据)，识别距离应该在0.5-3.5米之间，多用户跟踪识别，具有自动生成遮罩的功能使得在多用户的环境中，系统应该具有指定用户的剔除功能，多个用户参与时不会相互干扰，支持肢体运动识别或手势识别能够达到一下效果：观众的走位或者头部的转动更多的是幅度较大动作，而当观众站立不动，可以通过手掌或手指的动作，也就是我们说的手势，进行交互控制，可视化的高效的动作手势训练工具，实现快速录入预先动作的功能，整个系统识别度高，反应速度快，系统结构简单的基于体感技术动作识别编辑系统。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (7)

1.一种基于体感技术动作识别编辑系统，其特征在于，包括：
若干个动作采集单元；
动作识别单元，与所述动作采集单元相连接，
其中，所述动作采集单元，具有：
动作采集模块，采集动作信息；以及
动作信息传输模块，与所述动作采集模块相连接，将所述动作信息传输到所述动作识别单元，
所述动作识别单元，具有：
动作信息存储模块，存储采集到的所述动作信息；
动作信息对比模块，将实时采集到的所述动作信息与所述动作信息存储模块中存储的所述动作信息进行对比；以及
动作识别控制模块，与所述动作信息存储模块、所述动作信息对比模块分别相连接，
所述动作识别控制模块将接收到的所述动作信息通过动作信息对比模块与所述动作信息存储模块中存储的所述动作信息进行对比，
当判断实时采集到的所述动作信息与存储的所述动作信息相同时，运行与所述动作信息相对应的程序步骤；当判断实时采集到的所述动作信息与存储的所述动作信息不相同时，重新采集所述动作信息进行下一轮对比。
2.根据权利要求1所述的基于体感技术动作识别编辑系统，其特征在于：
其中，所述动作识别单元，还具有：
动作信息训练模块，与所述动作识别控制模块相连接，对采集到的所述动作信息进行训练，
所述动作信息训练模块将所述动作采集模块采集到的所述动作信息进行训练，并将训练结果存储在所述动作信息存储模块中用于动作信息对比模块进行对比。
3.根据权利要求1所述的基于体感技术动作识别编辑系统，其特征在于：
所述动作采集单元与所述动作识别单元通过无线网络连接。
4.根据权利要求1所述的基于体感技术动作识别编辑系统，其特征在于：
其中，所述动作采集模块采用Kinect传感器。
5.根据权利要求1所述的基于体感技术动作识别编辑系统，其特征在于：
其中，所述动作信息为肢体动作和手势动作。
6.根据权利要求1所述的基于体感技术动作识别编辑系统，其特征在于：
其中，所述动作采集单元数量为四个。
7.根据权利要求1所述的基于体感技术动作识别编辑系统，其特征在于：
其中，所述训练，具有：
步骤S1，创建新动作信息包，进入步骤S2；
步骤S2，创建全手势，已经添加过序列的所述动作信息包直接进入步骤S5，为添加所述序列的所述动作信息包进入步骤S3；
步骤S3，为所述动作信息包添加所述序列，进入步骤S4；
步骤S4，标记所述序列，返回步骤S2；
步骤S5，指定所述动作信息包的规则和设置，进入步骤S6；
步骤S6，建立手势数据库，进入步骤S7；
步骤S7，对所述手势数据库进行分析和测试，测试通过，进入步骤S9，测试不通过，进入步骤S8；
步骤S8，对所述手势数据库进行细化，返回步骤S7，再次进行分析和测试，直至测试通过；以及
步骤S9，公开测试通过的所述手势数据库。
CN201510307292.8A 2015-06-05 2015-06-05 基于体感技术动作识别编辑系统 Pending CN106295479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510307292.8A CN106295479A (zh) 2015-06-05 2015-06-05 基于体感技术动作识别编辑系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510307292.8A CN106295479A (zh) 2015-06-05 2015-06-05 基于体感技术动作识别编辑系统

Publications (1)

Publication Number Publication Date
CN106295479A true CN106295479A (zh) 2017-01-04

Family

ID=57659532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510307292.8A Pending CN106295479A (zh) 2015-06-05 2015-06-05 基于体感技术动作识别编辑系统

Country Status (1)

Country Link
CN (1) CN106295479A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783652A (zh) * 2017-10-17 2018-03-09 广州杰赛科技股份有限公司 虚拟现实的实现方法、系统和装置
CN108536297A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 用于多人的人机交互应用程序的实现方法和装置
CN110244847A (zh) * 2019-06-14 2019-09-17 恒信东方文化股份有限公司 一种三维手势识别体感器控制方法、装置及系统
CN111007806A (zh) * 2018-10-08 2020-04-14 珠海格力电器股份有限公司 智能家居的控制方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783652A (zh) * 2017-10-17 2018-03-09 广州杰赛科技股份有限公司 虚拟现实的实现方法、系统和装置
CN107783652B (zh) * 2017-10-17 2020-11-13 广州杰赛科技股份有限公司 虚拟现实的实现方法、系统和装置
CN108536297A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 用于多人的人机交互应用程序的实现方法和装置
CN111007806A (zh) * 2018-10-08 2020-04-14 珠海格力电器股份有限公司 智能家居的控制方法及装置
CN110244847A (zh) * 2019-06-14 2019-09-17 恒信东方文化股份有限公司 一种三维手势识别体感器控制方法、装置及系统
CN110244847B (zh) * 2019-06-14 2022-04-29 恒信东方文化股份有限公司 一种三维手势识别体感器控制方法、装置及系统

Similar Documents

Publication Publication Date Title
Young et al. A comparison of two cost-differentiated virtual reality systems for perception and action tasks
CN105229571B (zh) 自然用户接口滚动和瞄准
Yenamandra et al. Homerobot: Open-vocabulary mobile manipulation
CN102243687A (zh) 一种基于动作识别技术的体育教学辅助系统及其实现方法
CN106125903B (zh) 多人交互系统及方法
CN107820593A (zh) 一种虚拟现实交互方法、装置及系统
US11769306B2 (en) User-exhibit distance based collaborative interaction method and system for augmented reality museum
CN101991949B (zh) 一种基于计算机的虚拟乒乓球运动控制方法及系统
CN202662011U (zh) 一种基于动作识别技术的体育教学辅助系统
CN105229666A (zh) 3d图像中的运动分析
CN101715581A (zh) 体积识别方法和系统
US9669300B2 (en) Motion detection for existing portable devices
CN104281397B (zh) 多深度区间的重聚焦方法、装置及电子设备
CN106295479A (zh) 基于体感技术动作识别编辑系统
CN110456905A (zh) 定位跟踪方法、装置、系统及电子设备
CN104133911A (zh) 基于头颈部运动的信息交互方法和装置
Gowing et al. Kinect vs. low-cost inertial sensing for gesture recognition
CN107930048A (zh) 一种太空体感识别运动分析系统及运动分析方法
CN103207667A (zh) 一种人机互动的控制方法及其运用
CN108229678A (zh) 网络训练方法、操作控制方法、装置、存储介质和设备
Haggag et al. Body parts segmentation with attached props using rgb-d imaging
CN206819290U (zh) 一种虚拟现实多人互动的系统
Chen et al. [Retracted] Impact of Sports Wearable Testing Equipment Based on Vision Sensors on the Sports Industry
Takano et al. A multimedia tennis instruction system: Tracking and classifying swing motions
CN114020978B (zh) 基于多源信息融合的园区数字化漫游展示方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170104