CN104598027B - 一种基于用户行为分析的体感控制多媒体培训系统 - Google Patents

一种基于用户行为分析的体感控制多媒体培训系统 Download PDF

Info

Publication number
CN104598027B
CN104598027B CN201410844482.9A CN201410844482A CN104598027B CN 104598027 B CN104598027 B CN 104598027B CN 201410844482 A CN201410844482 A CN 201410844482A CN 104598027 B CN104598027 B CN 104598027B
Authority
CN
China
Prior art keywords
module
sensing
user
processing
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410844482.9A
Other languages
English (en)
Other versions
CN104598027A (zh
Inventor
马钦
朱德海
郭浩
田宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201410844482.9A priority Critical patent/CN104598027B/zh
Publication of CN104598027A publication Critical patent/CN104598027A/zh
Application granted granted Critical
Publication of CN104598027B publication Critical patent/CN104598027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于用户行为分析的体感控制多媒体培训系统，能够简化对多媒体培训系统的操作，从而能够促进用户的学习。所述体感控制多媒体培训系统包括：体感动作捕捉与追踪模块、集成了体感动作处理与交互模块、资源获取与处理模块、媒体播放器模块和用户行为分析模块的主机、显示器和音箱；体感动作捕捉与追踪模块，与主机连接；显示器，通过接口与主机连接；音箱，通过接口与主机连接。本发明适用于需要简化培训系统的操作的场合。

Description

一种基于用户行为分析的体感控制多媒体培训系统
技术领域
本发明涉及人机交互和计算机多媒体技术领域，尤其是涉及一种基于用户行为分析的体感控制多媒体培训系统。
背景技术
农业从业人员普遍存在着受教育程度不高，学习能力和意愿不强，学习方式落后的现象。因此完善农业从业人员的教育具有重要意义。
基于信息时代发展和农业从业人员的学习需求，市面上出现了一些基于键盘和鼠标控制方式的多媒体培训系统。由于农业从业人员受教育程度不高，不能进行过于复杂的计算机操作，而现有的基于键盘和鼠标控制方式的多媒体培训系统操作比较复杂，因而使用现有的多媒体培训系统会加重农业从业人员接触新知识的负担，不利于促进他们学习。
发明内容
有鉴于此，本发明实施例提供一种基于用户行为分析的体感控制多媒体培训系统，不需要使用鼠标和键盘，因而能够简化对多媒体培训系统的操作，从而能够促进用户的学习。
为达到上述目的，本发明的实施例采用如下技术方案：
本发明提出了一种基于用户行为分析的体感控制多媒体培训系统，包括：体感动作捕捉与追踪模块、集成了体感动作处理与交互模块、资源获取与处理模块、媒体播放器模块和用户行为分析模块的主机、显示器和音箱；其中，
所述体感动作捕捉与追踪模块，与所述主机连接，用于捕捉用户的控制动作信息，并将所述信息传递给所述体感动作处理与交互模块；
所述体感动作处理与交互模块，用于通过计算和控制逻辑分析，将所述体感动作捕捉与追踪模块传递的信息转化成控制信号，并发送给所述资源获取与处理模块；
所述资源获取与处理模块，用于根据所述体感动作处理与交互模块发送的控制信号，获取视频资源，并提供给所述媒体播放器模块；
所述媒体播放器模块，用于将所述资源获取与处理模块提供的视频资源进行播放；
所述用户行为分析模块，用于收集用户的控制动作信息，并生成用户偏好信息；
所述显示器，通过接口与所述主机连接；
所述音箱，通过接口与所述主机连接。
本发明实施例提供的基于用户行为分析的体感控制多媒体培训系统，基于自然人机交互的理念，将体感交互式控制与多媒体培训相结合，使得用户通过动作即能够控制培训系统，因而能够简化对多媒体培训系统的操作，从而能够促进用户的学习。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明基于用户行为分析的体感控制多媒体培训系统一实施例的结构示意图。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
参看图1，本发明的实施例提供一种基于用户行为分析的体感控制多媒体培训系统，包括：体感动作捕捉与追踪模块2、集成了体感动作处理与交互模块30、资源获取与处理模块31、媒体播放器模块32和用户行为分析模块33的主机3、显示器4和音箱5；其中，
所述体感动作捕捉与追踪模块2，与所述主机3连接，用于捕捉用户1的控制动作信息，并将所述信息传递给所述体感动作处理与交互模块30；
所述体感动作处理与交互模块30，用于通过计算和控制逻辑分析，将所述体感动作捕捉与追踪模块2传递的信息转化成控制信号，并发送给所述资源获取与处理模块31；
所述资源获取与处理模块31，用于根据所述体感动作处理与交互模块30发送的控制信号，获取视频资源，并提供给所述媒体播放器模块32；
所述媒体播放器模块32，用于将所述资源获取与处理模块31提供的视频资源进行播放；
所述用户行为分析模块33，用于收集用户1的控制动作信息，并生成用户偏好信息；
所述显示器4，通过接口与所述主机3连接；
所述音箱5，通过接口与所述主机3连接。
本实施例中，主机包含硬件环境和操作系统，硬件环境用来作为底层运行支持，操作系统用于为基于用户行为分析的体感控制多媒体培训系统的运行提供支持。主机具体可以是基于高级精简指令集机器(ARM架构)的硬件环境，操作系统具体可以是基于安卓的嵌入式系统。在实际应用中可根据需求对硬件环境和操作系统进行调整。资源获取与处理模块，用于异步的获取视频资源，具体可以包括对异步进程的管理，包括创建、维护和回收。媒体播放器模块具体可以包括视频解码程序、视频媒体控制逻辑，用于将用户选择的视频资源进行播放，在播放过程中，提供暂停、继续、音量增加、音量减少以及返回播放列表功能。用户行为分析模块具体可以包含基于模糊评价体系的能够收集用户操作信息并计算出用户偏好排序的功能。显示器具体可以是1920*1080分辨率的包含高清晰度多媒体接口(HDMI)的液晶显示器。音箱具体可以是具备基本功能的音箱。用户使用该培训系统时，首先需要启动显示器、音箱、主机，接着需要启动体感动作捕捉与追踪模块，然后需要启动体感动作处理与交互模块、资源获取与处理模块、媒体播放器模块、用户行为分析模块，至此之后，用户通过肢体的动作就可以进行体感交互式的视频资源培训。
本发明实施例提供的基于用户行为分析的体感控制多媒体培训系统，基于自然人机交互的理念，将体感交互式控制与多媒体培训相结合，使得用户通过动作即能够控制培训系统，因而能够简化对多媒体培训系统的操作，从而能够促进用户的学习，又因为该体感控制多媒体培训系统可以运行在价格相对低廉的基于ARM环境的Android平台上，因而能够减轻用户经济上的负担，同时通过体感技术完成人机交互，使用户在使用时与主机距离较远，因而能够减轻辐射伤害和眼部疲劳。
可选地，在本发明基于用户行为分析的体感控制多媒体培训系统的另一实施例中，所述体感动作捕捉与追踪模块为包含深度摄像头和/或红绿蓝色彩模式(GRB)摄像头的图像处理设备，用于在用户在预设的距离范围内时，通过深度摄像头获取用户的骨骼节点数据，并通过转换将所述骨骼节点数据传送给所述主机，以使所述主机将所述骨骼节点数据传递给所述体感动作处理与交互模块。
本实施例中，距离范围可以为以基于用户行为分析的体感控制多媒体培训系统为中心的距离范围。比如，当参与培训的用户站立于培训系统前方1至2米的范围内时，体感动作捕捉与追踪模块会通过深度摄像头获取用户的骨骼节点数据，并通过转换将数据传送给主机。
可选地，在本发明基于用户行为分析的体感控制多媒体培训系统的另一实施例中，所述体感动作处理与交互模块，用于通过识别算法、坐标转换算法计算和控制逻辑分析，将所述体感动作捕捉与追踪模块传递的信息转化成控制信号，并发送给所述资源获取与处理模块。
本实施例中，经过主机中的体感动作处理与交互模块的处理，原始数据会转化成对系统的控制信号，完成控制。
可选地，在本发明基于用户行为分析的体感控制多媒体培训系统的另一实施例中，所述用户行为分析模块，用于收集用户的控制动作信息，并通过模糊评价方法生成用户偏好信息。
本实施例中，通过记录、分析用户的操作数据，并通过用户行为分析模块中建立的模糊评价方法，完成对用户感兴趣的视频的排序。进而，可以向用户推荐视频，帮助其完成培训。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (3)

1.一种基于用户行为分析的体感控制多媒体培训系统，其特征在于，包括：体感动作捕捉与追踪模块、集成了体感动作处理与交互模块、资源获取与处理模块、媒体播放器模块和用户行为分析模块的主机、显示器和音箱；其中，
所述体感动作捕捉与追踪模块，与所述主机连接，用于捕捉用户的控制动作信息，并将所述信息传递给所述体感动作处理与交互模块；
所述体感动作处理与交互模块，用于通过计算和控制逻辑分析，将所述体感动作捕捉与追踪模块传递的信息转化成控制信号，并发送给所述资源获取与处理模块；
所述资源获取与处理模块，用于根据所述体感动作处理与交互模块发送的控制信号，获取视频资源，并提供给所述媒体播放器模块；
所述媒体播放器模块，用于将所述资源获取与处理模块提供的视频资源进行播放；
所述用户行为分析模块，用于收集用户的控制动作信息，并生成用户偏好信息；
所述显示器，通过接口与所述主机连接；
所述音箱，通过接口与所述主机连接；
所述体感动作捕捉与追踪模块为包含深度摄像头和/或红绿蓝色彩模式摄像头的图像处理设备，用于在用户在预设的距离范围内时，通过深度摄像头获取用户的骨骼节点数据，并通过转换将所述骨骼节点数据传送给所述主机，以使所述主机将所述骨骼节点数据传递给所述体感动作处理与交互模块。
2.根据权利要求1所述的基于用户行为分析的体感控制多媒体培训系统，其特征在于，所述体感动作处理与交互模块，用于通过识别算法、坐标转换算法计算和控制逻辑分析，将所述体感动作捕捉与追踪模块传递的信息转化成控制信号，并发送给所述资源获取与处理模块。
3.根据权利要求1所述的基于用户行为分析的体感控制多媒体培训系统，其特征在于，所述用户行为分析模块，用于收集用户的控制动作信息，并通过模糊评价方法生成用户偏好信息。
CN201410844482.9A 2014-12-30 2014-12-30 一种基于用户行为分析的体感控制多媒体培训系统 Active CN104598027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410844482.9A CN104598027B (zh) 2014-12-30 2014-12-30 一种基于用户行为分析的体感控制多媒体培训系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410844482.9A CN104598027B (zh) 2014-12-30 2014-12-30 一种基于用户行为分析的体感控制多媒体培训系统

Publications (2)

Publication Number Publication Date
CN104598027A CN104598027A (zh) 2015-05-06
CN104598027B true CN104598027B (zh) 2018-10-09

Family

ID=53123869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410844482.9A Active CN104598027B (zh) 2014-12-30 2014-12-30 一种基于用户行为分析的体感控制多媒体培训系统

Country Status (1)

Country Link
CN (1) CN104598027B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101818A (zh) * 2016-07-21 2016-11-09 李勇 集成hdmi数据线的通讯平台
CN105976662A (zh) * 2016-07-26 2016-09-28 陕西学前师范学院 一种基于三维模拟系统的历史教学系统
CN106251728A (zh) * 2016-08-19 2016-12-21 石家庄职业技术学院 一种旅游教育专用学习系统
CN106384567B (zh) * 2016-08-20 2019-07-12 淮阴工学院 一种led电子显示系统
CN106951071B (zh) * 2017-03-01 2020-09-01 海尔优家智能科技（北京）有限公司 一种基于动作捕捉的设备控制方法和装置
CN109767684A (zh) * 2019-03-09 2019-05-17 闽南理工学院 智能机械制造工人生产培训模拟系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206521A (zh) * 2006-12-21 2008-06-25 何华科技股份有限公司 互动式电子学习白板及其运作方法
CN202486696U (zh) * 2012-03-16 2012-10-10 苏州同程旅游网络科技有限公司 体感式旅游信息交互设备
CN102968178A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于手势的ppt控制系统
CN103179359A (zh) * 2011-12-21 2013-06-26 北京新岸线移动多媒体技术有限公司 控制视频终端的方法及装置、视频终端
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN104007826A (zh) * 2014-06-17 2014-08-27 合一网络技术(北京)有限公司 基于脸部动作识别技术的视频控制方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206521A (zh) * 2006-12-21 2008-06-25 何华科技股份有限公司 互动式电子学习白板及其运作方法
CN103179359A (zh) * 2011-12-21 2013-06-26 北京新岸线移动多媒体技术有限公司 控制视频终端的方法及装置、视频终端
CN202486696U (zh) * 2012-03-16 2012-10-10 苏州同程旅游网络科技有限公司 体感式旅游信息交互设备
CN102968178A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于手势的ppt控制系统
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN104007826A (zh) * 2014-06-17 2014-08-27 合一网络技术(北京)有限公司 基于脸部动作识别技术的视频控制方法和系统

Also Published As

Publication number Publication date
CN104598027A (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
CN104598027B (zh) 一种基于用户行为分析的体感控制多媒体培训系统
CN107485844B (zh) 一种肢体康复训练方法、系统及嵌入式设备
WO2021129064A9 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN102222431B (zh) 用于翻译手语的计算机实现的方法
Rishan et al. Infinity yoga tutor: Yoga posture detection and correction system
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
CN110298220B (zh) 动作视频直播方法、系统、电子设备、存储介质
CN107066081B (zh) 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备
US20230368401A1 (en) Motion recognition-based interaction method and recording medium
Wang et al. Automatic facial paralysis evaluation augmented by a cascaded encoder network structure
CN206411612U (zh) 一种虚拟现实系统的交互控制装置及虚拟现实设备
CN109375766A (zh) 一种基于手势控制的新型学习方法
CN104460962A (zh) 基于游戏引擎的4d体感交互系统
US20220262010A1 (en) Biomechanical tracking and feedback system
CN202749066U (zh) 一种非接触式物展交互系统
CN201540535U (zh) 一种基于蓝色点识别的非接触式人机交互系统
Dong et al. Human–machine integration based augmented reality assisted wire-bending training system for orthodontics
KR20130081126A (ko) 손 제스처 인식 방법 및 그 장치
CN102591456A (zh) 对身体和道具的检测
Li et al. Kinect-based gesture recognition and its application in moocs recording system
KR20110107707A (ko) 증강현실을 이용한 온라인 학습 장치 및 그 방법
Irfan et al. Implementation of Human Pose Estimation Using Angle Calculation Logic on The Elder of The Hands as A Fitness Repetition
Fu et al. Design and Application of Yoga Intelligent Teaching Platform Based on Internet of Things
Hu et al. Effective evaluation of HGcnMLP method for markerless 3D pose estimation of musculoskeletal diseases patients based on smartphone monocular video
Luo Elements and construction of sports visual image action recognition system based on visual attention analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant