CN104598027A - 一种基于用户行为分析的体感控制多媒体培训系统 - Google Patents

一种基于用户行为分析的体感控制多媒体培训系统 Download PDF

Info

Publication number
CN104598027A
CN104598027A CN201410844482.9A CN201410844482A CN104598027A CN 104598027 A CN104598027 A CN 104598027A CN 201410844482 A CN201410844482 A CN 201410844482A CN 104598027 A CN104598027 A CN 104598027A
Authority
CN
China
Prior art keywords
module
somatosensory
motion
user
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410844482.9A
Other languages
English (en)
Other versions
CN104598027B (zh
Inventor
马钦
朱德海
郭浩
田宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201410844482.9A priority Critical patent/CN104598027B/zh
Publication of CN104598027A publication Critical patent/CN104598027A/zh
Application granted granted Critical
Publication of CN104598027B publication Critical patent/CN104598027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于用户行为分析的体感控制多媒体培训系统，能够简化对多媒体培训系统的操作，从而能够促进用户的学习。所述体感控制多媒体培训系统包括：体感动作捕捉与追踪模块、集成了体感动作处理与交互模块、资源获取与处理模块、媒体播放器模块和用户行为分析模块的主机、显示器和音箱；体感动作捕捉与追踪模块，与主机连接；显示器，通过接口与主机连接；音箱，通过接口与主机连接。本发明适用于需要简化培训系统的操作的场合。

Description

一种基于用户行为分析的体感控制多媒体培训系统
技术领域
本发明涉及人机交互和计算机多媒体技术领域，尤其是涉及一种基于用户行为分析的体感控制多媒体培训系统。
背景技术
农业从业人员普遍存在着受教育程度不高，学习能力和意愿不强，学习方式落后的现象。因此完善农业从业人员的教育具有重要意义。
基于信息时代发展和农业从业人员的学习需求，市面上出现了一些基于键盘和鼠标控制方式的多媒体培训系统。由于农业从业人员受教育程度不高，不能进行过于复杂的计算机操作，而现有的基于键盘和鼠标控制方式的多媒体培训系统操作比较复杂，因而使用现有的多媒体培训系统会加重农业从业人员接触新知识的负担，不利于促进他们学习。
发明内容
有鉴于此，本发明实施例提供一种基于用户行为分析的体感控制多媒体培训系统，不需要使用鼠标和键盘，因而能够简化对多媒体培训系统的操作，从而能够促进用户的学习。
为达到上述目的，本发明的实施例采用如下技术方案：
本发明提出了一种基于用户行为分析的体感控制多媒体培训系统，包括：体感动作捕捉与追踪模块、集成了体感动作处理与交互模块、资源获取与处理模块、媒体播放器模块和用户行为分析模块的主机、显示器和音箱；其中，
所述体感动作捕捉与追踪模块，与所述主机连接，用于捕捉用户的控制动作信息，并将所述信息传递给所述体感动作处理与交互模块；
所述体感动作处理与交互模块，用于通过计算和控制逻辑分析，将所述体感动作捕捉与追踪模块传递的信息转化成控制信号，并发送给所述资源获取与处理模块；
所述资源获取与处理模块，用于根据所述体感动作处理与交互模块发送的控制信号，获取视频资源，并提供给所述媒体播放器模块；
所述媒体播放器模块，用于将所述资源获取与处理模块提供的视频资源进行播放；
所述用户行为分析模块，用于收集用户的控制动作信息，并生成用户偏好信息；
所述显示器，通过接口与所述主机连接；
所述音箱，通过接口与所述主机连接。
本发明实施例提供的基于用户行为分析的体感控制多媒体培训系统，基于自然人机交互的理念，将体感交互式控制与多媒体培训相结合，使得用户通过动作即能够控制培训系统，因而能够简化对多媒体培训系统的操作，从而能够促进用户的学习。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明基于用户行为分析的体感控制多媒体培训系统一实施例的结构示意图。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
参看图1，本发明的实施例提供一种基于用户行为分析的体感控制多媒体培训系统，包括：体感动作捕捉与追踪模块2、集成了体感动作处理与交互模块30、资源获取与处理模块31、媒体播放器模块32和用户行为分析模块33的主机3、显示器4和音箱5；其中，
所述体感动作捕捉与追踪模块2，与所述主机3连接，用于捕捉用户1的控制动作信息，并将所述信息传递给所述体感动作处理与交互模块30；
所述体感动作处理与交互模块30，用于通过计算和控制逻辑分析，将所述体感动作捕捉与追踪模块2传递的信息转化成控制信号，并发送给所述资源获取与处理模块31；
所述资源获取与处理模块31，用于根据所述体感动作处理与交互模块30发送的控制信号，获取视频资源，并提供给所述媒体播放器模块32；
所述媒体播放器模块32，用于将所述资源获取与处理模块31提供的视频资源进行播放；
所述用户行为分析模块33，用于收集用户1的控制动作信息，并生成用户偏好信息；
所述显示器4，通过接口与所述主机3连接；
所述音箱5，通过接口与所述主机3连接。
本实施例中，主机包含硬件环境和操作系统，硬件环境用来作为底层运行支持，操作系统用于为基于用户行为分析的体感控制多媒体培训系统的运行提供支持。主机具体可以是基于高级精简指令集机器(ARM架构)的硬件环境，操作系统具体可以是基于安卓的嵌入式系统。在实际应用中可根据需求对硬件环境和操作系统进行调整。资源获取与处理模块，用于异步的获取视频资源，具体可以包括对异步进程的管理，包括创建、维护和回收。媒体播放器模块具体可以包括视频解码程序、视频媒体控制逻辑，用于将用户选择的视频资源进行播放，在播放过程中，提供暂停、继续、音量增加、音量减少以及返回播放列表功能。用户行为分析模块具体可以包含基于模糊评价体系的能够收集用户操作信息并计算出用户偏好排序的功能。显示器具体可以是1920*1080分辨率的包含高清晰度多媒体接口(HDMI)的液晶显示器。音箱具体可以是具备基本功能的音箱。用户使用该培训系统时，首先需要启动显示器、音箱、主机，接着需要启动体感动作捕捉与追踪模块，然后需要启动体感动作处理与交互模块、资源获取与处理模块、媒体播放器模块、用户行为分析模块，至此之后，用户通过肢体的动作就可以进行体感交互式的视频资源培训。
本发明实施例提供的基于用户行为分析的体感控制多媒体培训系统，基于自然人机交互的理念，将体感交互式控制与多媒体培训相结合，使得用户通过动作即能够控制培训系统，因而能够简化对多媒体培训系统的操作，从而能够促进用户的学习，又因为该体感控制多媒体培训系统可以运行在价格相对低廉的基于ARM环境的Android平台上，因而能够减轻用户经济上的负担，同时通过体感技术完成人机交互，使用户在使用时与主机距离较远，因而能够减轻辐射伤害和眼部疲劳。
可选地，在本发明基于用户行为分析的体感控制多媒体培训系统的另一实施例中，所述体感动作捕捉与追踪模块为包含深度摄像头和/或红绿蓝色彩模式(GRB)摄像头的图像处理设备，用于在用户在预设的距离范围内时，通过深度摄像头获取用户的骨骼节点数据，并通过转换将所述骨骼节点数据传送给所述主机，以使所述主机将所述骨骼节点数据传递给所述体感动作处理与交互模块。
本实施例中，距离范围可以为以基于用户行为分析的体感控制多媒体培训系统为中心的距离范围。比如，当参与培训的用户站立于培训系统前方1至2米的范围内时，体感动作捕捉与追踪模块会通过深度摄像头获取用户的骨骼节点数据，并通过转换将数据传送给主机。
可选地，在本发明基于用户行为分析的体感控制多媒体培训系统的另一实施例中，所述体感动作处理与交互模块，用于通过识别算法、坐标转换算法计算和控制逻辑分析，将所述体感动作捕捉与追踪模块传递的信息转化成控制信号，并发送给所述资源获取与处理模块。
本实施例中，经过主机中的体感动作处理与交互模块的处理，原始数据会转化成对系统的控制信号，完成控制。
可选地，在本发明基于用户行为分析的体感控制多媒体培训系统的另一实施例中，所述用户行为分析模块，用于收集用户的控制动作信息，并通过模糊评价方法生成用户偏好信息。
本实施例中，通过记录、分析用户的操作数据，并通过用户行为分析模块中建立的模糊评价方法，完成对用户感兴趣的视频的排序。进而，可以向用户推荐视频，帮助其完成培训。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (4)

1.一种基于用户行为分析的体感控制多媒体培训系统，其特征在于，包括：体感动作捕捉与追踪模块、集成了体感动作处理与交互模块、资源获取与处理模块、媒体播放器模块和用户行为分析模块的主机、显示器和音箱；其中，
所述体感动作捕捉与追踪模块，与所述主机连接，用于捕捉用户的控制动作信息，并将所述信息传递给所述体感动作处理与交互模块；
所述体感动作处理与交互模块，用于通过计算和控制逻辑分析，将所述体感动作捕捉与追踪模块传递的信息转化成控制信号，并发送给所述资源获取与处理模块；
所述资源获取与处理模块，用于根据所述体感动作处理与交互模块发送的控制信号，获取视频资源，并提供给所述媒体播放器模块；
所述媒体播放器模块，用于将所述资源获取与处理模块提供的视频资源进行播放；
所述用户行为分析模块，用于收集用户的控制动作信息，并生成用户偏好信息；
所述显示器，通过接口与所述主机连接；
所述音箱，通过接口与所述主机连接。
2.根据权利要求1所述的基于用户行为分析的体感控制多媒体培训系统，其特征在于，所述体感动作捕捉与追踪模块为包含深度摄像头和/或红绿蓝色彩模式摄像头的图像处理设备，用于在用户在预设的距离范围内时，通过深度摄像头获取用户的骨骼节点数据，并通过转换将所述骨骼节点数据传送给所述主机，以使所述主机将所述骨骼节点数据传递给所述体感动作处理与交互模块。
3.根据权利要求1所述的基于用户行为分析的体感控制多媒体培训系统，其特征在于，所述体感动作处理与交互模块，用于通过识别算法、坐标转换算法计算和控制逻辑分析，将所述体感动作捕捉与追踪模块传递的信息转化成控制信号，并发送给所述资源获取与处理模块。
4.根据权利要求1所述的基于用户行为分析的体感控制多媒体培训系统，其特征在于，所述用户行为分析模块，用于收集用户的控制动作信息，并通过模糊评价方法生成用户偏好信息。
CN201410844482.9A 2014-12-30 2014-12-30 一种基于用户行为分析的体感控制多媒体培训系统 Active CN104598027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410844482.9A CN104598027B (zh) 2014-12-30 2014-12-30 一种基于用户行为分析的体感控制多媒体培训系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410844482.9A CN104598027B (zh) 2014-12-30 2014-12-30 一种基于用户行为分析的体感控制多媒体培训系统

Publications (2)

Publication Number Publication Date
CN104598027A true CN104598027A (zh) 2015-05-06
CN104598027B CN104598027B (zh) 2018-10-09

Family

ID=53123869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410844482.9A Active CN104598027B (zh) 2014-12-30 2014-12-30 一种基于用户行为分析的体感控制多媒体培训系统

Country Status (1)

Country Link
CN (1) CN104598027B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976662A (zh) * 2016-07-26 2016-09-28 陕西学前师范学院 一种基于三维模拟系统的历史教学系统
CN106101818A (zh) * 2016-07-21 2016-11-09 李勇 集成hdmi数据线的通讯平台
CN106251728A (zh) * 2016-08-19 2016-12-21 石家庄职业技术学院 一种旅游教育专用学习系统
CN106384567A (zh) * 2016-08-20 2017-02-08 淮阴工学院 一种led电子显示系统
CN106951071A (zh) * 2017-03-01 2017-07-14 海尔优家智能科技（北京）有限公司 一种基于动作捕捉的设备控制方法和装置
CN109767684A (zh) * 2019-03-09 2019-05-17 闽南理工学院 智能机械制造工人生产培训模拟系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206521A (zh) * 2006-12-21 2008-06-25 何华科技股份有限公司 互动式电子学习白板及其运作方法
CN202486696U (zh) * 2012-03-16 2012-10-10 苏州同程旅游网络科技有限公司 体感式旅游信息交互设备
CN102968178A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于手势的ppt控制系统
CN103179359A (zh) * 2011-12-21 2013-06-26 北京新岸线移动多媒体技术有限公司 控制视频终端的方法及装置、视频终端
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN104007826A (zh) * 2014-06-17 2014-08-27 合一网络技术(北京)有限公司 基于脸部动作识别技术的视频控制方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206521A (zh) * 2006-12-21 2008-06-25 何华科技股份有限公司 互动式电子学习白板及其运作方法
CN103179359A (zh) * 2011-12-21 2013-06-26 北京新岸线移动多媒体技术有限公司 控制视频终端的方法及装置、视频终端
CN202486696U (zh) * 2012-03-16 2012-10-10 苏州同程旅游网络科技有限公司 体感式旅游信息交互设备
CN102968178A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于手势的ppt控制系统
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN104007826A (zh) * 2014-06-17 2014-08-27 合一网络技术(北京)有限公司 基于脸部动作识别技术的视频控制方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101818A (zh) * 2016-07-21 2016-11-09 李勇 集成hdmi数据线的通讯平台
CN105976662A (zh) * 2016-07-26 2016-09-28 陕西学前师范学院 一种基于三维模拟系统的历史教学系统
CN106251728A (zh) * 2016-08-19 2016-12-21 石家庄职业技术学院 一种旅游教育专用学习系统
CN106384567A (zh) * 2016-08-20 2017-02-08 淮阴工学院 一种led电子显示系统
CN106384567B (zh) * 2016-08-20 2019-07-12 淮阴工学院 一种led电子显示系统
CN106951071A (zh) * 2017-03-01 2017-07-14 海尔优家智能科技（北京）有限公司 一种基于动作捕捉的设备控制方法和装置
CN106951071B (zh) * 2017-03-01 2020-09-01 海尔优家智能科技（北京）有限公司 一种基于动作捕捉的设备控制方法和装置
CN109767684A (zh) * 2019-03-09 2019-05-17 闽南理工学院 智能机械制造工人生产培训模拟系统

Also Published As

Publication number Publication date
CN104598027B (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN104598027B (zh) 一种基于用户行为分析的体感控制多媒体培训系统
CN107485844B (zh) 一种肢体康复训练方法、系统及嵌入式设备
US11853108B2 (en) Electronic apparatus for searching related image and control method therefor
KR102488530B1 (ko) 동영상을 생성하기 위한 방법 및 장치
JP2019071048A (ja) 一人称視点でのディープラーニングベースのハンドジェスチャー認識のためのシステムおよび方法
KR102287905B1 (ko) 멀티미디어 기기, 온라인 교육 시스템 및 이들의 컨텐츠 제공 방법
CN110568929B (zh) 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
JP2013206273A (ja) 情報処理装置、情報処理方法、および情報処理システム
US20230186583A1 (en) Method and device for processing virtual digital human, and model training method and device
CN107066081B (zh) 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备
CN103455136A (zh) 一种基于手势控制的输入方法、装置及系统
US20160210222A1 (en) Mobile application usability testing
US20220405489A1 (en) Formulating natural language descriptions based on temporal sequences of images
CN108664119B (zh) 一种配置体感动作与虚拟操作间映射关系的方法及装置
CN113840177B (zh) 直播互动方法、装置、存储介质与电子设备
CN114255502A (zh) 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN111901518B (zh) 显示方法、装置和电子设备
Wang et al. Swimmer’s posture recognition and correction method based on embedded depth image skeleton tracking
CN113068077B (zh) 一种字幕文件处理方法及装置
JP7486283B2 (ja) 動画配信システム
WO2023065963A1 (zh) 互动展示方法、装置、电子设备及可读介质
CN111638787A (zh) 用于展示信息的方法和装置
CN110852284A (zh) 一种基于虚拟现实环境预测用户专注度的系统及实现方法
Bolaños et al. A comparative analysis of pose estimation models as enablers for a smart-mirror physical rehabilitation system
CN202749066U (zh) 一种非接触式物展交互系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant