CN110442240A - 一种基于手势识别的教学交互系统 - Google Patents

一种基于手势识别的教学交互系统 Download PDF

Info

Publication number
CN110442240A
CN110442240A CN201910734980.0A CN201910734980A CN110442240A CN 110442240 A CN110442240 A CN 110442240A CN 201910734980 A CN201910734980 A CN 201910734980A CN 110442240 A CN110442240 A CN 110442240A
Authority
CN
China
Prior art keywords
output end
electrically connected
input terminal
module
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910734980.0A
Other languages
English (en)
Inventor
吴沂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Learning Two-Handed Network Technology Co Ltd
Original Assignee
Hangzhou Learning Two-Handed Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Learning Two-Handed Network Technology Co Ltd filed Critical Hangzhou Learning Two-Handed Network Technology Co Ltd
Priority to CN201910734980.0A priority Critical patent/CN110442240A/zh
Publication of CN110442240A publication Critical patent/CN110442240A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及教学交互系统技术领域，且公开了一种基于手势识别的教学交互系统，包括教学系统、数据库、服务器和用户设备，所述教学系统的输出端与数据库的输入端电连接，所述数据库的输出端与服务器的输入端电连接，所述服务器的输出端与教学系统的输入端电连接，所述服务器输入端与电源模块的输出端电连接。该基于手势识别的教学交互系统，通过图像采集器可以对学生进行摄像，然后通过手势识别器可以对图像采集器的学生图像进行手势的提取识别，通过AI处理器可以对提取的手势进行处理，进而使学生通过手势即可转化为信号，进而使反馈模块通过互联网对教学系统进行反馈，进而学生无需进行手动操作控制器，所以方便进行反馈操作。

Description

一种基于手势识别的教学交互系统
技术领域
本发明涉及教学交互系统技术领域，具体为一种基于手势识别的教学交互系统。
背景技术
交互式教学是一种以支架式教学思想为基础、以师生对话为背景构建的互动教学方式。网络环境下交互式学习是基于计算机多媒体技术和网络通讯技术的“人—机—人”的交互。交互式学习教程系统是以计算机技术为基础，运用交互式教学和交互式学习方法的教学系统，目前，现有的教学系统中的教学交互系统，在使用时需要学生在经过一个阶段的学习后，手动操作控制器，来进行下一步的操作学习，此过程较为繁琐，所以使用不便，不利于推广使用。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于手势识别的教学交互系统，解决了学生在经过一个阶段的学习后，手动操作控制器，来进行下一步的操作学习，此过程较为繁琐的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于手势识别的教学交互系统，包括教学系统、数据库、服务器和用户设备，所述教学系统的输出端与数据库的输入端电连接，所述数据库的输出端与服务器的输入端电连接，所述服务器的输出端与教学系统的输入端电连接，所述服务器输入端与电源模块的输出端电连接，所述教学系统和用户设备的输出端均通过互联网与服务器的输入端信号连接。
所述教学系统包括建议反馈模块，所述建议反馈模块的输出端通过互联网与直播平台的输入端信号连接，所述直播平台的输出端与数据处理模块的输入端电连接，所述数据处理模块的输出端与数据库的输入端电连接。
所述数据库包括运算处理模块，所述运算处理模块的输出端与数据计算模块的输入端电连接，所述数据计算模块的输出端与数据存储器的输入端电连接，所述数据存储器的输出端与数据输出模块的输入端电连接，所述数据输出模块的输出端与处理器的输入端电连接。
所述服务器包括通讯模块，所述通讯模块的输入端通过互联网与用户设备的输出端信号连接，所述通讯模块的输出端与AI识别模块的输入端电连接，所述AI识别模块的输出端与处理器的输入端电连接，所述处理器的输出端与教学系统的输入端电连接。
所述用户设备包括图像采集器，所述图像采集器的输出端与手势识别器的输入端电连接，所述手势识别器的输出端与AI处理器的输入端电连接，所述AI处理器的输出端与反馈模块的输入端电连接，所述反馈模块的输出端通过互联网与服务器的输入端信号连接。
优选的，所述直播平台包括DV摄像机和麦克风，所述DV摄像机的输出端和麦克风的输出端均与无线设备电连接，所述无线设备的输出端通过互联网与服务器的输入端信号连接。
优选的，所述直播平台包括音响和显示器，所述音响和显示器的输入端均与无线设备的输出端电连接。
优选的，所述直播平台包括手动控制器，所述手动控制器的输出端分别与显示器、音响、麦克风和DV摄像机的输入端信号连接。
优选的，所述教学系统的输出端与方案指令的输入端信号连接，所述方案指令的输出端位于学生处。
优选的，学生的手势通过图像采集器进行收集。
(三)有益效果
本发明提供了一种基于手势识别的教学交互系统，具备以下有益效果：
1、该基于手势识别的教学交互系统，通过图像采集器可以对学生进行摄像，然后通过手势识别器可以对图像采集器的学生图像进行手势的提取识别，通过AI处理器可以对提取的手势进行处理，进而使学生通过手势即可转化为信号，进而使反馈模块通过互联网对教学系统进行反馈，进而学生无需进行手动操作控制器，所以方便进行反馈操作。
2、该基于手势识别的教学交互系统，通过直播平台可以将需要教授的内容转化为数字信号，进而通过数据处理模块输送至数据库，然后通过数据库向处理器输送数据，通过电源模块可以对服务器进行供电，通过处理器可以使教学系统发出方案指令，进而方便学生的学习，进而使用户设备通过互联网进行反馈，从而方便学生与老师的互动交流。
附图说明
图1为本发明系统图；
图2为本发明直播平台的系统图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种基于手势识别的教学交互系统，包括教学系统、数据库、服务器和用户设备，教学系统的输出端与数据库的输入端电连接，数据库的输出端与服务器的输入端电连接，服务器的输出端与教学系统的输入端电连接，直播平台包括DV摄像机和麦克风，DV摄像机的输出端和麦克风的输出端均与无线设备电连接，无线设备为无线路由器，无线设备的输出端通过互联网与服务器的输入端信号连接，直播平台包括音响和显示器，音响和显示器的输入端均与无线设备的输出端电连接，直播平台包括手动控制器，手动控制器的输出端分别与显示器、音响、麦克风和DV摄像机的输入端信号连接，教学系统的输出端与方案指令的输入端信号连接，方案指令为方案显示设备，方案指令的输出端位于学生处，学生的手势通过图像采集器进行收集，学生的手势通过图像采集器进行收集，图像采集器就是把图像采集到电脑里面，比如医院把B超图像采集到电脑上面，图像采集器也叫视频采集卡，主要应用就是视频图像的采集，比如同三维USB2.0AV接口采集卡，服务器输入端与电源模块的输出端电连接，教学系统和用户设备的输出端均通过互联网与服务器的输入端信号连接。
教学系统包括建议反馈模块，建议反馈模块为西门子6DR的建议反馈模块，建议反馈模块的输出端通过互联网与直播平台的输入端信号连接，直播平台的输出端与数据处理模块的输入端电连接，数据处理模块为尼康SC-102的数据处理器，数据处理模块的输出端与数据库的输入端电连接。
数据库包括运算处理模块，运算处理模块为DGTL MEDIA PROCESSR 684FCBGA处理器，运算处理模块的输出端与数据计算模块的输入端电连接，数据计算模块为树莓派Compute Module 3Lite的计算模块，数据计算模块的输出端与数据存储器的输入端电连接，数据存储器为腾顺致远PIC24HJ256GP210-I/PT的存储器，数据存储器的输出端与数据输出模块的输入端电连接，数据输出模块为施耐德TM2DRA16RT的输出模块，数据输出模块的输出端与处理器的输入端电连接。
服务器包括通讯模块，通讯模块的输入端通过互联网与用户设备的输出端信号连接，通讯模块为ABB公司3HAC025917-001的通讯模块，通讯模块的输出端与AI识别模块的输入端电连接，AI识别模块为中烨通道ZYTD-1057的识别模块，AI识别模块的输出端与处理器的输入端电连接，处理器为西门子S7-400的处理器，处理器的输出端与教学系统的输入端电连接。
用户设备包括图像采集器，图像采集器为方科YMJ-P的图像采集器，图像采集器的输出端与手势识别器的输入端电连接，手势识别器为阿里巴巴EPC660的手势识别器，手势识别器的输出端与AI处理器的输入端电连接，AI处理器为铭顺信AT91M40800-33AI的处理器，AI处理器的输出端与反馈模块的输入端电连接，反馈模块为西门子6SN1145-1AA01-0AA1的反馈模块，反馈模块的输出端通过互联网与服务器的输入端信号连接。
在使用时，通过直播平台可以将老师的音频和视频进行录制，然后通过数据处理模块将音频和视频信号转换成数字信号，通过运算处理模块对数字信号进行处理，通过数据计算模块对数字信号进行计算，通过数据存储器可以对数字信号进行存储备用，通过数据输出模块可以将数字信号进行输送，进而通过处理器对教学系统进行控制，使教学系统向学生发出方案指令，学生通过方案指令进行学习，通过图像采集器可以对学生进行摄像，然后通过手势识别器可以对图像采集器的学生图像进行手势的提取识别，通过AI处理器可以对提取的手势进行处理，进而使学生通过手势即可转化为信号，通过电源模块可以对服务器进行供电，通过通讯模块将反馈信号进行输送，通过AI识别模块可以将反馈信号进行识别，然后输送至处理器，进而使建议反馈模块通过互联网对教学系统进行反馈，进而学生无需进行手动操作控制器，通过互联网可以将反馈信号输送至处理器，通过处理器可以对建议反馈模块进行信号输送，进而通过显示器和音响的配合，对老师进行提醒反馈，从而使老师对学生提出的问题进行解决。
综上所述，该基于手势识别的教学交互系统，通过图像采集器可以对学生进行摄像，然后通过手势识别器可以对图像采集器的学生图像进行手势的提取识别，通过AI处理器可以对提取的手势进行处理，进而使学生通过手势即可转化为信号，进而使反馈模块通过互联网对教学系统进行反馈，进而学生无需进行手动操作控制器，所以方便进行反馈操作。
该基于手势识别的教学交互系统，通过直播平台可以将需要教授的内容转化为数字信号，进而通过数据处理模块输送至数据库，然后通过数据库向处理器输送数据，通过电源模块可以对服务器进行供电，通过处理器可以使教学系统发出方案指令，进而方便学生的学习，进而使用户设备通过互联网进行反馈，从而方便学生与老师的互动交流。
本系统中涉及到的相关模块均为硬件系统模块或者为现有技术中计算机软件程序或协议与硬件相结合的功能模块，该功能模块所涉及到的计算机软件程序或协议的本身均为本领域技术人员公知的技术，其不是本系统的改进之处；本系统的改进为各模块之间的相互作用关系或连接关系，即为对系统的整体的构造进行改进，以解决本系统所要解决的相应技术问题。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于手势识别的教学交互系统，包括教学系统、数据库、服务器和用户设备，其特征在于：所述教学系统的输出端与数据库的输入端电连接，所述数据库的输出端与服务器的输入端电连接，所述服务器的输出端与教学系统的输入端电连接，所述服务器输入端与电源模块的输出端电连接，所述教学系统和用户设备的输出端均通过互联网与服务器的输入端信号连接；
所述教学系统包括建议反馈模块，所述建议反馈模块的输出端通过互联网与直播平台的输入端信号连接，所述直播平台的输出端与数据处理模块的输入端电连接，所述数据处理模块的输出端与数据库的输入端电连接；
所述数据库包括运算处理模块，所述运算处理模块的输出端与数据计算模块的输入端电连接，所述数据计算模块的输出端与数据存储器的输入端电连接，所述数据存储器的输出端与数据输出模块的输入端电连接，所述数据输出模块的输出端与处理器的输入端电连接；
所述服务器包括通讯模块，所述通讯模块的输入端通过互联网与用户设备的输出端信号连接，所述通讯模块的输出端与AI识别模块的输入端电连接，所述AI识别模块的输出端与处理器的输入端电连接，所述处理器的输出端与教学系统的输入端电连接；
所述用户设备包括图像采集器，所述图像采集器的输出端与手势识别器的输入端电连接，所述手势识别器的输出端与AI处理器的输入端电连接，所述AI处理器的输出端与反馈模块的输入端电连接，所述反馈模块的输出端通过互联网与服务器的输入端信号连接。
2.根据权利要求1所述的一种基于手势识别的教学交互系统，其特征在于：所述直播平台包括DV摄像机和麦克风，所述DV摄像机的输出端和麦克风的输出端均与无线设备电连接，所述无线设备的输出端通过互联网与服务器的输入端信号连接。
3.根据权利要求1所述的一种基于手势识别的教学交互系统，其特征在于：所述直播平台包括音响和显示器，所述音响和显示器的输入端均与无线设备的输出端电连接。
4.根据权利要求1所述的一种基于手势识别的教学交互系统，其特征在于：所述直播平台包括手动控制器，所述手动控制器的输出端分别与显示器、音响、麦克风和DV摄像机的输入端信号连接。
5.根据权利要求1所述的一种基于手势识别的教学交互系统，其特征在于：所述教学系统的输出端与方案指令的输入端信号连接，所述方案指令的输出端位于学生处。
6.根据权利要求1所述的一种基于手势识别的教学交互系统，其特征在于：学生的手势通过图像采集器进行收集。
CN201910734980.0A 2019-08-09 2019-08-09 一种基于手势识别的教学交互系统 Pending CN110442240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910734980.0A CN110442240A (zh) 2019-08-09 2019-08-09 一种基于手势识别的教学交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910734980.0A CN110442240A (zh) 2019-08-09 2019-08-09 一种基于手势识别的教学交互系统

Publications (1)

Publication Number Publication Date
CN110442240A true CN110442240A (zh) 2019-11-12

Family

ID=68434263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910734980.0A Pending CN110442240A (zh) 2019-08-09 2019-08-09 一种基于手势识别的教学交互系统

Country Status (1)

Country Link
CN (1) CN110442240A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114710A1 (zh) * 2019-12-09 2021-06-17 上海幻电信息科技有限公司 直播视频互动方法、装置以及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774894A (zh) * 2016-12-16 2017-05-31 重庆大学 基于手势的交互式教学方法及交互系统
CN108831215A (zh) * 2018-06-15 2018-11-16 东营职业学院 一种基于云数据库的音乐老师在线教学系统
CN109213304A (zh) * 2017-06-29 2019-01-15 格局商学教育科技（深圳）有限公司 用于直播教学的手势互动方法和系统
CN109448477A (zh) * 2018-12-28 2019-03-08 广东新源信息技术有限公司 一种远程互动教学系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774894A (zh) * 2016-12-16 2017-05-31 重庆大学 基于手势的交互式教学方法及交互系统
CN109213304A (zh) * 2017-06-29 2019-01-15 格局商学教育科技（深圳）有限公司 用于直播教学的手势互动方法和系统
CN108831215A (zh) * 2018-06-15 2018-11-16 东营职业学院 一种基于云数据库的音乐老师在线教学系统
CN109448477A (zh) * 2018-12-28 2019-03-08 广东新源信息技术有限公司 一种远程互动教学系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114710A1 (zh) * 2019-12-09 2021-06-17 上海幻电信息科技有限公司 直播视频互动方法、装置以及计算机设备
US11778263B2 (en) 2019-12-09 2023-10-03 Shanghai Hode Information Technology Co., Ltd. Live streaming video interaction method and apparatus, and computer device

Similar Documents

Publication Publication Date Title
CN105139706A (zh) 一种基于智能电视的在线教育课程互动方法及系统
CN206039925U (zh) 多媒体教学互动操作装置
CN106774894A (zh) 基于手势的交互式教学方法及交互系统
CN107818706A (zh) 一种医院远程直播式教学培训系统
CN102750843B (zh) 一种基于物联网的智慧课堂云终端
CN106874698A (zh) 远程医疗云智能平台
CN106157709A (zh) 一种交互式多媒体智能教学系统
CN204740631U (zh) 一种基于rfid无线智能卡的教学反馈系统
CN105405329A (zh) 便携式数字化教学平台的交互方法及系统
CN105469728A (zh) 一种电子班牌
CN110442240A (zh) 一种基于手势识别的教学交互系统
CN106781763A (zh) 一种大学应用数学课堂教学系统
CN205486928U (zh) 一种便携式数字化教学平台系统
CN109859079A (zh) 一种互动式微课制作系统
CN109862375B (zh) 云录播系统
CN106652619A (zh) 一种基于信息工程的互动教学方法及系统
CN203759911U (zh) 一种基于无线传输技术的互动教学装置
CN206133210U (zh) 一种智慧教室控制系统
CN111652589A (zh) 一种远程交互式英语教学系统及其使用方法
CN109977427A (zh) 一种微型可佩戴的实时翻译装置
CN109410104A (zh) 基于机器学习的显微全无线互动教学传输及辅助上课系统
CN108520584A (zh) 一种多媒体教室安防管理系统
CN109040267A (zh) 一种基于视频的教学管理系统
CN204303192U (zh) 多媒体教学系统
CN210042017U (zh) 录播远程教学设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191112