CN108536302A - 一种基于人体手势和语音的教学方法及系统 - Google Patents

一种基于人体手势和语音的教学方法及系统 Download PDF

Info

Publication number
CN108536302A
CN108536302A CN201810345643.8A CN201810345643A CN108536302A CN 108536302 A CN108536302 A CN 108536302A CN 201810345643 A CN201810345643 A CN 201810345643A CN 108536302 A CN108536302 A CN 108536302A
Authority
CN
China
Prior art keywords
gesture
voice
teacher
human body
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810345643.8A
Other languages
English (en)
Inventor
胡青松
张亮
贾升煜
程勇
罗大伟
杨俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201810345643.8A priority Critical patent/CN108536302A/zh
Publication of CN108536302A publication Critical patent/CN108536302A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

一种基于人体手势和语音的教学方法及系统,属于使用幻灯片授课的教学方法及系统。包括以下步骤:识别教师手势;根据教师手势,执行相对应手势的操作指令;采集教师语音;从所述语音中提取关键字;将提取的关键字与预设的关键字进行比较;当提取的关键字与预设的关键字相符时,执行与预设的关键字相对应的操作指令;系统基本组件包括:手势采集装置,语音采集装置,手势识别装置,语音识别装置,幻灯片播放软件,投影仪,投影幕;系统增强组件包括:上课内容合成装置,硬盘录像机,视频服务器,课堂内容回放软件,具有视频播放功能的浏览器,视频服务客户端。优点:该方法和系统可广泛用于学校教学、会议演讲、展览场馆游客互动等场合。

Description

一种基于人体手势和语音的教学方法及系统
技术领域
本发明涉及一种使用幻灯片授课的教学方法及系统,特别是一种基于人体手势和语音的教学方法及系统。
背景技术
教育是一个国家能够可持续发展的根本,先进的教学设施不但可以提高教学过程的趣味性,而且可以大大缩小授课者与听课者之间的距离,大幅提高教学效果。幻灯片作为一种使用广泛的多媒体教学工具,克服了传统的板书授课方式的缺陷,让教师可以将更多精力集中在内容讲解而非黑板书写上,同时可以用声音、视频、图片、动画等多种载体阐述重点难点,极大提升了课堂的趣味性和教学效果。
教师在控制幻灯片翻页或跳转的时候,一般通过鼠标、键盘、激光笔等工具进行操控。使用鼠标和键盘进行操控,意味着教师不能离开授课计算机太远,教师不得不经常在黑板和计算机之间来回移动,影响了教学的流畅性和效率,更难以支持教师到教室其它区域与学生互动。使用激光笔虽然可以摆脱使用键盘鼠标的缺陷,但是需要教师时刻手持专用工具,因此依然对教学效果的发挥起到一定制约作用,由于需要关注幻灯片的展示、换页等操作,教师很容易放弃一些有意义的肢体语言。随着技术的不断进步,人体手势和语音识别技术渐渐应用于现实生活中。因此,在教学方面利用人体手势和语音控制幻灯片放映的做法是未来的发展趋势之一。
发明内容
本发明的目的是要提供一种基于人体手势和语音的教学方法及系统,解决利用键盘、鼠标或激光笔等方式控制幻灯片的不便,提高课堂效率。
本发明的目的是这样实现的:本发明包括基于人体手势和语音的教学方法以及教学系统,用于识别教师对幻灯片的控制手势和控制语音,实现对幻灯片的无设备操控。
基于人体手势和语音的教学方法:通过识别人体手势或者语音对幻灯片进行相对应手势或语音的操作。
所述的人体手势操作步骤包括:
步骤(1),识别教师手势,在教师所做出的手势对于操作幻灯片有意义时,幻灯片播放软件自动执行与手势相对应的操作,实现幻灯片的自动切换;
步骤(2),采集教师语音,从所采集语音中提取关键字,将提取的关键字与预设的关键字进行比较,当提取的关键字与预设的关键字相符时,幻灯片播放软件自动执行与关键字相对应的操作,实现幻灯片的自动切换。
步骤(1)中,识别教师手势,包括:通过手势采集装置采集教师手势;提取所采集的手势特征;将所述教师手势特征与手势模板库里的手势特征轮流比较;得到相似度最大的模板手势后,判断相似度是否超过阈值,若超过阈值,则将该手势判断为教师想要执行的手势。
步骤(1)中,根据教师手势,执行与手势相对应的操作,操作指令包括:当手势是从上往下或从左往右滑动时,实现幻灯片放映切换到下一页;当手势是从下往上或从右往左滑动时,实现幻灯片放映切换到上一页;当手势是伸出一根手指并停留一秒以上,实现幻灯片放映跳转第一个超链接,伸出两根手指并停留一秒以上跳转第二个超链接,依此类推;当手势是从双手合并到向两侧分开,实现幻灯片放映的放大操作,反之执行缩小操作。
步骤(2)中,当提取的关键字与预设的关键字相符时,执行与预设的关键字相对应的操作指令,包括:当语音是“切换到上一页”,实现幻灯片放映切换到上一页;当语音是“跳转到第#页”时,则将幻灯片切换到第“#”页,其中“#”为正整数;当语音是“切换到下一页”,实现幻灯片放映切换到下一页;当语音是“跳转到第#个链接”,实现幻灯片放映跳转到第#个超链接,其中“#”为正整数。
所述的基于人体手势和语音教学方法的专用系统,包括:基本组件和增强组件;
其中,基本组件包括:用于采集教师手势的手势采集装置,用于采集教师语音的语音采集装置,用于识别教师手势的手势识别装置,用于识别教师语音的语音识别装置,以及根据手势和语音识别结果进行幻灯片切换的幻灯片播放软件。
增强组件包括:用于将教师的语音讲课内容、教师的讲课过程视频以及幻灯片内容进行同步合成的“上课内容合成装置”,用于将合成后内容进行数字存储的硬盘录像机,用于将合成后内容在网络上进行在线发布的视频服务器,用于在本地回放课堂内容的课堂内容回放软件,以及用于在网络上播放课堂内容的“具有视频播放功能的浏览器”或视频服务客户端。
手势采集装置与手势识别装置接口,语音采集装置与语音识别装置接口,手势识别装置和语音识别装置都与幻灯片播放软件接口,幻灯片播放软件播放的内容投影到教室前方的投影幕上;语音采集装置、手势采集装置和幻灯片播放软件同时与上课内容合成装置接口,将这三者内容进行同步合成;上课内容合成装置与视频录像机接口,一方面进行数字化存储,一方面供安装在视频录像机内的课堂内容回放软件回放用,另外还通过视频服务器为远程学员提供实时或按需在线教学服务;远程学员利用自己计算机上安装的具有视频播放功能的浏览器或者视频服务客户端,通过因特网连接到视频服务器进行在线学习。
所述的手势采集装置为视频摄像机或体感传感器,用于采集教师手势,其安装位置位于讲台正前方和教室的四个角,保证教师在教室的任何位置均不存在手势遮挡现象。
所述的语音采集装置为麦克风阵列,用于采集教师语音,在教室内按照教室大小均匀分布安装,保证教师在教室的任何位置的语音均能良好采集。
所述的手势识别装置由教学专用计算机和手势识别软件系统构成,专用计算机用于存储标准人体手势并配合手势识别软件系统进行计算识别,手势识别软件系统安装于专用计算机内,由一系列视频/图像处理与识别模块构成,用于识别手势采集装置采集的教师手势,与专用计算机内存储的标准人体手势比较,判定与哪种标准人体手势最为相似。若相似度超过预设阈值,则判定为教师想要执行相应的动作。
所述的语音识别装置由教学专用计算机和语音识别软件系统构成,语音识别软件安装于专用计算机内,用于将所述语音采集装置采集的语音信息的转换成文字,并与预设关键字比较,如果语音信息中的关键字与预设关键字相符,则执行相应的操作。
有益效果,由于采用了上述方案,该方法和系统通过识别人体手势和语音操作幻灯片,教师无需任何其它设备,便可通过空中交互的方式控制教学进程,不但解除了教师与计算机之间的交互束缚,而且增强了上课的感染力,大大提升了教学效果。该方法和系统可广泛用于学校教学、会议演讲、展览场馆游客互动等场合。
附图说明
本发明上面的和/或附加的方面和优点从下面结合附图对实施例的描述中变得明显和容易理解,其中:
图1为本发明的一种基于人体手势和语音的教学方法的手势识别流程图。
图2为本发明的一种基于人体手势和语音的教学方法的语音识别流程图。
图3为本发明的一种基于人体手势和语音的教学系统图。
图4为本发明的一种基于人体手势和语音的教学系统设备布置图。
具体实施方式
本发明包括基于人体手势和语音的教学方法以及教学系统。
所述的基于人体手势和语音的教学方法:通过识别人体手势或者语音对幻灯片进行相应的操作;
所述的人体手势操作步骤包括:
通过识别人体手势或者语音对幻灯片进行相对应手势或语音的操作。
所述的人体手势操作步骤包括:
步骤(1),识别教师手势,在教师所做出的手势对于操作幻灯片有意义时,幻灯片执行相对应手势的操作,方便教师对幻灯片的操控;
步骤(2),采集教师语音,从所采集语音中提取关键字,将提取的关键字与预设的关键字进行比较,当提取的关键字与预设的关键字相符时,执行与预设的关键字相对应语音的操作指令。
步骤(1)中,识别教师手势,包括:通过手势采集装置采集教师手势;提取所采集的手势特征;将所述教师手势特征与手势模板库里的手势特征轮流比较;得到相似度最大的模板手势后,判断相似度是否超过阈值,若超过阈值,则将该手势判断为教师想要执行的手势。
步骤(1)中,根据教师手势,执行相对应手势的操作指令,包括:当手势是从上往下或从左往右滑动时,实现幻灯片放映切换到下一页;当手势是从下往上或从右往左滑动时,实现幻灯片放映切换到上一页;当手势是伸出一根手指并停留一秒以上,实现幻灯片放映跳转第一个超链接,伸出两根手指并停留一秒以上跳转第二个超链接,依此类推;当手势是从双手合并到向两侧分开,实现幻灯片放映的放大操作,反之执行缩小操作。
步骤(2)中,当提取的关键字与预设的关键字相符时,执行与预设的关键字对应的操作指令,包括:当语音是“切换到上一页”,实现幻灯片放映切换到上一页;当语音是“跳转到第#页”时,则将幻灯片切换到第“#”页,其中“#”为正整数;当语音是“切换到下一页”,实现幻灯片放映切换到下一页;当语音是“跳转到第#个链接”,实现幻灯片放映跳转到第#个超链接,其中“#”为正整数。
所述的基于人体手势和语音的教学系统。
包括:基本组件和增强组件,其中基本组件包括:用于采集教师手势的手势采集装置,用于采集教师语音的语音采集装置,用于识别教师手势的手势识别装置,用于识别教师语音的语音识别装置,以及根据手势和语音信进行幻灯片放映的幻灯片播放软件。增强组件包括:用于将教师的讲课内容(语音)、教师的讲课过程(视频)以及幻灯片内容进行同步合成的“上课内容合成装置”,用于将合成后内容进行数字存储的硬盘录像机,用于将合成后内容在网络上进行在线发布的视频服务器,用于在本地回放课堂内容的课堂内容回放软件,以及用于在网络上播放课堂内容的“具有视频播放功能的浏览器”或视频服务客户端。
所述的手势采集装置用于采集教师手势,其安装位置位于讲台正前方和教室的四个角,保证教师在教室的任何位置均不存在手势遮挡现象。
所述的语音采集用于采集教师语音,在教室内按照教室大小均匀分布安装,保证教师在教室的任何位置的语音均能良好采集。
所述的手势识别装置由教学专用计算机和手势识别软件系统构成,专用计算机用于存储标准人体手势并配合手势识别软件系统进行计算识别,手势识别软件系统安装于专用计算机内,由一系列视频/图像处理与识别模块构成,用于识别手势采集装置采集的教师手势,与专用计算机内存储的标准人体手势比较,判定与哪种标准人体手势最为相似。若相似度超过预设阈值,则判定为教师想要执行相应的动作。
所述的语音识别装置由教学专用计算机和语音识别软件系统构成,语音识别软件安装于专用计算机内,用于将所述语音采集装置采集的语音信息的转换成文字,并与预设关键字比较,如果语音信息中的关键字与预设关键字相符,则执行相应的操作。
本发明所涉及的:手势识别软件、语音识别软件、幻灯片播放软件和回放软件,均为成熟可用的软件;手势识别软件:采用Kinect自带软件或其他科研院所开发的软件;语音识别软件:采用科大讯飞的语音识别软件,幻灯片播放软件:采用PowerPoint;课堂内容回放软件、视频服务客户端:采用暴风影音、QQ影音等软件。
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解对本发明的限制。
实施例1:下面参考附图描述本发明实施例的一种基于手势和语音的教学方法和系统。
图1为本发明实施例提供的一种基于手势和语音的教学方法及系统的手势识别流程图。如图1所示,该手势识别流程包括以下步骤:
S101,采集人体手势。
当教师出现在人体手势采集设备的视野中,采集设备开始采集教师的手势。在本发明的一个实施例中,人体手势采集设备可以是体感传感器。具体而言,当教师出现在体感传感器的采集范围中,体感传感器采集教师的手势。
S102,提取手势特征。
通过数字视频连续帧序列处理,提取手势的运动轮廓,进而提取手势的运动轨迹特征。
S103,将教师手势特征与手势模板库里的手势特征轮流比较。
将所提取的手势运动轨迹特征和手势模板库里的手势特征轮流比较。在本发明的一个实施例中,可以通过计算教师人体手势和手势模板库里的手势的相似度进行比较。具体而言,把采集到的人体手势数据变换成一维向量,轮流计算与手势模板库里的手势的欧氏距离。
S104,模板库中与用户手势特征相似度最大、且相似度超过阈值,则输出该手势。
通过上述相似度比较得到相似度最大的模板手势后,判断相似度是否超过阈值,若超过阈值,则将该手势判断为教师想要执行的手势。具体而言,手势是从上往下或从左往右滑动时,实现幻灯片放映切换到下一页;当手势是从下往上或从右往左滑动时,实现幻灯片放映切换到上一页;当手势是伸出一根手指并停留一秒以上,实现幻灯片放映跳转第一个超链接,伸出两根手指并停留一秒以上跳转第二个超链接,依此类推;当手势是从双手合并到向两侧分开,实现幻灯片放映的放大操作,反之执行缩小操作。
图2为本发明实施例提供的一种基于手势和语音的教学方法及系统的语音识别流程图。如图2所示,该语音识别流程包括以下步骤:
S201,采集教师语音。
当教师发出语音信息,语音采集设备采集教师语音。在本发明的一个实施例中,人体语音采集设备可以是麦克风阵列。具体而言,当教师发出语音信息时,麦克风阵列采集教师的语音。
S202,从所述语音中提取关键字。
在获取教师输入的语音信息后,可提取语音信息的声学特征,并将声学特征输入到语音识别模型中,通过语音识别模型来识别教师输入的语音信息。例如,教师想要幻灯片切换到下一页,此时,教师面向语音采集设备说出诸如“切换到下一页”这样的语音,语音识别模型能够识别出“切换到下一页”这样的关键字。
S203,将提取的关键字与预设的关键字进行比较。
计算出语音识别结果与预先设置好的关键字之间的匹配得分,当大于某一阈值时,认为匹配成功。
S204,当提取的关键字与预设的关键字相符时,执行与预设的关键字对应的操作指令。
当提取关键字和预设关键字匹配成功时,幻灯片执行相应的操作。具体而言,当语音是“上一页”,实现幻灯片放映切换到上一页,反之则切换到下一页;当语音是“跳转到第一个链接”,实现幻灯片放映跳转第一个超链接,“跳转到第二个链接”实现幻灯片放映跳转第二个超链接,依此类推。
本发明实施例的一种基于手势和语音的教学系统。
图3为手势和语音的教学系统,这种基于手势和语音的教学系统由基本组件和增强组件组成。基本组件包括:用于采集教师手势的手势采集装置,用于采集教师语音的语音采集装置,用于识别教师手势的手势识别装置,用于识别教师语音的语音识别装置,以及根据手势和语音信进行幻灯片放映的幻灯片播放软件。增强组件包括:用于将教师的讲课内容(语音)、教师的讲课过程(视频)以及幻灯片内容进行同步合成的“上课内容合成装置”,用于将合成后内容进行数字存储的硬盘录像机,用于将合成后内容在网络上进行在线发布的视频服务器,用于在本地回放课堂内容的课堂内容回放软件,以及用于在网络上播放课堂内容的“具有视频播放功能的浏览器”或视频服务客户端。
手势采集装置与手势识别装置接口,语音采集装置与语音识别装置接口,手势识别装置和语音识别装置都与幻灯片播放软件接口,幻灯片播放软件播放的内容投影到教室前方的投影幕上。语音采集装置、手势采集装置和幻灯片播放软件同时与上课内容合成装置接口,将这三者内容进行同步合成;上课内容合成装置与视频录像机接口,一方面进行数字化存储,一方面供安装在视频录像机内的课堂内容回放软件回放用,另外还通过视频服务器为远程学员提供实时或按需在线教学服务。远程学员利用自己计算机上安装的具有视频播放功能的浏览器或者视频服务客户端,通过因特网连接到视频服务器进行在线学习。
图4为手势和语音的教学系统设备布置图,视频摄像机或体感传感器安装位置位于讲台正前方和教室的四个角,保证教师在教室的任何位置均不存在手势遮挡现象。麦克风阵列均匀分布安装在教室内,保证教师在教室的任何位置的语音均能良好采集。硬盘录像机和视频服务器放置与讲桌下方,便于存储合成的视频以及将合成后内容在网络上进行在线发布。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于人体手势和语音的教学方法,其特征是:通过识别教师手势或者语音对幻灯片进行相对应手势或语音的操作;
所述的人体手势操作步骤包括:
步骤(1),识别教师手势,在教师所做出的手势对于操作幻灯片有意义时,幻灯片播放软件自动执行与手势相对应的操作,实现幻灯片的自动切换;
步骤(2),采集教师语音,从所采集语音中提取关键字,将提取的关键字与预设的关键字进行比较,当提取的关键字与预设的关键字相符时,幻灯片播放软件自动执行与关键字相对应的操作,实现幻灯片的自动切换。
2.根据权利要求1所述的一种基于人体手势和语音的教学方法,其特征是:步骤(1)中,识别教师手势,包括:通过手势采集装置采集教师手势;提取所采集手势的特征;将教师手势特征与手势模板库里的手势特征轮流比较;得到相似度最大的模板手势后,判断相似度是否超过阈值,若超过阈值,则将该手势判断为教师想要执行的手势。
3.根据权利要求1所述的一种基于人体手势和语音的教学方法,其特征是:所述的步骤(1)中,根据教师手势,执行与手势相对应的操作,操作指令包括:当手势是从上往下或从左往右滑动时,实现幻灯片放映切换到下一页;当手势是从下往上或从右往左滑动时,实现幻灯片放映切换到上一页;当手势是伸出一根手指并停留一秒以上,实现幻灯片放映跳转第一个超链接,伸出两根手指并停留一秒以上跳转第二个超链接,依此类推;当手势是从双手合并到向两侧分开,实现幻灯片放映的放大操作,反之执行缩小操作。
4.根据权利要求1所述的一种基于人体手势和语音的教学方法,其特征是:所述的步骤(2)中,当提取的关键字与预设的关键字相符时,执行与预设的关键字相对应的操作指令,包括:当语音是“切换到上一页”,实现幻灯片放映切换到上一页;当语音是“跳转到第#页”时,则将幻灯片切换到第“#”页,其中“#”为正整数;当语音是“切换到下一页”,实现幻灯片放映切换到下一页;当语音是“跳转到第#个链接”,实现幻灯片放映跳转到第#个超链接,其中“#”为正整数。
5.权利要求1所述的一种基于人体手势和语音的教学方法的专用系统,其特征是包括基本组件和增强组件;其中,
基本组件包括:用于采集教师手势的手势采集装置、用于采集教师语音的语音采集装置、用于识别教师手势的手势识别装置、用于识别教师语音的语音识别装置以及根据手势和语音识别结果进行幻灯片切换的幻灯片播放软件;
增强组件包括:用于将教师的语音讲课内容、教师的讲课过程视频以及幻灯片内容进行同步合成的“上课内容合成装置”,用于将合成后内容进行数字存储的硬盘录像机,用于将合成后内容在网络上进行在线发布的视频服务器,用于在本地回放课堂内容的课堂内容回放软件,以及用于在网络上播放课堂内容的“具有视频播放功能的浏览器”或视频服务客户端;
手势采集装置与手势识别装置接口,语音采集装置与语音识别装置接口,手势识别装置和语音识别装置都与幻灯片播放软件接口,幻灯片播放软件播放的内容投影到教室前方的投影幕上;语音采集装置、手势采集装置和幻灯片播放软件同时与上课内容合成装置接口,将这三者内容进行同步合成;上课内容合成装置与视频录像机接口,一方面进行数字化存储,一方面供安装在视频录像机内的课堂内容回放软件回放用,另外还通过视频服务器为远程学员提供实时或按需在线教学服务;远程学员利用自己计算机上安装的具有视频播放功能的浏览器或者视频服务客户端,通过因特网连接到视频服务器进行在线学习。
6.根据权利要求5所述的一种基于人体手势和语音的教学方法的专用系统,其特征是:所述的手势采集装置为视频摄像机或体感传感器,其安装位置位于讲台正前方和教室四个角,保证教师在教室的任何位置均不存在手势遮挡现象;所述的语音采集装置为麦克风阵列,在教室内按照教室大小均匀分布安装,保证教师在教室的任何位置的语音均能良好采集。
7.根据权利要求5所述的一种基于人体手势和语音的教学方法的专用系统,其特征是:所述的手势识别装置由教学专用计算机和手势识别软件系统构成,专用计算机用于存储标准人体手势并配合手势识别软件系统进行计算识别,手势识别软件系统安装于专用计算机内,由一系列视频/图像处理与识别模块构成,用于识别手势采集装置采集的教师手势,与专用计算机内存储的标准人体手势比较,判定与哪种标准人体手势最为相似;若相似度超过预设阈值,则判定为教师想要执行相应的动作。
8.根据权利要求5所述的一种基于人体手势和语音的教学方法的专用系统,其特征是:所述的语音识别装置由教学专用计算机和语音识别软件系统构成,语音识别软件安装于专用计算机内,用于将所述语音采集装置采集的语音信息转换成文字,并与预设关键字比较,如果语音信息中的关键字与预设关键字相符,则执行相应的操作。
CN201810345643.8A 2018-04-17 2018-04-17 一种基于人体手势和语音的教学方法及系统 Withdrawn CN108536302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810345643.8A CN108536302A (zh) 2018-04-17 2018-04-17 一种基于人体手势和语音的教学方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810345643.8A CN108536302A (zh) 2018-04-17 2018-04-17 一种基于人体手势和语音的教学方法及系统

Publications (1)

Publication Number Publication Date
CN108536302A true CN108536302A (zh) 2018-09-14

Family

ID=63481306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810345643.8A Withdrawn CN108536302A (zh) 2018-04-17 2018-04-17 一种基于人体手势和语音的教学方法及系统

Country Status (1)

Country Link
CN (1) CN108536302A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920309A (zh) * 2019-01-16 2019-06-21 深圳壹账通智能科技有限公司 手语转换方法、装置、存储介质和终端
CN110619877A (zh) * 2019-09-27 2019-12-27 安徽咪鼠科技有限公司 应用于激光笔的语音识别人机交互方法、装置、系统和存储介质
CN111522524A (zh) * 2020-03-19 2020-08-11 浙江省北大信息技术高等研究院 一种基于会议机器人的演示文稿控制方法、装置、存储介质及终端
CN111954024A (zh) * 2020-08-27 2020-11-17 顾建亮 录课直播方法及系统
CN112462949A (zh) * 2020-12-22 2021-03-09 武汉尹珞蝌蚪教育科技有限公司 一种基于传感技术的可手势操控式教育平台
CN112711344A (zh) * 2020-12-30 2021-04-27 合肥联宝信息技术有限公司 一种信息交互方法、装置及计算机可读存储介质
CN112750437A (zh) * 2021-01-04 2021-05-04 欧普照明股份有限公司 控制方法、控制装置及电子设备
CN113190108A (zh) * 2021-03-26 2021-07-30 特斯联科技集团有限公司 一种博物馆展陈无感触摸与声音联动方法和系统
CN113223341A (zh) * 2021-05-07 2021-08-06 广州宏途教育网络科技有限公司 一种用于互动教学平台的教师操作系统
CN113552949A (zh) * 2021-07-30 2021-10-26 北京凯华美亚科技有限公司 多功能的沉浸式影音交互方法、装置和系统
CN114115784A (zh) * 2021-11-30 2022-03-01 云知声智能科技股份有限公司 基于智能麦克风的控制方法、装置、电子设备和存储介质
CN115695518A (zh) * 2023-01-04 2023-02-03 广州市保伦电子有限公司 一种基于智能移动设备的ppt控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887306A (zh) * 2009-05-15 2010-11-17 合发微系统科技股份有限公司 激光指示器以及基于手势的输入设备
CN102339193A (zh) * 2010-07-21 2012-02-01 Tcl集团股份有限公司 一种声控会议演讲的方法及系统
CN102520793A (zh) * 2011-11-30 2012-06-27 苏州奇可思信息科技有限公司 基于手势识别的会议演示交互方法
CN103164991A (zh) * 2013-03-01 2013-06-19 广州市信和电信发展有限公司 一种网络互动教学教研应用系统
CN103581569A (zh) * 2013-09-07 2014-02-12 国家电网公司 一种电力系统教学课件的录制方法及系统
CN204129723U (zh) * 2014-09-25 2015-01-28 广州大学 一种基于Kinect体感交互的课堂多媒体教学装置
CN105450944A (zh) * 2015-11-13 2016-03-30 北京自由坊科技有限责任公司 一种幻灯片和现场讲演语音同步录制与重现的方法及装置
CN106303694A (zh) * 2015-06-25 2017-01-04 上海峙森网络科技有限公司 一种多媒体幻灯片制备的方法
CN106502414A (zh) * 2016-11-08 2017-03-15 成都定为电子技术有限公司 基于控制手套的幻灯片放映系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887306A (zh) * 2009-05-15 2010-11-17 合发微系统科技股份有限公司 激光指示器以及基于手势的输入设备
CN102339193A (zh) * 2010-07-21 2012-02-01 Tcl集团股份有限公司 一种声控会议演讲的方法及系统
CN102520793A (zh) * 2011-11-30 2012-06-27 苏州奇可思信息科技有限公司 基于手势识别的会议演示交互方法
CN103164991A (zh) * 2013-03-01 2013-06-19 广州市信和电信发展有限公司 一种网络互动教学教研应用系统
CN103581569A (zh) * 2013-09-07 2014-02-12 国家电网公司 一种电力系统教学课件的录制方法及系统
CN204129723U (zh) * 2014-09-25 2015-01-28 广州大学 一种基于Kinect体感交互的课堂多媒体教学装置
CN106303694A (zh) * 2015-06-25 2017-01-04 上海峙森网络科技有限公司 一种多媒体幻灯片制备的方法
CN105450944A (zh) * 2015-11-13 2016-03-30 北京自由坊科技有限责任公司 一种幻灯片和现场讲演语音同步录制与重现的方法及装置
CN106502414A (zh) * 2016-11-08 2017-03-15 成都定为电子技术有限公司 基于控制手套的幻灯片放映系统和方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920309A (zh) * 2019-01-16 2019-06-21 深圳壹账通智能科技有限公司 手语转换方法、装置、存储介质和终端
CN110619877A (zh) * 2019-09-27 2019-12-27 安徽咪鼠科技有限公司 应用于激光笔的语音识别人机交互方法、装置、系统和存储介质
CN111522524A (zh) * 2020-03-19 2020-08-11 浙江省北大信息技术高等研究院 一种基于会议机器人的演示文稿控制方法、装置、存储介质及终端
CN111522524B (zh) * 2020-03-19 2023-01-03 杭州未名信科科技有限公司 一种基于会议机器人的演示文稿控制方法、装置、存储介质及终端
CN111954024A (zh) * 2020-08-27 2020-11-17 顾建亮 录课直播方法及系统
CN112462949A (zh) * 2020-12-22 2021-03-09 武汉尹珞蝌蚪教育科技有限公司 一种基于传感技术的可手势操控式教育平台
CN112711344B (zh) * 2020-12-30 2022-02-01 合肥联宝信息技术有限公司 一种信息交互方法、装置及计算机可读存储介质
CN112711344A (zh) * 2020-12-30 2021-04-27 合肥联宝信息技术有限公司 一种信息交互方法、装置及计算机可读存储介质
CN112750437A (zh) * 2021-01-04 2021-05-04 欧普照明股份有限公司 控制方法、控制装置及电子设备
CN113190108A (zh) * 2021-03-26 2021-07-30 特斯联科技集团有限公司 一种博物馆展陈无感触摸与声音联动方法和系统
CN113223341A (zh) * 2021-05-07 2021-08-06 广州宏途教育网络科技有限公司 一种用于互动教学平台的教师操作系统
CN113552949A (zh) * 2021-07-30 2021-10-26 北京凯华美亚科技有限公司 多功能的沉浸式影音交互方法、装置和系统
CN114115784A (zh) * 2021-11-30 2022-03-01 云知声智能科技股份有限公司 基于智能麦克风的控制方法、装置、电子设备和存储介质
CN115695518A (zh) * 2023-01-04 2023-02-03 广州市保伦电子有限公司 一种基于智能移动设备的ppt控制方法

Similar Documents

Publication Publication Date Title
CN108536302A (zh) 一种基于人体手势和语音的教学方法及系统
US20210076105A1 (en) Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Slide presentation into an Editable Notetaking Resource with Optional Overlay of the Presenter
US20210056251A1 (en) Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource
Yang et al. Content based lecture video retrieval using speech and video text information
Schiel et al. The SmartKom Multimodal Corpus at BAS.
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
Takeuchi et al. Creating a gesture-speech dataset for speech-based automatic gesture generation
Chatila et al. Integrated planning and execution control of autonomous robot actions
US20150213793A1 (en) Methods and systems for converting text to video
JP2008152605A (ja) プレゼンテーション解析装置およびプレゼンテーション視聴システム
Yadav et al. Content-driven multi-modal techniques for non-linear video navigation
Bruti Teaching learners how to use pragmatic routines through audiovisual material
Che et al. Automatic online lecture highlighting based on multimedia analysis
Pastra COSMOROE: a cross-media relations framework for modelling multimedia dialectics
Kelly Becoming screen literate
KR102396263B1 (ko) 스크립트를 이용한 스마트 어학학습서비스를 제공하는 시스템
Amir et al. Automatic generation of conference video proceedings
Wang et al. Simulating a smartboard by real-time gesture detection in lecture videos
Jiménez et al. Tablet pc and head mounted display for live closed captioning in education
Riedhammer Interactive approaches to video lecture assessment
Lu et al. iDVT: An interactive digital violin tutoring system based on audio-visual fusion
CN109410658A (zh) 一种非接触式多媒体互动电子仿真书系统
Ma et al. Automated Conversion of Music Videos into Lyric Videos
Franko et al. Writing for the body: notation, reconstruction, and reinvention in dance
Jiang SDW-ASL: A Dynamic System to Generate Large Scale Dataset for Continuous American Sign Language

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180914