CN108010530A - 一种基于语音识别技术的学生发言检测跟踪装置 - Google Patents
一种基于语音识别技术的学生发言检测跟踪装置 Download PDFInfo
- Publication number
- CN108010530A CN108010530A CN201711238245.8A CN201711238245A CN108010530A CN 108010530 A CN108010530 A CN 108010530A CN 201711238245 A CN201711238245 A CN 201711238245A CN 108010530 A CN108010530 A CN 108010530A
- Authority
- CN
- China
- Prior art keywords
- student
- teacher
- speech
- face
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010422 painting Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 7
- 239000011521 glass Substances 0.000 abstract description 4
- 238000009434 installation Methods 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种基于语音识别技术的学生发言检测跟踪装置，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库。所述基于语音识别技术的学生发言检测跟踪装置采用人脸识别的方法形成学生的座位表，不用手工输入，对于频繁变动座位的情况下也能方便的处理；采用语音识别技术实现学生发言跟踪，其正确率高；反应迅速；抗干扰能力强，不受外部光线、教室窗户、室内玻璃墙等的影响；安装简单，无需对设备进行位置标定，也无需设置屏蔽区，简单易用；适用性广，能够兼顾坐立发言的场合。
Description
技术领域
本发明涉及一种基于语音识别技术的学生发言检测跟踪装置，涉及计算机语音、计算机视觉、嵌入式等技术领域，应用于教育录播系统中学生发言的自动跟踪。
背景技术
录播系统作为一个教学资源的采集和发布系统，能解决目前优质教学资源覆盖不全面的 问题，也能够有效的提升数字教育资源服务水平与能力。
录播系统通常要采集课堂上老师授课以及学生互动的所有画面，再通过压缩编码，最后进行实时直播或者存储。学生互动环节，需要对学生发言进行跟踪，并控制摄像机对学生使用特写画面展示，这样观看者更加容易看清学生的表情细节，提高整个系统的体验。
学生跟踪早期都需要检测学生的站立动作，大致经历了三代：
第一代也就是最早期，通过在座椅上安放压力传感器来检测学生的站立动作。
第二代属于智能图像分析阶段，先设置学生起立后头部位置的上限，当学生头部触及这个上限时认为有站立动作。如申请号为201410610741.1，名称为《一种基于主从摄像机的学生跟踪定位方法》的专利就采用了这种方案，又比如申请号为201210405917.0，名称为《一种基于图像定位的摄像机自动跟踪系统及跟踪方法》的专利也采用了类似方法。
第三代属于3D图像分析阶段，即通过3D摄像机，加上智能图像分析，得出学生站立的动作和位置，同第二代相比该方案不仅提供了学生站立的动作检测，同时还提供了学生的具体位置，具有更优秀的跟踪能力。如申请号为201710140293.7，名称为《一种用于自动侦测学生起立发言动作的检测方法及其装置》的专利就采用了这种方法。
然而，上述的这些都存在一定的技术问题：
第一代采用的方案会受学生晃动以及学生的一些小动作影响，基本上不能正常使用。
第二代方案误检率较高，需要学生的头部达到预先设定上限后才认为是站立，在低年级的学生，或者站立后头部高度变化不太明显的情况下误检更为严重；教室周围的窗户、后面玻璃墙等也会严重干扰学生站立的检测；另外检测过程中需要等学生完全站立，再通知摄像机转到相应位置，整个过程较慢，通常是学生已经说了几个字，画面才切好；这个方案必须要学生站立，对于一些行动不便、或者一些坐立发言的场合就无能为力了。
第三代由于本质上还是基于图像分析，也没有根本上解决第二代方案存在的问题。
因此有必要设计一种基于语音识别技术的学生发言检测跟踪装置，以克服上述问题。
发明内容
本发明的目的在于克服现有技术之缺陷，提供了一种适用性广、安装简单、抗干扰能力强、反应迅速、正确率高的基于语音识别技术的学生发言检测跟踪装置。
本发明是这样实现的：
本发明提供一种基于语音识别技术的学生发言检测跟踪装置，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库；
所述学生摄像机和所述学生人脸画面采集和摄像机控制主机将学生在教室的整体画面采集下来，并传送到所述学生人脸识别服务器，所述学生人脸识别服务器进行画面中的人脸分析，并将分析出来的人脸特征信息与所述学生学籍管理数据库中存储的学生人脸登记信息进行比对，形成班上每个学生在图片中的位置信息，将这些位置信息回传至所述学生人脸画面采集和摄像机控制主机，并根据这些信息以及教室的实际布置情况，生成学生的座位表；
老师讲课的过程中，语音由所述老师麦克风和所述老师语音采集和老师语音识别主机实时采集，当老师点名学生发言时，由所述老师语音采集和老师语音识别主机通过语义识别，检测出老师点名的意图以及被点名的具体同学姓名，随后这个学生的姓名被传送到所述学生人脸画面采集和摄像机控制主机，由所述学生人脸画面采集和摄像机控制主机实现相机的转动和画面的切换。
进一步地，所述老师语音采集和老师语音识别主机内设有老师点名用的预设结构的语句。
进一步地，所述老师语音采集和老师语音识别主机、所述学生人脸画面采集和摄像机控制主机、所述学生人脸识别服务器以及所述学生学籍管理数据库均通过网络传输数据。
本发明具有以下有益效果：
所述基于语音识别技术的学生发言检测跟踪装置采用人脸识别的方法形成学生的座位表，不用手工输入，对于频繁变动座位的情况下也能方便的处理；采用语音识别技术实现学生发言跟踪，通传统的图像识别技术相比，有如下特点：正确率高，老师使用普通话教学的情况下，正确率可以达到98%；反应迅速，能够在老师说出相应命令词后，相机就切到相应的位置；抗干扰能力强，不受外部光线、教室窗户、室内玻璃墙等的影响；安装简单，无需对设备进行位置标定，也无需设置屏蔽区，简单易用；适用性广，能够兼顾坐立发言的场合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于语音识别技术的学生发言检测跟踪装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1，本发明实施例提供一种基于语音识别技术的学生发言检测跟踪装置，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库。
所述基于语音识别技术的学生发言检测跟踪装置的基本工作流程分为两部分：
一、自动生成学生座位表：所述学生摄像机和所述学生人脸画面采集和摄像机控制主机将学生在教室的整体画面采集下来，并传送到所述学生人脸识别服务器，所述学生人脸识别服务器进行画面中的人脸分析，并将分析出来的人脸特征信息与所述学生学籍管理数据库中存储的学生人脸登记信息进行比对，形成班上每个学生在图片中的位置信息，将这些位置信息回传至所述学生人脸画面采集和摄像机控制主机，并根据这些信息以及教室的实际布置情况，生成学生的座位表。
二、学生发言检测和跟踪：老师讲课的过程中，语音由所述老师麦克风和所述老师语音采集和老师语音识别主机实时采集，当老师点名学生发言时，由所述老师语音采集和老师语音识别主机通过语义识别，检测出老师点名的意图以及被点名的具体同学姓名，随后这个学生的姓名被传送到所述学生人脸画面采集和摄像机控制主机，由所述学生人脸画面采集和摄像机控制主机实现相机的转动和画面的切换。其中，所述老师语音采集和老师语音识别主机内设有老师点名用的预设结构的语句，例如：“请王五回答这个问题”、“王五你来回答一下”、“这个问题谁知道，王五你回答一下”等（其中“王五”为班上同学的姓名）。
进一步地，所述老师语音采集和老师语音识别主机、所述学生人脸画面采集和摄像机控制主机、所述学生人脸识别服务器以及所述学生学籍管理数据库均通过网络传输数据。
本发明具有以下有益效果：
所述基于语音识别技术的学生发言检测跟踪装置采用人脸识别的方法形成学生的座位表，不用手工输入，对于频繁变动座位的情况下也能方便的处理；采用语音识别技术实现学生发言跟踪，通传统的图像识别技术相比，有如下特点：正确率高，老师使用普通话教学的情况下，正确率可以达到98%；反应迅速，能够在老师说出相应命令词后，相机就切到相应的位置；抗干扰能力强，不受外部光线、教室窗户、室内玻璃墙等的影响；安装简单，无需对设备进行位置标定，也无需设置屏蔽区，简单易用；适用性广，能够兼顾坐立发言的场合。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于语音识别技术的学生发言检测跟踪装置，其特征在于，包括老师麦克风、老师语音采集和老师语音识别主机、学生摄像机、学生人脸画面采集和摄像机控制主机、学生人脸识别服务器以及学生学籍管理数据库；
所述学生摄像机和所述学生人脸画面采集和摄像机控制主机将学生在教室的整体画面采集下来，并传送到所述学生人脸识别服务器，所述学生人脸识别服务器进行画面中的人脸分析，并将分析出来的人脸特征信息与所述学生学籍管理数据库中存储的学生人脸登记信息进行比对，形成班上每个学生在图片中的位置信息，将这些位置信息回传至所述学生人脸画面采集和摄像机控制主机，并根据这些信息以及教室的实际布置情况，生成学生的座位表；
老师讲课的过程中，语音由所述老师麦克风和所述老师语音采集和老师语音识别主机实时采集，当老师点名学生发言时，由所述老师语音采集和老师语音识别主机通过语义识别，检测出老师点名的意图以及被点名的具体同学姓名，随后这个学生的姓名被传送到所述学生人脸画面采集和摄像机控制主机，由所述学生人脸画面采集和摄像机控制主机实现相机的转动和画面的切换。
2.如权利要求1所述的基于语音识别技术的学生发言检测跟踪装置，其特征在于：所述老师语音采集和老师语音识别主机内设有老师点名用的预设结构的语句。
3.如权利要求1或2所述的基于语音识别技术的学生发言检测跟踪装置，其特征在于：所述老师语音采集和老师语音识别主机、所述学生人脸画面采集和摄像机控制主机、所述学生人脸识别服务器以及所述学生学籍管理数据库均通过网络传输数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711238245.8A CN108010530A (zh) | 2017-11-30 | 2017-11-30 | 一种基于语音识别技术的学生发言检测跟踪装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711238245.8A CN108010530A (zh) | 2017-11-30 | 2017-11-30 | 一种基于语音识别技术的学生发言检测跟踪装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108010530A true CN108010530A (zh) | 2018-05-08 |
Family
ID=62055213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711238245.8A Withdrawn CN108010530A (zh) | 2017-11-30 | 2017-11-30 | 一种基于语音识别技术的学生发言检测跟踪装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108010530A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111757140A (zh) * | 2020-07-07 | 2020-10-09 | 南京百家云科技有限公司 | 一种基于直播课堂的教学方法及装置 |
| CN113591703A (zh) * | 2021-07-30 | 2021-11-02 | 山东建筑大学 | 一种教室内人员定位方法及教室综合管理系统 |
| CN113793424A (zh) * | 2021-08-24 | 2021-12-14 | 湖北青时美音文化传媒有限公司 | 一种带有智能点名系统的教育平台 |
| CN115314630A (zh) * | 2022-01-24 | 2022-11-08 | 李宁 | 一种基于图像识别分析技术的婚庆摄影摄像智能化调控管理系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715142A (zh) * | 2008-09-29 | 2010-05-26 | 株式会社日立制作所 | 信息记录再现装置和视频摄像机 |
| JP2013007851A (ja) * | 2011-06-23 | 2013-01-10 | Nikon Corp | 撮像装置 |
| CN103021038A (zh) * | 2012-12-03 | 2013-04-03 | 福州开普软件信息技术有限公司 | 校园课堂考勤考核的系统及用该系统实现考勤考核的方法 |
| CN103905765A (zh) * | 2014-04-03 | 2014-07-02 | 山大鲁能信息科技有限公司 | 一种教学统计用智能录播系统及其工作方法 |
| CN104361311A (zh) * | 2014-09-25 | 2015-02-18 | 南京大学 | 多模态在线增量式来访识别系统及其识别方法 |
| CN105205646A (zh) * | 2015-08-07 | 2015-12-30 | 江苏诚创信息技术研发有限公司 | 自动点名系统及实现自动点名系统的方法 |
| CN204965530U (zh) * | 2015-09-30 | 2016-01-13 | 厦门理工学院 | 一种集成机器视觉和数据库的课堂点名系统 |
| CN205263887U (zh) * | 2015-11-27 | 2016-05-25 | 华北理工大学 | 一种基于教学管理的智能点名装置 |
| CN105957175A (zh) * | 2016-05-04 | 2016-09-21 | 南京安智易达智能科技有限公司 | 监所自动人像点名系统 |
| CN106803890A (zh) * | 2017-03-09 | 2017-06-06 | 阔地教育科技有限公司 | 一种自动导播方法及装置 |
| CN106856063A (zh) * | 2015-12-09 | 2017-06-16 | 朱森 | 一种新型教学平台 |
| CN107067850A (zh) * | 2017-05-27 | 2017-08-18 | 毛杰键 | 一种远程教学互动交流系统 |
-
2017
- 2017-11-30 CN CN201711238245.8A patent/CN108010530A/zh not_active Withdrawn
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715142A (zh) * | 2008-09-29 | 2010-05-26 | 株式会社日立制作所 | 信息记录再现装置和视频摄像机 |
| JP2013007851A (ja) * | 2011-06-23 | 2013-01-10 | Nikon Corp | 撮像装置 |
| CN103021038A (zh) * | 2012-12-03 | 2013-04-03 | 福州开普软件信息技术有限公司 | 校园课堂考勤考核的系统及用该系统实现考勤考核的方法 |
| CN103905765A (zh) * | 2014-04-03 | 2014-07-02 | 山大鲁能信息科技有限公司 | 一种教学统计用智能录播系统及其工作方法 |
| CN104361311A (zh) * | 2014-09-25 | 2015-02-18 | 南京大学 | 多模态在线增量式来访识别系统及其识别方法 |
| CN105205646A (zh) * | 2015-08-07 | 2015-12-30 | 江苏诚创信息技术研发有限公司 | 自动点名系统及实现自动点名系统的方法 |
| CN204965530U (zh) * | 2015-09-30 | 2016-01-13 | 厦门理工学院 | 一种集成机器视觉和数据库的课堂点名系统 |
| CN205263887U (zh) * | 2015-11-27 | 2016-05-25 | 华北理工大学 | 一种基于教学管理的智能点名装置 |
| CN106856063A (zh) * | 2015-12-09 | 2017-06-16 | 朱森 | 一种新型教学平台 |
| CN105957175A (zh) * | 2016-05-04 | 2016-09-21 | 南京安智易达智能科技有限公司 | 监所自动人像点名系统 |
| CN106803890A (zh) * | 2017-03-09 | 2017-06-06 | 阔地教育科技有限公司 | 一种自动导播方法及装置 |
| CN107067850A (zh) * | 2017-05-27 | 2017-08-18 | 毛杰键 | 一种远程教学互动交流系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111757140A (zh) * | 2020-07-07 | 2020-10-09 | 南京百家云科技有限公司 | 一种基于直播课堂的教学方法及装置 |
| CN113591703A (zh) * | 2021-07-30 | 2021-11-02 | 山东建筑大学 | 一种教室内人员定位方法及教室综合管理系统 |
| CN113591703B (zh) * | 2021-07-30 | 2023-11-28 | 山东建筑大学 | 一种教室内人员定位方法及教室综合管理系统 |
| CN113793424A (zh) * | 2021-08-24 | 2021-12-14 | 湖北青时美音文化传媒有限公司 | 一种带有智能点名系统的教育平台 |
| CN115314630A (zh) * | 2022-01-24 | 2022-11-08 | 李宁 | 一种基于图像识别分析技术的婚庆摄影摄像智能化调控管理系统 |
| CN115314630B (zh) * | 2022-01-24 | 2024-09-06 | 李宁 | 一种基于图像识别分析技术的婚庆摄影摄像智能化调控管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108010530A (zh) | 一种基于语音识别技术的学生发言检测跟踪装置 | |
| US20200077049A1 (en) | Speaker anticipation | |
| CN108363522B (zh) | 同步书写系统及其方法 | |
| CN109817041A (zh) | 多功能教学系统 | |
| CN101394479B (zh) | 基于运动检测结合多通道融合的教师运动跟踪方法 | |
| Kerschbaum et al. | Centering disability in qualitative interviewing | |
| CN111242962A (zh) | 远程培训视频的生成方法、装置、设备及存储介质 | |
| Vilaró et al. | How sound is the Pear Tree Story? Testing the effect of varying audio stimuli on visual attention distribution | |
| CN107731032A (zh) | 一种音视频切换方法、装置以及远程多点互动教学系统 | |
| Kontogiorgos et al. | A multimodal corpus for mutual gaze and joint attention in multiparty situated interaction | |
| CN208208118U (zh) | 一种同步互助课堂教学系统 | |
| CN105578044A (zh) | 一种全景位自适应老师图像分析方法 | |
| CN110085072A (zh) | 一种多机位非对称显示的实现方法及装置 | |
| CN112307800A (zh) | 视频会议中电子铭牌的显示方法和装置 | |
| CN106375704A (zh) | 一种全息可视对讲交互系统 | |
| CN109788221A (zh) | 一种录播方法及装置 | |
| Prince et al. | Synching models with infants: A perceptual-level model of infant audio-visual synchrony detection | |
| CN106409037A (zh) | 一种电教室互动教学的实现方法及实现系统 | |
| CN105844983A (zh) | 情景模拟教学实训系统 | |
| CN103164990A (zh) | 一种方舱医院远程示教会诊系统 | |
| Keval | Effective design, configuration, and use of digital CCTV | |
| CN108492231A (zh) | 基于学生行为数据的课堂效果信息的监控系统 | |
| CN111967372A (zh) | 一种用于会议系统的图像识别方法 | |
| CN107547813A (zh) | 一种采集处理多路音频信号的系统和方法 | |
| CN106384546A (zh) | 一种基于学生行为的远程互动教学自动发言方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180508 |
|
| WW01 | Invention patent application withdrawn after publication |