CN106803890A - 一种自动导播方法及装置 - Google Patents

一种自动导播方法及装置 Download PDF

Info

Publication number
CN106803890A
CN106803890A CN201710136348.7A CN201710136348A CN106803890A CN 106803890 A CN106803890 A CN 106803890A CN 201710136348 A CN201710136348 A CN 201710136348A CN 106803890 A CN106803890 A CN 106803890A
Authority
CN
China
Prior art keywords
information
feature data
instructor
autoconducting
broadcasting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710136348.7A
Other languages
English (en)
Inventor
李健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Codyy Education Technology Co Ltd
Original Assignee
Codyy Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Codyy Education Technology Co Ltd filed Critical Codyy Education Technology Co Ltd
Priority to CN201710136348.7A priority Critical patent/CN106803890A/zh
Publication of CN106803890A publication Critical patent/CN106803890A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种自动导播方法及装置，其中自动导播方法，包括：识别所采集的音频信息；根据音频识别结果从数据库中查找出对应的第一特征数据；基于所述第一特征数据控制摄像设备的运动，完成导播。本发明技术方案根据音频识别结果控制摄像机的运动，完成自动导播，无需导播人员和导播设备的配置，保障课堂互动和直播效果。

Description

一种自动导播方法及装置
技术领域
本发明属于计算机技术领域，尤其涉及一种自动导播方法及装置。
背景技术
在目前的导播课堂中，每次开课前需指派一名导播老师，专门负责直录播课堂的导播工作；导播老师根据导播台或导播应用控制多机位摄像头的运动。导播分为自动导播、半自动导播和手动导播三种模式：自动导播模式是根据上课老师的特定动作进行跟踪识别，根据学生的坐下起立动作进行跟踪识别；半自动导播模式是具有自动导播的部分功能，同时又可以手动进行切换；手动导播全部由导播老师进行手动控制摄像头切换跟踪。即便是自动导播，若没有识别出特定动作，也不能进行跟踪，因此每个教室都需要指派导播老师，造成人力浪费；每次开课都需要指派导播老师，且需要额外的导播台或导播应用进行控制，造成开发成本的浪费，且流程复杂。
发明内容
本发明提供一种自动导播方法及装置，以解决上述问题。
本发明公开了一种自动导播方法，包括：识别所采集的音频信息；根据音频识别结果从数据库中查找出对应的第一特征数据；基于所述第一特征数据控制摄像设备的运动，完成导播。
本发明还公开了一种自动导播装置，包括：音频识别单元，用于识别所采集的音频信息；
查找单元，用于根据音频识别结果从数据库中查找出对应的第一特征数据；导播单元，用于基于所述第一特征数据控制摄像设备的运动，完成导播。
根据本发明提供的技术方案，根据音频识别结果控制摄像机的运动，完成自动导播，无需导播人员和导播设备的配置，保障课堂互动和直播效果。
此外，还可以结合课表完成自动开课过程，包括课程的开始、暂停和结束，也无需导播人员，提高了系统的智能型，也节省人力成本。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为根据本发明的一较佳实施例提供的自动导播方法的流程图；
图2所示为根据本发明的一较佳实施例提供的自动导播装置的框图；
图3所示为根据本发明的一较佳实施例提供的自动导播系统的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1所示为根据本发明的一较佳实施例提供的自动导播方法的流程图。
如图1所示，根据本发明的实施例的自动导播方法，包括：
步骤102，识别所采集的音频信息；
步骤104，根据音频识别结果从数据库中查找出对应的第一特征数据；
步骤106，基于所述第一特征数据控制摄像设备的运动，完成导播。
该音频信息主要是老师发出的音频信息，例如上课过程中发出的指令，请小明回答问题，下面请看课件。在数据库中提前存储了与音频识别结果对应的第一特征数据，根据该第一特征数据完成自动导播。第一特征数据除了人脸特征、物体特征之外，还可以是与音频识别结果对应的控制命令例如切换至学生跟踪摄像机画面或者切换至课件画面的指令。
上述自动导播方法中的步骤106具体可以包括：
采集各目标对象的第二特征数据；
将所述第一特征数据与所述第二特征数据进行匹配；
确定特征配对的目标对象，控制所述摄像设备跟踪所述配对的目标对象。
其中，若所述音频识别结果是预设第一关键词信息，则所述第一特征数据是物体或人体特征，若所述音频识别结果是预设第二关键词信息，则所述第一特征数据是摄像机跟踪参数；
若所述第一特征数据是摄像机跟踪参数，则根据所述摄像机跟踪参数跟踪进入所述摄像机拍摄视野的目标对象。
音频识别结果可以是人名或物体名称，也可以是方位名称、区域名称、地点名称，人名或物体名称设置成第一关键词，方位名称、区域名称、地点名称设置成第二关键词。预设这些关键词对应的第一特征数据。
当识别出第一关键词时，需采集现场的各目标对象的第二特征数据，例如各学生的人脸特征，动物的体型特征等等。与该第一关键词对应的第一特征数据也是人脸特征，将该第一特征数据与第二特征数据进行匹配，即将现场的各人脸特征数据与数据库中的人脸特征数据进行匹配，若发现匹配的人脸，则确定跟踪的学生或老师。例如，老师发出指令：请小明回答问题。识别出“小明”关键词，并查找出小明的人脸特征。现场采集各学生的人脸特征，将该人脸特征与小明的人脸特征进行匹配，从而发现小明并确定小明的位置，控制摄像机跟踪小明，完成自动导播。
当识别出第二关键词时，对应查找出数据库中预存的第一特征数据，该第一特征数据是摄像机跟踪参数。例如，数据库中预存黑板区域对应的摄像机跟踪参数A，学生区域对应的摄像机跟踪参数B。当老师发出口令：请大家看黑板，则识别出第二关键词“黑板”，查找出对应的第一特征数据是摄像机跟踪参数A，于是根据摄像机跟踪参数A控制跟踪摄像机的运动。
如果同时识别出第一关键词和第二关键词，则需要同时执行两种方案。例如当老师发出口令：请小明到黑板上演算这道题。识别出第一关键词“小明”，以及第二关键词“黑板”。查找出对应的第一特征数据包括小明的人脸特征，以及与黑板对应的跟踪摄像机参数。将现场的人脸特征与小明的人脸进行匹配，定位到小明的位置，同时根据摄像机跟踪参数控制跟踪摄像机的运动。这样，就能够跟踪小明，并对小明在黑板上的演算过程进行特写。
上述自动导播方法还可以包括：
获取课表信息，根据所述课表信息完成自动导播。
其中，所述课表信息包括以下至少一种或多种：时间安排信息、片头片尾信息和拼接信息；
根据所述时间安排信息，控制导播录制的开启、导播录制的暂停以及导播录制的启动；
根据所述片头片尾信息控制录制视频的片头片尾的设置；
根据所述拼接信息对所述录制视频进行剪切和拼接。
图2所示为根据本发明的一较佳实施例提供的自动导播装置的框图。
如图2所示，根据本发明的实施例的自动导播装置200包括：
音频识别单元202，用于识别所采集的音频信息；
查找单元204，连接至所述音频识别单元202，用于根据音频识别结果从数据库中查找出对应的第一特征数据；
导播单元206，连接至所述查找单元204，用于基于所述第一特征数据控制摄像设备的运动，完成导播。
上述自动导播装置还可以包括：
图像识别单元208，用于采集各目标对象的第二特征数据；
匹配单元210，用于将所述第一特征数据与所述第二特征数据进行匹配；
目标对象确定单元212，用于确定特征配对的目标对象，控制所述摄像设备跟踪所述配
对的目标对象。
其中，若所述音频识别结果是预设第一关键词信息，则所述第一特征数据是物体或人体特征，若所述音频识别结果是预设第二关键词信息，则所述第一特征数据是摄像机跟踪参数；
所述导播单元在所述第一特征数据是摄像机跟踪参数时，根据所述摄像机跟踪参数跟踪进入所述摄像机拍摄视野的目标对象。
其中，所述导播单元206包括：
课表获取单元，用于获取课表信息，根据所述课表信息完成自动导播。
其中，所述课表信息包括以下至少一种或多种：时间安排信息、片头片尾信息和拼接信息；
所述课表获取单元根据所述时间安排信息，控制导播录制的开启、导播录制的暂停以及导播录制的启动，以及根据所述片头片尾信息控制录制视频的片头片尾的设置，以及根据所述拼接信息对所述录制视频进行剪切和拼接。
图3所示为根据本发明的一较佳实施例提供的自动导播系统的示意图。
如图3所示，从云服务平台获取各学生以及老师的基本信息以及本学期的课表信息并存储于基础数据库，该基本信息包括人脸特征、年龄、特长、家庭地址、联系方式等。对现场的学生和老师进行身体特征采集，包括人脸特征。采集老师的音频信息或动作信息，进行语音识别和图像识别。根据音频识别结果从数据库中查找出对应的人脸特征，将人脸特征与采集的各人脸特征进行比对，比对成功的人脸即定位成功的人脸，并对该定位成功的人脸进行跟踪。在跟踪到定位的人脸时，可以在显示屏上显示该学生的一些基本信息例如爱好信息。
同时，在开课前，可以导出课表信息并根据课表信息完成自动导播，例如根据课程时间自动开始导播以及结束导播，无论是导播时间控制，还是导播跟踪，均无需导播人员。
根据本发明提供的技术方案，根据音频识别结果控制摄像机的运动，完成自动导播，无需导播人员和导播设备的配置，保障课堂互动和直播效果。此外，还可以结合课表完成自动开课过程，包括课程的开始、暂停和结束，也无需导播人员，提高了系统的智能型，也节省人力成本。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动导播方法，其特征在于，包括：
识别所采集的音频信息；
根据音频识别结果从数据库中查找出对应的第一特征数据；
基于所述第一特征数据控制摄像设备的运动，完成导播。
2.根据权利要求1所述的自动导播方法，其特征在于，
采集各目标对象的第二特征数据；
将所述第一特征数据与所述第二特征数据进行匹配；
确定特征配对的目标对象，控制所述摄像设备跟踪所述配对的目标对象。
3.根据权利要求1所述的自动导播方法，其特征在于，若所述音频识别结果是预设第一关键词信息，则所述第一特征数据是物体或人体特征，若所述音频识别结果是预设第二关键词信息，则所述第一特征数据是摄像机跟踪参数；
若所述第一特征数据是摄像机跟踪参数，则根据所述摄像机跟踪参数跟踪进入所述摄像机拍摄视野的目标对象。
4.根据权利要求1至3中任一项所述的自动导播方法，其特征在于，还包括：
获取课表信息，根据所述课表信息完成自动导播。
5.根据权利要求4所述的自动导播方法，其特征在于，所述课表信息包括以下至少一种或多种：时间安排信息、片头片尾信息和拼接信息；
根据所述时间安排信息，控制导播录制的开启、导播录制的暂停以及导播录制的启动；
根据所述片头片尾信息控制录制视频的片头片尾的设置；
根据所述拼接信息对所述录制视频进行剪切和拼接。
6.一种自动导播装置，其特征在于，包括：
音频识别单元，用于识别所采集的音频信息；
查找单元，用于根据音频识别结果从数据库中查找出对应的第一特征数据；
导播单元，用于基于所述第一特征数据控制摄像设备的运动，完成导播。
7.根据权利要求6所述的自动导播装置，其特征在于，还包括：
图像识别单元，用于采集各目标对象的第二特征数据；
匹配单元，用于将所述第一特征数据与所述第二特征数据进行匹配；
目标对象确定单元，用于确定特征配对的目标对象，控制所述摄像设备跟踪所述配对的目标对象。
8.根据权利要求6所述的自动导播装置，其特征在于，若所述音频识别结果是预设第一关键词信息，则所述第一特征数据是物体或人体特征，若所述音频识别结果是预设第二关键词信息，则所述第一特征数据是摄像机跟踪参数；
所述导播单元在所述第一特征数据是摄像机跟踪参数时，根据所述摄像机跟踪参数跟踪进入所述摄像机拍摄视野的目标对象。
9.根据权利要求6至8中任一项所述的自动导播装置，其特征在于，所述导播单元包括：
课表获取单元，用于获取课表信息，根据所述课表信息完成自动导播。
10.根据权利要求9所述的自动导播装置，其特征在于，所述课表信息包括以下至少一种或多种：时间安排信息、片头片尾信息和拼接信息；
所述课表获取单元根据所述时间安排信息，控制导播录制的开启、导播录制的暂停以及导播录制的启动，以及根据所述片头片尾信息控制录制视频的片头片尾的设置，以及根据所述拼接信息对所述录制视频进行剪切和拼接。
CN201710136348.7A 2017-03-09 2017-03-09 一种自动导播方法及装置 Pending CN106803890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710136348.7A CN106803890A (zh) 2017-03-09 2017-03-09 一种自动导播方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710136348.7A CN106803890A (zh) 2017-03-09 2017-03-09 一种自动导播方法及装置

Publications (1)

Publication Number Publication Date
CN106803890A true CN106803890A (zh) 2017-06-06

Family

ID=58988699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710136348.7A Pending CN106803890A (zh) 2017-03-09 2017-03-09 一种自动导播方法及装置

Country Status (1)

Country Link
CN (1) CN106803890A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010530A (zh) * 2017-11-30 2018-05-08 武汉东信同邦信息技术有限公司 一种基于语音识别技术的学生发言检测跟踪装置
CN108900860A (zh) * 2018-08-23 2018-11-27 佛山龙眼传媒科技有限公司 一种导播控制方法及装置
CN111800590A (zh) * 2020-07-06 2020-10-20 深圳博为教育科技有限公司 一种导播控制方法、装置、系统及控制主机
CN116152711A (zh) * 2022-08-25 2023-05-23 北京凯利时科技有限公司 基于多模态的导播方法和系统以及计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567969A (zh) * 2009-05-21 2009-10-28 上海交通大学 基于麦克风阵列声音制导的智能视频导播方法
CN104243849A (zh) * 2014-09-02 2014-12-24 苏州阔地网络科技有限公司 一种在线课堂导播控制方法及系统
CN104394363A (zh) * 2014-11-21 2015-03-04 苏州阔地网络科技有限公司 一种在线课堂导播方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567969A (zh) * 2009-05-21 2009-10-28 上海交通大学 基于麦克风阵列声音制导的智能视频导播方法
CN104243849A (zh) * 2014-09-02 2014-12-24 苏州阔地网络科技有限公司 一种在线课堂导播控制方法及系统
CN104394363A (zh) * 2014-11-21 2015-03-04 苏州阔地网络科技有限公司 一种在线课堂导播方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010530A (zh) * 2017-11-30 2018-05-08 武汉东信同邦信息技术有限公司 一种基于语音识别技术的学生发言检测跟踪装置
CN108900860A (zh) * 2018-08-23 2018-11-27 佛山龙眼传媒科技有限公司 一种导播控制方法及装置
CN111800590A (zh) * 2020-07-06 2020-10-20 深圳博为教育科技有限公司 一种导播控制方法、装置、系统及控制主机
CN116152711A (zh) * 2022-08-25 2023-05-23 北京凯利时科技有限公司 基于多模态的导播方法和系统以及计算机程序产品
CN116152711B (zh) * 2022-08-25 2024-03-22 北京凯利时科技有限公司 基于多模态的导播方法和系统以及计算机程序产品

Similar Documents

Publication Publication Date Title
US11151892B2 (en) Internet teaching platform-based following teaching system
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN209980508U (zh) 一种智慧黑板，及智慧教室的教学系统
CN106803890A (zh) 一种自动导播方法及装置
US20200286396A1 (en) Following teaching system having voice evaluation function
US8621354B2 (en) Non sequential automated production by self-interview kit of a video based on user generated multimedia content
CN111027486A (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN108537705A (zh) 一种基于智慧课堂教学系统的数字教材管理系统
US20090097818A1 (en) Contents Playing Method and Apparatus With Play Starting Position Control
WO2018223529A1 (zh) 一种基于互联网的录播课程跟随学习系统和方法
CN111353921A (zh) 一种考试管理方法及系统、电子设备
CN110262442B (zh) 一种基于物联网的场景控制方法和控制中心设备
CN112085630B (zh) 适合omo学习场景的智适应作业系统
CN110827856A (zh) 授课的测评方法
TWM594323U (zh) 智能會議記錄系統
CN110660285A (zh) 场景自适应的定制化智能培训方法及系统
CN106331393A (zh) 控制方法及控制装置
CN112861591A (zh) 一种互动识别方法、识别系统、计算机设备和存储介质
CN110715196A (zh) 一种辅助学习式智能台灯
CN106571087A (zh) 一种具有记忆功能的教学系统及教学方法
CN113822907A (zh) 图像处理方法及装置
CN109409423A (zh) 一种图像识别方法、装置、终端及可读存储介质
CN112185195A (zh) Ai控制远程教学课堂的方法和装置
CN112714174A (zh) 一种基于无线通信的智慧教育数据采集系统
CN110808075B (zh) 智能录播方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170606

WD01 Invention patent application deemed withdrawn after publication