CN115460353B - 教学跟踪摄像设备配置方法、装置、电子设备及介质 - Google Patents
教学跟踪摄像设备配置方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115460353B CN115460353B CN202211409553.3A CN202211409553A CN115460353B CN 115460353 B CN115460353 B CN 115460353B CN 202211409553 A CN202211409553 A CN 202211409553A CN 115460353 B CN115460353 B CN 115460353B
- Authority
- CN
- China
- Prior art keywords
- area
- electronic screen
- image
- writing area
- blackboard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Abstract
本申请公开了一种教学跟踪摄像设备配置方法、装置、电子设备及介质,所述教学跟踪摄像设备配置方法包括:获取目标教室区域对应的拍摄图像;基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备。本申请解决了教学跟踪摄像设备的配置效率低的技术问题。
Description
技术领域
本申请涉及多媒体教学领域,尤其涉及一种教学跟踪摄像设备配置方法、装置、电子设备及介质。
背景技术
在线上教育发展的今天,对教学场景的拍摄录像已经成为录制网课的重要手段,其中涉及到对镜头的把控,需要对重点区域进行跟踪拍摄,而对不重要的区域进行屏蔽,从而得到高质量的网课教学视频。目前对于教学场景中的跟踪区域与屏蔽区域的划分主要是基于电脑客户端软件,通过网络和将设备和电脑接入到同一局域网内,电脑客户端配置工具软件需要从摄像机端获取当前教学场景的视频画面,再通过人工标注的方式进行跟踪区域和屏蔽区域的划分,但当现场环境发生变化后,又需要人工的干预去调整各区域的划分,因此导致教学跟踪摄像设备的配置效率较低。
发明内容
本申请的主要目的在于提供一种教学跟踪摄像设备配置方法、装置、电子设备及介质,旨在解决教学跟踪摄像设备的配置效率低的技术问题。
为实现上述目的,本申请提供一种教学跟踪摄像设备配置方法,应用于摄像设备,所述教学跟踪摄像设备配置方法包括:
获取目标教室区域对应的拍摄图像;
基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;
根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备。
可选地,所述预设图像识别模型包括板书区域识别模型以及电子屏区域识别模型,所述板书区域识别结果包括板书区域位置信息,所述电子屏区域识别结果包括电子屏位置信息,所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤包括:
通过所述板书区域识别模型对所述拍摄图像进行板书区域识别,得到第一板书区域位置信息;
根据所述板书区域位置信息,构建对应的跟踪区域;
通过所述电子屏区域识别模型对所述拍摄图像进行电子屏区域识别,得到电子屏位置信息;
根据所述电子屏位置信息,构建对应的屏蔽区域。
可选地,在所述根据所述板书区域位置信息,构建所述跟踪区域的步骤之后,还包括:
当检测到所述板书区域的边界发生变动时,调用所述板书区域识别模型,对所述拍摄图像进行板书区域识别,得到第二板书区域位置信息;
根据所述第二板书区域位置信息构建对应的跟踪区域。
可选地,在所述根据所述电子屏位置信息,构建对应的屏蔽区域的步骤之后,还包括:
检测所述电子屏区域中的电子屏是否处于使用状态;
若所述电子屏不处于使用状态,则根据所述电子屏位置信息构建对应的跟踪区域。
可选地,在所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤之后,还包括:
通过讲台识别模型对所述拍摄图像进行讲台区域识别,得到讲台区域;
根据所述讲台区域,构建对应的跟踪区域。
可选地,在所述根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备的步骤之后,还包括:
对所述跟踪区域内的教师进行跟踪拍摄,生成所述跟踪区域对应的特写视频图像;
对所述拍摄图像中的屏蔽区域内的图像进行裁切并删除,得到目标视频图像;
根据所述目标视频图像以及所述特写视频图像,生成教学场景视频流数据。
可选地,在所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤之前,还包括:
获取不同教室环境下的各拍摄图像以及各所述拍摄图像对应的区域标签;
根据各所述拍摄图像以及各所述拍摄图像对应的区域标签对待训练图像进行迭代优化,得到所述图像识别模型。
本申请还提供一种教学跟踪摄像设备配置装置,所述教学跟踪摄像设备配置装置应用于教学跟踪摄像设备配置设备,所述教学跟踪摄像设备配置装置包括:
视频获取模块,用于获取目标教室区域对应的拍摄图像;
图像识别模块,用于基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;
设备设置模块,用于根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备。
可选地,所述图像识别模块还用于:
视频获取模块,用于获取目标教室区域对应的拍摄图像;
图像识别模块,用于基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;
设备设置模块,用于根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备。
可选地,所述设备设置模块还用于:
当检测到所述板书区域的边界发生变动时,调用所述板书区域识别模型,对所述拍摄图像进行板书区域识别,得到第二板书区域位置信息;
根据所述第二板书区域位置信息构建对应的跟踪区域。
可选地,所述设备设置模块还用于:
检测所述电子屏区域中的电子屏是否处于使用状态;
若所述电子屏不处于使用状态,则根据所述电子屏位置信息构建对应的跟踪区域。
可选地,所述图像识别模块还用于:
通过讲台识别模型对所述拍摄图像进行讲台区域识别,得到讲台区域;
根据所述讲台区域,构建对应的跟踪区域。
可选地,所述设备设置模块还用于:
对所述跟踪区域内的教师进行跟踪拍摄,生成所述跟踪区域对应的特写视频图像;
对所述拍摄图像中的屏蔽区域内的图像进行裁切并删除,得到目标视频图像;
根据所述目标视频图像以及所述特写视频图像,生成教学场景视频流数据。
可选地,所述图像识别模块还用于:
获取不同教室环境下的各拍摄图像以及各所述拍摄图像对应的区域标签;
根据各所述拍摄图像以及各所述拍摄图像对应的区域标签对待训练图像进行迭代优化,得到所述图像识别模型。
本申请还提供一种电子设备,所述电子设备为实体设备,所述电子设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述教学跟踪摄像设备配置方法的程序,所述教学跟踪摄像设备配置方法的程序被处理器执行时可实现如上述的教学跟踪摄像设备配置方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有实现教学跟踪摄像设备配置方法的程序,所述教学跟踪摄像设备配置方法的程序被处理器执行时实现如上述的教学跟踪摄像设备配置方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的教学跟踪摄像设备配置方法的步骤。
本申请提供了一种教学跟踪摄像设备配置方法、装置、电子设备及介质,首先获取目标教室区域对应的拍摄图像,再基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到,最后根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备,本申请的技术方案通过预设图像识别模型对教室区域场景下的视频图像进行识别,识别得到电子屏区域识别结果和板书区域识别结果,最后确定跟踪区域以及屏蔽区域,并根据所述跟踪区域以及屏蔽区域进行教学跟踪摄像设备的摄像设备配置,而且能根据现场环境的变化自适应进行跟踪区域和屏蔽区域的划分,克服了通过人工标注跟踪区导致的配置效率低的技术缺陷,提高了教学跟踪摄像设备的配置效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请教学跟踪摄像设备配置方法第一实施例的流程示意图;
图2为本申请教学跟踪摄像设备配置方法第一实施例中跟踪区域与屏蔽区域示意图;
图3为本申请本申请教学跟踪摄像设备配置方法第一实施例中的可推拉黑板示意图;
图4为本申请教学跟踪摄像设备配置装置组成示意图;
图5为本申请实施例中教学跟踪摄像设备配置方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本申请保护的范围。
实施例一
在线上教育发展的今天,对教学场景的拍摄录像已经成为录制网课的重要手段,其中涉及到对镜头的把控,还需要对重点区域进行跟踪拍摄,以及对不重要的区域进行屏蔽,从而得到高质量的网课教学视频。目前对于教学场景中的跟踪区域与屏蔽区域的划分主要是基于电脑客户端软件,通过网络和将设备和电脑接入到同一局域网内,电脑客户端配置工具软件需要从摄像机端获取当前教学场景的视频画面,再通过人工标注的方式进行跟踪区域和屏蔽区域的划分,但当现场环境发生变化后,又需要人工的干预去调整各区域的划分,因此导致教学跟踪摄像设备的配置效率较低。
本申请实施例提供一种教学跟踪摄像设备配置方法,在本申请教学跟踪摄像设备配置方法的第一实施例中,参照图1,所述教学跟踪摄像设备配置方法包括:
步骤S10,获取目标教室区域对应的拍摄图像;
步骤S20,基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;
步骤S30,根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备。
在本申请实施例中,需要说明的是,所述拍摄图像可以为全景视频图像,其中包括讲台、板书区域以及电子屏区域;所述图像识别模型可以为YOLOv5 (You Only Look Oncev5,单阶段目标检测算法),通过将待训练识别模型经过深度训练学习后得到图像识别模型,其中,所述图像识别模型包括板书区域识别模型以及电子屏区域识别模型,通过将所述图像识别模型集成到摄像机设备中,深度学习识别算法可以通过不同教室的环境,自动识别相关区域达自动配置相关功能,做到用户部署免配的效果,更进一步的智能化节省了用户学习和操作的人工成本。
作为一种示例,步骤S10至步骤S30包括:通过摄像设备采集目标区域内的全景视频图像;将所述拍摄图像的分辨率进行调整,得到符合预设分辨率的全景图像帧,所述预设分辨率用于将所述拍摄图像处理成适合预设图像识别模型处理的格式;分别通过板书区域识别模型与电子屏区域识别模型对所述拍摄图像进行识别,得到板书区域位置信息以及电子屏区域位置信息,其中,所述板书区域识别模型与所述电子屏区域识别模型是通过不同教室环境下的拍摄图像训练得到;根据所述板书区域位置信息以及所述电子屏区域位置信息,构建所述跟踪区域以及所述屏蔽区域;根据所述跟踪区域与所述屏蔽区域,进行摄像设备配置。
其中,所述预设图像识别模型包括板书区域识别模型以及电子屏区域识别模型,所述板书区域识别结果包括板书区域位置信息,所述电子屏区域识别结果包括电子屏位置信息,所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤包括:
步骤S21,通过所述板书区域识别模型对所述拍摄图像进行板书区域识别,得到第一板书区域位置信息;
步骤S22,根据所述板书区域位置信息,构建对应的跟踪区域;
步骤S23,通过所述电子屏区域识别模型对所述拍摄图像进行电子屏区域识别,得到电子屏位置信息;
步骤S24,根据所述电子屏位置信息,构建对应的屏蔽区域。
在本申请实施例中,需要说明的是,所述第一板书区域位置信息与所述电子屏位置信息可以为在对应的图像帧中标注的板书区域以及电子屏区域的边框的坐标信息,用于确定跟踪区域以及屏蔽区域,参照图2,所述板书区域需要展示,因此划分为跟踪区域,所述电子屏区域中展示的是教师预先准备的多媒体资料,可以直接剪辑到教学视频中,不需要通过摄像设备采集,因此划分为屏蔽区域。
作为一种示例,步骤S21至步骤S24包括:通过所述板书区域识别模型识别所述拍摄图像中的板书区域,得到板书区域的边框对应的板书边框坐标信息;根据所述板书边框坐标信息,划分所述拍摄图像中的跟踪区域。通过所述电子屏区域识别模型识别所述拍摄图像中的电子屏区域,得到电子屏区域的边框对应的电子屏边框坐标信息;根据所述电子屏边框坐标信息,划分所述拍摄图像中的屏蔽区域。
在所述根据所述板书区域位置信息,构建所述跟踪区域的步骤之后,还包括:
步骤A10,当检测到所述板书区域的边界发生变动时,调用所述板书区域识别模型,对所述拍摄图像进行板书区域识别,得到第二板书区域位置信息;
步骤A20,根据所述第二板书区域位置信息构建对应的跟踪区域。
在本申请实施例中,需要说明的是,参照图3,在教师的教学过程中,有时会用到可活动的推拉黑板/白板,或自带小黑板/小白板,这些黑板或白板与原有的黑板/白板一起构成板书区域,因此当教师将板书范围扩大时,需要通过对板书区域的边界进行及时的检测,当检测到所述板书区域的边界发生变动时,可以判定板书区域的范围发生了改变,因此需要重新调用所述板书区域识别模型进行板书区域识别,以重新确定板书区域。
作为一种示例,步骤A10至步骤A20包括:对所述板书区域的范围进行监测;当监测到所述板书区域的范围发生改变时,调用所述板书区域识别模型,对所述拍摄图像进行板书区域识别,得到第二板书区域位置信息,根据所述第二板书区域位置信息构建对应的跟踪区域;将所述跟踪区域更新到摄像设备的配置中。
其中,在所述根据所述电子屏位置信息,构建对应的屏蔽区域的步骤之后,还包括:
步骤B10,检测所述电子屏区域中的电子屏是否处于使用状态;
步骤B20,若所述电子屏不处于使用状态,则根据所述电子屏位置信息构建对应的跟踪区域。
在本申请实施例中,需要说明的是,因为电子屏的显示内容为教师预先准备的多媒体教学资料,可以通过直接传输的方式在教学视频中进行展现,无需通过摄像设备采集相关图像,因此将处于使用状态的电子屏所在区域划分为屏蔽区,同时,当所述电子屏不处于使用状态时,应将所述电子屏所在区域划分为跟踪区,避免在教师走动到电子屏区域时未拍摄到实时画面。
作为一种示例,步骤B10至步骤B20包括:检测所述电子屏区域中的电子屏的显示状态;若所述显示状态为发光,则判定所述电子屏处于使用状态;若所述显示状态为不发光,则在预设时间段内对所述电子屏进行持续检测,若在预设时间段内所述电子屏的显示状态切换到了发光,则判定所述电子屏处于使用状态;若在预设时间段内所述电子屏的显示状态保持不发光,则判定所述电子屏不处于使用状态,并根据所述电子屏位置信息构建对应跟踪区域。
其中,所述板书区域位置信息包括板书区域坐标以及板书区域尺寸,所述通过所述板书区域识别模型对所述拍摄图像进行识别,得到板书区域位置信息的步骤包括:
步骤S211,通过所述板书区域识别模型对所述拍摄图像进行识别,得到板书区域信息;
步骤S212,从所述板书区域信息中提取所述板书区域坐标以及所述板书区域尺寸。
在本申请实施例中,需要说明的是,所述板书区域信息可以为所述板书区域的边框坐标信息以及所述板书区域的尺寸信息,所述板书区域的尺寸信息包括所述板书区域的长度信息以及宽度信息。
作为一种示例,步骤S211至步骤S212包括:通过所述板书区域识别模型识别所述拍摄图像中的板书区域,得到所述板书区域对应的板书边框坐标信息以及所述板书区域的尺寸信息;从所述板书边框坐标信息以及所述板书区域的尺寸信息中提取所述板书区域坐标以及所述板书区域尺寸。
其中,所述电子屏位置信息包括电子屏坐标以及电子屏尺寸,所述通过所述电子屏区域识别模型对所述拍摄图像进行识别,得到电子屏位置信息的步骤包括:
步骤S231,通过所述电子屏区域识别模型对所述拍摄图像进行识别,得到电子屏区域信息;
步骤S232,从所述电子屏区域信息中提取所述电子屏坐标以及所述电子屏尺寸。
在本申请实施例中,需要说明的是,所述电子屏区域信息可以为所述电子屏区域的边框坐标信息以及所述电子屏区域的尺寸信息,所述尺寸信息包括电子屏的长度信息以及宽度信息。
作为一种示例,步骤S231至步骤S232包括:通过所述电子屏区域识别模型识别所述拍摄图像中的电子屏区域,得到所述电子屏区域对应的电子屏边框坐标信息以及所述电子屏区域的尺寸信息;从所述电子屏边框坐标信息以及所述电子屏区域的尺寸信息中提取所述电子屏区域坐标以及所述电子屏区域尺寸。
在所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤之后,还包括:
步骤S25,通过讲台识别模型对所述拍摄图像进行讲台区域识别,得到讲台区域;
步骤S26,根据所述讲台区域,构建对应的跟踪区域。
在本申请实施例中,需要说明的是,所述讲台识别模型是通过不同教室环境下的拍摄图像训练得到,其训练步骤与板书区域识别模型以及电子屏区域识别模型类似,在此不做赘述。
作为一种示例,步骤S25至步骤S26包括:通过所述讲台识别模型识别出所述拍摄图像中的讲台区域;根据所述讲台区域构建对应的跟踪区域;将所述跟踪区域更新到所述教学跟踪摄像设备中。
在所述根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备的步骤之后,还包括:
步骤C10,对所述跟踪区域内的教师进行跟踪拍摄,生成所述跟踪区域对应的特写视频图像;
步骤C20,对所述拍摄图像中的屏蔽区域内的图像进行裁切并删除,得到目标视频图像;
步骤C30,根据所述目标视频图像以及所述特写视频图像,生成教学场景视频流数据。
作为一种示例,步骤C10至步骤C30包括:根据所述跟踪区域内的教师的移动轨迹,调整镜头方向,以对所述教师进行跟踪拍摄,生成对应的特写视频图像;将所述拍摄图像中的屏蔽区域内的图像框选出来并进行删除,生成所述目标视频图像;将所述特写视频图像与所述目标视频图像进行编码,生成对应的教学场景视频流数据,其中,所述教学场景视频流数据包括特写视频流数据以及目标全景视频流数据。
在所述通过图像识别模型对所述全景图像帧进行识别,获得跟踪区域和屏蔽区域的步骤之前,还包括:
步骤D10,获取不同教室环境下的各拍摄图像以及各所述拍摄图像对应的区域标签;
步骤D20,根据各所述拍摄图像以及各所述拍摄图像对应的区域标签对待训练图像进行迭代优化,得到所述图像识别模型。
在本申请实施例中,需要说明的是,所述区域标签为所述拍摄图像中对板书区域与电子屏区域的框选标记,所述待训练图像识别模型包括待训练板书区域识别模型以及待训练电子屏区域识别模型,所述初步识别结果包括板书区域初步识别结果以及电子屏区域初步识别结果。
作为一种示例,步骤D10至步骤D20包括:取不同教室环境下的各拍摄图像以及各所述拍摄图像对应的区域标签;将各所述拍摄图像作为训练样本数据,通过待训练板书区域识别模型对所述训练样本数据进行特征识别,生成板书区域初步识别结果;通过待训练电子屏区域识别模型对所述训练样本数据进行特征识别,生成电子屏区域初步识别结果;根据所述板书区域初步识别结果、所述电子屏区域初步识别结果以及所述区域标签,确定识别准确率;若所述识别准确率不小于预设准确率,则生成所述图像识别模型;若所述识别准确率小于所述预设准确率,优化所述图像识别模型,并返回执行步骤:通过待训练板书区域识别模型对所述训练样本数据进行特征识别,生成板书区域初步识别结果;通过待训练电子屏区域识别模型对所述训练样本数据进行特征识别,生成电子屏区域初步识别结果。
其中,所述根据各所述拍摄图像以及各所述拍摄图像对应的区域标签对待训练图像进行迭代优化,得到所述图像识别模型的步骤包括:
步骤D21,根据所述初步识别结果与所述训练样本数据对应的区域标签,确定所述待训练图像识别模型对应的识别准确率;
步骤D22,若所述识别准确率小于预设识别准确率,则对所述待训练图像识别模型进行优化,并返回执行步骤:通过待训练图像识别模型对所述训练样本数据进行识别,生成初步识别结果;
步骤D23,若所述识别准确率不小于所述预设识别准确率,则将所述待训练图像识别模型进行量化,生成符合所述摄像设备格式的图像识别模型。
在本申请实施例中,需要说明的是,所述预设识别准确率可以为人工设定的理想识别率,所述理想识别率越高,生成的图像识别模型越准确,但需要训练的次数和时间越长;其中,所述图像识别模型包括板书区域识别模型以及电子屏区域识别模型,所述初步识别结果包括板书区域初步识别结果以及电子屏区域初步识别结果;所述预设识别准确率包括板书区域识别准确率以及电子屏区域识别准确率。
作为一种示例,步骤D21至步骤D23包括:将板书区域初步识别结果与对应的训练样本数据中对应的区域标签进行对比,得到所述板书区域初步识别结果中符合所述区域标签的符合识别结果数目;根据所述符合识别结果数目与所述板书区域初步识别结果的总数目,确定板书区域识别准确率;判断所述板书区域识别准确率是否不小于所述预设识别准确率;若所述板书区域识别准确率小于所述预设识别准确率,则对待训练板书区域识别模型进行优化,并返回执行步骤:通过待训练板书识别模型对所述训练样本数据进行识别,生成初步识别结果;若所述板书区域识别准确率不小于所述预设识别准确率,则将所述待训练板书区域识别模型进行量化,生成符合所述摄像设备格式的板书区域识别模型;将电子屏区域初步识别结果与对应的训练样本数据中对应的区域标签进行对比,得到所述电子屏区域初步识别结果中符合所述训练样本数据的符合识别结果数目;根据所述符合识别结果数目与所述电子屏区域初步识别结果的总数目,确定电子屏区域识别准确率;判断所述电子屏区域识别准确率是否不小于所述预设识别准确率;若所述电子屏区域识别准确率小于所述预设识别准确率,则对待训练电子屏区域识别模型进行优化,并返回执行步骤:通过待训练图像识别模型对教室图像样本数据进行识别,生成初步识别结果;若所述电子屏区域识别准确率不小于所述预设识别准确率,则将所述待训练电子屏区域识别模型进行量化,生成符合所述摄像设备格式的电子屏区域识别模型。
本申请实施例提供了一种教学跟踪摄像设备配置方法,首先获取目标教室区域对应的拍摄图像,再基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到,最后根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备,本申请实施例通过预设图像识别模型对教室区域场景下的视频图像进行识别,识别得到电子屏区域识别结果和板书区域识别结果,最后确定跟踪区域以及屏蔽区域,并根据所述跟踪区域以及屏蔽区域进行教学跟踪摄像设备的摄像设备配置,而且能根据现场环境的变化自适应进行跟踪区域和屏蔽区域的划分,克服了通过人工标注跟踪区导致的配置效率低的技术缺陷,提高了教学跟踪摄像设备的配置效率。
实施例二
本申请实施例还提供一种教学跟踪摄像设备配置装置,所述教学跟踪摄像设备配置装置应用于教学跟踪摄像设备配置设备,参照图4,所述教学跟踪摄像设备配置装置包括:
视频获取模块,用于获取目标教室区域对应的拍摄图像;
图像识别模块,用于基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;
设备设置模块,用于根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备。
可选地,所述图像识别模块还用于:
视频获取模块,用于获取目标教室区域对应的拍摄图像;
图像识别模块,用于基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;
设备设置模块,用于根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备。
可选地,所述设备设置模块还用于:
当检测到所述板书区域的边界发生变动时,调用所述板书区域识别模型,对所述拍摄图像进行板书区域识别,得到第二板书区域位置信息;
根据所述第二板书区域位置信息构建对应的跟踪区域。
可选地,所述设备设置模块还用于:
检测所述电子屏区域中的电子屏是否处于使用状态;
若所述电子屏不处于使用状态,则根据所述电子屏位置信息构建对应的跟踪区域。
可选地,所述图像识别模块还用于:
通过讲台识别模型对所述拍摄图像进行讲台区域识别,得到讲台区域;
根据所述讲台区域,构建对应的跟踪区域。
可选地,所述设备设置模块还用于:
对所述跟踪区域内的教师进行跟踪拍摄,生成所述跟踪区域对应的特写视频图像;
对所述拍摄图像中的屏蔽区域内的图像进行裁切并删除,得到目标视频图像;
根据所述目标视频图像以及所述特写视频图像,生成教学场景视频流数据。
可选地,所述图像识别模块还用于:
获取不同教室环境下的各拍摄图像以及各所述拍摄图像对应的区域标签;
根据各所述拍摄图像以及各所述拍摄图像对应的区域标签对待训练图像进行迭代优化,得到所述图像识别模型。
本申请提供的教学跟踪摄像设备配置装置,采用上述实施例中的教学跟踪摄像设备配置方法,解决了教学跟踪摄像设备的配置效率低的技术问题。与现有技术相比,本申请实施例提供的教学跟踪摄像设备配置装置的有益效果与上述实施例提供的教学跟踪摄像设备配置方法的有益效果相同,且该教学跟踪摄像设备配置装置中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
实施例三
本申请实施例提供一种电子设备,电子设备包括:至少一个处理器;以及,与至少一个处理器通信链接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例一中的教学跟踪摄像设备配置方法。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也链接至总线。
通常,以下系统可以链接至I/O接口:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置;包括例如磁带、硬盘等的存储装置;以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置被安装,或者从ROM被安装。在该计算机程序被处理装置执行时,执行本公开实施例的方法中限定的上述功能。
本申请提供的电子设备,采用上述实施例中的教学跟踪摄像设备配置方法,解决了教学跟踪摄像设备的配置效率低的技术问题。与现有技术相比,本申请实施例提供的电子设备的有益效果与上述实施例一提供的教学跟踪摄像设备配置方法的有益效果相同,且该电子设备中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
实施例四
本实施例提供一种计算机可读存储介质,具有存储在其上的计算机可读程序指令,计算机可读程序指令用于执行上述实施例一中的教学跟踪摄像设备配置的方法。
本申请实施例提供的计算机可读存储介质例如可以是U盘,但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电链接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被电子设备执行时,使得电子设备:获取目标教室区域对应的拍摄图像;基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—链接到用户计算机,或者,可以链接到外部计算机(例如利用因特网服务提供商来通过因特网链接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本申请提供的计算机可读存储介质,存储有用于执行上述教学跟踪摄像设备配置方法的计算机可读程序指令,解决了教学跟踪摄像设备的配置效率低的技术问题。与现有技术相比,本申请实施例提供的计算机可读存储介质的有益效果与上述实施例提供的教学跟踪摄像设备配置方法的有益效果相同,在此不做赘述。
实施例五
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的教学跟踪摄像设备配置方法的步骤。
本申请提供的计算机程序产品解决了教学跟踪摄像设备配置的技术问题。与现有技术相比,本申请实施例提供的计算机程序产品的有益效果与上述实施例提供的教学跟踪摄像设备配置方法的有益效果相同,在此不做赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。
Claims (8)
1.一种教学跟踪摄像设备配置方法,其特征在于,应用于摄像设备,所述教学跟踪摄像设备配置方法包括:
获取目标教室区域对应的拍摄图像;
基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;
根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备;
其中,所述预设图像识别模型包括板书区域识别模型以及电子屏区域识别模型,所述板书区域识别结果包括第一板书区域位置信息,所述电子屏区域识别结果包括电子屏位置信息,所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤包括:
通过所述板书区域识别模型对所述拍摄图像进行板书区域识别,得到第一板书区域位置信息;
根据所述第一板书区域位置信息,构建对应的跟踪区域;
通过所述电子屏区域识别模型对所述拍摄图像进行电子屏区域识别,得到电子屏位置信息;
根据所述电子屏位置信息,构建对应的屏蔽区域;
其中,所述第一板书区域位置信息与所述电子屏位置信息分别为在对应的所述拍摄图像中标注的板书区域以及电子屏区域的边框的坐标信息;
其中,在所述根据所述电子屏位置信息,构建对应的屏蔽区域的步骤之后,还包括:
检测所述电子屏区域中的电子屏是否处于使用状态;
若所述电子屏不处于使用状态,则根据所述电子屏位置信息构建对应的跟踪区域。
2.如权利要求1所述教学跟踪摄像设备配置方法,其特征在于,在所述根据所述第一板书区域位置信息,构建所述跟踪区域的步骤之后,还包括:
当检测到所述板书区域的边界发生变动时,调用所述板书区域识别模型,对所述拍摄图像进行板书区域识别,得到第二板书区域位置信息;
根据所述第二板书区域位置信息构建对应的跟踪区域。
3.如权利要求1所述教学跟踪摄像设备配置方法,其特征在于,在所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤之后,还包括:
通过讲台识别模型对所述拍摄图像进行讲台区域识别,得到讲台区域;
根据所述讲台区域,构建对应的跟踪区域。
4.如权利要求1所述教学跟踪摄像设备配置方法,其特征在于,在所述根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备的步骤之后,还包括:
对所述跟踪区域内的教师进行跟踪拍摄,生成所述跟踪区域对应的特写视频图像;
对所述拍摄图像中的屏蔽区域内的图像进行裁切并删除,得到目标视频图像;
根据所述目标视频图像以及所述特写视频图像,生成教学场景视频流数据。
5.如权利要求1所述教学跟踪摄像设备配置方法,其特征在于,在所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤之前,还包括:
获取不同教室环境下的各拍摄图像以及各所述拍摄图像对应的区域标签;
根据各所述拍摄图像以及各所述拍摄图像对应的区域标签对待训练图像进行迭代优化,得到所述图像识别模型。
6.一种教学跟踪摄像设备配置装置,其特征在于,所述教学跟踪摄像设备配置装置包括:
视频获取模块,用于获取目标教室区域对应的拍摄图像;
图像识别模块,用于基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果,其中,所述预设图像识别模型是通过不同教室环境下的拍摄图像训练得到;
设备设置模块,用于根据所述电子屏区域识别结果对应的屏蔽区域和所述板书区域识别结果对应的跟踪区域,设置教学跟踪摄像设备;
其中,所述基于预设图像识别模型,识别所述拍摄图像中的电子屏区域和板书区域,得到电子屏区域识别结果和板书区域识别结果的步骤包括:
通过所述预设图像识别模型的板书区域识别模型对所述拍摄图像进行板书区域识别,得到第一板书区域位置信息;
根据所述第一板书区域位置信息,构建对应的跟踪区域;
通过所述预设图像识别模型的电子屏区域识别模型对所述拍摄图像进行电子屏区域识别,得到电子屏位置信息;
根据所述电子屏位置信息,构建对应的屏蔽区域;
其中,所述第一板书区域位置信息与所述电子屏位置信息分别为在对应的所述拍摄图像中标注的板书区域以及电子屏区域的边框的坐标信息;
其中,所述图像识别模块还用于:
检测所述电子屏区域中的电子屏是否处于使用状态;
若所述电子屏不处于使用状态,则根据所述电子屏位置信息构建对应的跟踪区域。
7.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信链接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的教学跟踪摄像设备配置方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有实现教学跟踪摄像设备配置方法的程序,所述实现教学跟踪摄像设备配置方法的程序被处理器执行以实现如权利要求1至5中任一项所述教学跟踪摄像设备配置方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211409553.3A CN115460353B (zh) | 2022-11-11 | 2022-11-11 | 教学跟踪摄像设备配置方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211409553.3A CN115460353B (zh) | 2022-11-11 | 2022-11-11 | 教学跟踪摄像设备配置方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115460353A CN115460353A (zh) | 2022-12-09 |
CN115460353B true CN115460353B (zh) | 2023-03-24 |
Family
ID=84295662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211409553.3A Active CN115460353B (zh) | 2022-11-11 | 2022-11-11 | 教学跟踪摄像设备配置方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115460353B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116798047A (zh) * | 2023-05-08 | 2023-09-22 | 华南师范大学 | 一种基于图像识别的教学板书分析方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104994296A (zh) * | 2015-07-02 | 2015-10-21 | 安徽状元郎电子科技有限公司 | 一种教师自动跟踪摄像系统 |
CN106101534A (zh) * | 2016-06-17 | 2016-11-09 | 上海理工大学 | 基于颜色特征的教学课程录制自动跟踪摄像头的控制方法及摄像头 |
CN111754386B (zh) * | 2019-03-26 | 2023-08-18 | 杭州海康威视数字技术股份有限公司 | 图像区域屏蔽方法、装置、设备及存储介质 |
CN111050068A (zh) * | 2019-11-29 | 2020-04-21 | 安徽文香信息技术有限公司 | 一种音视频教学录播系统及其控制方法 |
CN112040137A (zh) * | 2020-11-03 | 2020-12-04 | 深圳点猫科技有限公司 | 对录播中的教师进行自动跟踪拍摄的方法、装置及设备 |
CN113572965B (zh) * | 2021-08-06 | 2023-04-07 | 广州市奥威亚电子科技有限公司 | 双板书跟踪拍摄方法、装置及拍摄系统 |
CN115174818B (zh) * | 2022-09-08 | 2023-02-03 | 深圳市维海德技术股份有限公司 | 基于声音定位的目标跟踪方法、电子设备及可读存储介质 |
-
2022
- 2022-11-11 CN CN202211409553.3A patent/CN115460353B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115460353A (zh) | 2022-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766879B (zh) | 字符检测模型的生成、字符检测方法、装置、设备及介质 | |
CN110288036B (zh) | 图像修复方法、装置及电子设备 | |
US11528535B2 (en) | Video file playing method and apparatus, and storage medium | |
CN110781823B (zh) | 录屏检测方法、装置、可读介质及电子设备 | |
CN110062157B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
KR102547527B1 (ko) | 객체 라벨링 방법 및 장치 | |
CN110930220A (zh) | 一种显示方法、装置、终端设备及介质 | |
CN115460353B (zh) | 教学跟踪摄像设备配置方法、装置、电子设备及介质 | |
CN109981989B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
CN113784046A (zh) | 一种随动拍摄方法、装置、介质和电子设备 | |
CN109871465B (zh) | 一种时间轴计算方法、装置、电子设备及存储介质 | |
CN111310595B (zh) | 用于生成信息的方法和装置 | |
CN115086570A (zh) | 教学视频处理方法、装置、存储介质及电子设备 | |
CN113784045B (zh) | 聚焦互动方法、装置、介质和电子设备 | |
US20220245920A1 (en) | Object display method and apparatus, electronic device, and computer readable storage medium | |
CN113099254B (zh) | 分区域变分辨率的在线教学方法、系统、设备及存储介质 | |
CN112291445B (zh) | 图像处理的方法、装置、设备和存储介质 | |
CN115410232B (zh) | 板书抓拍方法、装置、电子设备及可读存储介质 | |
CN114677738A (zh) | Mv录制方法、装置、电子设备及计算机可读存储介质 | |
CN113360690A (zh) | 图片筛选方法、系统、设备及存储介质 | |
CN115171200B (zh) | 基于变倍的目标跟踪特写方法、装置、电子设备及介质 | |
CN111540009A (zh) | 用于生成检测信息的方法、装置、电子设备和介质 | |
CN112732381B (zh) | 一种在线课堂的桌面数据采集方法及系统 | |
CN114724528B (zh) | 显示设备的显示控制方法、装置、电子设备及存储介质 | |
CN114727011A (zh) | 摄像优化方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |