CN112040137A

CN112040137A - 对录播中的教师进行自动跟踪拍摄的方法、装置及设备

Info

Publication number: CN112040137A
Application number: CN202011212623.7A
Authority: CN
Inventors: 孙悦; 李天驰; 饶炎鑫
Original assignee: Shenzhen Dianmao Technology Co Ltd
Current assignee: Shenzhen Dianmao Technology Co Ltd
Priority date: 2020-11-03
Filing date: 2020-11-03
Publication date: 2020-12-04

Abstract

本发明公开了一种对录播中的教师进行自动跟踪拍摄方法、装置及设备，该方法包括：通过定位摄像机获取教师在讲台区域的第一图像；通过录制摄像机获取教师在讲台区域的第二图像；根据第一图像和第二图像，获取教师在讲台的位置信息；根据教师在讲台的位置信息，获取录制摄像机的摄影参数调整值；根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄。本发明实施例可实现自动对线下课堂录播课中，通过定位摄像机和录制摄像机获取教师位置，根据教师位置的变化，控制录制摄像机的焦距、移动距离等摄影参数进行变化，从而实现自动跟踪教师，实现均匀的跟踪速度。

Description

对录播中的教师进行自动跟踪拍摄的方法、装置及设备

技术领域

本发明涉及跟踪拍摄技术领域，尤其涉及一种对录播中的教师进行自动跟踪拍摄方法、装置及设备。

背景技术

在现有的线下课堂录播中，需要工作人员搭建拍摄器材，使用三角架搭上教师的拍摄摄像机，需要专人时刻观察教师在讲台的移动，写板书等肢体动作进行操控摄像机云台，进行左右，上下，变焦等拍摄控制。为了解决这一问题，早期有通过红外的技术做到自动拍摄的功能，但是实际使用中存在很多问题，跟踪速度不平滑，即摄像机跟踪目标时移动速度过快或者过慢，导致拍摄视频晃眼卡顿或者目标丢失。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种对录播中的教师进行自动跟踪拍摄方法、装置及设备，旨在解决现有技术中对录播中的教师进行下去跟踪拍摄容易导致拍摄视频晃眼卡顿，并造成目标丢失的技术问题。

本发明的技术方案如下：

一种对录播中的教师进行自动跟踪拍摄方法，所述方法包括：

通过定位摄像机获取教师在讲台区域的第一图像；

通过录制摄像机获取教师在讲台区域的第二图像；

根据第一图像和第二图像，获取教师在讲台的位置信息；

根据教师在讲台的位置信息，获取录制摄像机的摄影参数调整值；

根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄。

进一步地，所述根据第一图像和第二图像，获取教师在讲台的位置信息，包括：

根据第一图像获取教师在水平方向的位置；

根据第二图像获取教师的人脸在垂直方向的位置；

根据所述水平方向的位置和所述垂直方向的位置，获取教师在讲台的位置信息。

进一步优选地，所述根据第一图像获取教师在水平方向的位置，包括：

获取一个预设的背景帧，获取当前帧与背景帧的第一帧差；

若第一帧差小于等于第一阈值，则将预先分配好的二值化结果帧当前的像素值赋值为第一常数；

若第一帧差大于第一阈值，则获取当前帧与前一帧的第二帧差，若第二帧差小于等于第二阈值，则将结果帧当前的像素值赋值为第一常数，且更新背景帧当前像素值为当前帧的像素值；若第二帧差大于第二阈值，则将结果帧当前的像素值赋值为第二常数；

通过水平方向的扫描结果帧寻找像素值为第二常数的区域的中心点，所述中心点的对应的位置为教师在水平方向的位置。

进一步优选地，所述根据第二图像获取教师的人脸在垂直方向的位置，包括：

对第二图像进行人脸识别，获取人脸图像；

通过对第二图像进行像素扫描获取人脸在垂直方向的位置。

优选地，所述根据教师在讲台的位置信息，获取录制摄像机的摄影参数调整值，包括：

获取教师在讲台的位置信息与教师在前一帧图像中位置的位置差；

根据位置差查找预先设置的位置差与摄影参数调整值对应表，获取摄影参数调整值。

进一步地，所述根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄，包括：

根据摄像机visca协议及摄像机参数调整值生成录制摄像机的参数控制指令；

控制录制摄像机根据参数控制指令对教师进行录播拍摄。

进一步地，所述根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄后，还包括;

获取一段时间内的老师的运动状态，当运动状态满足预设的运动条件时，控制对拍摄画面的类型进行调整。

本发明的另一实施例提供了一种对录播中的教师进行自动跟踪拍摄设置，装置包括：

第一图像获取模块，用于通过定位摄像机获取教师在讲台区域的第一图像；

第二图像获取模块，用于通过录制摄像机获取教师在讲台区域的第二图像；

位置信息获取模块，用于根据第一图像和第二图像，获取教师在讲台的位置信息；

参数调整值获取模块，用于根据教师在讲台的位置信息，获取录制摄像机的摄影参数调整值；

控制模块，用于根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄。

本发明的另一实施例提供了一种对录播中的教师进行自动跟踪拍摄设备，所述设备包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的对录播中的教师进行自动跟踪拍摄方法。

本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的对录播中的教师进行自动跟踪拍摄方法。

有益效果：本发明实施例可实现自动对线下课堂录播课中，通过定位摄像机和录制摄像机获取教师位置，根据教师位置的变化，控制录制摄像机的焦距、移动距离等摄影参数进行变化，从而实现自动跟踪教师，实现均匀的跟踪速度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明一种对录播中的教师进行自动跟踪拍摄方法较佳实施例的流程图；

图2为本发明一种对录播中的教师进行自动跟踪拍摄装置的较佳实施例的功能模块示意图；

图3为本发明一种对录播中的教师进行自动跟踪拍摄设备的较佳实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。

本发明实施例提供了一种对录播中的教师进行自动跟踪拍摄方法。请参阅图1，图1为本发明一种对录播中的教师进行自动跟踪拍摄方法较佳实施例的流程图。如图1所示，其包括步骤：

步骤S100、通过定位摄像机获取教师在讲台区域的第一图像；

步骤S200、通过录制摄像机获取教师在讲台区域的第二图像；

步骤S300、根据第一图像和第二图像，获取教师在讲台的位置信息；

步骤S400、根据教师在讲台的位置信息，获取录制摄像机的摄影参数调整值；

步骤S500、根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄。

具体实施时，本发明实施例中的定位摄像机采用一台半球定位摄像机，录制摄像机为一台带云台的会议摄像机。常用会议摄像机型号有：索尼HD1摄像机。

本发明实施例是采用软件图像处理的技术+摄像机定制visca协议实现，使用一台半球定位摄像机和一台带云台专业级教师摄像机做拍摄设备，使用摄像机控制协议发送命令走串口对摄像机云台进行左右上下转动，变焦等控制。通过监控摄像机不停的获取教师讲台全部区域的图像，进行图像分析，得到教师在讲台的位置信息。同时控制会议摄像机进行相应的移动和变焦。

本发明实施例中的定位摄像机负责采集整个讲台区域的全景画面用于图像分析。会议摄像机带有云台可以使用visca协议进行变速左右上下转动和变焦控制，另外还进行实时的人脸识别。后台有一台主机，运行图像算法得到结果发送命令控制会议摄像机自动工作。

进一步地，根据第一图像和第二图像，获取教师在讲台的位置信息，包括：

根据第一图像获取教师在水平方向的位置；

根据第二图像获取教师的人脸在垂直方向的位置；

具体实施时，定位摄像机提供yuv图像数据，拆分出Y数据进行帧差和智能背景更新，得到目标在水平方向的位置。

将会议摄像机提供的图像数据识别出教师面部在图像垂直方向的位置，优选地，默认处理图像的尺寸，通过像素扫描得到人脸在图像中的像素位置。

根据水平方向的位置和垂直方向的位置，获取教师在讲台的位置。

进一步地，根据第一图像获取教师在水平方向的位置，包括：

获取一个预设的背景帧，获取当前帧与背景帧的第一帧差；

具体实施时，

以第一阈值为40，第二阈值为5，第一常数为0，第二常数为255为例，在开始时记录一个固定图像背景帧，同时获取当帧的前一帧，然后拿当前帧和背景帧做帧差，就是像素值相减，如果差值小于等于40，则将预先分配好的二值化结果帧当前的像素值赋值0，如果差值大于40再拿当前帧和前一帧做帧差，差值小于5的情况下，也将结果帧当前的像素值赋值0，同时更新背景帧当前像素值为当前帧的值，大于5的情况则将结果帧当前的像素值赋值255。这样下来之后得到了一个结果二值化的图像帧，通过水平方向的扫描结果帧判断寻找像素值为255的区域的中心点即能得到目标在图像中的位置。

针对受环境光线，窗帘等物体等干扰摄像机拍摄大量垃圾镜头，无法智能识别不同教师的身高导致拍摄特写镜头时构图不统一；不同教师在视频中的呈现出来的比例不一。本发明实施例由于使用图像处理技术，不受环境物体干扰，再增加智能背景更新算法，具体地帧差后差值在阈值以内进行更新背景，不受光线窗帘等干扰，上课中不会出现摄像机失控的情况。

进一步地，根据第二图像获取教师的人脸在垂直方向的位置，包括：

对第二图像进行人脸识别，获取人脸图像；

通过对第二图像进行像素扫描获取人脸在垂直方向的位置。

具体实施时，将会议摄像机提供的图像数据识别出教师面部在图像垂直方向的位置，优选地，默认处理图像宽高为640*480，高为480，通过像素扫描得到人脸在图像中的像素位置。

教师在图像中的人脸识别，计算出教师实时在图像中的位置，以变速的形式控制摄像机上下移动，以保证教师的不同身高和教师坐下及站立都能拍摄出专业的画面。

进一步地，根据教师在讲台的位置信息，获取录制摄像机的摄影参数调整值，包括：

具体实施时，在软件初始期间需要针对真实目标位置和visca协议描述的绝对位置，标定计算出一个映射系数，后期运行期间实时的使用系数将目标实际位置转为visca描述的绝对位置命令发送给录制摄像机即可移动。变焦同样也是初始期间设定的几个预置位程序记录下来，生成位置差与摄影参数调整值对应表，后期针对情况发送对应的命令即可。

在获取教师的位置变化后，根据位置差查找预先设置的位置差与摄影参数调整值对应表，查询对应的调整值。

进一步地，根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄，包括：

控制录制摄像机根据参数控制指令对教师进行录播拍摄。

具体实施时，根据位置差加上查表算法自动实时计算控制速度，拼组成一条教师摄像机visca协议的绝对位置控制命令，进行自动跟踪的控制。其中采用支持visca协议的摄像机作为录制摄像机，visca协议是用于控制摄像机左右上下移动、以及变焦的控制协议。

由于摄像机visca协议速度定制为1到100档，速度由慢到快，实时得到摄像机的正前方位置和教师的位置得出位置差，使用查表法由位置差计算出当前的摄像机控制速度，当教师移动较慢时摄像机转动速度自动变慢，以达到平滑效果，当教师快速移动时摄像机自动加速以保证目标不丢失，呈现出一个自动变速的拍摄效果，解决拍摄镜头不平滑，目标丢失的问题。

进一步地，根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄后，还包括;

具体实施时，教师正常授课和写板书时，通过算法计算出教师移动中和一段时间内的静止后呈现出拍摄画面的中景和特写两种画面，其中中景一般画面为拍全整个黑板和讲台区域，能拍全教师全身，特写则为画面上方在教师的头顶20公分距离，下方刚好拍到腰部位置，使拍摄画面更丰富智能。

需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。

本发明另一实施例提供一种对录播中的教师进行自动跟踪拍摄装置，如图2所示，装置1包括：

第一图像获取模块11，用于通过定位摄像机获取教师在讲台区域的第一图像；

第二图像获取模块12，用于通过录制摄像机获取教师在讲台区域的第二图像；

位置信息获取模块13，用于根据第一图像和第二图像，获取教师在讲台的位置信息；

参数调整值获取模块14，用于根据教师在讲台的位置信息，获取录制摄像机的摄影参数调整值；

控制模块15，用于根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄。

具体实施方式见方法实施例，此处不再赘述。

本发明另一实施例提供一种对录播中的教师进行自动跟踪拍摄设备，如图3所示，设备10包括：

一个或多个处理器110以及存储器120，图3中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图3中以通过总线连接为例。

处理器110用于完成，设备10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA) 、单片机、ARM（Acorn RISCMachine）或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP 和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP 核、或任何其它这种配置。

存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的对录播中的教师进行自动跟踪拍摄方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行设备10的各种功能应用以及数据处理，即实现上述方法实施例中的对录播中的教师进行自动跟踪拍摄方法。

存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据设备10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的对录播中的教师进行自动跟踪拍摄方法，例如，执行以上描述的图1中的方法步骤S100至步骤S500。

本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S500。

作为示例，非易失性存储介质能够包括只读存储器(ROM) 、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦ROM (EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器 (RAM) 。通过说明并非限制，RAM可以以诸如同步 RAM(SRAM)、动态 RAM 、(DRAM)、同步DRAM (SDRAM)、双数据速率SDRAM (DDR SDRAM)、增强型SDRAM(ESDRAM) 、Synchlink DRAM (SLDRAM) 以及直接Rambus (兰巴斯) RAM (DRRAM) 之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。

本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使处理器执行上述方法实施例的对录播中的教师进行自动跟踪拍摄方法。例如，执行以上描述的图1中的方法步骤S100至步骤S500。

以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置（可以是个人计算机，服务器，或者网络装置等）执行各个实施例或者实施例的某些部分的方法。

除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。

已经在本文中在本说明书和附图中描述的内容包括能够提供对录播中的教师进行自动跟踪拍摄方法及装置的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。

Claims

1.一种对录播中的教师进行自动跟踪拍摄方法,其特征在于,所述方法包括：

通过定位摄像机获取教师在讲台区域的第一图像；

通过录制摄像机获取教师在讲台区域的第二图像；

根据第一图像和第二图像，获取教师在讲台的位置信息；

2.根据权利要求1所述对录播中的教师进行自动跟踪拍摄方法，其特征在于，所述根据第一图像和第二图像，获取教师在讲台的位置信息，包括：

根据第一图像获取教师在水平方向的位置；

根据第二图像获取教师的人脸在垂直方向的位置；

3.根据权利要求2所述对录播中的教师进行自动跟踪拍摄方法，其特征在于，所述根据第一图像获取教师在水平方向的位置，包括：

获取一个预设的背景帧，获取当前帧与背景帧的第一帧差；

4.根据权利要求3所述对录播中的教师进行自动跟踪拍摄方法，其特征在于，所述根据第二图像获取教师的人脸在垂直方向的位置，包括：

对第二图像进行人脸识别，获取人脸图像；

通过对第二图像进行像素扫描获取人脸在垂直方向的位置。

5.根据权利要求4所述对录播中的教师进行自动跟踪拍摄方法，其特征在于，所述根据教师在讲台的位置信息，获取录制摄像机的摄影参数调整值，包括：

6.根据权利要求5所述对录播中的教师进行自动跟踪拍摄方法，其特征在于，所述根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄，包括：

控制录制摄像机根据参数控制指令对教师进行录播拍摄。

7.根据权利要求 6所述对录播中的教师进行自动跟踪拍摄方法，其特征在于，所述根据摄影参数调整值对录制摄像机的摄影参数进行修改，控制录制摄像机根据修改后的摄影参数对教师进行录播拍摄后，还包括：

8.一种对录播中的教师进行自动跟踪拍摄装置，其特征在于，所述装置包括：

9.一种对录播中的教师进行自动跟踪拍摄设备，其特征在于，所述设备包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述对录播中的教师进行自动跟踪拍摄方法。

10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述对录播中的教师进行自动跟踪拍摄方法。