CN111970436B - 一种基于激光雷达技术的教学录播方法及系统 - Google Patents

Abstract

本发明提供了一种基于激光雷达技术的教学录播方法及系统，方法包括：通过教室内激光雷达扫描获得点云数据，并将点云数据传输至教学录播控制系统；教学录播控制系统根据点云数据划定教室边界，并根据教室边界定义教室区域；教学录播控制系统根据点云数据识别教室中站立的人的位置，并根据站立的人的位置确定人所在的区域；教学录播控制系统控制摄像头跟踪并采集站立的人的位置；教学录播控制系统根据站立的人所在区域控制录播主机主画面自动切换。而采用前述方法及系统，相对于现有技术，本发明提供的一种基于激光雷达技术的教学录播方法的稳定性高、移植性高，对教室的划分准确、对人物的定位速度快且准确度高。

Description

一种基于激光雷达技术的教学录播方法及系统

技术领域

本发明涉及新型录播系统技术领域，尤其涉及一种基于激光雷达技术的教学录播方法及系统。

背景技术

在国家大力倡导力争实现四个新突破，即教育信息化基础设施建设新突破、优质数字教育资源共建共享新突破、信息技术与教育教学深度融合新突破、教育信息化科学发展机制的新突破的大背景下，学校对建设大规模、大范围网络开放课程的需求急剧增加，对于录播产品对不同环境的适用性与稳定性要求也日益提高。

由于国内市面上大多数教学录播系统多采用图像跟踪技术，技术要求高，在复杂环境下难以屏蔽边界干扰物体，成本高；且其对于阳光等因素抗干扰能力较差，在录制过程中易由于光线、亮度问题出现乱切换画面、丢失画面等现象，导致录课效果差，不能全面适用于各类使用场景。

发明内容

本发明提供了一种基于激光雷达技术的教学录播方法及系统，以解决现有的教学录播系统采用图像跟踪技术对于阳光等因素抗干扰能力较差，在录制过程中易由于光线、亮度问题出现乱切换画面、丢失画面等现象，导致录制画面不稳定这一问题。

第一方面，本发明实施例提供一种基于激光雷达技术的教学录播方法，所述方法包括：

步骤1，通过教室内激光雷达扫描获得点云数据，并将所述点云数据传输至教学录播控制系统；

步骤2，所述教学录播控制系统根据点云数据划定教室边界，并根据所述教室边界定义教室区域；

步骤3，所述教学录播控制系统根据点云数据识别教室中站立的人的位置，并根据所述站立的人的位置确定人所在的区域；

步骤4，所述教学录播控制系统控制摄像头跟踪并采集站立的人的位置；

步骤5，所述教学录播控制系统根据站立的人所在区域控制录播主机主画面自动切换。

进一步地，在一种实现方式中，所述步骤1包括：

通过所述教室内激光雷达扫描教室环境，获得水平极坐标系下的点云数据；所述水平极坐标系以激光雷达为第一原点，并以逆时针方向为正方向；所述点云数据包括教室边界的点云数据和站立的人的点云数据；

通过所述激光雷达以数据包的形式将点云数据发送至教学录播控制系统；所述教学录播控制系统通过数据接口与激光雷达、显示屏、录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头相连。

进一步地，在一种实现方式中，所述步骤2包括：

所述教学录播控制系统接收并解析激光雷达传输的点云数据，根据极坐标系与直角坐标系之间的转换规则，将所述水平极坐标系下的点云数据所对应的坐标转化为水平直角坐标系中的点云数据所对应的坐标；

所述水平直角坐标系以激光雷达位置为第二原点，经过所述第二原点与距激光雷达最近的教室墙面设定一个水平面，将所述水平面与教室墙面的交线作为X轴，所述X轴的正方向为从第二原点沿着X轴指向教室后门的方向，以在所述水平面内经过第二原点并垂直于距激光雷达的，且距离教室墙面最近的直线为Y轴，所述Y轴的正方向为X轴正方向逆时针旋转90°方向；

通过中值滤波法，去除采集到的所述教室边界的点云数据中的干扰点云，获得较为稳定的教室边界的点云数据；根据获得的所述较为稳定的教室边界的点云数据，划定略小于教室边界所围成的教室区域作为教学录播工作区域；具体的，本实施例中，将教学录播工作区域的等比缩小至教室边界的点云数据所围成的教室区域的95％左右。通过划定略小于教室边界所围成的教室区域作为教学录播工作区域，能够有效防止教室边界的点云数据不稳定时对教学录播工作区域的确定造成影响，相较于现有技术，本发明所述的教学录播系统抗干扰能力强，录制效果更稳定。

在所述教室中讲台与第一排学生座位之间设定一条直线，所述直线在水平直角坐标系内平行于Y轴，将所述直线设定为教室中教师区与学生区的分界线，即所述讲台所在的区域为教师区，所述学生座位所在的区域为学生区；将所述教师区与学生区的分界线在水平直角坐标系中的坐标作为参数设定于教学录播控制系统中。

进一步地，在一种实现方式中，所述步骤3包括：

通过特征判断方法，根据所述点云数据判断教室中是否有人站立，即通过对所述激光雷达扫描获得的点云数据的体积、与激光雷达距离、连续程度、密集程度和分布范围进行特征判断，区分所述站立的人的点云数据与其他环境干扰点云数据；

判断确定所述教室中有人站立后，根据所述站立的人的点云数据所对应的在水平直角坐标系内的坐标，确定所述站立的人所在的区域，并将所述坐标发送至教师特写摄像头或学生特写摄像头；

其中，若判断确定所述站立的人所在的区域为学生区，将所述站立的人的点云数据在水平直角坐标系内所对应的坐标发送至学生特写摄像头；

若判断确定所述站立的人所在的区域为教师区，将所述站立的人的点云数据在水平直角坐标系内所对应的坐标发送至教师特写摄像头。

具体的，本实施例中，雷达扫描到点云数据，判断其是否在教学录播工作区域内，若不在教学录播工作区域内，则不认为是教学录播工作区域内的人的点云数据；

连续读取到4个以上的在教学录播工作区域内的点云数据，则认为这些数据可能是教学录播工作区域内的人的点云数据，否则认为不是人的点云数据；

若连续读取到4个以上的在教学录播工作区域内的点云数据，对于每一个点云，计算其与相邻点云的距离的距离差，保存为相邻点云距离实际值，以雷达为圆心，雷达到此点云距离为半径做圆，计算雷达与其相邻点云连线和此圆的交点到该点云的距离，保存为相邻点云距离标准值，比较标准值与实际值，考虑到雷达精度可能带来的误差，若所有点云均满足相邻点云距离实际值小于3～4倍的相邻点云距离标准值，则认为这些数据可能是教学录播工作区域内站立的人的点云数据，否则认为不是教学录播工作区域内站立的人的点云数据；

若连续读取到4个以上的在教学录播工作区域内的点云数据，计算第一个点云与最后一个点云的距离，与正常人体的宽度对比，若其大于半人宽并小于一人半宽则认为可能是教学录播工作区域内的人的点云数据，否则认为不是教学录播工作区域内的人的点云数据；

满足所有条件，则确认此为教学录播工作区域内人的点云数据，否则认为不是教学录播工作区域内的人的点云数据。

当确认此数据为教学录播工作区域内的人的点云数据后，认为教学录播工作区域内有人站立时，并分析此点云数据来自学生区还是教师区，若此点云数据来自教师区，则将其位置信息保存在教师区位置信息保存数组中，若此点云数据来自学生区，则将其位置信息保存在学生区位置信息保存数组中。

雷达扫描一圈结束后，判断教师区位置信息保存数组和学生区位置信息保存数组中各有多少组数据，进一步判断教师区与学生区各为无人站立、一人站立或多人站立。判断完成后，保存这两个数组中的位置信息，并对教师区位置信息保存数组与学生区位置信息保存数组清零。

进一步地，在一种实现方式中，所述步骤4包括：

所述学生特写摄像头和教师特写摄像头分别接于教学录播控制系统上，对于出现在所述教学录播工作区域内的点云数据，若判定所述点云数据为站立的人的点云数据，通过所述教学录播控制系统发送跟踪命令至学生特写摄像头或教师特写摄像头，对站立的人进行跟踪；

其中，当判断确定所述站立的人所在的区域为学生区，所述教学录播控制系统发送跟踪命令至学生特写摄像头，用于控制学生特写摄像头跟踪学生的位置，所述学生的位置即站立的人的点云数据在水平直角坐标系内所对应的坐标；

当判断确定所述站立的人所在的区域为教师区，所述教学录播控制系统发送跟踪命令至教师特写摄像头，用于控制所述教师特写摄像头跟踪教师的位置，所述教师的位置即站立的人的点云数据在水平直角坐标系内所对应的坐标。

进一步地，在一种实现方式中，所述步骤5包括：在整个教学录播过程中，通过所有摄像装置全程录制，所述摄像装置包括录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头；

所述录播主机通过多个窗口分别显示多个录制画面，所述多个窗口包括主窗口，所述主窗口只显示一个画面；所述录播主机连接于教学录播控制系统上，所述教学录播控制系统通过对录播主机发送画面切换命令控制录播主机的主画面进行切换；

根据所述步骤3中的特征判断方法确定教室中有人站立后，在确定所述站立的人所在的区域的同时，判断所述站立的人的数量，并根据所述站立的人所在的区域和站立的人的数量，向录播主机发送画面切换命令；所述站立的人所在的区域为学生区或教师区；所述站立的人的数量为无人、一人或多人。

进一步地，在一种实现方式中，所述根据站立的人所在的区域和站立的人的数量，向录播主机发送画面切换命令包括：

当通过所述步骤3中的特征判断方法，检测到所述学生区有多组站立的人的点云数据，即判断为学生区有多人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至学生全景摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区有一组站立的人的点云数据，即判断为学生区只有一人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至学生特写摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区不存在站立的人的点云数据，即判断为学生区无人站起，并且检测到所述教师区有多组站立的人的点云数据，即判断为教师区有多人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至教师全景摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区不存在站立的人的点云数据，机判断为学生区无人站起，并且检测到教师区有一组站立的人的点云数据，即判断为教师区有一人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至教师特写摄像头拍摄画面；

当所述教学录播系统在一段时间内采集到站立的人的点云数据穿越教师区与学生区的边界，等待所述点云数据距离所述分界线一米以上后，再进行对站立的人进行特写或全景的拍摄。具体的，本实施例中，所述一段时间可以选用3秒。

进一步地，在一种实现方式中，将所述教室边界、区域和人的位置坐标以可视化的方式显示于教学录播控制系统上的液晶屏。

第二方面，本发明实施例部分提供一种基于激光雷达技术的教学录播系统，所述系统包括：激光雷达模块、教学录播控制系统及显示屏、录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头；

所述激光雷达模块通过数据接口与教学录播控制系统相连；

所述教学录播控制系统通过数据接口与激光雷达模块、录播主机、教师特写摄像头和学生特写摄像头相连；

所述显示屏通过数据接口与录播主机相连；

所述录播主机通过数据接口与教学录播控制系统、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头相连；

所述教师特写摄像头和学生特写摄像头通过数据接口与教学录播控制系统和录播主机相连；

所述教师全景摄像头和学生全景摄像头通过数据接口与录播主机相连。

进一步地，在一种实现方式中，所述激光雷达固定于教室侧墙的内侧墙壁，所述教室侧墙即安装门窗的墙壁，或安装门窗的对面墙壁；所述教师全景摄像头与教师特写摄像头固定于教室后面的内侧墙壁的居中位置，所述学生全景摄像头与学生特写摄像头固定于教室前面的黑板两侧。

由以上技术方案可知，本发明实施例提供一种基于激光雷达技术的教学录播方法及系统，其中方法包括：步骤1，通过教室内激光雷达扫描获得点云数据，并将所述点云数据传输至教学录播控制系统；步骤2，所述教学录播控制系统根据点云数据划定教室边界，并根据所述教室边界定义教室区域；步骤3，所述教学录播控制系统根据点云数据识别教室中站立的人的位置，并根据所述站立的人的位置确定人所在的区域；步骤4，所述教学录播控制系统控制摄像头跟踪并采集站立的人的位置；步骤5，所述教学录播控制系统根据站立的人所在区域控制录播主机主画面自动切换。

现有技术多采用图像跟踪技术，其技术要求高，复杂环境屏蔽边界干扰物体难，成本高；且其对于阳光等因素抗干扰能力较差，在录制过程中易由于光线、亮度问题出现乱切换画面、丢失画面等现象，导致录课效果差。而采用前述方法及系统，将激光雷达定位技术运用到教学录播系统中，利用激光雷达定位技术进行教师边界的划定可将教室边界门窗和窗帘，角落空调等易产生干扰的物体划分到整个环境之外，极大提高了判断的稳定性；利用激光雷达定位技术定位学生或教师，定位速度快，准确度高，方法简易且不易受天气和光线以及深色干扰物体等影响；此外，教学录播控制系统等非固定设备，可在教室间灵活移动，成本较低，移植性高，适用于多种应用场景。

因此相对于现有技术，本发明提供的一种基于激光雷达技术的教学录播方法的稳定性高、移植性高，对教室的划分准确、对人物的定位速度快且准确度高。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例部分提供的一种基于激光雷达技术的教学录播方法的工作流程示意图；

图2是本发明实施例部分提供的一种基于激光雷达技术的教学录播系统的系统结构框图；

图3是本发明实施例部分提供的一种基于激光雷达技术的教学录播系统的结构布置示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例公开一种基于激光雷达技术的教学录播方法及系统，应用于光线较为复杂，通过传统的基于图像分析技术的录播系统难以稳定进行教学录播工作的场景。

如图1所示，本发明实施例提供一种基于激光雷达技术的教学录播方法，所述方法包括：

步骤1，通过教室内激光雷达扫描获得点云数据，并将所述点云数据传输至教学录播控制系统；

步骤2，所述教学录播控制系统根据点云数据划定教室边界，并根据所述教室边界定义教室区域；

步骤3，所述教学录播控制系统根据点云数据识别教室中站立的人的位置，并根据所述站立的人的位置确定人所在的区域；

步骤4，所述教学录播控制系统控制摄像头跟踪并采集站立的人的位置；

步骤5，所述教学录播控制系统根据站立的人所在区域控制录播主机主画面自动切换。

本发明实施例所述的一种基于激光雷达技术的教学录播方法中，所述步骤1包括：

通过所述教室内激光雷达扫描教室环境，获得水平极坐标系下的点云数据；所述水平极坐标系以激光雷达为第一原点，并以逆时针方向为正方向；所述点云数据包括教室边界的点云数据和站立的人的点云数据；

通过所述激光雷达以数据包的形式将点云数据发送至教学录播控制系统；所述教学录播控制系统通过数据接口与激光雷达、显示屏、录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头相连。

具体的，本实施例中，将激光雷达扫描360度的点云数据简化为1440个点云数据。当教室中有人时，人自身具有宽度，激光雷达扫描到人的点云数据应为聚集的多个点云数据。由于教室范围较小，1440个数据足够将人与其他干扰杂点区分开来。将激光雷达扫描到的以激光雷达为原点的极坐标系下的教室边界点云数据通过串口输送给STM32开发板，STM32开发板解析激光雷达传输的数据包，将所述水平极坐标系下的点云数据坐标经极坐标系和直角坐标系转换规则，转化为水平直角坐标系中的点云数据坐标。

本发明实施例所述的一种基于激光雷达技术的教学录播方法中，所述步骤2包括：

所述教学录播控制系统接收并解析激光雷达传输的点云数据，根据极坐标系与直角坐标系之间的转换规则，将所述水平极坐标系下的点云数据所对应的坐标转化为水平直角坐标系中的点云数据所对应的坐标；

所述水平直角坐标系以激光雷达位置为第二原点，经过所述第二原点与距激光雷达最近的教室墙面设定一个水平面，将所述水平面与教室墙面的交线作为X轴，所述X轴的正方向为从第二原点沿着X轴指向教室后门的方向，以在所述水平面内经过第二原点并垂直于距激光雷达的，且距离教室墙面最近的直线为Y轴，所述Y轴的正方向为X轴正方向逆时针旋转90°方向；

通过中值滤波法，去除采集到的所述教室边界的点云数据中的干扰点云，获得较为稳定的教室边界的点云数据；根据获得的所述较为稳定的教室边界的点云数据，划定略小于教室边界所围成的教室区域作为教学录播工作区域；具体的，本实施例中，将教学录播工作区域的等比缩小至教室边界的点云数据所围成的教室区域的95％左右。通过划定略小于教室边界所围成的教室区域作为教学录播工作区域，能够有效防止教室边界的点云数据不稳定时对教学录播工作区域的确定造成影响，相较于现有技术，本发明所述的教学录播系统抗干扰能力强，录制效果更稳定。

在所述教室中讲台与第一排学生座位之间设定一条直线，所述直线在水平直角坐标系内平行于Y轴，将所述直线设定为教室中教师区与学生区的分界线，即所述讲台所在的区域为教师区，所述学生座位所在的区域为学生区；将所述教师区与学生区的分界线在水平直角坐标系中的坐标作为参数设定于教学录播控制系统中。

具体的，本实施例中，开发板接收到的教室边界点云数据具有杂波，通过中值滤波法可将干扰点云数据除去；进一步的，由于教室边缘具有门窗，角落处具有空调等干扰条件，可在算法中根据激光雷达实际扫描到的较稳定的边界点云数据，将教学录播工作边界等比缩小至教室边界点云数据所围成的教室区域的95％左右，划定一个略小于实际教室区域的教学录播工作区域，进一步获得更为稳定的教学录播工作边界。对于出现在该教学录播工作区域外的点云数据，即使被判定为是人体的点云数据，教学录播控制系统也不再发送信息给教师特写摄像头或学生特写摄像头进行跟踪，可将教室边缘门窗等产生的干扰点云排除。

本发明实施例所述的一种基于激光雷达技术的教学录播方法中，所述步骤3包括：

通过特征判断方法，根据所述点云数据判断教室中是否有人站立，即通过对所述激光雷达扫描获得的点云数据的体积、与激光雷达距离、连续程度、密集程度和分布范围进行特征判断，区分所述站立的人的点云数据与其他环境干扰点云数据；

判断确定所述教室中有人站立后，根据所述站立的人的点云数据所对应的在水平直角坐标系内的坐标，确定所述站立的人所在的区域，并将所述坐标发送至教师特写摄像头或学生特写摄像头；

其中，若判断确定所述站立的人所在的区域为学生区，将所述站立的人的点云数据在水平直角坐标系内所对应的坐标发送至学生特写摄像头；

若判断确定所述站立的人所在的区域为教师区，将所述站立的人的点云数据在水平直角坐标系内所对应的坐标发送至教师特写摄像头。

具体的，本实施例中，雷达扫描到点云数据，判断其是否在教学录播工作区域内，若不在教学录播工作区域内，则不认为是教学录播工作区域内的人的点云数据；

连续读取到4个以上的在教学录播工作区域内的点云数据，则认为这些数据可能是教学录播工作区域内的人的点云数据，否则认为不是人的点云数据；

若连续读取到4个以上的在教学录播工作区域内的点云数据，对于每一个点云，计算其与相邻点云的距离的距离差，保存为相邻点云距离实际值，以雷达为圆心，雷达到此点云距离为半径做圆，计算雷达与其相邻点云连线和此圆的交点到该点云的距离，保存为相邻点云距离标准值，比较标准值与实际值，考虑到雷达精度可能带来的误差，若所有点云均满足相邻点云距离实际值小于3～4倍的相邻点云距离标准值，则认为这些数据可能是教学录播工作区域内站立的人的点云数据，否则认为不是教学录播工作区域内站立的人的点云数据；

若连续读取到4个以上的在教学录播工作区域内的点云数据，计算第一个点云与最后一个点云的距离，与正常人体的宽度对比，若其大于半人宽并小于一人半宽则认为可能是教学录播工作区域内的人的点云数据，否则认为不是教学录播工作区域内的人的点云数据；

满足所有条件，则确认此为教学录播工作区域内人的点云数据，否则认为不是教学录播工作区域内的人的点云数据。

当确认此数据为教学录播工作区域内的人的点云数据后，认为教学录播工作区域内有人站立时，并分析此点云数据来自学生区还是教师区，若此点云数据来自教师区，则将其位置信息保存在教师区位置信息保存数组中，若此点云数据来自学生区，则将其位置信息保存在学生区位置信息保存数组中。

雷达扫描一圈结束后，判断教师区位置信息保存数组和学生区位置信息保存数组中各有多少组数据，进一步判断教师区与学生区各为无人站立、一人站立或多人站立。判断完成后，保存这两个数组中的位置信息，并对教师区位置信息保存数组与学生区位置信息保存数组清零。

本发明实施例所述的一种基于激光雷达技术的教学录播方法中，所述步骤4包括：

所述学生特写摄像头和教师特写摄像头分别接于教学录播控制系统上，对于出现在所述教学录播工作区域内的点云数据，若判定所述点云数据为站立的人的点云数据，通过所述教学录播控制系统发送跟踪命令至学生特写摄像头或教师特写摄像头，对站立的人进行跟踪；

其中，当判断确定所述站立的人所在的区域为学生区，所述教学录播控制系统发送跟踪命令至学生特写摄像头，用于控制学生特写摄像头跟踪学生的位置，所述学生的位置即站立的人的点云数据在水平直角坐标系内所对应的坐标；

当判断确定所述站立的人所在的区域为教师区，所述教学录播控制系统发送跟踪命令至教师特写摄像头，用于控制所述教师特写摄像头跟踪教师的位置，所述教师的位置即站立的人的点云数据在水平直角坐标系内所对应的坐标。

本发明实施例所述的一种基于激光雷达技术的教学录播方法中，所述步骤5包括：在整个教学录播过程中，通过所有摄像装置全程录制，所述摄像装置包括录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头；

所述录播主机通过多个窗口分别显示多个录制画面，所述多个窗口包括主窗口，所述主窗口只显示一个画面；所述录播主机连接于教学录播控制系统上，所述教学录播控制系统通过对录播主机发送画面切换命令控制录播主机的主画面进行切换；

根据所述步骤3中的特征判断方法确定教室中有人站立后，在确定所述站立的人所在的区域的同时，判断所述站立的人的数量，并根据所述站立的人所在的区域和站立的人的数量，向录播主机发送画面切换命令；所述站立的人所在的区域为学生区或教师区；所述站立的人的数量为无人、一人或多人。

本发明实施例所述的一种基于激光雷达技术的教学录播方法中，所述根据站立的人所在的区域和站立的人的数量，向录播主机发送画面切换命令包括：

当通过所述步骤3中的特征判断方法，检测到所述学生区有多组站立的人的点云数据，即判断为学生区有多人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至学生全景摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区有一组站立的人的点云数据，即判断为学生区只有一人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至学生特写摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区不存在站立的人的点云数据，即判断为学生区无人站起，并且检测到所述教师区有多组站立的人的点云数据，即判断为教师区有多人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至教师全景摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区不存在站立的人的点云数据，机判断为学生区无人站起，并且检测到教师区有一组站立的人的点云数据，即判断为教师区有一人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至教师特写摄像头拍摄画面；

具体的，本实施例中，当通过上述的特征判断方法，检测到有多组站立的人的点云数据，即判断为学生区有多人站起，STM32开发板给录播主机发送命令，使录播主机主窗口切换至学生全景摄像头拍摄画面；采用相同判断方法，当检测到学生区只有一人站起，STM32开发板给录播主机发送命令，使录播主机主窗口切换至学生特写摄像头拍摄画面；采用相同判断方法，检测到学生区无人站起，并且检测到教师区有多人站起时，STM32开发板给录播主机发送命令，使录播主机主窗口切换至教师全景摄像头拍摄画面；采用相同判断方法，当学生区无人站起，检测到教师区有一人站起时，STM32开发板给录播主机发送命令，使录播主机主窗口切换至教师特写摄像头拍摄画面。

当所述教学录播系统在一段时间内采集到站立的人的点云数据穿越教师区与学生区的边界，等待所述点云数据距离所述分界线一米以上后，再进行对站立的人进行特写或全景的拍摄。本实施例中，所述一段时间可以选用3秒。由于老师课上可能在课堂上走动，特别的，当老师来回穿梭于教室区与学生区分界线时，可能导致录播主画面来回切换，导致录课质量变差。当所述教学录播系统在一段时间内采集到站立的人的点云数据穿越教师区与学生区的边界，并且所述点云数据距离所述分界线一米以上后，再通过上述方法对进行站立的人进行特写或全景的拍摄，以防止录播主机窗口频繁切换。

本实施例中，通过步骤5所述的方法，能够有效地根据课堂老师和学生互动情况，调整录播主机中录制画面的显示，在灵活切换录播主机主窗口的显示画面的同时，准确跟踪画面所需要显示对象，利用激光雷达定位技术定位学生或教师，定位速度快，准确度高，方法简易且不易受天气和光线以及深色干扰物体等影响，有效避免切换画面、丢失画面等现象，大大提升了录课效果。

本发明实施例所述的一种基于激光雷达技术的教学录播方法中，将所述教室边界、区域和人的位置坐标以可视化的方式显示于教学录播控制系统上的液晶屏。

如图2和图3所示，基于本发明实施例公开的一种基于激光雷达技术的教学录播方法，本发明实施例部分还提供一种基于激光雷达技术的教学录播系统，所述系统包括：激光雷达模块、教学录播控制系统及显示屏、录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头；

所述激光雷达模块通过数据接口与教学录播控制系统相连；

所述教学录播控制系统通过数据接口与激光雷达模块、录播主机、教师特写摄像头和学生特写摄像头相连；

所述显示屏通过数据接口与录播主机相连；

所述录播主机通过数据接口与教学录播控制系统、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头相连；

所述教师特写摄像头和学生特写摄像头通过数据接口与教学录播控制系统和录播主机相连；

所述教师全景摄像头和学生全景摄像头通过数据接口与录播主机相连。

具体的，本实施例中采用的教学录播控制系统是正点原子的STM32探索者开发板，具体的，型号为STM32F407ZGT6，拥有较好的运算能力和较低的成本。

进一步的，本实施例中用到的激光雷达是由深圳玩智商科技有限公司开发的YDLIDAR X4激光雷达，测距分辨率<0.5mm，角度分辨率为0.5°，通过串口与STM32相接，用于将扫描获得的点云数据输送给STM32开发板。

进一步的，本实施例中用到的摄像头是索尼的一款EVI-D70视频会议摄像头，可340度水平连续旋转，俯仰范围为120度，具有18倍光学变焦功能；其中，学生特写摄像头和教师特写摄像头通过串口与STM32相接，另外，学生特写摄像头、教师特写摄像头、学生全景摄像头、教师全景摄像头通过视频接口与录播主机相接。

如图3所示，本发明实施例所述的一种基于激光雷达技术的教学录播系统中，所述激光雷达固定于教室侧墙的内侧墙壁，所述教室侧墙即安装门窗的墙壁，或安装门窗的对面墙壁；所述教师全景摄像头与教师特写摄像头固定于教室后面的内侧墙壁的居中位置，所述学生全景摄像头与学生特写摄像头固定于教室前面的黑板两侧。

由以上技术方案可知，本发明实施例提供一种基于激光雷达技术的教学录播方法及系统，其中方法包括：步骤1，通过教室内激光雷达扫描获得点云数据，并将所述点云数据传输至教学录播控制系统；步骤2，所述教学录播控制系统根据点云数据划定教室边界，并根据所述教室边界定义教室区域；步骤3，所述教学录播控制系统根据点云数据识别教室中站立的人的位置，并根据所述站立的人的位置确定人所在的区域；步骤4，所述教学录播控制系统控制摄像头跟踪并采集站立的人的位置；步骤5，所述教学录播控制系统根据站立的人所在区域控制录播主机主画面自动切换。

现有技术多采用图像跟踪技术，其技术要求高，复杂环境屏蔽边界干扰物体难，成本高；且其对于阳光等因素抗干扰能力较差，在录制过程中易由于光线、亮度问题出现乱切换画面、丢失画面等现象，导致录课效果差。而采用前述方法及系统，将激光雷达定位技术运用到教学录播系统中，利用激光雷达定位技术进行教师边界的划定可将教室边界门窗和窗帘，角落空调等易产生干扰的物体划分到整个环境之外，极大提高了判断的稳定性；利用激光雷达定位技术定位学生或教师，定位速度快，准确度高，方法简易且不易受天气和光线以及深色干扰物体等影响；此外，教学录播控制系统等非固定设备，可在教室间灵活移动，成本较低，移植性高，适用于多种应用场景。

因此相对于现有技术，本发明提供的一种基于激光雷达技术的教学录播方法的稳定性高、移植性高，对教室的划分准确、对人物的定位速度快且准确度高。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种基于激光雷达技术的教学录播方法及系统的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (1)

1.一种基于激光雷达技术的教学录播方法，其特征在于，所述方法包括：

步骤1，通过教室内激光雷达扫描获得点云数据，并将所述点云数据传输至教学录播控制系统；

步骤2，所述教学录播控制系统根据点云数据划定教室边界，并根据所述教室边界定义教室区域；其中，通过中值滤波法，去除采集到的教室边界的点云数据中的干扰点云，获得较为稳定的教室边界的点云数据；根据获得的所述较为稳定的教室边界的点云数据，划定略小于教室边界所围成的教室区域作为教学录播工作区域；

步骤3，所述教学录播控制系统根据点云数据识别教学录播工作区域中站立的人的位置，并根据所述站立的人的位置确定人所在的区域；

步骤4，所述教学录播控制系统控制摄像头跟踪并采集站立的人的位置；

步骤5，所述教学录播控制系统根据站立的人所在区域控制录播主机主画面自动切换；

所述步骤1包括：

通过所述教室内激光雷达扫描教室环境，获得水平极坐标系下的点云数据；所述水平极坐标系以激光雷达为第一原点，并以逆时针方向为正方向；所述点云数据包括教室边界的点云数据和站立的人的点云数据；

通过所述激光雷达以数据包的形式将点云数据发送至教学录播控制系统；所述教学录播控制系统通过数据接口与激光雷达、显示屏、录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头相连；

所述步骤2包括：

所述教学录播控制系统接收并解析激光雷达传输的点云数据，根据极坐标系与直角坐标系之间的转换规则，将所述水平极坐标系下的点云数据所对应的坐标转化为水平直角坐标系中的点云数据所对应的坐标；

所述水平直角坐标系以激光雷达位置为第二原点，经过所述第二原点与距激光雷达最近的教室墙面设定一个水平面，将所述水平面与教室墙面的交线作为X轴，所述X轴的正方向为从第二原点沿着X轴指向教室后门的方向，以在所述水平面内经过第二原点并垂直于距激光雷达的，且距离教室墙面最近的直线为Y轴，所述Y轴的正方向为X轴正方向逆时针旋转90°方向；

在所述教室中讲台与第一排学生座位之间设定一条直线，所述直线在水平直角坐标系内平行于Y轴，将所述直线设定为教室中教师区与学生区的分界线，即所述讲台所在的区域为教师区，所述学生座位所在的区域为学生区；将所述教师区与学生区的分界线在水平直角坐标系中的坐标作为参数设定于教学录播控制系统中；

所述步骤3包括：

通过特征判断方法，根据所述点云数据判断教室中是否有人站立，即通过对所述激光雷达扫描获得的点云数据的体积、与激光雷达距离、连续程度、密集程度和分布范围进行特征判断，区分所述站立的人的点云数据与其他环境干扰点云数据；

判断确定所述教室中有人站立后，根据所述站立的人的点云数据所对应的在水平直角坐标系内的坐标，确定所述站立的人所在的区域，并将所述坐标发送至教师特写摄像头或学生特写摄像头；

其中，若判断确定所述站立的人所在的区域为学生区，将所述站立的人的点云数据在水平直角坐标系内所对应的坐标发送至学生特写摄像头；

若判断确定所述站立的人所在的区域为教师区，将所述站立的人的点云数据在水平直角坐标系内所对应的坐标发送至教师特写摄像头；

所述步骤4包括：

所述学生特写摄像头和教师特写摄像头分别接于教学录播控制系统上，对于出现在所述教学录播工作区域内的点云数据，若判定所述点云数据为站立的人的点云数据，通过所述教学录播控制系统发送跟踪命令至学生特写摄像头或教师特写摄像头，对站立的人进行跟踪；

其中，当判断确定所述站立的人所在的区域为学生区，所述教学录播控制系统发送跟踪命令至学生特写摄像头，用于控制学生特写摄像头跟踪学生的位置，所述学生的位置即站立的人的点云数据在水平直角坐标系内所对应的坐标；

当判断确定所述站立的人所在的区域为教师区，所述教学录播控制系统发送跟踪命令至教师特写摄像头，用于控制所述教师特写摄像头跟踪教师的位置，所述教师的位置即站立的人的点云数据在水平直角坐标系内所对应的坐标；

所述步骤5包括：在整个教学录播过程中，通过所有摄像装置全程录制，所述摄像装置包括录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头；

所述录播主机通过多个窗口分别显示多个录制画面，所述多个窗口包括主窗口，所述主窗口只显示一个画面；所述录播主机连接于教学录播控制系统上，所述教学录播控制系统通过对录播主机发送画面切换命令控制录播主机的主画面进行切换；

根据所述步骤3中的特征判断方法确定教室中有人站立后，在确定所述站立的人所在的区域的同时，判断所述站立的人的数量，并根据所述站立的人所在的区域和站立的人的数量，向录播主机发送画面切换命令；所述站立的人所在的区域为学生区或教师区；所述站立的人的数量为无人、一人或多人；

所述根据站立的人所在的区域和站立的人的数量，向录播主机发送画面切换命令包括：

当通过所述步骤3中的特征判断方法，检测到所述学生区有多组站立的人的点云数据，即判断为学生区有多人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至学生全景摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区有一组站立的人的点云数据，即判断为学生区只有一人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至学生特写摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区不存在站立的人的点云数据，即判断为学生区无人站起，并且检测到所述教师区有多组站立的人的点云数据，即判断为教师区有多人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至教师全景摄像头拍摄画面；

当通过所述步骤3中的特征判断方法，检测到所述学生区不存在站立的人的点云数据，机判断为学生区无人站起，并且检测到教师区有一组站立的人的点云数据，即判断为教师区有一人站起时，所述教学录播控制系统给录播主机发送命令，使所述录播主机主窗口切换至教师特写摄像头拍摄画面；

当所述教学录播系统在一段时间内采集到站立的人的点云数据穿越教师区与学生区的边界，等待所述点云数据距离所述分界线一米以上后，再进行对站立的人进行特写或全景的拍摄；

将所述教室边界、区域和人的位置坐标以可视化的方式显示于教学录播控制系统上的液晶屏；

所述方法应用于一种基于激光雷达技术的教学录播系统，所述系统包括：激光雷达模块、教学录播控制系统及显示屏、录播主机、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头；

所述激光雷达模块通过数据接口与教学录播控制系统相连；

所述教学录播控制系统通过数据接口与激光雷达模块、录播主机、教师特写摄像头和学生特写摄像头相连；

所述显示屏通过数据接口与录播主机相连；

所述录播主机通过数据接口与教学录播控制系统、教师全景摄像头、教师特写摄像头、学生全景摄像头和学生特写摄像头相连；

所述教师特写摄像头和学生特写摄像头通过数据接口与教学录播控制系统和录播主机相连；

所述教师全景摄像头和学生全景摄像头通过数据接口与录播主机相连；

所述激光雷达固定于教室侧墙的内侧墙壁，所述教室侧墙即安装门窗的墙壁，或安装门窗的对面墙壁；所述教师全景摄像头与教师特写摄像头固定于教室后面的内侧墙壁的居中位置，所述学生全景摄像头与学生特写摄像头固定于教室前面的黑板两侧。

Images