CN110312121A - 一种3d智能教育监控方法、系统和存储介质 - Google Patents

Abstract

本发明公开了一种3D智能教育监控方法、系统和存储介质，其中，方法包括以下步骤：采集教育机构内的实时视频信息；结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据；获取输入的控制信息后，结合控制信息和3D实景数据渲染播放对应的3D监控画面。本发明通过采集实时视频信息，并将实时视频信息和预设的现场3D模型进行结合，生成教育现场的3D实景数据，进而结合控制信息生成教育现场的3D实景监控画面，通过3D实景监控画面为家长提供了360度无死角的沉浸式漫游体验，让家长可以身临其境地观看教育现场的情况并可以在该3D实景监控画面内漫游，可广泛应用于智能教育领域。

Description

一种3D智能教育监控方法、系统和存储介质

技术领域

本发明涉及智能教育领域，尤其涉及一种3D智能教育监控方法、系统和存储介质。

背景技术

在我国，随着教育制度的完善和高校的发展，进入高校深造的学生越来越多。目前，很多家长会送自己的孩子到学校等教育机构进行培训。随着科技的发展，很多教育机构能通过CCTV(闭路电视监控系统)等视频监控装置和配套的APP为家长提供实时的视频监控画面，让家长可以实时查看自己的孩子在教育机构的培训情况，了解老师的培训课程，让家长更加放心满意。

然而，目前教育机构提供的视频监控画面大多为2D的视频监控画面，未能将教育现场的实时视频流与教育现场的三维模型融合来生成教育现场的3D实景监控画面，无法为家长提供360度无死角的沉浸式漫游体验，亟待进一步完善与提高。

发明内容

为了解决上述技术问题，本发明的目的是提供一种3D智能教育监控方法、系统和存储介质，以提供360度无死角的沉浸式漫游体验。

本发明所采用的第一技术方案是：

一种3D智能教育监控方法，包括以下步骤：

采集教育机构内的实时视频信息；

结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据；

获取输入的控制信息后，结合控制信息和3D实景数据渲染播放对应的3D监控画面。

进一步，还包括建立现场3D模型步骤，所述建立现场3D模型步骤具体为：

扫描教育机构的三维数据；

根据扫描到的三维数据生成并存储现场3D模型。

进一步，所述结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据这一步骤，具体为：

将实时视频信息叠加至预设的现场3D模型，并进行融合处理后，生成并存储3D实景数据。

进一步，还包括以下步骤：

根据3D实景数据生成并存储对应的链接。

进一步，所述控制信息包括切换信息和调控信息，所述切换信息包括场景切换信息和角度切换信息，所述切换信息包括场景切换信息和角度切换信息，所述获取输入的控制信息后，结合控制信息和3D实景数据渲染播放对应的3D监控画面这一步骤，具体包括以下步骤：

获取输入的场景切换信息后，结合场景切换信息和3D实景数据获取并渲染对应场景的3D监控画面；

获取输入的角度切换信息后，结合角度切换信息和3D实景数据获取并渲染同一场景内不同角度的3D监控画面。

进一步，还包括以下步骤：

获取输入的视频回放信息后，根据视频回放信息获取对应的3D实景数据，并根据3D实景数据渲染播放对应的3D监控画面。

本发明所采用的第二技术方案是：

一种3D智能教育监控系统，包括：

视频采集模块，用于采集教育机构内的实时视频信息；

数据处理模块，用于结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据；

视频播放模块，用于获取输入的控制信息后，结合控制信息和3D实景数据渲染播放对应的3D监控画面。

进一步，还包括建立现场3D模型模块，所述建立现场3D模型模块包括扫描单元和建模单元；

所述扫描单元用于扫描教育机构的三维数据；

所述建模单元用于根据扫描到的三维数据生成并存储现场3D模型。

进一步，所述数据处理模块具体用于将实时视频信息叠加至预设的现场3D模型，并进行融合处理后，生成并存储3D实景数据。

进一步，所述视频播放模块包括移动终端、平板电脑端、PC电脑端、空气屏、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏中的至少一种。

进一步，所述视频采集模块采用CCTV视频流采集模块。

本发明所采用的第三技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明通过采集实时视频信息，并将实时视频信息和预设的现场3D模型进行结合，生成教育现场的3D实景数据，进而结合控制信息生成教育现场的3D实景监控画面，通过3D实景监控画面为家长提供了360度无死角的沉浸式漫游体验，让家长可以身临其境地观看教育现场的情况并可以在该3D实景监控画面内漫游。

附图说明

图1是本发明一种3D智能教育监控方法的步骤流程图；

图2是本发明一种3D智能教育监控系统的结构框图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

实施例一

参照图1，本实施例提供了一种3D智能教育监控方法，包括以下步骤：

S1、建立现场3D模型；

S2、采集教育机构内的实时视频信息；

S3、结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据；

S4、获取输入的控制信息后，结合控制信息和3D实景数据渲染播放对应的3D监控画面。

在本实施例的方法中，预先对培训教育机构进行3D建模，并存储在后台的数据库中，比如以学校为例，对学校的教学楼、教学课室内外、走廊楼梯等进行扫描建模，得到现场3D模型。建完现场3D模型后，实时采集学校内的实时视频信息，所述实时视频信息可以为安装在现场的高清摄像头获得的视频，也可以是由现场播放的一段视频，即老师通过投影设备等多媒体设备播放的视频。将采集到的实时视频信息与预先建立的现场3D模型进行融合，从而生成3D实景数据，将该3D实景数据存储在预设的存储空间内。家长通过智能终端的浏览器直接输入或打开URL链接访问该3D实景数据，查看教育课室内的实时3D视频实景监控画面。家长可以通过智能终端输入切换信息在3D视频实景监控画面内漫游，比如切换不同的场景或者画面的角度，比如教育机构为学校时，可以切换不同的教室，从而找到自己孩子所在的教室，并通过切换画面的角度，从而能够更加清晰地查看自己的孩子。由于查看的3D视频实景监控画面是三维视觉的视频画面，使家长有身临其境进行查看的沉浸式感觉，且家长等用户输入控制信息可以切换画面进行360度无死角漫游，能够快速地找到自己孩子的位置；另外，采集到的视频数据是实时的，因此家长能够实时地查看自己孩子的情况和查看老师的讲课情况，满足了家长用户能够实时地、沉浸式地查看自己孩子的要求。

其中，所述步骤S1具体包括步骤S11～S12：

S11、扫描教育机构的三维数据；

S12、根据扫描到的三维数据生成并存储现场3D模型。

预先扫描教育机构现场的环境的三维数据，所述现场的环境包括一些位置固定不变设备，比如教学楼的外表、教学楼内的教室、教学楼内的楼梯和教室外部的走廊、运动场、学校食堂、小卖部等每个角落。将扫描获得的三维数据进行处理后，生成现场3D模型。具体地，教学楼的外部可以通过航拍、空中扫描设备(手持扫描设备或其他自动扫描设备)进行扫描，教学楼的内部可以采用手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)进行现场扫描，并获得相应的二维图片和深度信息等三维数据。对获得的二维图片和深度信息等三维数据进行模型修复、剪辑、裁剪、减面、减模、压缩、处理材质、处理贴图、处理灯光和压缩渲染等步骤的处理后，获得现场3D模型，将获得的现场3D模型存储在预设的存储空间，当需要调用该现场3D模型时，直接进行调用即可。

所述步骤S3，具体为：将实时视频信息叠加至预设的现场3D模型，并进行融合处理后，生成并存储3D实景数据。

家长用户通过输入切换信息，可查看教室内的场景画面，也可以查看教室投影设备等多媒体设备的播放画面。当实时视频信息为由现场播放的一段视频时，直接将该视频与现场3D模型进行融合并生成3D实景数据。当实时视频信息为由安装在现场的高清摄像头获得的视频时，所述高清摄像头可以为一个，也可以多个摄像头，当拥有多个高清摄像头时，能够从多个角度进行拍摄。

通过将视频信息与现场3D模型叠加融合生成3D实景数据，所述3D实景数据是连贯的，通过输入切换信息，家长可以进行漫游。比如学生从教室跑出教室外的走廊，家长通过切换画面，实现视频跟踪学生的动态，而不只是通过简单切换镜头来查看。

所述控制信息包括切换信息和调控信息，所述切换信息包括场景切换信息和角度切换信息，所述步骤S4具体包括步骤S41～S42：

S41、获取输入的场景切换信息后，结合场景切换信息和3D实景数据获取并渲染对应场景的3D监控画面；

S42、获取输入的角度切换信息后，结合角度切换信息和3D实景数据获取并渲染同一场景内不同角度的3D监控画面。

所述控制信息包括切换信息和调控信息，所述切换信息用于切换画面的场景和角度，所述调控信息用于调控画面的亮度、清晰度或者画面的大小等。当家长通过智能终端进行实时监控时，可通过场景切换信息快速切换至自己孩子所在的教室或培训室所在的楼层，当切换至对应的教室后，通过输入角度切换信息可以查找自己孩子所在的位置。当学生在课间休息时，位置移动后，家长可以通过切换画面进行跟踪，比如学生从二楼跑到三楼，家长可以3D漫游跟踪到三楼。由于查看的画面是3D画面，能够给家长一种身临其境的感觉，极大地提高家长查看的体验。

进一步作为优选的实施方式，还包括以下步骤：

根据3D实景数据生成并存储对应的链接。

生成链接后，家长用户可以直接通过链接查看实时的监控实景，并可将链接转发给其他用户，极大地方便家长用户的查看操作。

进一步作为优选的实施方式，还包括以下步骤：

获取输入的视频回放信息后，根据视频回放信息获取对应的3D实景数据，并根据3D实景数据渲染播放对应的3D监控画面。

家长通过输入视频回放信息，可以查看之前的3D实景数据的画面，比如家长发现孩子在教育机构受伤后，可以回放查看相应的3D视频，避免产生误会，更能提高孩子的安全性，使家长更加放心。

实施例二

参照图2，本实施例提供了一种3D智能教育监控系统，包括：

视频采集模块，用于采集教育机构内的实时视频信息；

数据处理模块，用于结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据；

视频播放模块，用于获取输入的控制信息后，结合控制信息和3D实景数据渲染播放对应的3D监控画面。

在本实施例的系统中，预先对培训教育机构进行3D建模，并存储在后台的数据库中，比如以学校为例，对学校的教学楼、教学课室内外、走廊楼梯等进行扫描建模，得到现场3D模型。建完现场3D模型后，实时采集学校内的实时视频信息，所述实时视频信息可以为安装在现场的高清摄像头获得的视频，也可以是由现场播放的一段视频，即老师通过投影设备等多媒体设备播放的视频。将采集到的实时视频信息与预先建立的现场3D模型进行融合，从而生成3D实景数据，将该3D实景数据存储在预设的存储空间内。家长通过智能终端的浏览器直接输入或打开URL链接访问该3D实景数据，查看教育课室内的实时3D视频实景监控画面。家长可以通过智能终端输入切换信息在3D视频实景监控画面内漫游，比如切换不同的场景或者画面的角度，比如教育机构为学校时，可以切换不同的教室，从而找到自己孩子所在的教室，并通过切换画面的角度，从而能够更加清晰地查看自己的孩子。由于查看的3D视频实景监控画面是三维视觉的视频画面，使家长有身临其境进行查看的沉浸式感觉，且家长等用户输入控制信息可以切换画面进行360度无死角漫游，能够快速地找到自己孩子的位置；另外，采集到的视频数据是实时的，因此家长能够实时地查看自己孩子的情况和查看老师的讲课情况，满足了家长用户能够实时地、沉浸式地查看自己孩子的要求。

进一步作为优选的实施方式作为优选的实时方式，还包括建立现场3D模型模块，所述建立现场3D模型模块包括扫描单元和建模单元；

所述扫描单元用于扫描教育机构的三维数据；

所述建模单元用于根据扫描到的三维数据生成并存储现场3D模型。

预先扫描教育机构现场的环境的三维数据，所述现场的环境包括一些位置固定不变设备，比如教学楼的外表、教学楼内的教室、教学楼内的楼梯和教室外部的走廊、运动场、学校食堂、小卖部等每个角落。将扫描获得的三维数据进行处理后，生成现场3D模型。具体地，教学楼的外部可以通过航拍、空中扫描设备(手持扫描设备或其他自动扫描设备)进行扫描，教学楼的内部可以采用手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)进行现场扫描，并获得相应的二维图片和深度信息等三维数据。对获得的二维图片和深度信息等三维数据进行模型修复、剪辑、裁剪、减面、减模、压缩、处理材质、处理贴图、处理灯光和压缩渲染等步骤的处理后，获得现场3D模型，将获得的现场3D模型存储在预设的存储空间，当需要调用该现场3D模型时，直接进行调用即可。

进一步作为优选的实施方式，所述数据处理模块具体用于将实时视频信息叠加至预设的现场3D模型，并进行融合处理后，生成并存储3D实景数据。

家长用户通过输入切换信息，可查看教室内的场景画面，也可以查看教室投影设备等多媒体设备的播放画面。当实时视频信息为由现场播放的一段视频时，直接将该视频与现场3D模型进行融合并生成3D实景数据。当实时视频信息为由安装在现场的高清摄像头获得的视频时，所述高清摄像头可以为一个，也可以多个摄像头，当拥有多个高清摄像头时，能够从多个角度进行拍摄。

通过将视频信息与现场3D模型叠加融合生成3D实景数据，所述3D实景数据是连贯的，通过输入切换信息，家长可以进行漫游。比如学生从教室跑出教室外的走廊，家长通过切换画面，实现视频跟踪学生的动态，而不只是通过简单切换镜头来查看。

进一步作为优选的实施方式，所述切换信息包括场景切换信息和角度切换信息，所述视频播放模块包括切换场景播放单元和切换角度播放单元；

所述切换场景播放单元用于获取输入的场景切换信息后，结合场景切换信息和3D实景数据获取并渲染对应场景的3D监控画面；

所述切换角度播放单元用于获取输入的角度切换信息后，结合角度切换信息和3D实景数据获取并渲染同一场景内不同角度的3D监控画面。

当家长通过浏览器在网页上进行实时监控时，可通过场景切换信息快速切换至自己孩子所在的教室或培训室所在的楼层，当切换至对应的教室后，通过输入角度切换信息可以查找自己孩子所在的位置。当学生在课间休息时，位置移动后，家长可以通过切换画面进行跟踪，比如学生从二楼跑到三楼，家长可以3D漫游跟踪到三楼。由于查看的画面是3D画面，能够给家长一种身临其境的感觉，极大地提高家长查看的体验。

进一步作为优选的实施方式，所述视频播放模块包括移动终端、平板电脑端、PC电脑端、空气屏、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏中的至少一种。

家长用户可以随时随地通过身边的智能终端设备进行查看孩子的教育情况，极大地方便家长的查看操作。

进一步作为优选的实施方式，所述视频采集模块采用CCTV视频流采集模块。

实施例三

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如实施例所述方法。

本实施例的一种存储介质，可执行本发明方法实施例一所提供的一种3D智能教育监控方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种3D智能教育监控方法，其特征在于，包括以下步骤：

采集教育机构内的实时视频信息；

结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据；

获取输入的控制信息后，结合控制信息和3D实景数据渲染播放对应的3D监控画面。

2.根据权利要求1所述的一种3D智能教育监控方法，其特征在于，还包括建立现场3D模型步骤，所述建立现场3D模型步骤具体为：

扫描教育机构的三维数据；

根据扫描到的三维数据生成并存储现场3D模型。

3.根据权利要求2所述的一种3D智能教育监控方法，其特征在于，所述结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据这一步骤，具体为：

将实时视频信息叠加至预设的现场3D模型，并进行融合处理后，生成并存储3D实景数据。

4.根据权利要求1所述的一种3D智能教育监控方法，其特征在于，还包括以下步骤：

根据3D实景数据生成并存储对应的链接。

5.根据权利要求1所述的一种3D智能教育监控方法，其特征在于，还包括以下步骤：

获取输入的视频回放信息后，根据视频回放信息获取对应的3D实景数据，并根据3D实景数据渲染播放对应的3D监控画面。

6.一种3D智能教育监控系统，其特征在于，包括：

视频采集模块，用于采集教育机构内的实时视频信息；

数据处理模块，用于结合实时视频信息和预先建立的现场3D模型生成并存储3D实景数据；

视频播放模块，用于获取输入的控制信息后，结合控制信息和3D实景数据渲染播放对应的3D监控画面。

7.根据权利要求6所述的一种3D智能教育监控系统，其特征在于，还包括建立现场3D模型模块，所述建立现场3D模型模块包括扫描单元和建模单元；

所述扫描单元用于扫描教育机构的三维数据；

所述建模单元用于根据扫描到的三维数据生成并存储现场3D模型。

8.根据权利要求7所述的一种3D智能教育监控系统，其特征在于，所述数据处理模块具体用于将实时视频信息叠加至预设的现场3D模型，并进行融合处理后，生成并存储3D实景数据。

9.根据权利要求6所述的一种3D智能教育监控系统，其特征在于，所述视频播放模块包括移动终端、平板电脑端、PC电脑端、空气屏、LED显示屏、LCD显示屏、OLED显示屏和点阵显示屏中的至少一种。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-5任一项所述方法。