CN114888795A - 未来教学空间场景建模与认知理解方法及系统 - Google Patents

Abstract

本发明提供了一种未来教学空间场景建模与认知理解方法及系统，包括：对教学空间分类并进行区域划分，定义空间及空间内典型物体；将物体以数据条码的形式录入知识库；教学助手机器人读取数据条码，识别物体并查验知识库信息，形成先验知识；识别物体，与条码读取结果进行效验，对异常样本进行重采样，并对识别模型进行参数调优，形成自学习反馈网络；综合对物体空间位置、外观识别，以及知识库先验知识，形成对空间内物体的全属性理解，并通过物体属性与空间功能之间的关联关系判定，实现对空间及区域的场景功能认知与理解；对教学空间进行三维重建、区域划分与识别结果标注。本发明为解析和重构教与学的关系，提升教学效果及学习效率提供技术方案。

Description

未来教学空间场景建模与认知理解方法及系统

技术领域

本发明涉及智慧教育领域，具体地，涉及一种未来教学空间场景建模与认知理 解方法及系统。

背景技术

专利文献CN109887096A(申请号：CN201910065870.X)公开了一种利用虚拟现 实技术的教育教学信息处理系统及其教学方法，包括：将教育教学系统布置在教室 中；通过实时三维建模系统对教师所在区域进行图像采集获得教师的实时三维模型 数据；结合讲课内容所对应的虚拟现实场景数据，实时地将教师的三维虚拟形象呈 现在虚拟现实的教学内容中；学生通过虚拟现实显示设备观看虚拟现实教学场景， 可同时观看虚拟现实教学内容和教师的实时三维虚拟形象，实现与虚拟现实场景中 的相应对象进行互动操作，通过教师在虚拟场景中的讲解，让学生体会到无法在现 实世界中观看和体验的内容，达到身临其境的教学效果。但是该发明中的建模没有 根据不同场景进行建模，数据不够精准。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种未来教学空间场景建模与认知理解方法及系统。

根据本发明提供的一种未来教学空间场景建模与认知理解方法，包括：

步骤S1：对教学空间分类并进行区域划分，定义空间及空间内典型物体；

步骤S2：将空间内典型物体以数据条码的形式录入知识库；

步骤S3：教学助手机器人读取数据条码，识别物体ID并查验知识库信息，形成先验知识；

步骤S4：教学助手机器人通过机器视觉识别物体，完成对目标的空间位置定位和外 观识别，并与条码读取结果进行效验，针对识别错误的样本进行重采样，并对识别模型进行参数调优，形成自学习反馈网络，提升识别模型对空间物理环境的感知精度；

步骤S5：综合对物体空间位置、外观识别，以及知识库先验知识，形成空间内物体的全属性理解，并通过物体属性与空间功能之间关联关系判定，实现对空间及区域的场 景功能认知与理解；

步骤S6：对教学空间进行三维重建、区域划分与识别结果标注，为教学助手机器人执行教学任务提供空间标识。

优选地，在所述步骤S1中：

对未来教学物理空间进行分类，根据教学任务、室内功能区域划分，定义教学空间与区域内的物体及附属教具、教学设备；

教学物理空间记为S_i，分类包括基础学科教育空间S₁、美育教育空间S₂、体育教育空间S₃、心理教育空间S₄、信息科技教育空间S₅、学科实验室S₆；

根据室内功能设计定位以及教学任务的开展形式，对教学空间进行区域拆分；基础 功能区域划分包括教师授课区域、学生学习操作区域、授课内容展示交互区域、教具与设备陈列区域、公共区域；针对教学空间S_i，根据教学任务及室内设计进行宏观的区域 划分，记为S_iA_j；针对教学空间S_i，标记该区域内的核心物体及附属教具、教学设备为S_iT_k；

在所述步骤S2中：

录入信息包括物体ID、名称、型号、尺寸、用途、用法；

在所述步骤S3中：

教学助手机器人通过摄像头读取数据条码，识别物体ID并查验知识库信息，完成对 物体属性的初次认知，完成先验知识储备。

优选地，在所述步骤S4中：

对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识 别，并设置奖惩机制，形成自学习反馈网络，提升对空间物理环境的感知能力和精度：

利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目 标定位和识别，并标记处目标位置及识别结果；将自动识别的结果与系统查验结果进行校验；

如果识别结果与系统查验结果一致，系统标记为T，为正反馈；如果识别结果与系统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行 归一化处理、数据标注后存储至图像样本库，并关联至该物体ID，针对重采样的样本数 据，划分训练集、验证集和测试集，提取异常图像样本特征并调整模型参数，进行局部 调优，提高对该类物体的识别率和算法的泛化能力，形成自学习反馈网络，提升教学助 手机器人对环境及典型物体的感知识别能力和识别精度。

优选地，在所述步骤S5中：

针对定义的教学空间内的隶属于该空间内的物体、教具、教学设备，设置空间与空间内物体的关联规则，基于客观事实和经验认知，对物体、教具、教学设备数据项，以 个体项或组合项为基本单位，设置支持度、置信度，以及支持度、置信度的最低阈值； 支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的情况下， B个体项也存在的条件概率；

通过对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组合项的支持度与置信度，满足阈值范围要求的，视为与某类空间功能存在强关联关系；

每个物理教学空间为独立样本，根据对教学空间内物体、教具、教学设备的识别结果，作为一条数据样本，建立数据集合；

对数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整设置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物体属性与空间功能间关 联关系的认知能力。

优选地，在所述步骤S6中：

教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执 行的任务动态调整：

通过双目摄像头实现立体视觉，将教学AI助手放置在教室前方任一角落位置，保证 前方视角无遮挡，进行系统初始化定位和图像采集任务；

利用获取的初始帧图像I₁与图像I₂进行三维建模，形成教学空间的数字几何模型M；

利用特征算子对两张图像I₁与I₂进行图像特征点提取得到特征点矩阵；

使用k近邻算法计算最近邻匹配实现特征点间的匹配；

通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实现稀疏重建；

通过光束法平差进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使 得反向投影差最小，降低重建误差；

将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后 的模型记为M^*；

对教学物理空间内的物体及附属教具、教学设备的定位及识别结果，同步标注在M^*中。

根据本发明提供的一种未来教学空间场景建模与认知理解系统，包括：

模块M1：对教学空间分类并进行区域划分，定义空间及空间内典型物体；

模块M2：将空间内典型物体以数据条码的形式录入知识库；

模块M3：教学助手机器人读取数据条码，识别物体ID并查验知识库信息，形成先验知识；

模块M4：教学助手机器人通过机器视觉识别物体，完成对目标的空间位置定位和外 观识别，并与条码读取结果进行效验，针对识别错误的样本进行重采样，并对识别模型进行参数调优，形成自学习反馈网络，提升识别模型对空间物理环境的感知精度；

模块M5：综合对物体空间位置、外观识别，以及知识库先验知识，形成空间内物体的全属性理解，并通过物体属性与空间功能之间关联关系判定，实现对空间及区域的场 景功能认知与理解；

模块M6：对教学空间进行三维重建、区域划分与识别结果标注，为教学助手机器人执行教学任务提供空间标识。

优选地，在所述模块M1中：

对未来教学物理空间进行分类，根据教学任务、室内功能区域划分，定义教学空间与区域内的物体及附属教具、教学设备；

教学物理空间记为S_i，分类包括基础学科教育空间S₁、美育教育空间S₂、体育教育空间S₃、心理教育空间S₄、信息科技教育空间S₅、学科实验室S₆；

根据室内功能设计定位以及教学任务的开展形式，对教学空间进行区域拆分；基础 功能区域划分包括教师授课区域、学生学习操作区域、授课内容展示交互区域、教具与设备陈列区域、公共区域；针对教学空间S_i，根据教学任务及室内设计进行宏观的区域 划分，记为S_iA_j；针对教学空间S_i，标记该区域内的核心物体及附属教具、教学设备为S_iT_k；

在所述模块M2中：

录入信息包括物体ID、名称、型号、尺寸、用途、用法；

在所述模块M3中：

教学助手机器人读取数据条码，识别物体ID并查验知识库信息，完成对物体属性的 初次认知，完成先验知识储备。

优选地，在所述模块M4中：

对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识 别，并设置奖惩机制，形成自学习反馈网络，提升对空间物理环境的感知能力和精度：

利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目 标定位和识别，并标记处目标位置及识别结果；将自动识别的结果与系统查验结果进行校验；

如果识别结果与系统查验结果一致，系统标记为T，为正反馈；如果识别结果与系统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行 归一化处理、数据标注后存储至图像样本库，并关联至该物体ID，针对重采样的样本数 据，划分训练集、验证集和测试集，提取异常图像样本特征并调整模型参数，进行局部 调优，提高对该类物体的识别率和算法的泛化能力，形成自学习反馈网络，提升教学助 手机器人对环境及典型物体的感知识别能力和识别精度。

优选地，在所述模块M5中：

针对定义的教学空间内的隶属于该空间内的物体、教具、教学设备，设置空间与空间内物体的关联规则，基于客观事实和经验认知，对物体、教具、教学设备数据项，以 个体项或组合项为基本单位，设置支持度、置信度，以及支持度、置信度的最低阈值； 支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的情况下， B个体项也存在的条件概率；

通过对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组合项的支持度与置信度，满足阈值范围要求的，视为与某类空间功能存在强关联关系；

每个物理教学空间为独立样本，根据对教学空间内物体、教具、教学设备的识别结果，作为一条数据样本，建立数据集合；

对数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整设置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物体属性与空间功能间关 联关系的认知能力。

优选地，在所述模块M6中：

教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执 行的任务动态调整：

通过双目摄像头实现立体视觉，将教学AI助手放置在教室前方任一角落位置，保证 前方视角无遮挡，进行系统初始化定位和图像采集任务；

利用获取的初始帧图像I₁与图像I₂进行三维建模，形成教学空间的数字几何模型M；

利用特征算子对两张图像I₁与I₂进行图像特征点提取得到特征点矩阵；

使用k近邻算法计算最近邻匹配实现特征点间的匹配；

通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实现稀疏重建；

通过光束法平差进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使 得反向投影差最小，降低重建误差；

将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后 的模型记为M^*；

对教学物理空间内的物体及附属教具、教学设备的定位及识别结果，同步标注在M^*中。

与现有技术相比，本发明具有如下的有益效果：

1、本发明将人工智能、知识工程、机器人技术等与教育教学场景的深度融合，通过对教学空间场域的识别、解构和重建，创新人机教学交互方式，为解析和重构教与学 的关系，提升教学效果及学习效率，提供技术方案；

2、本发明将知识库先验知识与机器视觉识别结果进行效验，对识别异常的图像进行 重采样，提取样本特征后局部调优算法，形成自学习反馈网络，提升教学助手机器人对物理环境的感知识别能力和识别精度；

3、本发明设计的教学助手机器人，综合对物体空间位置、外观和知识库先验知识，形成对空间内物体的全属性理解，并通过对物体属性与空间功能的关联规则判定，实现 对空间场域功能的认知理解；

4、本发明对教学空间进行三维建模的基础上，进行图像分割实现区域划分和识别结 果标注，为后续教学助手机器人执行教学任务，提供空间标识。

5、本发明根据不同教学场景进行独立建模，模型重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执行的任务动态调整，精准性和普适性更强。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目 的和优点将会变得更明显：

图1为本发明流程图；

图2为本发明运行步骤图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于 本发明的保护范围。

实施例1：

根据本发明提供的一种未来教学空间场景建模与认知理解方法，如图1所示，包括：

步骤S1：对教学空间分类并进行区域划分，定义空间及空间内典型物体；

具体地，在所述步骤S1中：

对未来教学物理空间进行分类，根据教学任务、室内功能区域划分，定义教学空间与区域内的物体及附属教具、教学设备；

教学物理空间记为S_i，分类包括基础学科教育空间S₁、美育教育空间S₂、体育教育空 间S₃、心理教育空间S₄、信息科技教育空间S₅、学科实验室S₆；

根据室内功能设计定位以及教学任务的开展形式，对教学空间进行区域拆分；基础 功能区域划分包括教师授课区域、学生学习操作区域、授课内容展示交互区域、教具与设备陈列区域、公共区域；针对教学空间S_i，根据教学任务及室内设计进行宏观的区域 划分，记为S_iA_j；针对教学空间S_i，标记该区域内的核心物体及附属教具、教学设备为S_iT_k；

步骤S2：将空间内典型物体以数据条码的形式录入知识库；

在所述步骤S2中：

录入信息包括物体ID、名称、型号、尺寸、用途、用法；

步骤S3：教学助手机器人读取数据条码，识别物体ID并查验知识库信息，形成先验知识；

在所述步骤S3中：

教学助手机器人通过摄像头读取数据条码，识别物体ID并查验知识库信息，完成对 物体属性的初次认知，完成先验知识储备。

步骤S4：教学助手机器人通过机器视觉识别物体，完成对目标的空间位置定位和外观识别，并与条码读取结果进行效验，针对识别错误的样本进行重采样，并对识别模 型进行参数调优，形成自学习反馈网络，提升识别模型对空间物理环境的感知精度；

具体地，在所述步骤S4中：

对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识 别，并设置奖惩机制，形成自学习反馈网络，提升对空间物理环境的感知能力和精度：

利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目 标定位和识别，并标记处目标位置及识别结果；将自动识别的结果与系统查验结果进行校验；

如果识别结果与系统查验结果一致，系统标记为T，为正反馈；如果识别结果与系统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行 归一化处理、数据标注后存储至图像样本库，并关联至该物体ID，针对重采样的样本数 据，划分训练集、验证集和测试集，提取异常图像样本特征并调整模型参数，进行局部 调优，提高对该类物体的识别率和算法的泛化能力，形成自学习反馈网络，提升教学助 手机器人对环境及典型物体的感知识别能力和识别精度。

步骤S5：综合对物体空间位置、外观识别，以及知识库先验知识，形成空间内物体的全属性理解，并通过物体属性与空间功能二者之间关联规则判定，实现对空间及区域 的场景认知与理解；

具体地，在所述步骤S5中：

针对定义的教学空间内的隶属于该空间内的物体、教具、教学设备，设置空间与空间内物体的关联规则，基于客观事实和经验认知，对物体、教具、教学设备数据项，以 个体项或组合项为基本单位，设置支持度、置信度，以及支持度、置信度的最低阈值； 支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的情况下， B个体项也存在的条件概率；

通过对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组合项的支持度与置信度，满足阈值范围要求的，视为与某类空间功能存在强关联关系；

每个物理教学空间为独立样本，根据对教学空间内物体、教具、教学设备的识别结果，作为一条数据样本，建立数据集合；

对数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整设置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物体属性与空间功能间关 联关系的认知能力。

步骤S6：对教学空间进行三维重建、区域划分与识别结果标注，为教学助手机器人执行教学任务提供空间标识。

具体地，在所述步骤S6中：

教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执 行的任务动态调整：

通过双目摄像头实现立体视觉，将教学AI助手放置在教室前方任一角落位置，保证 前方视角无遮挡，进行系统初始化定位和图像采集任务；

利用获取的初始帧图像I₁与图像I₂进行三维建模，形成教学空间的数字几何模型M；

利用特征算子对两张图像I₁与I₂进行图像特征点提取得到特征点矩阵；

使用k近邻算法计算最近邻匹配实现特征点间的匹配；

通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实现稀疏重建；

通过光束法平差进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使 得反向投影差最小，降低重建误差；

将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后 的模型记为M^*；

对教学物理空间内的物体及附属教具、教学设备的定位及识别结果，同步标注在M^*中。

实施例2：

实施例2为实施例1的优选例，以更为具体地对本发明进行说明。

本领域技术人员可以将本发明提供的一种未来教学空间场景建模与认知理解方法， 理解为未来教学空间场景建模与认知理解系统的具体实施方式，即所述未来教学空间场 景建模与认知理解系统可以通过执行所述未来教学空间场景建模与认知理解方法的步骤流程予以实现。

根据本发明提供的一种未来教学空间场景建模与认知理解系统，包括：

模块M1：对教学空间分类并进行区域划分，定义空间及空间内典型物体；

具体地，在所述模块M1中：

对未来教学物理空间进行分类，根据教学任务、室内功能区域划分，定义教学空间与区域内的物体及附属教具、教学设备；

教学物理空间记为S_i，分类包括基础学科教育空间S₁、美育教育空间S₂、体育教育空 间S₃、心理教育空间S₄、信息科技教育空间S₅、学科实验室S₆；

根据室内功能设计定位以及教学任务的开展形式，对教学空间进行区域拆分；基础 功能区域划分包括教师授课区域、学生学习操作区域、授课内容展示交互区域、教具与设备陈列区域、公共区域；针对教学空间S_i，根据教学任务及室内设计进行宏观的区域 划分，记为S_iA_j；针对教学空间S_i，标记该区域内的核心物体及附属教具、教学设备为S_iT_k；

模块M2：将空间内典型物体以数据条码的形式录入知识库；

在所述模块M2中：

录入信息包括物体ID、名称、型号、尺寸、用途、用法；

模块M3：教学助手机器人读取数据条码，识别物体ID并查验知识库信息，形成先验知识；

在所述模块M3中：

教学助手机器人通过摄像头读取数据条码，识别物体ID并查验知识库信息，完成对 物体属性的初次认知，完成先验知识储备。

模块M4：教学助手机器人通过机器视觉识别物体，完成对目标的空间位置定位和外 观识别，并与条码读取结果进行效验，针对识别错误的样本进行重采样，并对识别模型进行参数调优，形成自学习反馈网络，提升识别模型对空间物理环境的感知精度；

具体地，在所述模块M4中：

对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识 别，并设置奖惩机制，形成自学习反馈网络，提升对空间物理环境的感知能力和精度：

利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目 标定位和识别，并标记处目标位置及识别结果；将自动识别的结果与系统查验结果进行校验；

如果识别结果与系统查验结果一致，系统标记为T，为正反馈；如果识别结果与系统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行 归一化处理、数据标注后存储至图像样本库，并关联至该物体ID，针对重采样的样本数 据，划分训练集、验证集和测试集，提取异常图像样本特征并调整模型参数，进行局部 调优，提高对该类物体的识别率和算法的泛化能力，形成自学习反馈网络，提升教学助 手机器人对环境及典型物体的感知识别能力和识别精度。

模块M5：综合对物体空间位置、外观识别，以及知识库先验知识，形成空间内物体的全属性理解，并通过物体属性与空间功能之间关联关系判定，实现对空间及区域的场 景功能认知与理解；

具体地，在所述模块M5中：

针对定义的教学空间内的隶属于该空间内的物体、教具、教学设备，设置空间与空间内物体的关联规则，基于客观事实和经验认知，对物体、教具、教学设备数据项，以 个体项或组合项为基本单位，设置支持度、置信度，以及支持度、置信度的最低阈值； 支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的情况下， B个体项也存在的条件概率；

通过对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组合项的支持度与置信度，满足阈值范围要求的，视为与某类空间功能存在强关联关系；

每个物理教学空间为独立样本，根据对教学空间内物体、教具、教学设备的识别结果，作为一条数据样本，建立数据集合；

对数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整设置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物体属性与空间功能间关 联关系的认知能力。

模块M6：对教学空间进行三维重建、区域划分与识别结果标注，为教学助手机器人执行教学任务提供空间标识。

具体地，在所述模块M6中：

教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执 行的任务动态调整：

通过双目摄像头实现立体视觉，将教学AI助手放置在教室前方任一角落位置，保证 前方视角无遮挡，进行系统初始化定位和图像采集任务；

利用获取的初始帧图像I₁与图像I₂进行三维建模，形成教学空间的数字几何模型M；

利用特征算子对两张图像I₁与I₂进行图像特征点提取得到特征点矩阵；

使用k近邻算法计算最近邻匹配实现特征点间的匹配；

通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实现稀疏重建；

通过光束法平差进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使 得反向投影差最小，降低重建误差；

将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后 的模型记为M^*；

对教学物理空间内的物体及附属教具、教学设备的定位及识别结果，同步标注在M^*中。

实施例3：

实施例3为实施例1的优选例，以更为具体地对本发明进行说明。

本发明属于智慧教育领域。智慧教育的两大核心内容，教育治理的智能化和人才培 养的个性化。教学分析与评估将人工智能、知识工程、机器人技术等与教育教学场景的深度融合，通过解析和重构教与学的关系，提升教学效果及学习效率，实现以人为本的 教学理念，推动因材施教的智慧化实现。

本专利提出对未来教学空间的分类定义、教学空间下的区域划分，以及隶属于某类 教学空间下的核心物体、附属教具和教学设备；进一步的，将所有教学空间内的物体、教具、教学设备等，以数据条码的形式，将物体ID、名称、型号、尺寸、用途、用法等 相关信息，作为先验知识，统一记录入知识库；教学助手机器人在教学空间内，可通过 摄像头读取物件的数据条码，识别物体ID并查验数据库信息，自行完成对物体属性的 初次认知，实现先验知识储备；同时，教学助手机器人利用机器视觉算法检测与识别物 体，完成对空间内目标的位置定位和外观识别，并将识别结果与条码读取结果进行信息 关联与对比效验，针对异常样本进行重采样，对识别模型进行参数调优，形成自学习反 馈网络，提升对空间物理环境的感知精度；进一步的，教学助手机器人综合对物体空间 位置、外观识别，以及知识库先验知识，形成对空间内物体的全属性理解，并通过物体 属性与空间功能二者之间关联规则的判定，实现对空间及区域的场景功能认知与理解； 最终，基于立体视觉的三维建模方法，对教学空间进行三维重建、区域划分与识别结果 标注。教学空间三维模型的精度需要根据教学助手机器人的行动轨迹和当前时刻待执行 的任务动态调整。

步骤一，对未来教学物理空间进行分类，并根据教学任务、室内功能区域划分，定义教学空间与区域内的核心物体及附属教具、教学设备。

1.1教学物理空间记为S_i，分类为基础学科教育空间S₁、美育教育空间S₂、体育教育空间S₃、心理教育空间S₄、信息科技教育空间S₅、学科实验室S₆等六类；

1.2在步骤1.1的基础上，根据室内功能设计定位，以及教学任务的开展形式等因素，对教学空间进行区域拆分。基础功能区域可划分为教师授课区域、学生学习/操作 区域、授课内容展示/交互区域、教具与设备陈列区域、公共区域等五类。针对教学空 间S_i，根据教学任务及室内设计进行宏观的区域划分，记为S_iA_j；

1.3在步骤1.1的基础上，针对教学空间S_i，标记该区域内的核心物体及附属教具、教学设备为S_iT_k；

1.3.1基础学科教育空间S₁内核心物体及附属设备包含前后黑板、白板、讲台、讲桌、课桌、座椅、高清电视等教学辅助设备；

1.3.2美育教育空间S₂涵盖美术S₂₁、书法S₂₂、音乐S₂₃、舞蹈S₂₄、棋类博弈S₂₅等学 科空间；

1.3.2.1美术学科空间S₂₁内的核心物体及附属设备包含写生架、写生板、写生椅、置物台、调色板等绘画工具和仪器、制作工具及材料等；

1.3.2.2书法学科空间S₂₂内的核心物体及附属设备包含书写台、笔墨纸砚，以及字帖、笔挂、笔架、笔洗、笔帘、笔筒、镇纸等教学工具及材料；

1.3.2.3音乐学科空间S₂₃内的核心物体及附属设备包含指挥台、合唱台、乐器设备、乐谱架等音乐器材、音响设备等教学设备及工具；

1.3.2.4舞蹈学科空间S₂₄内的核心物体及附属设备包含舞蹈镜、把杆、音响设备等；

1.3.2.5棋类学科空间S₂₅内的核心物体及附属设备包含磁性教学棋盘、棋类教具等；

1.3.3体育教育空间S3内核心物体包含短中长跑测试仪、仰卧起坐测试仪、坐位体前屈测试仪、肺活量测试仪、立定跳远测试仪、引体向上测试仪、身高体重测试仪等教 学测量设备；

1.3.4心理教育空间S₄内核心物体包含心理咨询与测试系统、心理沙盘、心里宣泄设备、心理放松设备等教学辅助设备；

1.3.5信息科技教育空间S₅内核心物体包含计算机、交互式平板、电视投影设备、轮式/双足/履带式机器人、各类传感元器件、操作台、打印设备等教学辅助设备；

1.3.6分学科实验室S₆内核心物体包含实验台、学科实验仪器、操作台等教学辅助设备；

步骤二，将步骤一描述的所有教学空间内的核心物体，辅助教具和教学设备等，以数据条码(物体ID)的形式，将物体ID、名称、型号、尺寸、用途、用法等相关信息， 统一记录入知识库。

步骤三、教学助手机器人通过摄像头读取步骤二的数据条码，识别物体ID并查验知 识库信息，自行完成对物体属性的初次认知，完成先验知识储备；

步骤四，对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识别。并将识别结果与条码读取结果进行信息关联与对比效验，针对异常样本进 行重采样，对识别模型进行参数调优，形成自学习反馈网络，提升对空间物理环境的感 知精度；

4.1利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目标定位和识别，并标记处目标位置及识别结果；

4.2将步骤4.1自动识别的结果与步骤三的系统查验结果进行二者之间的校验。

4.2.1如果识别结果与系统查验结果一致，系统标记为T，视为正反馈；

4.2.2如果识别结果与系统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行归一化处理、数据标注后存储至图像样本库，并关联至该 物体ID，针对重采样样本数据，分为训练集、验证集和测试集，提取样本特征并调整模 型参数，进行局部调优，提高对该类物体的识别率，形成自学习反馈网络；

步骤五，通过上述步骤对教学空间内物体的外观识别和知识库先验知识储备，完成 对空间内物体的属性理解；通过对物体属性与空间功能的关联规则判定，实现对教学空间及区域的场景功能认知与理解；

5.1针对步骤一定义的教学空间内的隶属于该空间内的核心物体、教具、教学设备， 设置空间与空间内物体的关联规则。具体的，基于客观事实和经验认知，对核心物体、教具、教学设备等数据项(个体项或组合项)，设置支持度、置信度，以及两者的最低 阈值。支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的 情况下，B个体项也存在的条件概率；

5.2通过步骤四对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组合项的支持度与置信度，满足阈值范围要求的，视作与某类空间功能存在强 关联关系；

5.3同时，将每个物理教学空间视为独立样本，根据步骤四对教学空间内核心物体、 教具、教学设备的识别结果，作为一条数据样本，建立数据集合；

5.4对步骤5,3的数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整步骤5.1设置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物 体属性与空间功能间关联关系的认知能力；

步骤六，教学空间的三维重建、区域划分与识别结果标注。教学空间三维模型M的精度需要根据AI教学助手机器人的行动轨迹和当前时刻待执行的任务动态调整。

6.1通过双目摄像头实现立体视觉，将教学AI助手放置在常规教室前方任一角落位 置，保证前方视角无遮挡，进行系统初始化定位和图像采集任务；

6.2利用步骤1.1获取的初始帧图像I₁与图像I₂进行三维建模，形成教学空间的数字 几何模型M；

6.2.1利用特征算子对两张图像进行图像特征点提取得到特征点矩阵；

6.2.2使用k近邻算法计算最近邻匹配实现特征点间的匹配；

6.2.3通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实现稀疏重建；

6.2.4通过光束法平差(Bundle Ajustment)进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使得反向投影差最小，降低重建误差；

6.3将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后的模型记为M^*。

6.4将步骤四对教学物理空间内的物体及附属教具、教学设备的定位及识别记过，同步标注在M^*中。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、 装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系 统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以 被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件 内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以 是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特 定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意 相互组合。

Claims (10)

1.一种未来教学空间场景建模与认知理解方法，其特征在于，包括：

步骤S1：对教学空间分类并进行区域划分，定义空间及空间内典型物体；

步骤S2：将空间内典型物体以数据条码的形式录入知识库；

步骤S3：教学助手机器人读取数据条码，识别物体ID并查验知识库信息，形成先验知识；

步骤S4：教学助手机器人通过机器视觉识别物体，完成对目标的空间位置定位和外观识别，并与条码读取结果进行效验，针对识别错误的样本进行重采样，并对识别模型进行参数调优，形成自学习反馈网络，提升识别模型对空间物理环境的感知精度；

步骤S5：综合对物体空间位置、外观识别，以及知识库先验知识，形成空间内物体的全属性理解，并通过物体属性与空间功能之间关联关系判定，实现对空间及区域的场景功能认知与理解；

步骤S6：对教学空间进行三维重建、区域划分与识别结果标注，为教学助手机器人执行教学任务提供空间标识。

2.根据权利要求1所述的未来教学空间场景建模与认知理解方法，其特征在于：

在所述步骤S1中：

对未来教学物理空间进行分类，根据教学任务、室内功能区域划分，定义教学空间与区域内的物体及附属教具、教学设备；

教学物理空间记为S_i，分类包括基础学科教育空间S₁、美育教育空间S₂、体育教育空间S₃、心理教育空间S₄、信息科技教育空间S₅、学科实验室S₆；

根据室内功能设计定位以及教学任务的开展形式，对教学空间进行区域拆分；基础功能区域划分包括教师授课区域、学生学习操作区域、授课内容展示交互区域、教具与设备陈列区域、公共区域；针对教学空间S_i，根据教学任务及室内设计进行宏观的区域划分，记为S_iA_j；针对教学空间S_i，标记该区域内的核心物体及附属教具、教学设备为S_iT_k；

在所述步骤S2中：

录入信息包括物体ID、名称、型号、尺寸、用途、用法；

在所述步骤S3中：

教学助手机器人通过摄像头读取数据条码，识别物体ID并查验知识库信息，完成对物体属性的初次认知，完成先验知识储备。

3.根据权利要求1所述的未来教学空间场景建模与认知理解方法，其特征在于，在所述步骤S4中：

对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识别，并设置奖惩机制，形成自学习反馈网络，提升对空间物理环境的感知能力和精度：

利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目标定位和识别，并标记处目标位置及识别结果；将自动识别的结果与系统查验结果进行校验；

如果识别结果与系统查验结果一致，系统标记为T，为正反馈；如果识别结果与系统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行归一化处理、数据标注后存储至图像样本库，并关联至该物体ID，针对重采样的样本数据，划分训练集、验证集和测试集，提取异常图像样本特征并调整模型参数，进行局部调优，提高对该类物体的识别率和算法的泛化能力，形成自学习反馈网络，提升教学助手机器人对环境及典型物体的感知识别能力和识别精度。

4.根据权利要求1所述的未来教学空间场景建模与认知理解方法，其特征在于，在所述步骤S5中：

针对定义的教学空间内的隶属于该空间内的物体、教具、教学设备，设置空间与空间内物体的关联规则，基于客观事实和经验认知，对物体、教具、教学设备数据项，以个体项或组合项为基本单位，设置支持度、置信度，以及支持度、置信度的最低阈值；支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的情况下，B个体项也存在的条件概率；

通过对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组合项的支持度与置信度，满足阈值范围要求的，视为与某类空间功能存在强关联关系；

每个物理教学空间为独立样本，根据对教学空间内物体、教具、教学设备的识别结果，作为一条数据样本，建立数据集合；

对数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整设置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物体属性与空间功能间关联关系的认知能力。

5.根据权利要求1所述的未来教学空间场景建模与认知理解方法，其特征在于，在所述步骤S6中：

教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执行的任务动态调整：

通过双目摄像头实现立体视觉，将教学AI助手放置在教室前方任一角落位置，保证前方视角无遮挡，进行系统初始化定位和图像采集任务；

利用获取的初始帧图像I₁与图像I₂进行三维建模，形成教学空间的数字几何模型M；

利用特征算子对两张图像I₁与I₂进行图像特征点提取得到特征点矩阵；

使用k近邻算法计算最近邻匹配实现特征点间的匹配；

通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实现稀疏重建；

通过光束法平差进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使得反向投影差最小，降低重建误差；

将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后的模型记为M^*；

对教学物理空间内的物体及附属教具、教学设备的定位及识别结果，同步标注在M^*中。

6.一种未来教学空间场景建模与认知理解系统，其特征在于，包括：

模块M1：对教学空间分类并进行区域划分，定义空间及空间内典型物体；

模块M2：将空间内典型物体以数据条码的形式录入知识库；

模块M3：教学助手机器人读取数据条码，识别物体ID并查验知识库信息，形成先验知识；

模块M4：教学助手机器人通过机器视觉识别物体，完成对目标的空间位置定位和外观识别，并与条码读取结果进行效验，针对识别错误的样本进行重采样，并对识别模型进行参数调优，形成自学习反馈网络，提升识别模型对空间物理环境的感知精度；

模块M5：综合对物体空间位置、外观识别，以及知识库先验知识，形成空间内物体的全属性理解，并通过物体属性与空间功能之间关联关系判定，实现对空间及区域的场景功能认知与理解；

模块M6：对教学空间进行三维重建、区域划分与识别结果标注，为教学助手机器人执行教学任务提供空间标识。

7.根据权利要求6所述的未来教学空间场景建模与认知理解系统，其特征在于：

在所述模块M1中：

对未来教学物理空间进行分类，根据教学任务、室内功能区域划分，定义教学空间与区域内的物体及附属教具、教学设备；

教学物理空间记为S_i，分类包括基础学科教育空间S₁、美育教育空间S₂、体育教育空间S₃、心理教育空间S₄、信息科技教育空间S₅、学科实验室S₆；

根据室内功能设计定位以及教学任务的开展形式，对教学空间进行区域拆分；基础功能区域划分包括教师授课区域、学生学习操作区域、授课内容展示交互区域、教具与设备陈列区域、公共区域；针对教学空间S_i，根据教学任务及室内设计进行宏观的区域划分，记为S_iA_j；针对教学空间S_i，标记该区域内的核心物体及附属教具、教学设备为S_iT_k；

在所述模块M2中：

录入信息包括物体ID、名称、型号、尺寸、用途、用法；

在所述模块M3中：

教学助手机器人读取数据条码，识别物体ID并查验知识库信息，完成对物体属性的初次认知，完成先验知识储备。

8.根据权利要求6所述的未来教学空间场景建模与认知理解系统，其特征在于，在所述模块M4中：

对教学物理空间内的物体及附属教具、教学设备通过机器视觉算法，进行检测和识别，并设置奖惩机制，形成自学习反馈网络，提升对空间物理环境的感知能力和精度：

利用目标检测与识别算法完成对教学空间与区域内物体、附属教具、教学设备的目标定位和识别，并标记处目标位置及识别结果；将自动识别的结果与系统查验结果进行校验；

如果识别结果与系统查验结果一致，系统标记为T，为正反馈；如果识别结果与系统查验结果不一致，系统标记为F，并启动摄像头完成对物体多角度的图像采集，进行归一化处理、数据标注后存储至图像样本库，并关联至该物体ID，针对重采样的样本数据，划分训练集、验证集和测试集，提取异常图像样本特征并调整模型参数，进行局部调优，提高对该类物体的识别率和算法的泛化能力，形成自学习反馈网络，提升教学助手机器人对环境及典型物体的感知识别能力和识别精度。

9.根据权利要求6所述的未来教学空间场景建模与认知理解系统，其特征在于，在所述模块M5中：

针对定义的教学空间内的隶属于该空间内的物体、教具、教学设备，设置空间与空间内物体的关联规则，基于客观事实和经验认知，对物体、教具、教学设备数据项，以个体项或组合项为基本单位，设置支持度、置信度，以及支持度、置信度的最低阈值；支持度为数据项在该空间所有数量物体内出现的频率；置信度为A个体项存在的情况下，B个体项也存在的条件概率；

通过对教学空间内核心物体、教具、教学设备的识别及统计结果，计算个体项或组合项的支持度与置信度，满足阈值范围要求的，视为与某类空间功能存在强关联关系；

每个物理教学空间为独立样本，根据对教学空间内物体、教具、教学设备的识别结果，作为一条数据样本，建立数据集合；

对数据集合，运用关联规则算法，自动计算数据项之间的关联规则，并优化调整设置的支持度、置信度最低阈值，形成自学习反馈网络，提高对物体属性与空间功能间关联关系的认知能力。

10.根据权利要求6所述的未来教学空间场景建模与认知理解系统，其特征在于，在所述模块M6中：

教学空间三维模型M的重建精度根据AI教学助手机器人的行动轨迹和当前时刻待执行的任务动态调整：

通过双目摄像头实现立体视觉，将教学AI助手放置在教室前方任一角落位置，保证前方视角无遮挡，进行系统初始化定位和图像采集任务；

利用获取的初始帧图像I₁与图像I₂进行三维建模，形成教学空间的数字几何模型M；

利用特征算子对两张图像I₁与I₂进行图像特征点提取得到特征点矩阵；

使用k近邻算法计算最近邻匹配实现特征点间的匹配；

通过SFM算法迭代恢复摄像头的内外参数，并由三角化确定特征点的三维坐标，实现稀疏重建；

通过光束法平差进行非线性优化，通过调整三维点的旋转平移矩阵及三维点信息使得反向投影差最小，降低重建误差；

将教学空间按照功能区域进行语义分割，并注释各类教学空间的功能区域，标注后的模型记为M^*；

对教学物理空间内的物体及附属教具、教学设备的定位及识别结果，同步标注在M^*中。

Images