CN113434035B - 一种vr全景图像素材的教学重用方法 - Google Patents

一种vr全景图像素材的教学重用方法 Download PDF

Info

Publication number
CN113434035B
CN113434035B CN202110548470.1A CN202110548470A CN113434035B CN 113434035 B CN113434035 B CN 113434035B CN 202110548470 A CN202110548470 A CN 202110548470A CN 113434035 B CN113434035 B CN 113434035B
Authority
CN
China
Prior art keywords
teaching
image
marking
teaching object
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110548470.1A
Other languages
English (en)
Other versions
CN113434035A (zh
Inventor
吴砥
钟正
徐建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202110548470.1A priority Critical patent/CN113434035B/zh
Publication of CN113434035A publication Critical patent/CN113434035A/zh
Application granted granted Critical
Publication of CN113434035B publication Critical patent/CN113434035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明属于信息技术的教学应用领域，提供一种VR全景图像素材的教育重用方法，依据等距圆柱投影原理，制定源VR全景图像的采集规范；采集源VR全景图像，校正采集图像；检查、匹配和拼接采集图像，采用优化算法消除整体误差积累，生成新的VR全景图像；标注教学对象，根据教学对象的形状、性质及其分布，确定其在全景球面内的空间位置；导入添加教学对象的标注信息，实现标注点之间多种切换方式；标注特征对象的位置及其名称，将它们作为多层神经网络的输入层训练神经网络算法，检测、筛选符合条件的教学对象，设计相关的练习题目，评价学习者的作答结果。本发明有助于教师快速、低成本地获取VR全景图像，减轻添加教学标注的工作量。

Description

一种VR全景图像素材的教学重用方法
技术领域
本发明属于信息技术的教学应用领域，更具体地，涉及一种VR全景图像素材的教育重用方法。
背景技术
VR全景图像支持用户360°全方位、互动式观察物体或空间，给浏览者带来身临其境的体验。将全景图像应用到教学过程中，可解决二维图片、视频动画和文字描述难以实现的内容真实感问题，如可生动直观地展示的自然环境(如山川、水泽、气候等)、工业领域的大型设备(如机床)和作业流程。通过VR全景图像，营造真实的学习情境，为学习者真正了解知识的内涵和技能的应用状况，改变以往知识学习时剥离情境的弊端，强化学习者的认知，令其有所感悟和顿悟，有利于学习者对知识点的意义建构。随着高分辨率、全视角、高沉浸感的显示设备以及低成本拍摄方案的出现，VR全景图像在众多行业得到了大规模的应用，如吃穿住行相关的行业网站、APP上已拥有丰富的高清全景素材，以旅游行业为例，包含大量人文地理全景图，如风景名胜、古迹遗址等，非常适合语文、地理、历史等学科教学。针对教学内容的定制化、个性化需求，每节课都去实地拍摄全景图像成本较高、制作周期较长，较难满足教师备课、上课的需要，故重用已有全景图像素材是一种快速、有效满足教学需要的方式，在5G网络环境下学科教学中具有广泛的应用前景。
但目前将VR全景图像素材应用于教育方面还存在诸多问题：(1)部分版权商家仅拥有发布后的全景图像文件，发布前的源文件存在丢失情形，难以直接重用；(2)当前全景图像上缺乏具体教学内容，需要根据教学设计，添加知识点标注内容；(3)在全景图像上手动添加众多标注信息，存在工作量大，容易遗漏等问题。这些缺陷限制VR全景图像在常态化教学中的应用。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种VR全景图像素材的教育重用方法，为信息化教学环境中VR全景图像的生成提供一种新的、快速构建的途径和方式。
本发明的目的是通过以下技术措施实现的。
本发明提供一种VR全景图像素材的教育重用方法，包括以下步骤：
(1)素材重采集。依据等距圆柱投影原理，制定源VR全景图像的采集规范；采集源VR全景图像，依次使用投影变换、几何精确校正采集图像；检查、匹配和拼接采集图像，采用优化算法消除整体误差积累，生成新的VR全景图像。
(2)教学对象标注的添加。使用几何图形、图标和声音方式标注教学对象，根据教学对象的形状、性质及其分布，确定其在全景球面内的空间位置；单独或批量导入添加教学对象的标注信息，实现标注点之间多种切换方式。
(3)教学标注的自动化生成。标注特征对象的位置及其名称，将它们作为多层神经网络的输入层训练神经网络算法，检测、筛选符合条件的教学对象，设计相关的练习题目，自动比对，评价学习者的作答结果。
在上述技术方案中，步骤(1)所述的“素材重采集”具体包括：
(1-1)制定采集规范；依据等距圆柱投影原理，制定源VR全景图像的采集基准，以VR全景图像球心所在屏幕位置为中心，制定横、纵方向采集图像的次序；根据拼接要求与显示分辨率参数，确定采集图像在横纵方向上的重叠度；
(1-1-1)确定采集基准：根据等距圆柱到球形转换关系，反演源VR全景图像的中心点坐标值(X，Y，Z)和球半径(R)，基于透视成像原理，获取中心点和球面所对应的屏幕位置，与屏幕平行的最左边的面作为水平方向的0°经线，与屏幕垂直的面作为垂直方向的0°纬线；
(1-1-2)采集方向：根据采集基准，以源VR全景图像球心所在屏幕位置为中心，水平方向从0°经线出发，从左到右，以一定的速率移动源全景图像，绕360°采集图片；垂直方向从0°纬线出发，先向上，再向下，180°采集源全景图像；
(1-1-3)重叠度要求：根据采集规范、源全景图像、显示器分辨率参数，确定单幅采集图像在横、纵方向的重叠度，相邻图像纵向重叠占比为26～45％；横向重叠区域占比为13～25％；
(1-2)采集图像的校正：依据采集规范，完成源VR全景图像的采集，按照规则命名对其命名，并记录它们角点坐标所对应的球面坐标；基于等距圆柱投影公式，采用投影变换校正图像；建立结果图像与源全景图像上对应点坐标间的映射关系，实现投影变换结果图像的几何精确校正；
(1-2-1)全景图像采集：设置好源VR全景图像的初始位置，依据采集规范，根据重叠度要求，依次完成横向、纵向的图像采集，在项目文件夹中按照全景名称、横纵方向的次序命名采集图像；依据透视成像的逆过程，计算采集图像的四个角点所对应源全景图像上的球面坐标；
(1-2-2)采集图像的投影变换：根据采集图像的角点坐标及其对应的球面坐标，基于等距圆柱投影公式，采用投影变换校正图像，将采集自源球面全景上的图像纠正成圆柱展开前的矩形形状；
(1-2-3)变换结果图像的几何校正：针对图像采集过程中截取角度、边缘变形误差较大情形，需对变换结果图像进行精确的几何校正，建立结果图像与源全景图像上对应点坐标间的映射关系，求解映射关系中的未知参赛，再校正变换结果图像上各个像素点坐标，确定各像素的灰度值；
(1-3)新的VR全景图像生成：构建一个3D可视化检查工具，检查处理后的图像是否满足全景生成条件；若符合，则完成相邻图像的精确匹配、拼接，实现相邻图像之间的色调均衡；将所有图像拼接生成完整的全局图像，采用整体优化生成算法，消除整体误差积累；将全局图像映射到球面，生成新的VR全景图像；
(1-3-1)检查工具生成：构建一个3D可视化检查工具，参照源VR全景图像的球心坐标和半径，创建一个球形表面，根据每幅图像角点所对应的球面坐标，将其映射到球面上；检查图像之间是否有空洞、重叠过大或过小问题；
(1-3-2)相邻图像的拼接：提取图像的Harris特征角点，计算相邻图像点集间点对的相关系数，提取每个角点的Hu矩特征，归一化并融合了点对的相似度，实现点对精确匹配，再经过图像对齐、匹配生成相邻图像的拼接；
(1-3-3)全局图像的优化：使用色调均衡处理算法实现相邻图像重叠区域的色调均衡，以及接缝线处鬼影的消除；通过两两拼接，将所有图像拼接生成完整的全局图像；采用全局优化生成算法，消除整体误差积累，长宽比符合2:1；
(1-3-4)新VR全景图像的生成：以源VR全景图像的圆心和半径为参照，构建一个3D球面；根据全局图像的长宽，利用等距圆柱投影原理，将全局图像作为纹理图像，从北到南映射到球面上，生成新的VR全景图像。
在上述技术方案中，步骤(2)所述的“教学对象标注的添加”具体包括：
(2-1)按类别标注教学对象：依据教学对象的分布特征，使用不同颜色、线型的轮廓线标注教学对象的几何形状；单独或组合使用文字、数字和图标的方式，标注教学对象的信息；通过关联环境背景声效、添加立体声效果，引导、播放教学对象的标注信息；
(2-1-1)几何图形标注：依据教学对象在全局图像中的分布特征，使用不同的颜色、线型标注教学对象的形状轮廓线，将轮廓线记录、存储到图层上；同一图层的属性相同，可以使用多个图层存储不同属性的图形标注信息；
(2-1-2)图标标注：单独或组合使用文字、数字和图标的方式，引导、介绍界面导航、教学信息、重要知识点教学信息标注，可以将数字、文字嵌入到图标中，也可采用并列组合的方式，画面色彩、明暗度、内容视觉差别不要过大；
(2-1-3)声音标注：通过为教学标注对象关联环境背景声效，引导学习者关注、浏览该标注点；采用高通滤波器过滤教学对象的解说内容，当参与者靠进标注位置时，将获取立体声效果；如触发声音标注，借助语音合成技术自动朗读指定的教学内容；
(2-2)教学对象标注框的空间定位：采用透明、高亮的矩形或菱形标注框呈现教学知识点内容；依据教学对象的形状、性质及其分布，确定其标注点在全局图像上的位置；判断标注点在全局图像的上、下部分，确定其在全景球面内的空间位置；
(2-2-1)教学内容的标注形式：将数字、文本、图像、视频动画、富媒体网页，以单独或者组合的形式嵌入到标注框中，采用纹理映射或者动态纹理切换的形式，动态呈现知识点内容，标注框可采用透明、高亮的矩形或菱形形式；
(2-2-2)获取教学对象标注点的位置：依据待标注教学对象的形状、性质以及在全局图像中的分布，确定其标注点在全局图像上的位置，如为点状对象，则为该点所在位置；线状对象，则为其中心所在位置；面状对象则利用多边形重心计算方法获取其位置；
(2-2-3)确定教学对象标注框的空间位置：根据上述教学对象标注点的坐标，判断其处于全局图像的上半部或者下半部，进而确定其在VR全景图像的球面上的位置，如在上半球，则向下移动批注框；在下半球则向上移动标注框，令标注框整体位于全景图像的内部，以免穿透纹理表面；
(2-3)教学对象标注的添加：根据标注点的位置，添加单个教学对象的标注信息，并克服重叠、遮挡和密集分布的情形；批量导入对象-关系数据库中多条记录，生成多个教学对象标注信息；采用线性或者关系型方式组织标注点，实现不同标注点之间的切换；
(2-3-1)添加单个教学对象标注：根据教学对象在全局图像上的标注位置，使用高亮、透明的标注框呈现知识内容，如标注位置出现重叠或遮挡情形，应调整标注点位置，但尽可能接近该位置，如同一类型教学对象的标注点分布密集，应采用数据聚类的方式简化标注点；
(2-3-2)批量导入教学对象标注：在数据库表中，以标注点名称作为关键字段，通过对象-关系数据库的方式，将标注名称、点位、多媒体属性信息关联起来，通过批量导入数据库中记录，生成多个教学对象标注信息，满足单个教学对象标注的相关原则；
(2-3-3)教学对象标注点的跳转：根据教学设计，采用线性或者关系型方式组织教学对象标注点，在新VR全景图像上采用文字引导、语音提示、图标闪烁方式引导参与者与教学对象标注点的交互，实现不同标注点之间的切换。
在上述技术方案中，步骤(3)所述的“教学标注的自动化生成”具体包括：
(3-1)教学对象的预处理：采用网络爬虫技术抓取互联网站上含有目标教学对象的相关图片，手工剔除掉错误图片，将正确的图片保存在工程文件夹中；采用LabelImage工具标注图片中教学对象的特征位置及其名称；将上述标注结果作为多层神经网络的输入层，采用均方差和二分类交叉熵函数作为损失函数，通过循环训练获取较好的训练结果；
(3-1-1)收集教学对象的训练图片：采用网络爬虫技术抓取互联网站上含有目标教学对象的相关图片，经过手工选择，剔除掉无关、错误的图片，将正确的图片保存在工程文件夹中，文件名中不能出现两个"."，不再建子文件夹；
(3-1-2)教学对象的图像标注：将工程文件夹中图片导入到LabelImage工具，标注图片中特征对象的坐标范围和像素大小，并为各类特征命名，将结果保存为与图片同名的XML文件，再将图片和XML文件传输给多层神经网络；
(3-1-3)教学对象的训练：根据多层神经网络输入信息的数据变换获取教学对象的网络预测值，采用均方差和二分类交叉熵函数作为损失函数，将网络预测值与真实目标值的差设为损失值，经过循环训练，降低损失值，更接近真实目标值，完成教学对象的检测训练；
(3-2)自动添加教学对象标注点：基于Darknet网络结构预测教学对象的类型和边界，检测全局图像网格中的教学对象；根据检测结果的置信度，剔除低于阈值的检测结果，将符合条件的检测结果多边形输出到XML文件中；解析XML文件，将这些教学对象标注点批量添加到新VR全景图像；
(3-2-1)教学对象检测：根据教学目标和教学计划，教师确定需要标注的教学对象，采用基于回归思想的Yolo算法，将全局图像作为多层神经网络的输入层，并将其划分为S×S个网格，基于Darknet网络结构预测教学对象的类型和边界，检测网格中的教学对象目标；
(3-2-2)检测结果存储：全局图像中经常会存在因角度、遮挡导致模糊不清的区域，需设置检测结果的置信度，剔除掉低于阈值的检测结果；将符合条件的检测结果多边形输出到XML文件中，供后续教学对象自动标注使用；
(3-2-3)自动标注：解析XML中的教学对象多边形，根据教学用途，在全局图像上标注这些教学对象，或者将其存储在不同图层；根据圆柱等距投影原理，将这些教学对象标注点批量添加到新VR全景图像表面，并为它们关联知识点内容；
(3-3)练习测试：根据教学设计，教师在新VR全景图像上，设计单个教学对象的寻找、识别练习，按照知识内在逻辑设计不同考察路线，有顺序地完成知识点串学习，或者组合单个教学对象识别认知、考察路线及其相关性的题目，将学习者的作答结果与存储在结果图层上的正确答案比对，并给出评分；
(3-3-1)对象认知练习：根据教学设计，教师在新VR全景图像上，设计具有某类特征的教学对象的寻找、识别练习，学习者通过点击、勾选教学对象，完成认知训练，通过与存储在对应图层中特征多边形的比对，判断学习者答题的正确性；
(3-3-2)考察路线设计：针对知识点较多的教学内容，在新VR全景图像上按照知识内在逻辑结构，设计不同的考察路线，通过高亮提示、闪烁引导、背景声效方式，引导学习者依次观看、选择教学内容标注，完成有先后次序的知识点串学习；
(3-3-3)组合练习：根据教学目标、知识相关性，教师在新VR全景图像上，设计有层次的教学对象识别认知、考察路线及其相关性的题目，学习者完成练习后，将回答结果与存储在结果图层上的正确答案比对，根据各题的分值给出总的测试分数。
本发明VR全景图像素材的教育重用方法与现有技术相比，其有益效果在于：
依据等距圆柱投影原理，制定源VR全景图像的采集规范，使用投影变换、几何精确校正依次处理采集图像，经过精确匹配、拼接生成完整的全局图像，采用整体优化算法，消除整体误差积累，生成新的VR全景图像；使用几何图形、图标和声音方式标注教学对象的信息，采用透明、高亮的矩形或菱形等标注框呈现教学知识点内容，采用线性或关系型方式组织、切换标注点；通过网络爬虫技术抓取含有教学对象的图片，标注其位置及其名称，将它们作为多层神经网络的输入层，采用均方差和二分类交叉熵函数作为损失函数，获取较好的训练结果，检测全局图像网格中的教学对象，剔除掉置信度低于阈值的检测结果，自动添加符合条件的教学对象的标注，设计单个教学对象的识别练习、有顺序的知识点串考察路线或者组合多项认知训练的题目，比对学习者的作答结果，自动给出评分。随着5G网络环境的逐渐普及，VR全景图像跟学科教学将会越来越紧密，本发明有助于教师快速、低成本地获取VR全景图像，减轻其上添加教学标注的工作量。
附图说明
图1是本发明实施例VR全景图像素材的教学重用方法流程图。
图2是本发明实施例中等距圆柱投影原理示例图。
图3是本发明实施例中全景图像采集基准示例图。
图4是本发明实施例中全景图像球面几何坐标与纹理坐标映射关系示例图。
图5是本发明实施例中面状教学对象多边形的剖分示例图。
图6是本发明实施例中文字、数字和图标的标注示例图。
图7是本发明实施例中含有富媒体内容的标注框示例图。
图8是本发明实施例中高亮、透明的标注框呈现知识内容示例图。
图9是本发明实施例中多个标注点显示的示例图。
图10是本发明实施例中标注全景图中石笋信息示例图。
图11是本发明实施例中以石笋为检测模型的训练流程示例图。
图12是本发明实施例中Darknet-53网络结构示例图。
图13是本发明实施例中含有石钟乳、石柱、石笋、石帘等教学对象的岩溶地貌VR全景图像示例图。
图14是本发明实施例中一条知识点认知考察路线示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种VR全景图像素材的教育重用方法，包括如下步骤：
(1)素材重采集。依据等距圆柱投影原理，制定源VR全景图像的采集规范，以全景图像球心所在屏幕位置为中心，制定横、纵方向采集图像的次序，以及重叠度；完成源VR全景图像的采集，按照规则命名对其命名，并记录它们角点坐标所对应的球面坐标，使用投影变换、几何精确校正依次处理采集投影；创建一个3D可视化检查工具，检查处理后图像是否满足全景生成条件，若符合，则完成相邻图像的精确匹配、拼接，将所有图像拼接生成完整的全局图像，采用整体优化生成算法，消除整体误差积累，将全局图像映射到球面，生成新的VR全景图像。
所述素材重采集具体包括如下步骤；
(1-1)制定采集规范。依据等距圆柱投影原理，制定源VR全景图像的采集基准，以VR全景图像球心所在屏幕位置为中心，制定横、纵方向采集图像的次序；根据拼接要求与显示分辨率等参数，确定采集图像在横纵方向上的重叠度。
(1-1-1)确定采集基准。根据图2所示的等距圆柱投影原理，反演源VR全景图像的中心点坐标值(X，Y，Z)和球半径(R)，基于透视成像原理，获取中心点和球面所对应的屏幕位置，与屏幕平行的最左边的面作为水平方向的0°经线，与屏幕垂直的面作为垂直方向的0°纬线。
(1-1-2)采集方向。根据采集基准，以源VR全景图像球心所在屏幕位置为中心，如图3所示，水平方向从0°经线出发，从左到右，以一定的速率移动源全景图像，绕360°采集图片；垂直方向从0°纬线出发，先向上，再向下，180°采集源全景图像。
(1-1-3)重叠度要求。根据采集规范、源全景图像、显示器分辨率等参数，确定单幅采集图像在横、纵方向的重叠度，相邻图像纵向重叠占比一般为30～35％，最大不超过45％，最小不少于26％；横向重叠区域占比一般为20～25％，最小不少于13％。
(1-2)采集图像的校正。依据采集规范，完成源VR全景图像的采集，按照规则命名对其命名，并记录它们角点坐标所对应的球面坐标；基于等距圆柱投影公式，采用投影变换校正图像；建立结果图像与源全景图像上对应点坐标间的映射关系，实现投影变换结果图像的几何精确校正。
(1-2-1)全景图像采集。设置好源VR全景图像的初始位置，依据采集规范，根据重叠度要求，依次完成横向、纵向的图像采集，在项目文件夹中按照全景名称、横纵方向的次序命名采集图像；依据图形学透视成像的逆过程，计算采集图像的四个角点所对应源全景图像上的球面坐标。具体计算球面坐标的步骤：
Ⅰ.获取当前采集图像四个角点的屏幕坐标；
Ⅱ.获取视口变换矩阵、模型变换矩阵和投影矩阵；
Ⅲ.计算屏幕像素点对应的三维坐标；
Ⅳ.确定其在球面上的位置。
(1-2-2)采集图像的投影变换。由于源全景图像呈现球形分布，根据采集图像的角点坐标(u，v)及其对应的球面坐标(x,y,z)，基于等距圆柱投影公式，实现各幅采集图像的归一化处理，将采集图像变换到以源全景球面半径为半径的柱面上，再展开成平面图像。
(1-2-3)变换结果图像的几何校正。针对图像采集过程中截取角度、边缘变形等误差较大情形，需采用几何校正精确处理投影变换后的结果图像，其具体步骤：
I.选取结果图像与源全景图像上多个同名点，建立坐标映射关系；
II.构建多项式方程，求解映射关系中的未知参数；
III.校正变换结果图像上各个像素点坐标，完成坐标间的映射关系；
IV.采用双线性插值公式计算变换结果像素灰度值。
(1-3)新的VR全景图像生成。构建一个3D可视化检查工具，检查处理后的图像是否满足全景生成条件；若符合，则完成相邻图像的精准匹配、拼接，实现相邻图像之间的色调均衡；将所有图像拼接生成完整的全局图像，采用整体优化生成算法，消除整体误差积累；将全局图像映射到球面，生成新的VR全景图像。
(1-3-1)检查工具生成。构建一个3D可视化检查工具，参照源VR全景图像的球心坐标和半径(R)，创建一个球形表面，如图4所示结合天顶角(θ)和方位角
Figure BDA0003074489180000141
确定球面几何坐标与纹理坐标之间的映射关系，
Figure BDA0003074489180000142
根据公式1确定每幅图像所在球面的位置，依据四个角点的纹理坐标，将采集图像映射到球面；检查球面上是否有纹理空洞、图像之间重叠过大或过小等问题。
(1-3-2)相邻图像的拼接。首先，应用快速边缘提取算子Harris算法提取相邻图像重叠区域的特征点；获取特征点的Hu矩特征，计算同名特征点对的相关系数，归一化并融合点对的相似度，实现点对精确匹配；采用启发式搜索A*算法搜索、确定最佳缝合线，平滑处理拼接线两侧的目标，消除拼接裂缝，完成相邻图像的拼接。
(1-3-3)全局图像的优化。根据各RGB通道像素均值差，基于Wallis变换线性修正拼接图像；构建修正图像的RGB和HSV空间转换模型，依据HSV通道均值差，采用加权平均函数实现拼接图像的色彩均衡；通过优化相邻图像之间配准系数，实现拼接图像的全局优化，消除整体误差积累；按照2:1的长宽比例生成、保存全局图象。
(1-3-4)新VR全景图像的生成。参照源VR全景图像的圆心和半径，构建一个3D球面；利用等距圆柱投影原理，将全局图像作为纹理图像，从北到南映射到球面上，生成新的VR全景图像，图2的左侧就是一个VR全景图像的示例。
(2)教学对象标注的添加。使用几何图形、图标和声音方式标注教学对象，根据教学对象的形状、性质及其分布，确定其在全景球面内的空间位置；单独或批量导入添加教学对象的标注信息，实现标注点之间多种切换方式。
(2-1)按类别标注教学对象。依据教学对象的分布特征，使用不同颜色、粗细、线型的轮廓线标注教学对象的几何形状；单独或组合使用文字、数字和图标的方式，标注教学对象的信息；通过关联环境背景声效、添加立体声效果，引导、播放教学对象的标注信息。
(2-1-1)几何图形标注。依据教学对象在全局图像中的分布特征，使用不同颜色、粗细、线型的折线段标注教学对象的形状轮廓，将该折线段记录、存储到图层中；可将同一类型的教学对象或者相同几何、属性的对象记录在同一图层上，组合运用多个图层存储不同教学对象的几何图形标注。
(2-1-2)图标标注。单独或组合使用图6所示的文字、数字和图标的方式，引导、介绍界面导航、教学信息、重要知识点等标注内容，可以将数字、文字嵌入到图标中，也可采用并列组合的方式，画面色彩、明暗度、内容视觉差别不要过大。
(2-1-3)声音标注。为教学对象的标注框关联环境背景声效，引导学习者关注、浏览该标注点；采用高通滤波器过滤教学对象的解说内容，当参与者靠进标注位置时，获取由远接近的立体声效果；如参与者触发声音标注，借助语音合成技术自动朗读指定的教学内容。
(2-2)教学对象标注框的空间定位。采用透明、高亮的矩形或菱形等标注框呈现教学知识点内容；依据教学对象的形状、性质及其分布，确定其标注点在全局图像上的位置；判断标注点在全局图像的上、下部分，确定其在全景球面内的空间位置。
(2-2-1)教学内容的标注形式。将数字、文本、图像、视频动画、富媒体网页，以单独或者组合的形式(如图7所示)嵌入到标注框中，采用纹理映射或者动态纹理切换的形式，呈现知识点内容，标注框可采用透明、高亮的矩形或菱形等形式。
(2-2-2)获取教学对象标注点的位置。依据待标注教学对象的形状、性质以及在全局图像中的分布，确定其标注点在全局图像上的位置，如为点状对象，则为该点所在位置；线状对象，则为其中心所在位置；面状对象则利用多边形重心计算方法获取其位置，具体步骤如下：
I.将N多边形的顶点记为Ai(xi,yi)(i＝1,2,...n)；
II.如图5所示，将它划分成N-2个三角形；
III.计算得到每个三角形的重心为Gi(xi,yi)；
IV.多边形的重心坐标G(x,y)的计算如公式2所示：
Figure BDA0003074489180000171
(2-2-3)确定教学对象标注框的空间位置。根据上述教学对象标注点的坐标，判断其处于全局图像的上半部或者下半部，进而确定其在VR全景图像的球面上的位置，如在上半球，则向下移动批注框；在下半球则向上移动标注框，令标注框整体位于全景图像的内部，以免穿透纹理表面。
(2-3)教学对象标注的添加。根据标注点的位置，添加单个教学对象的标注信息，并克服重叠、遮挡和密集分布的情形；批量导入对象-关系数据库中多条记录，生成多个教学对象标注信息；采用线性或者关系型方式组织标注点，实现不同标注点之间的切换。
(2-3-1)添加单个教学对象标注。根据教学对象在全局图像上的标注位置，使用高亮、透明的标注框呈现知识内容(如图8所示)，如标注位置出现重叠或遮挡情形，应调整标注点位置，但尽可能接近该位置，如同一类型教学对象的标注点分布密集，应采用数据聚类的方式简化标注点。
(2-3-2)批量导入教学对象标注。在数据库表中，以标注点名称作为关键字段，通过对象-关系数据库的方式，将标注名称、点位、多媒体属性信息等关联起来，通过批量导入数据库中记录，生成多个教学对象标注信息(图9展示的部分标注点示例)，满足单个教学对象标注的相关原则。
(2-3-3)教学对象标注点的跳转。根据教学设计，采用线性或者关系型方式组织教学对象标注点，在新VR全景图像上采用文字引导、语音提示、图标闪烁方式引导参与者与教学对象标注点的交互，实现如图9所示不同标注点之间的切换。
(3)教学信息的自动添加。标注特征对象的位置及其名称，将它们作为多层神经网络的输入层训练神经网络算法，检测、筛选符合条件的教学对象，设计相关的练习题目，自动比对，评价学习者的作答结果。
(3-1)教学对象的预处理。采用网络爬虫技术抓取互联网站上含有目标教学对象的相关图片，手工剔除掉错误图片，将正确的图片保存在工程文件夹中；采用LabelImage工具标注图片中特征对象的位置及其名称；将全局图像作为多层神经网络的输入层，检测教学对象目标。
(3-1-1)收集教学对象的训练图片。根据具体的教学对象，采用正则表达根据一定的规则爬取美食、购物、房产、交通、旅游等行业网站、APP等上相关图片信息，通过网页分析算法过滤与教学主题无关的URL，基于深度、宽度优先遍历策略跟踪爬取跟教学对象相关的全景图片(如自然风光、人文景观、工业大型设备等)，经过手工选择，剔除掉无关、错误的图片，再将这些教学对象的特征图片保存在工程文件夹中，不要另建子文件夹，文件名中也不能出现多个"."。
(3-1-2)教学对象的图像标注。使用标注工具LabelImage打开工程文件夹中图片，标注图片中特征对象的坐标范围和像素大小(图10标注石笋信息)，并为各类特征进行命名，将结果保存为与图片同名的XML文件，下述XML片段描述了石笋的标注信息，包括其在图片的宽、高，深度值和石笋类型，及其在图片中最小外接框的范围，包括X、Y方向的最小、最大值(xmin,xmax)(ymin,ymax)；将XML文件转换为TFRECORDS数据格式文件，适合神经网络以串行方式大批量读取，再将图片和TFRECORDS文件传输给多层神经网络。
Figure BDA0003074489180000191
(3-1-3)教学对象的训练。在多层神经网络算法中(此处采用Yolo算法)，预设全局图像的训练权重，根据输入信息的数据变换获取教学对象网络预测值，采用均方差和二分类交叉熵函数作为损失函数(如公式3所示)，计算网络预测值与真实目标值的差，并将该差设为损失值，基于反向传播算法多次微调反馈信号，调整权重值，降低损失值；通过循环训练，获取令损失值最小的权重值，完成教学对象检测模型的训练，图11是以石笋为检测模型的训练流程，其中损失函数为：
Figure BDA0003074489180000201
公式中，(x，y，w，h)分别代表边界框的中心点坐标和宽高，S，B是图片网格数及边界框数，
Figure BDA0003074489180000202
用于判断第i个网格第j个边界框是否包含对象，公式第一第二行代表回归损失，系数为2-wi×hi，第三、第四行是置信度损失，分别代表存在与不存在目标的边界框置信度误差，
Figure BDA0003074489180000203
代表参数置信度，最后一行是分类损失。
(3-2)自动添加教学对象标注点。训练全局图像中教学对象，使用损失函数纠正识别结果的边界范围；根据检测结果的置信度，剔除低于阈值的检测结果，将符合条件的检测结果多边形输出到XML文件中；解析XML文件，将这些教学对象标注点批量添加到新VR全景图像。
(3-2-1)教学对象检测。根据教学目标和教学计划，教师确定需要标注的教学对象，采用Yolo算法，将全局图像作为多层神经网络的输入层，并将其划分为S×S个网格，以各个网格方格为中心，采用如图12所示的横纵交叉的Darknet-53网络结构提取图片特征，采用全卷积层和residual结构防止池化导致低级特征的丢失，使用多标签分类和多尺度融合方式预测教学对象的类型和边界框，检测全局图像中教学对象目标(如自然风光、人文景观、工业大型设备等)。
(3-2-2)检测结果存储。全局图像中经常会存在因角度、遮挡等导致模糊不清的区域，需设置检测结果的置信度，剔除掉低于阈值的检测结果；将符合条件的检测结果多边形输出到XML文件中，供后续教学对象自动标注使用。
(3-2-2)结果存储。针对全局图像中因角度、遮挡等导致模糊不清的区域，根据检测结果的置信度，剔除掉低于阈值的检测结果；将教学对象检测结果的多边形网格结果输出到XML文件中，供后续自动标注使用。置信度为：
Figure BDA0003074489180000211
其中，Pr(Object)表示该网格是否存在待检测的物体，
Figure BDA0003074489180000212
为边界框与Groundtruthbox的并交集。
(3-2-3)自动标注。解析XML中的教学对象多边形，根据教学用途，在全局图像上标注这些教学对象，或者将其存储在不同图层；根据圆柱等距投影原理，将这些教学对象标注点批量添加到新VR全景图像表面，并为它们关联知识点内容。
(3-3)练习测试。根据教学设计，教师可以在新VR全景图像上，设计单个教学对象的寻找、识别练习，按照知识内在逻辑设计不同考察路线，有顺序地完成知识点串学习，或者组合单个教学对象识别认知、考察路线及其相关性的题目，将学习者的作答结果与存储在结果图层上的正确答案比对，并给出评分。
(3-3-1)对象认知练习。根据教学设计，教师可以在新VR全景图像上，设计具有某类特征的教学对象的寻找、识别练习，学习者通过点击、勾选教学对象，完成认知训练，通过与存储在对应图层中特征多边形的比对，判断学习者答题的正确性。
在地理岩溶教学设计中，重新采集旅游景区含有喀斯特地貌的全景图像，设计寻找、识别如图13中的石钟乳、石柱、石笋、石帘等教学对象的练习，通过文字、语音提示引导，如“请找出溶洞中石笋，通过点击全景图像中石笋来完成教学对象的认识。温馨提示：溶洞中不止一个石笋哦！”学习者通过点击、勾选石笋，通过与存储在对应图层中石笋多边形的比对，判断学习者答题的正确性，通过文字、语音给出答题正确与否的反馈，并讲解石笋的相关知识。
(3-3-2)考察路线设计。针对知识点较多的教学内容，可在新VR全景图像上按照知识内在逻辑结构，设计不同的考察路线，如按照喀斯特地貌自上而下的内在知识逻辑结构，即依次为石钟乳、石帘、石柱和石笋，在新VR全景图像上设计知识点认知考察路线(如图14所示)；通过箭头提醒、高亮提示、闪烁引导、背景声效等方式，引导学习者依次观看、选择教学内容标注，完成有先后次序的知识点串学习。
(3-3-3)组合练习。根据教学目标、知识相关性，教师可以在新VR全景图像上，设计有层次的教学对象识别认知、考察路线及其相关性的题目，学习者完成练习后，将回答结果与存储在结果图层上的正确答案比对，根据各题的分值给出总的测试分数。
为喀斯特地貌设计的组合练习题目如下：
{
(1)有专家描述喀斯特地貌中对象“一个像冬天屋檐下的冰柱，从上面垂下来；一个象春天从地面下冒出来的竹笋”，请在全景图像中选出“冬天屋檐下的冰柱”对象。
(2)石帘是喀斯特地貌中洞壁裂隙内渗流水沿壁流动而形成的碳酸钙淀积物对象，请勾选全景图像中石帘对象。
(3)在新VR全景图像上自上而下依次选择石钟乳、石帘、石柱和石笋。
}
学习者完成练习后，将回答结果与存储在结果图层上的正确答案比对，根据各题的分值给出总的测试分数。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。

Claims (3)

1.一种VR全景图像素材的教学重用方法，其特征在于该方法包括以下步骤：
(1)素材重采集；依据等距圆柱投影原理，制定源VR全景图像的采集规范；采集源VR全景图像，依次使用投影变换、几何精确校正采集图像；检查、匹配和拼接采集图像，采用优化算法消除整体误差积累，生成新的VR全景图像；
具体包括：
(1-1)制定采集规范；依据等距圆柱投影原理，制定源VR全景图像的采集基准，以VR全景图像球心所在屏幕位置为中心，制定横、纵方向采集图像的次序；根据拼接要求与显示分辨率参数，确定采集图像在横纵方向上的重叠度；
(1-1-1)确定采集基准：根据等距圆柱到球形转换关系，反演源VR全景图像的中心点坐标值(X，Y，Z)和球半径(R)，基于透视成像原理，获取中心点和球面所对应的屏幕位置，与屏幕平行的最左边的面作为水平方向的0°经线，与屏幕垂直的面作为垂直方向的0°纬线；
(1-1-2)采集方向：根据采集基准，以源VR全景图像球心所在屏幕位置为中心，水平方向从0°经线出发，从左到右，以一定的速率移动源全景图像，绕360°采集图片；垂直方向从0°纬线出发，先向上，再向下，180°采集源全景图像；
(1-1-3)重叠度要求：根据采集规范、源全景图像、显示器分辨率参数，确定单幅采集图像在横、纵方向的重叠度，相邻图像纵向重叠占比为26～45％；横向重叠区域占比为13～25％；
(1-2)采集图像的校正：依据采集规范，完成源VR全景图像的采集，按照规则命名对其命名，并记录它们角点坐标所对应的球面坐标；基于等距圆柱投影公式，采用投影变换校正图像；建立结果图像与源全景图像上对应点坐标间的映射关系，实现投影变换结果图像的几何精确校正；
(1-2-1)全景图像采集：设置好源VR全景图像的初始位置，依据采集规范，根据重叠度要求，依次完成横向、纵向的图像采集，在项目文件夹中按照全景名称、横纵方向的次序命名采集图像；依据透视成像的逆过程，计算采集图像的四个角点所对应源全景图像上的球面坐标；
(1-2-2)采集图像的投影变换：根据采集图像的角点坐标及其对应的球面坐标，基于等距圆柱投影公式，采用投影变换校正图像，将采集自源球面全景上的图像纠正成圆柱展开前的矩形形状；
(1-2-3)变换结果图像的几何校正：针对图像采集过程中截取角度、边缘变形误差较大情形，需对变换结果图像进行精确的几何校正，建立结果图像与源全景图像上对应点坐标间的映射关系，求解映射关系中的未知参赛，再校正变换结果图像上各个像素点坐标，确定各像素的灰度值；
(1-3)新的VR全景图像生成：构建一个3D可视化检查工具，检查处理后的图像是否满足全景生成条件；若符合，则完成相邻图像的精确匹配、拼接，实现相邻图像之间的色调均衡；将所有图像拼接生成完整的全局图像，采用整体优化生成算法，消除整体误差积累；将全局图像映射到球面，生成新的VR全景图像；
(1-3-1)检查工具生成：构建一个3D可视化检查工具，参照源VR全景图像的球心坐标和半径，创建一个球形表面，根据每幅图像角点所对应的球面坐标，将其映射到球面上；检查图像之间是否有空洞、重叠过大或过小问题；
(1-3-2)相邻图像的拼接：提取图像的Harris特征角点，计算相邻图像点集间点对的相关系数，提取每个角点的Hu矩特征，归一化并融合了点对的相似度，实现点对精确匹配，再经过图像对齐、匹配生成相邻图像的拼接；
(1-3-3)全局图像的优化：使用色调均衡处理算法实现相邻图像重叠区域的色调均衡，以及接缝线处鬼影的消除；通过两两拼接，将所有图像拼接生成完整的全局图像；采用全局优化生成算法，消除整体误差积累，长宽比符合2:1；
(1-3-4)新VR全景图像的生成：以源VR全景图像的圆心和半径为参照，构建一个3D球面；根据全局图像的长宽，利用等距圆柱投影原理，将全局图像作为纹理图像，从北到南映射到球面上，生成新的VR全景图像；
(2)教学对象标注的添加；使用几何图形、图标和声音方式标注教学对象，根据教学对象的形状、性质及其分布，确定其在全景球面内的空间位置；单独或批量导入添加教学对象的标注信息，实现标注点之间多种切换方式；
(3)教学标注的自动化生成；通过网络爬虫技术抓取含有目标教学对象的图片，在LabelImage中标注特征对象的位置及其名称，将它们作为多层神经网络的输入层训练神经网络算法，检测、筛选符合条件的教学对象，设计相关的练习题目，自动比对，评价学习者的作答结果。
2.根据权利要求1所述的VR全景图像素材的教学重用方法，其特征在于步骤(2)所述的“教学对象标注的添加”具体包括：
(2-1)按类别标注教学对象：依据教学对象的分布特征，使用不同颜色、线型的轮廓线标注教学对象的几何形状；单独或组合使用文字、数字和图标的方式，标注教学对象的信息；通过关联环境背景声效、添加立体声效果，引导、播放教学对象的标注信息；
(2-1-1)几何图形标注：依据教学对象在全局图像中的分布特征，使用不同的颜色、线型标注教学对象的形状轮廓线，将轮廓线记录、存储到图层上；同一图层的属性相同，可以使用多个图层存储不同属性的图形标注信息；
(2-1-2)图标标注：单独或组合使用文字、数字和图标的方式，引导、介绍界面导航、教学信息、重要知识点教学信息标注，可以将数字、文字嵌入到图标中，也可采用并列组合的方式，画面色彩、明暗度、内容视觉差别不要过大；
(2-1-3)声音标注：通过为教学标注对象关联环境背景声效，引导学习者关注、浏览该标注点；采用高通滤波器过滤教学对象的解说内容，当参与者靠进标注位置时，将获取立体声效果；如触发声音标注，借助语音合成技术自动朗读指定的教学内容；
(2-2)教学对象标注框的空间定位：采用透明、高亮的矩形或菱形标注框呈现教学知识点内容；依据教学对象的形状、性质及其分布，确定其标注点在全局图像上的位置；判断标注点在全局图像的上、下部分，确定其在全景球面内的空间位置；
(2-2-1)教学内容的标注形式：将数字、文本、图像、视频动画、富媒体网页，以单独或者组合的形式嵌入到标注框中，采用纹理映射或者动态纹理切换的形式，动态呈现知识点内容，标注框可采用透明、高亮的矩形或菱形形式；
(2-2-2)获取教学对象标注点的位置：依据待标注教学对象的形状、性质以及在全局图像中的分布，确定其标注点在全局图像上的位置，如为点状对象，则为该点所在位置；线状对象，则为其中心所在位置；面状对象则利用多边形重心计算方法获取其位置；
(2-2-3)确定教学对象标注框的空间位置：根据上述教学对象标注点的坐标，判断其处于全局图像的上半部或者下半部，进而确定其在VR全景图像的球面上的位置，如在上半球，则向下移动批注框；在下半球则向上移动标注框，令标注框整体位于全景图像的内部，以免穿透纹理表面；
(2-3)教学对象标注的添加：根据标注点的位置，添加单个教学对象的标注信息，并克服重叠、遮挡和密集分布的情形；批量导入对象-关系数据库中多条记录，生成多个教学对象标注信息；采用线性或者关系型方式组织标注点，实现不同标注点之间的切换；
(2-3-1)添加单个教学对象标注：根据教学对象在全局图像上的标注位置，使用高亮、透明的标注框呈现知识内容，如标注位置出现重叠或遮挡情形，应调整标注点位置，但尽可能接近该位置，如同一类型教学对象的标注点分布密集，应采用数据聚类的方式简化标注点；
(2-3-2)批量导入教学对象标注：在数据库表中，以标注点名称作为关键字段，通过对象-关系数据库的方式，将标注名称、点位、多媒体属性信息关联起来，通过批量导入数据库中记录，生成多个教学对象标注信息，满足单个教学对象标注的相关原则；
(2-3-3)教学对象标注点的跳转：根据教学设计，采用线性或者关系型方式组织教学对象标注点，在新VR全景图像上采用文字引导、语音提示、图标闪烁方式引导参与者与教学对象标注点的交互，实现不同标注点之间的切换。
3.根据权利要求1所述的VR全景图像素材的教学重用方法，其特征在于步骤(3)所述的“教学标注的自动化生成”具体包括：
(3-1)教学对象的预处理：采用网络爬虫技术抓取互联网站上含有目标教学对象的相关图片，手工剔除掉错误图片，将正确的图片保存在工程文件夹中；采用LabelImage工具标注图片中教学对象的特征位置及其名称；将上述采用LabelImage工具标注的图片中教学对象的特征位置及其名称作为多层神经网络的输入层，采用均方差和二分类交叉熵函数作为损失函数，通过循环训练获取较好的训练结果；
(3-1-1)收集教学对象的训练图片：采用网络爬虫技术抓取互联网站上含有目标教学对象的相关图片，经过手工选择，剔除掉无关、错误的图片，将正确的图片保存在工程文件夹中，文件名中不能出现两个"."，不再建子文件夹；
(3-1-2)教学对象的图像标注：将工程文件夹中图片导入到LabelImage工具，标注图片中特征对象的坐标范围和像素大小，并为各类特征命名，将结果保存为与图片同名的XML文件，再将图片和XML文件传输给多层神经网络；
(3-1-3)教学对象的训练：根据多层神经网络输入信息的数据变换获取教学对象的网络预测值，采用均方差和二分类交叉熵函数作为损失函数，将网络预测值与真实目标值的差设为损失值，经过循环训练，降低损失值，更接近真实目标值，完成教学对象的检测训练；
(3-2)自动添加教学对象标注点：基于Darknet网络结构预测教学对象的类型和边界，检测全局图像网格中的教学对象；根据检测结果的置信度，剔除低于阈值的检测结果，将符合条件的检测结果多边形输出到XML文件中；解析XML文件，将这些教学对象标注点批量添加到新VR全景图像；
(3-2-1)教学对象检测：根据教学目标和教学计划，教师确定需要标注的教学对象，采用基于回归思想的Yolo算法，将全局图像作为多层神经网络的输入层，并将其划分为S×S个网格，基于Darknet网络结构预测教学对象的类型和边界，检测网格中的教学对象目标；
(3-2-2)检测结果存储：全局图像中经常会存在因角度、遮挡导致模糊不清的区域，需设置检测结果的置信度，剔除掉低于阈值的检测结果；将符合条件的检测结果多边形输出到XML文件中，供后续教学对象自动标注使用；
(3-2-3)自动标注：解析XML中的教学对象多边形，根据教学用途，在全局图像上标注这些教学对象，或者将其存储在不同图层；根据圆柱等距投影原理，将这些教学对象标注点批量添加到新VR全景图像表面，并为它们关联知识点内容；
(3-3)练习测试：根据教学设计，教师在新VR全景图像上，设计单个教学对象的寻找、识别练习，按照知识内在逻辑设计不同考察路线，有顺序地完成知识点串学习，或者组合单个教学对象识别认知、考察路线及其相关性的题目，将学习者的作答结果与存储在结果图层上的正确答案比对，并给出评分；
(3-3-1)对象认知练习：根据教学设计，教师在新VR全景图像上，设计具有某类特征的教学对象的寻找、识别练习，学习者通过点击、勾选教学对象，完成认知训练，通过与存储在对应图层中特征多边形的比对，判断学习者答题的正确性；
(3-3-2)考察路线设计：针对知识点较多的教学内容，在新VR全景图像上按照知识内在逻辑结构，设计不同的考察路线，通过高亮提示、闪烁引导、背景声效方式，引导学习者依次观看、选择教学内容标注，完成有先后次序的知识点串学习；
(3-3-3)组合练习：根据教学目标、知识相关性，教师在新VR全景图像上，设计有层次的教学对象识别认知、考察路线及其相关性的题目，学习者完成练习后，将回答结果与存储在结果图层上的正确答案比对，根据各题的分值给出总的测试分数。
CN202110548470.1A 2021-05-19 2021-05-19 一种vr全景图像素材的教学重用方法 Active CN113434035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110548470.1A CN113434035B (zh) 2021-05-19 2021-05-19 一种vr全景图像素材的教学重用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110548470.1A CN113434035B (zh) 2021-05-19 2021-05-19 一种vr全景图像素材的教学重用方法

Publications (2)

Publication Number Publication Date
CN113434035A CN113434035A (zh) 2021-09-24
CN113434035B true CN113434035B (zh) 2022-03-29

Family

ID=77802671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110548470.1A Active CN113434035B (zh) 2021-05-19 2021-05-19 一种vr全景图像素材的教学重用方法

Country Status (1)

Country Link
CN (1) CN113434035B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101879A (zh) * 2018-06-29 2018-12-28 温州大学 一种vr虚拟课堂教学的姿态交互系统及实现方法
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海（上海）智能科技有限公司 混合现实的教学环境、教师、教具互动系统及互动方法
CN111028579A (zh) * 2019-12-18 2020-04-17 合肥金誉堂文化传媒有限责任公司 一种基于vr现实的视觉教学系统
CN112102667A (zh) * 2020-09-27 2020-12-18 国家电网有限公司技术学院分公司 一种基于vr交互的视频教学系统及方法
CN112230772A (zh) * 2020-10-14 2021-01-15 华中师范大学 一种虚实融合的教具自动生成方法
CN112509151A (zh) * 2020-12-11 2021-03-16 华中师范大学 一种教学场景中虚拟对象的真实感生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090098524A1 (en) * 2007-09-27 2009-04-16 Walton Brien C Internet-based Pedagogical and Andragogical Method and System Using Virtual Reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101879A (zh) * 2018-06-29 2018-12-28 温州大学 一种vr虚拟课堂教学的姿态交互系统及实现方法
CN110688005A (zh) * 2019-09-11 2020-01-14 塔普翊海（上海）智能科技有限公司 混合现实的教学环境、教师、教具互动系统及互动方法
CN111028579A (zh) * 2019-12-18 2020-04-17 合肥金誉堂文化传媒有限责任公司 一种基于vr现实的视觉教学系统
CN112102667A (zh) * 2020-09-27 2020-12-18 国家电网有限公司技术学院分公司 一种基于vr交互的视频教学系统及方法
CN112230772A (zh) * 2020-10-14 2021-01-15 华中师范大学 一种虚实融合的教具自动生成方法
CN112509151A (zh) * 2020-12-11 2021-03-16 华中师范大学 一种教学场景中虚拟对象的真实感生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟现实和思维导图融合于Sakai网络教学技术研究;仝兆景等;《科技经济导刊》;20160705(第19期);全文 *

Also Published As

Publication number Publication date
CN113434035A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
Lobry et al. RSVQA: Visual question answering for remote sensing data
Bajjali ArcGIS for environmental and water issues
CN110689623B (zh) 基于增强现实显示的游客导览系统及方法
CN110414380A (zh) 一种基于目标检测的学生行为检测方法
CN103488339B (zh) 一种个性化汉字数字墨水的生成方法
KR20220111634A (ko) 온라인 오프라인 결합형 다차원 교육 ai 학교 시스템
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
Alcañiz et al. Augmented reality technology for education
WO2022247823A1 (zh) 图像检测方法、设备和存储介质
CN104537705A (zh) 基于增强现实的移动平台三维生物分子展示系统和方法
CN115409069A (zh) 村镇建筑的识别方法、分类方法、装置、电子设备和介质
CN113076900A (zh) 基于深度学习的试卷卷头学生信息自动检测方法
Vargas Munoz et al. Deploying machine learning to assist digital humanitarians: making image annotation in OpenStreetMap more efficient
CN113743358A (zh) 一种全方位采集和智能计算的景观视觉特征识别方法
CN115115672A (zh) 基于目标检测和特征点速度约束的动态视觉slam方法
Chen et al. Semantic segmentation and data fusion of microsoft bing 3d cities and small uav-based photogrammetric data
CN113434035B (zh) 一种vr全景图像素材的教学重用方法
Münster et al. Where are we now on the Road to 4d Urban History Research and Discovery?
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
Chhikara et al. Digitour: Automatic digital tours for real-estate properties
Ng et al. A mobile application with augmented reality in exploring the natural environment of Hong Kong
Putro et al. Development of Application Based on Augmented Reality as A Learning of History and Culture in Architecture Case Study Pathok Negoro Mosques Yogyakarta
Zohar et al. GIScience integrated with computer vision for the examination of old engravings and drawings
Sundari et al. Development of 3D Building Model Using Augmented Reality
Gallozzi et al. The MuseBot Project: Robotics, Informatic, and Economics Strategies for Museums

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant