CN113487082B - 一种虚拟实验教学资源的注记复杂度度量和优化配置方法 - Google Patents
一种虚拟实验教学资源的注记复杂度度量和优化配置方法 Download PDFInfo
- Publication number
- CN113487082B CN113487082B CN202110760352.7A CN202110760352A CN113487082B CN 113487082 B CN113487082 B CN 113487082B CN 202110760352 A CN202110760352 A CN 202110760352A CN 113487082 B CN113487082 B CN 113487082B
- Authority
- CN
- China
- Prior art keywords
- annotation
- note
- complexity
- visual
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 115
- 238000005457 optimization Methods 0.000 claims abstract description 54
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 238000005516 engineering process Methods 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 47
- 238000013441 quality evaluation Methods 0.000 claims description 37
- 239000000243 solution Substances 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000002068 genetic effect Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 8
- 238000013329 compounding Methods 0.000 claims description 7
- 230000004438 eyesight Effects 0.000 claims description 6
- 230000008034 disappearance Effects 0.000 claims description 4
- 230000005669 field effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000000699 topical effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000001149 cognitive effect Effects 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000001939 inductive effect Effects 0.000 claims description 2
- 238000002347 injection Methods 0.000 claims description 2
- 239000007924 injection Substances 0.000 claims description 2
- 239000000463 material Substances 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 2
- 238000005520 cutting process Methods 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 230000008520 organization Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- NRNCYVBFPDDJNE-UHFFFAOYSA-N pemoline Chemical compound O1C(N)=NC(=O)C1C1=CC=CC=C1 NRNCYVBFPDDJNE-UHFFFAOYSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于虚拟现实技术的教学应用领域，提供一种虚拟实验教学资源的注记复杂度度量和优化配置方法，包括：(1)注记配置；(2)注记复杂度度量；(3)注记配置优化。本发明方法围绕虚拟实验教学资源中注记的视觉语义和交互效率的需求，建立了一套虚拟场景中注记的配置、复杂度度量和优化的方法，在虚拟场景中依据时空、属性维度静态、动态配置注记；采用基于特征组合和信息熵技术，获取注记复杂度的综合值；从不同角度求解注记的优化配置模型。本发明有助于虚拟实验教学资源开发人员、教师、管理者等相关用户评价、优化注记的配置和复杂度，满足高质量虚拟实验教育资源的应用需求。
Description
技术领域
本发明属于虚拟现实技术的教学应用领域，更具体地，涉及一种虚拟实验教学资源的注记复杂度度量和优化配置方法。
背景技术
虚拟实验教学资源为大、中、小学实验教学的正常开展提供了有力保障。虚拟实验的沉浸感、交互式体验能够增强学习者对实验教学内容的认识和理解，提升实操能力、保障实验安全。注记可增强用户对虚拟场景中对象的熟悉和理解程度，然而，当前虚拟实验教学资源延续二维注记的规则，多关注基本视觉变量，忽略了视觉语义和交互效率方面的需求。鉴于虚拟实验教学资源在注记配置方面存在视线遮挡、视觉干扰，缺乏复杂度度量和优化配置模型，在实验教学中给学习者正确理解和掌握教学内容造成困扰，降低虚拟实验教学的成效。优化现有虚拟实验教学资源中注记的配置和复杂度评估，增强虚拟场景中注记的视觉感受和交互效率，将会促进虚拟实验教学资源在教育领域的广泛应用。
当前，虚拟实验教学资源在注记的配置、度量和优化方面存在如下问题：(1)虚拟实验教学资源中注记大多沿用传统二维配置思路，仅关注注记位置、大小、方向等基本视觉变量，较少考虑视觉语义和交互效率的需求；(2)随着虚拟实验教学资源的广泛应用，如何度量已有虚拟实验教学资源注记复杂度；(3)对注记优化配置的需求快速增长，缺乏通用注记优化配置模型，影响虚拟实验教学的学习体验和教学成效的提升。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种虚拟实验教学资源的注记复杂度度量和优化配置方法，为虚拟实验教学资源注记的配置、度量和优化提供一种新的方法和路径。
本发明的目的是通过以下技术措施实现的。
本发明提供一种虚拟实验教学资源的注记复杂度度量和优化配置方法，包括以下步骤：
(1)注记配置。使用瞄点、引线、注记框在待标注对象的内部或外部配置注记模型；基于立体视觉和交互性特征，从空间、时间和主题属性维度配置注记；根据与观察者的距离、视线、视场角参数，动态加载注记的LOD模型、调整视觉变量，实现连续性变化。
(2)注记复杂度度量。组合使用多种视觉变量构建语义视觉变量，描述注记语义的视觉显著性、可区分性特征，增强其视觉显著性表达；设置注记度量任务，构建注记复杂度基础度量指数；采用基于特征组合和信息熵技术，通过线性加权求得注记复杂度的综合值。
(3)注记配置优化。选取虚拟实验教学资源的注记质量评价因子，将单因子、单注记的评价函数复合成注记质量的总体评价函数，基于规则库和遗传算法建立注记质量评价模型；构建注记复杂度和注记质量优化的模型；从单视角单注记、单视角多注记、多视角多注记求取解注记配置优化的最优解。
本发明的有益效果在于：使用瞄点、引线、注记框在待标注对象的内部或外部配置注记模型，考虑立体视觉和交互性要求，从空间、时间和主题属性维度配置注记，根据虚拟场景中注记与观察者的距离、视线、视场角等参数，动态加载注记的LOD模型、调整视觉变量，实现连续性变化；组合使用视觉变量构建语义视觉变量，描述注记语义的视觉显著性、可区分性特征，增强其视觉显著性表达，设置注记度量任务，构建注记复杂度基础度量指数，采用基于特征组合和信息熵技术，线性加权求得注记复杂度的综合值；将单因子、单标注的评价函数复合成注记总质量的评价函数，基于规则库和遗传算法建立注记质量评价模型，构建注记复杂度和注记质量优化的模型，从单视角单注记、单视角多注记、多视角多注记求解注记优化配置模型。随着虚拟实验教学的广泛应用，为师生提供具有良好视觉感受和交互效率的注记配置方案的需求日益迫切。本发明有助于虚拟实验教学资源开发人员、教师、管理者等相关用户评价、优化注记的配置和复杂度，满足高质量虚拟实验教育资源的应用需求。
附图说明
图1是本发明实施例中虚拟实验教学资源的注记复杂度度量和优化配置方法流程图。
图2是本发明实施例中虚拟教学资源中注记配置流程图。
图3是本发明实施例中注记的视觉变量配置示例图，1-1为锚点、1-2为引线、1-3为注记框。
图4是本发明实施例中注记的视觉变量配置流程图。
图5是本发明实施例中注记动态配置流程图。
图6是本发明实施例中构建语义视觉变量流程图。
图7是本发明实施例中视觉复杂度度量指数生成流程图。
图8是本发明实施例中注记复杂度度量流程图。
图9是本发明实施例中注记质量评价模型流程图。
图10是本发明实施例中注记质量和复杂度的优化配置流程图。
图11是本发明实施例中注记优化配置模型求解流程图。
图12是本发明实施例中虚拟实验教学资源中原注记配置效果示例图。
图13是本发明实施例中正面视角下虚拟实验教学资源中注记配置优化效果示例图。
图14是本发明实施例中左侧视角下虚拟实验教学资源中注记配置优化效果示例图。
图15是本发明实施例中右侧视角下虚拟实验教学资源中注记配置优化效果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本实施例提供一种虚拟实验教学资源的注记复杂度度量和优化配置方法，包括如下步骤：
(1)注记配置。使用瞄点、引线、注记框在待标注对象的内部或外部配置注记模型；基于立体视觉和交互性特征，从空间、时间和主题属性维度配置注记；根据与观察者的距离、视线、视场角参数，动态加载注记的LOD模型、调整视觉变量，实现连续性变化。
所述注记配置具体包括如下步骤：
(1-1)虚拟实验教学资源中注记配置，如图2所示。根据字体的参数属性，使用三角网剖分的方法生成注记内容的几何模型；依据与被注记模型对象的空间关系，在内部或外部配置标注内容；使用锚点、引线、注记框三个元素来配置注记模型。
(1-1-1)注记内容的几何模型生成。根据字体的名称、高度、宽度、旋转角度，字符集、底线的旋转角度、是否斜体、下划线、删除线、输出精度、裁剪精度和输出质量，使用三角网剖分的方法生成注记内容的几何模型，并获取其法向量、颜色和光照属性。
(1-1-2)注记的空间配置。如图3所示，使用锚点、引线、注记框三个元素关联注记内容与被标注模型对象，根据与虚拟实验教学资源中被标注模型的空间关系，将注记内容的三维模型配置在模型对象的内部或者外部。
(1-1-3)注记的配置描述。依据透视成像模型、空间遮挡关系和交互约束条件，设置虚拟实验教学资源中注记与被标注模型对象的位置、角度和尺寸参数，采用形式化语言描述注记和待标注模型对象的空间位置、拓扑关系。
(1-2)注记的视觉变量配置。如图4所示，针对虚拟实验教学资源注记的静态与动态配置要求，以及立体视觉和交互性特征，从空间、时间、主题属性维度，配置注记的形状、颜色、大小、纹理和连续性视觉变量。
(1-2-1)空间维度的视觉变量配置。依据虚拟实验教学资源中待标注模型对象的空间布局，设置注记密度、分布、形状、方向、大小和位置的空间维度视觉变量；依据其与观察者的距离、视线夹角、视场角和空间尺度，设置注记空间维度视觉变量的权重。
(1-2-2)时间维度的视觉变量配置。依据虚拟场景中注记持续时间和变化频率，设置出现和消失的时刻，以及在单位时间内出现或消失的次数；根据注记的动态变化规律，配置各个注记出现的时间顺序、变化率或同步性变量。
(1-2-3)主题属性维度的视觉变量配置。根据虚拟实验教学资源中注记外观的质地、材料、光照和图案，分别配置注记颜色的色相、饱和度和亮度变量，文本的字体、字形和下划线变量，纹理的排列、图案和旋转变量。注记颜色的色相、饱和度、亮度如公式(1-3)所示。
注记颜色的色相：
注记颜色的饱和度：
IS(m,n)为像素(m,n)的饱和度。
注记颜色的亮度：
IL(m,n)像素(m,n)的亮度。
(1-3)注记动态配置。如图5所示，依据与观察者的距离和视线夹角，加载预生成的LOD候选集中的注记层次；根据交互过程中视角和位置变化，动态调整注记的大小、位置和方向；基于启发式优化算法，配置当前帧中的注记，实现三维场景中注记的淡入淡出和连续移动。
(1-3-1)注记的动态加载。采用LOD组织虚拟场景中三维注记，依据与观察者的距离和视线夹角，在复杂注记配置过程中，使用启发式优化算法搜索预先生成的LOD候选集，快速配置和加载不同层次的注记模型。
(1-3-2)视觉变量的动态配置。随着使用者移动、旋转、缩放虚拟场景时，在交互过程中，虚拟实验教学资源的模型和注记之间的遮挡关系、显示效果均会随着视场变化而发生变化，计算注记与使用者视点的连线，动态调整注记的大小、位置和方向。
(1-3-3)视觉连续性生成。利用垂直矩形范围近似表达三维动态对象投影技术，应用启发式优化算法，根据前一帧信息配置当前帧的注记，实现三维场景中注记的淡入淡出和连续移动，采用深度分离技术降低注记移动带来的视觉干扰。
(2)注记复杂度度量。组合使用多种视觉变量构建语义视觉变量，描述注记语义的视觉显著性、可区分性特征，增强其视觉显著性表达；设置注记度量任务，抽取评估注记复杂度的系列影响因子，构建注记复杂度基础度量指数；采用基于特征组合和信息熵技术，通过线性加权求得注记复杂度的综合值。
(2-1)构建语义视觉变量。如图6所示，组合使用多种视觉变量构建语义视觉变量，选取不同的语义表达解决视觉变量之间效果的冲突；使用基本视觉变量描述虚拟实验教学资源中注记语义的视觉显著性、可区分性特征；采用高亮、变形、透明度、景深效果、闪烁形式增强注记视觉显著性。
(2-1-1)语义视觉变量的构建。根据用户特征、注记的生命周期、展示虚拟实验教学资源的平台类型、可视化任务类型和空间尺度，组合使用多种视觉变量构建语义视觉变量，选取不同的语义表达解决视觉变量之间效果的冲突。
(2-1-2)描述注记的语义视觉变量。组合使用大小、位置、透视关系、字体、外观、颜色、纹理、持续时间、出现频率和时间次序变量，描述不同学科、不同主题虚拟实验教学资源中注记语义的视觉显著性和可区分性特征。
(2-1-3)视觉显著性的表达。根据虚拟实验教学资源中注记传达信息的重要程度，采用高亮、变形、透明度、景深效果和闪烁的可视形式，增强注记的视觉显著性，表达注记对象的兴趣度、重要度和差异度的语义特征。
(2-2)注记复杂度度量指数生成。如图7所示，在虚拟场景导航、漫游、目标搜索和分析过程中，设置注记的度量任务；基于密度、内容、颜色、纹理和形状特征，抽取评估注记复杂度的系列影响因子；构建全局和局部两类注记复杂度基础度量指数。
(2-2-1)注记度量任务设置。根据用户喜好、阅读习惯和虚拟实验教学任务的要求，在虚拟场景导航、漫游、目标搜索和分析过程中，设置注记的度量任务，评估影响虚拟实验教学资源中注记表达的视觉变量和语义效果。
(2-2-2)注记复杂度的影响因子选取。基于学习者的认知负荷特征和虚拟实验教学资源中注记的配置情况，抽取注记度量任务中的密度特征、内容特征、颜色特征、纹理特征和形状特征，形成评估虚拟场景中注记复杂度的系列影响因子。
(2-2-3)注记复杂度基础度量指数构建。从系列影响因子中提取局部和全局两类复杂度基础度量指数，分别构建由局部平滑度、局部颜色特征、片段间颜色对比和片段形状参数组成的局部度量指数；由基础颜色特征、颜色复杂度、注记密度、高显著性注记比参数构建的全局度量指数。局部平滑度、片段间颜色对比、片段形状由公式(4-8)所示，基础颜色特征、颜色复杂度、注记密度、高显著性注记比由公式(9-14)所示。
局部平滑度：
Cr为(i,j)处半径为r的圆盘中心；δCr、δCr+1为圆Cr和Cr+1的边缘；gx,y、gs,t为(x,y)和(s,t)处的像素值。
最大片段色相对比：
Ωnei为最大片段周围的相邻片段的集合，Hlargest为最大片段的色相值；Hi为第i个相邻片段的色相值。
最大片段饱和度对比：
Slargest为最大片段的色相值；Si为第i个相邻片段的色相值。
最大片段亮度对比：
Llargest为最大片段的色相值；Li为第i个相邻片段的色相值。
片段形状复杂度：
色相均值：
M，N为图像的行数和列数；IH(m,n)为像素(m,n)的色相。
饱和度均值：
IS(m,n)为像素(m,n)的饱和度。
亮度均值：
IL(m,n)为像素(m,n)的亮度。
颜色复杂度：
(x,y)为本地窗口Ω(i,j)像素；Gα为高斯加权函数；
为色值的平均值；
为色差度量。
注记密度：
Alabel和Awindow分别为注记所占的面积和整个窗体的面积。
高显著性注记比：
Numatten和Numlabel分别为高视觉显著性的注记数量和注记总数量。
(2-3)注记复杂度度量。如图8所示，基于特征组合技术，计算渲染图像中视觉特征的局部方差和全局协方差，获取注记复杂度初始值；基于信息熵技术，通过离散余弦变换，获取信息熵和差值，计算注记复杂度初始值；通过线性加权上述两种方法获取的复杂度值，求得注记复杂度的综合值。
(2-3-1)基于特征组合的注记复杂度度量。依据虚拟场景中注记布局和使用者主要观察角度，生成虚拟实验教学资源的渲染图像，基于高斯滤波器和方向向量，组合运用线性滤波和逐点非线性运算，计算其颜色、方向和对比度的局部方差和全局协方差，计算注记复杂度。
(2-3-2)基于信息熵的注记复杂度度量。依据虚拟场景中注记和待标注模型的布局，依据使用者主要观察角度，生成注记显示与隐藏的渲染图像，使用离散余弦变换，重组、合并变换系数的相同频带系数，并计算图像的信息熵，求得显示与隐藏图像信息熵的差值，计算注记复杂度。离散余弦变换如公式(15)所示，信息熵如公式(16)所示。
离散余弦变换：
u、v是广义频率变量，u,v＝0,1,2,…,N-1，f(i,j)是空间域一个N*N的二维向量元素，即一个N*N的矩阵，i,j＝0,1,2,…,N-1。
信息熵：
pi为第i个注记出现的概率，Si为第i个注记的面积，S为渲染画面的面积。
(2-3-3)注记复杂度综合度量。根据局部特征和全局特征复杂度基础度量指数，采用基于特征组合和基于信息熵的技术，分别计算复杂度初始值、平均值和标准差，以及复杂度相对值，通过线性加权求得注记复杂度的综合度量值。
(3)注记配置优化。选取虚拟实验教学资源的注记质量评价因子，将单因子、单注记的评价函数复合成注记质量的总体评价函数，基于规则库和遗传算法建立注记质量评价模型；提取注记的质量因子和复杂度，构建注记复杂度和注记质量优化的模型；从单视角单注记、单视角多注记、多视角多注记求取解注记配置优化的最优解。
(3-1)注记质量评价模型。如图9所示，选取注记-注记重叠、注记-标注对象模型遮挡、注记-标注对象模型方位关系、注记-标注对象模型关联性作为注记质量评价因子；将单因子、单标注的评价函数复合成虚拟实验教学资源中注记质量的总体评价；基于规则库计算待标注模型权重和标注位置的优先级，采用遗传算法求解注记质量评价的最优解。
(3-1-1)注记质量评价因子选取。在虚拟实验教学资源中挑选4个彼此独立的注记质量评估因子，分别为注记-注记重叠、注记-标注对象模型遮挡、注记-标注对象模型方位关系、注记-标注对象模型关联性，定量描述虚拟实验教学资源中注记配置质量。
(3-1-2)注记质量评价函数。分别定义注记-注记重叠、注记-标注对象模型遮挡、注记-标注对象模型方位关系、注记-标注对象模型关联性的各自评价函数，再将这些评价函数复合构成虚拟场景中注记配置的质量评价函数，累加多个虚拟场景中注记配置的质量函数，归一化得到整个虚拟实验教学资源中注记的质量评价函数。注记质量评价函数的构建步骤如公式(17-21)所示：
相关谓词定义：
1、Li、Lj分别代表第i、j个注记。
2、Fj代表第j个标注对象模型。
3、B(Li)表示注记Li的区域，一个注记矩形框或一组注记矩形框所占据的区域，其中，Li代表第i个注记。
4、dp(pi,pj)表示点pi，pj的欧几里得距离。
5、du(Li,Lj)表示注记Li，Lj的距离，du(Li,Lj)定义如下：
du(Li,Lj)＝min{dp(pi,pj)|pi∈B(Li)∧pj∈B(Lj)}
6、dlf(Li,Fj)表示注记Li与标注对象模型Fj的距离，dlf(Li,Fj)定义如下：
dlf(Li,Fj)＝min{dp(pi,pj)|pi∈B(Li)∧pj∈A(Fj)}
注记-注记重叠评价函数：
重叠评价函数的取值范围为{0,1}，无重叠评分为1，有重叠评分为0。
注记-标注对象模型遮挡评价函数：
遮挡程度
Overlap(Li,BFj)∩BFj∈BF,0<j<M
Overlap(O1,O2)表示两个对象O1，O2重叠；Area(R)表示区域R的面积；A(Fj)表示标注对象模型Fj的区域；W(BFi)为重要性权重，采用0-99(取值为整数)的评分体系。
注记-标注对象模型方位关系评价函数：
E位置(Li)＝99-Order(Posj(Li)) (公式19)
设定优先级最高的位置评分为99，其余位置依次递减。Posj(Li)表示Li的第j个注记位置，Order(Posj(Li))表示备选位置排序后的序号。
注记-标注对象模型关联性评价函数：
δmax(Li)，δmin(Li)分别表示注记与关联标注对象模型的最大距离和最小距离。注记距离标注对象模型应当越近越好，当注记与标注对象模型的距离等于δmin(Li)时，关联性最强，得最高评分99；当注记与标注对象模型的距离等于δmax(Li)时，关联性最弱，得最低评分1；当注记与标注对象模型的距离不在δmax(Li)与δmin(Li)之间或者大于其他注记与该标注对象模型的距离或者大于该注记与其他同类标注对象模型的距离时，注记与该标注对象模型不关联，得评分0。
多个评价函数的复合：
W重叠表示注记与注记重叠因素在整个注记评价方案中的权重，W遮挡表示注记与待标注对象模型遮挡因素在整个注记评价方案中的权重，W位置表示注记与标注对象模型方位关系因素在整个注记评价方案中的权重，W关联性表示注记与标注对象模型关联性因素在整个注记评价方案中的权重。
(3-1-3)注记质量评价模型的实现。根据上述选取的注记质量评价因子和建立的质量评价函数，结合注记视觉变量的语义表达，基于规则库计算待注记模型权重和注记位置优先级，采用遗传算法求解注记质量评价的最优解。
(3-2)注记质量和复杂度的优化配置。如图10所示，从渲染画面中提取注记配置的质量因子和复杂度，生成注记样本库；构建以语义视觉变量和复杂度要素、质量因子组成的目标函数以及约束条件，生成注记复杂度和注记质量优化的模型。
(3-2-1)注记样本库生成。从不同学科、不同场景、不同复杂度的渲染画面中，基于FCM颜色分割算法，提取注记内容，归纳形成融合语义视觉变量的注记质量因子之间的耦合关系和视觉复杂度度量模型，生成虚拟实验教学资源的注记样本库。FCM颜色分割步骤如公式(22-24)所示。
N个样本X＝{xi}＝{x1,x2,…,xn}，将它们聚类到C个集合中，使得目标函数J(u)最小。
uij指第i个样本xi属于第j个聚类中心点cj的概率值，取值范围0≤uij≤1。
参数求解过程如下：
(1)设定任意值为uij的初始值，固定uij，计算更新聚类类别中心点cj：
(2)再假设cj已知，固定cj，计算更新：
重复上述步骤，直到得到的uij和cj收敛即可结束。
(3-2-2)注记复杂度优化。设计由密度特征、内容特征、颜色特征、纹理特征和形状特征组成的语义视觉变量和复杂度影响因子的目标函数，并以它们的取值范围作为约束条件，优化虚拟实验教学资源中融合语义视觉变量的注记复杂度模型。
(3-2-3)注记质量优化。以语义视觉变量(视觉显著性、可区分性)和基础质量因子(非冲突注记的比例和数量、注记颜色、注记与待注记对象关联性、注记位置优先级)及其相应权重作为目标函数，它们的取值范围为约束条件，优化虚拟实验教学资源中融合语义视觉变量的注记质量评价模型。
(3-3)注记优化配置模型求解。如图11所示，根据使用者观察虚拟场景中注记的主要角度，采用主要目标函数法，求解单视角单注记优化方案；针对虚拟场景中各个注记的布局和可视化形式，采用线性加权组合法，求解单视角多注记优化方案；计算不同视角下的多注记优化结果，采用帕累托最优解的求解模型，求解多视角多注记优化方案。虚拟实验教学资源中原注记配置效果如图12所示，注记配置优化效果如图13-15所示。
(3-3-1)单视角单注记优化求解。根据使用者观察虚拟场景中注记的主要角度，生成渲染结果图像，采用主要目标函数法，以质量评价模型为主函数，将复杂度模型转换为约束条件，求解单视角单注记优化结果。
(3-3-2)单视角多注记优化求解。针对虚拟场景中各个注记的布局和可视化形式，按照单视角单注记优化的步骤，分别计算各个注记的单视角优化结果，再采用线性加权组合法，进行单视角多注记优化求解。
(3-3-3)多视角多注记优化求解。按照单视角多注记优化的步骤，计算不同视角下的多注记优化结果，采用帕累托最优解的求解模型，计算虚拟实验教学资源中多视角多注记优化的一个解或者一组解，确定注记质量或注记复杂度优于其他解的一项，实现注记优化配置。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。
Claims (3)
1.一种虚拟实验教学资源的注记复杂度度量和优化配置方法，其特征在于该方法包括以下步骤：
(1)注记配置，使用瞄点、引线、注记框在待标注对象的内部或外部配置注记模型；基于立体视觉和交互性特征，从空间、时间和主题属性维度配置注记；根据与观察者的距离、视线、视场角参数，动态加载注记的LOD模型、调整视觉变量，实现连续性变化；
(2)注记复杂度度量，组合使用多种视觉变量构建语义视觉变量，描述注记语义的视觉显著性、可区分性特征，增强其视觉显著性表达；设置注记度量任务，构建注记复杂度基础度量指数；采用基于特征组合和信息熵技术，通过线性加权求得注记复杂度的综合值；
(3)注记配置优化，选取虚拟实验教学资源的注记质量评价因子，将单因子、单注记的评价函数复合成注记质量的总体评价函数，基于规则库和遗传算法建立注记质量评价模型；构建注记复杂度和注记质量优化的模型；从单视角单注记、单视角多注记、多视角多注记求取解注记配置优化的最优解；具体包括
(3-1)注记质量评价模型，选取注记-注记重叠、注记-标注对象模型遮挡、注记-标注对象模型方位关系、注记-标注对象模型关联性作为注记质量评价因子；将单因子、单标注的评价函数复合成虚拟实验教学资源中注记质量的总体评价；基于规则库计算待标注模型权重和标注位置的优先级，采用遗传算法求解注记质量评价的最优解；
(3-1-1)注记质量评价因子选取，在虚拟实验教学资源中挑选4个彼此独立的注记质量评估因子，分别为注记-注记重叠、注记-标注对象模型遮挡、注记-标注对象模型方位关系、注记-标注对象模型关联性，定量描述虚拟实验教学资源中注记配置质量；
(3-1-2)注记质量评价函数，分别定义注记-注记重叠、注记-标注对象模型遮挡、注记-标注对象模型方位关系、注记-标注对象模型关联性的各自评价函数，再将这些评价函数复合构成虚拟场景中注记配置的质量评价函数，累加多个虚拟场景中注记配置的质量函数，归一化得到整个虚拟实验教学资源中注记的质量评价函数；
(3-1-3)注记质量评价模型的实现，根据上述选取的注记质量评价因子和建立的质量评价函数，结合注记视觉变量的语义表达，基于规则库计算待注记模型权重和注记位置优先级，采用遗传算法求解注记质量评价的最优解；
(3-2)注记质量和复杂度的优化配置，从渲染画面中提取注记配置的质量因子和复杂度，生成注记样本库；构建以语义视觉变量和复杂度要素、质量因子组成的目标函数以及约束条件，生成注记复杂度和注记质量优化的模型；
(3-2-1)注记样本库生成，从不同学科、不同场景、不同复杂度的渲染画面中，基于FCM颜色分割算法，提取注记内容，归纳形成融合语义视觉变量的注记质量因子之间的耦合关系和视觉复杂度度量模型，生成虚拟实验教学资源的注记样本库；
(3-2-2)注记复杂度优化，设计由密度特征、内容特征、颜色特征、纹理特征和形状特征组成的语义视觉变量和复杂度影响因子的目标函数，并以它们的取值范围作为约束条件，优化虚拟实验教学资源中融合语义视觉变量的注记复杂度模型；
(3-2-3)注记质量优化，以语义视觉变量和基础质量因子及其相应权重作为目标函数，它们的取值范围为约束条件，优化虚拟实验教学资源中融合语义视觉变量的注记质量评价模型；
(3-3)注记优化配置模型求解，根据使用者观察虚拟场景中注记的主要角度，采用主要目标函数法，求解单视角单注记优化方案；针对虚拟场景中各个注记的布局和可视化形式，采用线性加权组合法，求解单视角多注记优化方案；计算不同视角下的多注记优化结果，采用帕累托最优解的求解模型，求解多视角多注记优化方案；
(3-3-1)单视角单注记优化求解，根据使用者观察虚拟场景中注记的主要角度，生成渲染结果图像，采用主要目标函数法，以质量评价模型为主函数，将复杂度模型转换为约束条件，求解单视角单注记优化结果；
(3-3-2)单视角多注记优化求解，针对虚拟场景中各个注记的布局和可视化形式，按照单视角单注记优化的步骤，分别计算各个注记的单视角优化结果，再采用线性加权组合法，进行单视角多注记优化求解；
(3-3-3)多视角多注记优化求解，按照单视角多注记优化的步骤，计算不同视角下的多注记优化结果，采用帕累托最优解的求解模型，计算虚拟实验教学资源中多视角多注记优化的一个解或者一组解，确定注记质量或注记复杂度优于其他解的一项，实现注记优化配置。
2.根据权利要求1所述的虚拟实验教学资源的注记复杂度度量和优化配置方法，其特征在于步骤(1)所述的“注记配置”具体为：
(1-1)虚拟实验教学资源中注记配置，根据字体的参数属性，使用三角网剖分的方法生成注记内容的几何模型；依据与被注记模型对象的空间关系，在内部或外部配置标注内容；使用锚点、引线、注记框三个元素来设置注记模型；
(1-1-1)注记内容的几何模型生成，根据字体的名称、高度、宽度、旋转角度，字符集、底线的旋转角度、是否斜体、下划线、删除线、输出精度、裁剪精度和输出质量，使用三角网剖分的方法生成注记内容的几何模型，并获取其法向量、颜色和光照属性；
(1-1-2)注记的空间配置，使用锚点、引线、注记框三个元素关联注记内容与被标注模型对象，根据与虚拟实验教学资源中被标注模型的空间关系，将注记内容的三维模型配置在模型对象的内部或者外部；
(1-1-3)注记的配置描述，依据透视成像模型、空间遮挡关系和交互约束条件，设置虚拟实验教学资源中注记与被标注模型对象的位置、角度和尺寸参数，采用形式化语言描述注记和待标注模型对象的空间位置、拓扑关系；
(1-2)注记的视觉变量配置，针对虚拟实验教学资源注记的静态与动态配置要求，以及立体视觉和交互性特征，从空间、时间、主题属性维度，配置注记的形状、颜色、大小、纹理和连续性视觉变量；
(1-2-1)空间维度的视觉变量配置，依据虚拟实验教学资源中待标注模型对象的空间布局，设置注记密度、分布、形状、方向、大小和位置的空间维度视觉变量；依据其与观察者的距离、视线夹角、视场角和空间尺度，设置注记空间维度视觉变量的权重；
(1-2-2)时间维度的视觉变量配置，依据虚拟场景中注记持续时间和变化频率，设置出现和消失的时刻，以及在单位时间内出现或消失的次数；根据注记的动态变化规律，配置各个注记出现的时间顺序、变化率或同步性变量；
(1-2-3)主题属性维度的视觉变量配置，根据虚拟实验教学资源中注记外观的质地、材料、光照和图案，分别配置注记颜色的色相、饱和度和亮度变量，文本的字体、字形和下划线变量，纹理的排列、图案和旋转变量；
(1-3)注记动态配置，依据与观察者的距离和视线夹角，加载预生成的LOD候选集中的注记层次；根据交互过程中视角和位置变化，动态调整注记的大小、位置和方向；基于启发式优化算法，配置当前帧中的注记，实现三维场景中注记的淡入淡出和连续移动；
(1-3-1)注记的动态加载，采用LOD组织虚拟场景中三维注记，依据与观察者的距离和视线夹角，在复杂注记配置过程中，使用启发式优化算法搜索预先生成的LOD候选集，快速配置和加载不同层次的注记模型；
(1-3-2)视觉变量的动态配置，随着使用者移动、旋转、缩放虚拟场景时，在交互过程中，虚拟实验教学资源的模型和注记之间的遮挡关系、显示效果均会随着视场变化而发生变化，计算注记与使用者视点的连线，动态调整注记的大小、位置和方向；
(1-3-3)视觉连续性生成，利用垂直矩形范围近似表达三维动态对象投影技术，应用启发式优化算法，根据前一帧信息配置当前帧的注记，实现三维场景中注记的淡入淡出和连续移动，采用深度分离技术降低注记移动带来的视觉干扰。
3.根据权利要求1所述的虚拟实验教学资源的注记复杂度度量和优化配置方法，其特征在于步骤(2)所述的“注记复杂度度量”具体为：
(2-1)构建语义视觉变量，组合使用多种视觉变量构建语义视觉变量，选取不同的语义表达解决视觉变量之间效果的冲突；使用基本视觉变量描述虚拟实验教学资源中注记语义的视觉显著性、可区分性特征；采用高亮、变形、透明度、景深效果、闪烁形式增强注记视觉显著性；
(2-1-1)语义视觉变量的构建，根据用户特征、注记的生命周期、展示虚拟实验教学资源的平台类型、可视化任务类型和空间尺度，组合使用多种视觉变量构建语义视觉变量，选取不同的语义表达解决视觉变量之间效果的冲突；
(2-1-2)描述注记的语义视觉变量，组合使用大小、位置、透视关系、字体、外观、颜色、纹理、持续时间、出现频率和时间次序变量，描述不同学科、不同主题虚拟实验教学资源中注记语义的视觉显著性和可区分性特征；
(2-1-3)视觉显著性的表达，根据虚拟实验教学资源中注记传达信息的重要程度，采用高亮、变形、透明度、景深效果和闪烁的可视形式，增强注记的视觉显著性，表达注记对象的兴趣度、重要度和差异度的语义特征；
(2-2)注记复杂度度量指数生成，在虚拟场景导航、漫游、目标搜索和分析过程中，设置注记的度量任务；基于密度、内容、颜色、纹理和形状特征，抽取评估注记复杂度的系列影响因子；构建全局和局部两类注记复杂度基础度量指数；
(2-2-1)注记度量任务设置，根据用户喜好、阅读习惯和虚拟实验教学任务的要求，在虚拟场景导航、漫游、目标搜索和分析过程中，设置注记的度量任务，评估影响虚拟实验教学资源中注记表达的视觉变量和语义效果；
(2-2-2)注记复杂度的影响因子选取，基于学习者的认知负荷特征和虚拟实验教学资源中注记的配置情况，抽取注记度量任务中的密度特征、内容特征、颜色特征、纹理特征和形状特征，形成评估虚拟场景中注记复杂度的系列影响因子；
(2-2-3)注记复杂度基础度量指数构建，从系列影响因子中提取局部和全局两类复杂度基础度量指数，分别构建由局部平滑度、局部颜色特征、片段间颜色对比和片段形状参数组成的局部度量指数；由基础颜色特征、颜色复杂度、注记密度、高显著性注记比参数构建的全局度量指数；
(2-3)注记复杂度度量，基于特征组合技术，计算渲染图像中视觉特征的局部方差和全局协方差，获取注记复杂度初始值；基于信息熵技术，通过离散余弦变换，获取信息熵和差值，计算注记复杂度初始值；通过线性加权上述两种方法获取的复杂度值，求得注记复杂度的综合值；
(2-3-1)基于特征组合的注记复杂度度量，依据虚拟场景中注记布局和使用者主要观察角度，生成虚拟实验教学资源的渲染图像，基于高斯滤波器和方向向量，组合运用线性滤波和逐点非线性运算，计算其颜色、方向和对比度的局部方差和全局协方差，计算注记复杂度；
(2-3-2)基于信息熵的注记复杂度度量，依据虚拟场景中注记和待标注模型的布局，依据使用者主要观察角度，生成注记显示与隐藏的渲染图像，使用离散余弦变换，重组、合并变换系数的相同频带系数，并计算系数的信息熵，获取显示与隐藏图像信息熵的差值，计算注记复杂度；
(2-3-3)注记复杂度综合度量，根据局部特征和全局特征复杂度基础度量指数，采用基于特征组合和基于信息熵的技术，分别计算复杂度初始值、平均值和标准差，以及复杂度相对值，通过线性加权求得注记复杂度的综合度量值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110760352.7A CN113487082B (zh) | 2021-07-06 | 2021-07-06 | 一种虚拟实验教学资源的注记复杂度度量和优化配置方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110760352.7A CN113487082B (zh) | 2021-07-06 | 2021-07-06 | 一种虚拟实验教学资源的注记复杂度度量和优化配置方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487082A CN113487082A (zh) | 2021-10-08 |
| CN113487082B true CN113487082B (zh) | 2022-06-10 |
Family
ID=77941133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110760352.7A Active CN113487082B (zh) | 2021-07-06 | 2021-07-06 | 一种虚拟实验教学资源的注记复杂度度量和优化配置方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487082B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115757673B (zh) * | 2022-11-23 | 2024-07-23 | 江西师范大学 | 一种网络地图文本标注投放的适宜性评估方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013044318A2 (en) * | 2011-09-29 | 2013-04-04 | Skaffold Pty Limited | Systems and methods for providing share assessment data in relation to virtual portfolios |
| CN109598792A (zh) * | 2018-11-19 | 2019-04-09 | 南京大学 | 三维场景中建筑物注记的自动放置方法 |
| CN112230772A (zh) * | 2020-10-14 | 2021-01-15 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
| CN112509151A (zh) * | 2020-12-11 | 2021-03-16 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
| CN112562433A (zh) * | 2020-12-30 | 2021-03-26 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统及其工作方法 |
-
2021
- 2021-07-06 CN CN202110760352.7A patent/CN113487082B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013044318A2 (en) * | 2011-09-29 | 2013-04-04 | Skaffold Pty Limited | Systems and methods for providing share assessment data in relation to virtual portfolios |
| CN109598792A (zh) * | 2018-11-19 | 2019-04-09 | 南京大学 | 三维场景中建筑物注记的自动放置方法 |
| CN112230772A (zh) * | 2020-10-14 | 2021-01-15 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
| CN112509151A (zh) * | 2020-12-11 | 2021-03-16 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
| CN112562433A (zh) * | 2020-12-30 | 2021-03-26 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统及其工作方法 |
Non-Patent Citations (3)
| Title |
|---|
| 小规模地理场景中点要素三维注记优化配置算法;周鑫鑫等;《测绘学报》;20161215(第12期);全文 * |
| 虚拟校园三维场景构建与漫游导航的实现;许爱军;《计算机测量与控制》;20160425(第04期);全文 * |
| 面向三维的注记自动配置研究;沈敬伟等;《测绘通报》;20080125(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487082A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163640B (zh) | 一种在视频中植入广告的方法及计算机设备 | |
| CN105045907B (zh) | 一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法 | |
| Rees et al. | A survey of information visualization books | |
| CN106537390B (zh) | 标识教育视频的呈现样式 | |
| KR20090010945A (ko) | 광고 생성 시스템, 구성 특징-선택 가이드라인 생성 시스템, 및 컴퓨터 판독가능 매체 | |
| CN110163208B (zh) | 一种基于深度学习的场景文字检测方法和系统 | |
| Liu | Animation special effects production method and art color research based on visual communication design | |
| CN110827373B (zh) | 广告图片生成方法、装置以及存储介质 | |
| Skulmowski et al. | Is a preference for realism really naive after all? A cognitive model of learning with realistic visualizations | |
| CN113807265B (zh) | 一种多样化的人脸图像合成方法及系统 | |
| Tatzgern | Situated visualization in augmented reality | |
| Lekschas et al. | Pattern-driven navigation in 2D multiscale visualizations with scalable insets | |
| CN102509119B (zh) | 一种基于分类器的图像场景分层与对象遮挡处理方法 | |
| CN113487082B (zh) | 一种虚拟实验教学资源的注记复杂度度量和优化配置方法 | |
| Waldin et al. | Chameleon: dynamic color mapping for multi-scale structural biology models | |
| JPH09114853A (ja) | 画像検索方法および画像検索装置 | |
| KR20200092452A (ko) | Gui 디자인에 대한 피드백을 제공하는 방법 및 장치 | |
| CN110248235A (zh) | 软件教学方法、装置、终端设备及介质 | |
| Buchmüller et al. | SpatialRugs: A compact visualization of space and time for analyzing collective movement data | |
| CN107506370A (zh) | 多媒体数据深度挖掘方法、存储介质及电子设备 | |
| Buchmüller et al. | SpatialRugs: Enhancing spatial awareness of movement in dense pixel visualizations | |
| Kerwin et al. | Virtual mastoidectomy performance evaluation through multi-volume analysis | |
| Hu | Visual Health Analysis of Print Advertising Graphic Design Based on Image Segmentation and Few‐Shot Learning | |
| Wang et al. | Automatic colorization for Thangka sketch-based paintings | |
| Yu et al. | Realistic image generation using adversarial generative networks combined with depth information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |