CN117237574B - 任务驱动的地理数字孪生场景增强可视化方法及系统 - Google Patents
任务驱动的地理数字孪生场景增强可视化方法及系统 Download PDFInfo
- Publication number
- CN117237574B CN117237574B CN202311325775.1A CN202311325775A CN117237574B CN 117237574 B CN117237574 B CN 117237574B CN 202311325775 A CN202311325775 A CN 202311325775A CN 117237574 B CN117237574 B CN 117237574B
- Authority
- CN
- China
- Prior art keywords
- scene
- visual
- user
- digital twin
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007794 visualization technique Methods 0.000 title claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 204
- 230000014509 gene expression Effects 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012800 visualization Methods 0.000 claims abstract description 38
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims description 55
- 230000006399 behavior Effects 0.000 claims description 52
- 239000010410 layer Substances 0.000 claims description 37
- 230000001149 cognitive effect Effects 0.000 claims description 29
- 230000003993 interaction Effects 0.000 claims description 29
- 238000005457 optimization Methods 0.000 claims description 19
- 238000010276 construction Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 15
- 230000004424 eye movement Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 230000008520 organization Effects 0.000 claims description 12
- 238000007726 management method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 239000002344 surface layer Substances 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000008521 reorganization Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000011835 investigation Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000019771 cognition Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种任务驱动的地理数字孪生场景增强可视化方法及系统，属于虚拟地理环境技术领域，解决现有技术难以满足动态复杂环境下数字孪生场景高效可视化表达需求。本发明基于地理场景获取多源异构数据；基于多源异构数据剖析场景对象、用户特征和可视化表达方式三者特征及其动态关联关系，并基于知识图谱驱动的语义关联度量与知识推理算法，构建用户展示‑分析‑探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；基于数字孪生场景多层次可视化模型得到数字孪生场景数据‑展示‑分析‑探索多级增强可视化数据及方式；增强可视化后，对地理数字孪生场景进行可视化绘制。本发明用于可视化增强及可视化绘制。
Description
技术领域
一种任务驱动的地理数字孪生场景增强可视化方法及系统，用于可视化增强及可视化绘制，属于虚拟地理环境技术领域。
背景技术
数字孪生是实现工程建造信息化和智能化的有效途径，其将现实物理实体的属性、结构、状态、性能及行为映射到虚拟世界，形成全要素互联且具有高保真度的虚拟地理环境，支持开展交互式可视化探索分析，从而具备对过去问题诊断、当前状态评估以及未来趋势预测的能力，对提升信息化管理水平具有十分重要的意义。数字孪生场景(DigitalTwin Scenarios)是指通过数字技术，将实际物理世界中的对象、系统、过程等复制成虚拟的数字化模型，并实时或准实时地反映其状态、性能、行为等信息的一种应用场景。然而，由于地理场景影响因素众多、用户类型多样且可视化需求各异，而现有场景可视化方法不仅缺乏对场景对象-用户偏好-可视化表达之间关联关系的清晰描述，还没有对多用户可视化探索分析行为及认知机理的准确刻画，存在数字孪生场景展示任务不明确、信息表达弱与绘制效率低等问题，难以满足动态复杂环境下数字孪生场景高效可视化表达需求。
综上所述，现有技术存在如下技术问题：
1.缺乏对场景对象-用户特征-可视化表达之间关联关系的清晰描述；
2.没有对多用户可视化探索分析行为及认知机理的准确刻画，从而造成数字孪生场景展示任务不明确、信息表达弱与绘制效率低等问题，难以满足动态复杂环境下数字孪生场景高效可视化表达需求；
发明内容
本发明的目的在于提供一种任务驱动的地理数字孪生场景增强可视化方法及系统，解决现有技术缺乏对场景对象-用户特征-可视化表达之间关联关系的清晰描述的问题。
为了实现上述目的，本发明采用的技术方案为：
一种任务驱动的地理数字孪生场景增强可视化方法，包括如下步骤：
步骤1：基于地理场景获取多源异构数据，包括基础地理数据、地质数据以及实时监测数据；
步骤2：基于多源异构数据剖析场景对象、用户特征和可视化表达方式三者特征及其动态关联关系，并基于地理场景数字孪生场景知识图谱驱动的语义关联度量与知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；
步骤3：基于用户偏好数据得到数字孪生场景数据-展示-分析-探索多级增强可视化数据及方式；
步骤4：在得到多级增强可视化数据及方式后，对地理数字孪生场景进行可视化绘制。
进一步,所述步骤2具体步骤为：
步骤2.1：基于多源异构数据进行场景对象中的用户特征与可视化偏好分析，并与包括模式层和数据层的知识图谱进行知识映射，构建得到地理场景数字孪生场景知识图谱；
具体步骤为：
步骤2.11：基于多源异构数据进行用户偏好分析，用户偏好包括多层级用户特征、场景对象和可视化表达方式需求调查分析，其中，多层级用户特征包括工程建造、地理分析、环境管理和普通民众，普通民众为第一层，地埋分析为第二层，环境管理为第三层，工程建造为第四层，场景对象包括地理环境、地质构造、动态环境和构建筑物，可视化表达方式包括PC桌面端、VR/AR、数字大屏和手机移动端；
步骤2.12、基于步骤2.11得到的结果梳理不同用户偏好实体的概念关系和特征关系，其中，概念关联包括同位关系、父子关系、整体/部分关系和上下位关系，特征关系是描述不同实体特征之间的关系，包括用户特征实体之间的关系、用户特征实体与场景对象实体的关系、场景对象实体之间的关系、场景对象实体与可视化表达方式之间的关系；
步骤2.13：对步骤2.12得到的结果进行统一语义理解与关联映射，得到用户特征、场景对象以及可视化表达方式的关联关系，并将关联关系组织为三元组与包括模式层和数据层的知识图谱进行知识映射，即得到地理场景数字孪生场景知识图谱；
步骤2.14：对地理场景数字孪生场景知识图谱进行更新时，将其作为图模型，通过在图模型上随机游走，将其游走连通的各实体节点间在语义关联强度、关联类型、游走路径关系更新到地理场景数字孪生场景知识图谱中；
步骤2.2：基于地理场景数字孪生场景知识图谱驱动的语义关联度量和知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；
具体步骤为：
步骤2.21：将可视化任务需求划分为三类，以建立满足用户展示-分析-探索需求的多层次可视化任务模型，三类分别为对多维特征进行直观展现的展示型可视化任务，对数据背后的规律进行解释的分析型可视化任务，和对数据间潜在的、有价值的关系进行假设推理和验证的探索型可视化任务；
步骤2.22：人工分析更新前或更新后的地理场景数字孪生场景知识图谱中要素的实体与实体间的关联匹配程度，并将场景对象、可视化表达方式、用户特征和可视化任务需求转化为特征向量表达；
步骤2.23：基于转化得到的特征向量进行语义关联度计算，并基于语义关联度计算后确定的各可视化任务需求中要素的场景对象实体间的语义关联强度建立知识关联网络；
步骤2.24：根据知识关联网络计算内容语义关联度量Pc、时间邻近度Pt和空间重叠度Ps，并计算关联匹配度量筛选各可视化任务需求的用户偏好数据，关联匹配度量的公式为：
P＝ωc×Pc+ωt×Pt+ωs×Ps (1)
其中，ωc、ωt和ωs分别是知识关联网络的内容语义关联度量Pc、时间邻近度Pt和空间重叠度Ps对应的权重因子，权重因子相加的和为1，V1和V2分别表示场景对象1和场景对象2，V1＝(x1,x2,…,xn)，V2＝(y1,y2,…,yn)，T1表示场景对象1的获取时间，T2表示场景对象2的获取时间，A1表示场景对象1的空间范围，A2表示场景对象2的空间范围，β表示空间重叠度衰减因子，取值范围是0-1，A1和A2相交范围越多，则空间重叠度越高，越接近1，若A1和A2相等或是包含，则空间重叠度为1。
进一步,所述步骤3的具体步骤为：
步骤3.1：对各可视化任务需求获取的用户偏好数据中的场景对象进行可视化增强；
步骤3.2：对经过步骤3.1增强后的用户偏好数据中的可视化表达方式进行场景展示级增强；
步骤3.3：基于经过步骤3.2增强后的用户偏好数据和语义约束进行场景分析级增强；
步骤3.4：基于经过步骤3.3增强后的用户偏好数据和认知引导模型进行场景探索级增强。
进一步,所述步骤3.1的具体步骤为:
步骤3.11：获取各可视化任务需求得到的用户偏好数据中的场景对象间的语义关系，即计算场景对象与场景对象之间的内容语义关联度量、时间邻近度与空间重叠度获取语义关联度，语义关联度的公式为：
S＝ωc1×Pc1+ωt1×Pt1+ωs1×Ps1
其中，ωc1、ωt1和ωs1分别是用户偏好数据中的场景对象间内容语义关联度量Pc1特征相似度、时间邻近度Pt1与空间重叠度Ps1各参数对应的权重因子，权重因子相加和为1；
步骤3.12：结合语义关联度、更新前或更新后的地理场景数字孪生场景知识图谱与PageRank协同过滤算法，计算场景对象的需求度，公式为：
其中，PRo表示更新前或更新后的地理场景数字孪生场景知识图谱中节点O被访问的概率PR值，α表示在某节点停留时继续访问其他节点的概率，1-α表示停止访问其他节点的概率，r表示初始向量即可视化任务需求偏好向量，表示与节点O有入链关系的节点Pi相对中心节点的PR值，N表示与第i个节点Pi有出链关系的节点数量；
步骤3.13：根据场景对象的需求度对场景对象进行筛选，推荐场景对象种类与规模，即筛选得到场景对象对应的数据。
进一步,所述步骤3.2的具体步骤为:
步骤3.21：人为分析经过步骤3.1增强后的用户偏好数据中可视化表达方式的展示特征，包括VR展示着重于虚拟世界中的临场感与真实感，AR与MR着重于虚拟与现实的信息互补；
步骤3.22：基于展示特征分析不同可视化表达方式对场景对象可视化的认知效率，公式为：
E＝RT(obj)+Des(obj)/Area
其中，E代表可视化的认知效率，值越高认知效率越优，RT(obj)是指找到任务目标的时间，Des(obj)是指在任务目标区域内眼动热点分布密度，Area是指任务目标区域的面积，任务目标是指让用户在地理数字孪生场景中通过观察找到的场景对象；
步骤3.23：基于认知效率对各可视化任务需求选择可视化表达方式，再根据选择的可视化表达方式调度场景对象，实现场景可视化的展示级增强。
进一步,所述步骤3.3的具体步骤为:
步骤3.31：提取出更新前或更新后的地理场景数字孪生场景知识图谱中用语义描述的语义关联，以建立场景对象的语义约束，其中，语义约束包括包含、邻接、上下方位的空间语义约束和关系语义约束；
步骤3.32：基于经过步骤3.2增强后的用户偏好数据和不同的语义约束，联合利用多视觉变量加强场景对象的关注度，或利用动态可视化表达方式对场景对象的事件过程的描述，或利用适宜性表达方法对场景对象的易读性来实现场景对象可视化的语义级增强。
进一步,所述步骤3.4的具体步骤为:
步骤3.41：基于经过步骤3.3增强后的用户偏好数据和用户的认知引导信息，建立用户探索分析的基本情景，其中，认知引导信息包括场景对象、表层信息、深层逻辑和时序关系；
步骤3.42：基于得到的基本情景，梳理分析用户交互行为特征对场景对象的可视化内容进行再组织，其中，用户交互行为是指在用户浏览场景时通过点击、缩放、旋转或漫游操作去关注某个场景对象，用户交互行为特征是指用户对场景的人机交互操作，包括选择、移动、缩放和旋转；
步骤3.43：联合表层信息与步骤3.42得到的再组织可视化内容展示的时序表达深度逻辑构建认知引导模型，实现可视化交互探索级增加，即得到重新组织的场景，过程公式为：
Sti＝M∪Hti(u)∪Pti(x,y,z)
其中，Sti为时间t中的第i个时刻场景范围，M为视角操作的方式，包括对整体场景进行观察或以第一人称视角的方式进行浏览，Hti为在时间t中的第i时刻，需要在地理数字孪生场景中重点展示的场景对象，u为用户类型，Hti(u)表示在时间t中的第i时刻将该用户特征有较强关联的场景对象重点显示，Pti(x,y,z)为在时间t中的第i时刻的视角位置，用于引导用户开始探索。
进一步,所述步骤4的具体步骤为：
步骤4.1：基于眼动感知的感兴趣场景对象选择，即基于步骤3得到的结果和地理数字孪生场景设置感兴趣场景对象的信息，使用眼动仪获取人眼的生理参数构建兴趣度量模型，设置感兴趣场景对象的信息包括几何信息、纹理信息和语义信息，生理参数包括眼动轨迹、注视点数量、注视时长以及瞳孔直径变化量，构建兴趣度量模型的公式为：
其中，A为某场景下的视觉吸引力的兴趣度量模型，Bk为第k视觉吸引行为的注视时长，Dk为第k次视觉吸引行为的瞳孔直径，k为视觉吸引行为次数，k＝1,2,3,…,m；
根据公式得到兴趣度量值，记录感兴趣场景对象的几何信息、纹理信息、语义信息以及相应的兴趣度量值，对兴趣度量值进行排序，获得感兴趣对象的列表；
步骤4.2：在选择的感兴趣场景对象的驱动下进行未来时刻感兴趣场景对象智能预测，即基于眼动仪检测后提取基于时间窗的用户兴趣特征、用户交互行为特征以及历史行为特征，对提取的特征进行量化、标签化处理，结合用户长期行为特征和短期行为特征，建立基于反馈学习的循环神经网络模型对用户行为特征预测未来时刻感兴趣场景对象，其中，用户行为特征包括兴趣度量值和场景交互行为，场景交互行为包括点击、缩放、旋转和平移，用户兴趣特征是指观测的感兴趣场景对象，历史行为特征是指多个时间段的用户兴趣特征与用户交互行为特征；
步骤4.3：基于选择的感兴趣场景的约束及预测得到的未来时刻感兴趣场景对象进行未来场景绘制，即采用感兴趣单元分级量化算法对感兴趣场景的感兴趣度量值和表达层次对未来时刻感兴趣场景对象进行单元划分与数据组织；
基于单元划分与数据组织构建带有服务中断与动态优先权的动态调度排队模型，并优化渲染队列组织结构，即优化动态调度排队模型；
最后通过几何裂缝消除与视觉一致性处理，采用动态调整优化算法调度优化后的渲染队列组织结构进行场景对象调整优化，实现未来地理数字孪生场景的绘制优化。
一种任务驱动的地理数字孪生场景增强可视化系统，包括：
采集模块：基于地理场景获取多源异构数据，包括基础地理数据、地质数据以及实时监测数据；
用户偏好数据获取模块：基于多源异构数据剖析场景对象、用户特征和可视化表达方式三者特征及其动态关联关系，并基于地理场景数字孪生场景知识图谱驱动的语义关联度量与知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；
增强模块：基于用户偏好数据得到数字孪生场景数据-展示-分析-探索多级增强可视化数据及方式；
绘制模块：在得到多级增强可视化数据及方式后，对地理数字孪生场景进行可视化绘制。
与现有技术相比，本发明的优点在于：
本发明能对场景对象-用户偏好-可视化表达之间的关联关系进行清晰描述，且能对多用户可视化探索分析行为及认知机理的准确刻画，从而使数字孪生场景展示任务明确、信息表达强与绘制效率高，能满足动态复杂环境下数字孪生场景高效可视化表达需求，具体表现在：
一、本发明充分利用地理数字孪生场景中众多影响因素特征及相互关系，设计知识图谱驱动的语义关联度量和知识推理规则，建立满足用户展示-分析-探索需求的多层次可视化任务模型，实现对数字孪生场景对象-用户特征-可视化表达之间动态复杂关系的准确描述，提升数字孪生场景可视化任务动态规划能力；
二、本发明充分分析数字孪生场景组成结构、信息密度及展示方式等因素特征及相互影响关系(即指多级增强可视化)，探明不同可视化表达方式作用下的视觉认知机理，建立任务驱动的地理数字孪生场景多级增强可视化方法，实现数据-展示-分析-探索逐级引导的场景信息高效呈现，提升用户的可视化认知效能，加深对地理场景的准确理解；
三、本发明深入分析不同用户可视化探索分析行为，充分考虑人眼对不同场景内容的感知特性和掩蔽效应，提出眼动感知的场景感兴趣对象选择方法，设计感兴趣约束的适应性场景分析及其动态调整优化算法，实现铁路桥梁建造数字孪生场景等的实时可视化绘制，支持用户开展场景高效交互探索分析。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明中实现多级增强可视化的总流程示意图；
图2为本发明中的数字孪生场景多层次可视化任务模型的框架示意图；
图3为本发明中多级增强可视化的框架示意图；
图4为本发明数字孪生场景可视化效率优化的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
顾及不同用户对地理数字孪生场景高效可视化的多样化需求，拟建立一套任务驱动的地理数字孪生场景增强可视化理论与技术体系。①通过研究场景对象-用户特征-可视化表达方式之间的关联关系，构建支持展示-分析-探索的多层次可视化任务模型。②研究数据-展示-分析-探索多级增强可视化方法，提升用户对数字孪生场景的认知效能。③设计感兴趣约束的适应性场景分析及动态调整优化算法，实现数字孪生场景高效可视化绘制。
地理场景的场景对象繁多、用户类型(指用户特征)多样且可视化需求各异，而现有可视化方法缺乏对场景对象-用户特征-可视化表达手段之间动态关联关系的清晰描述，导致存在场景展示任务不明确、表达信息适应性差等问题。因此，如何厘清数字孪生场景中众多影响因素特征及相互关系，达成统一语义理解与关联映射，是实现场景高效可视化表达的首要前提。
本项目拟剖析多层级用户特征及其在地理数字孪生场景表达的偏好需求，提出地理场景知识图谱构建与动态更新方法，研究场景数据-可视化表达-用户需求间的语义关联度量与知识推理算法，构建支持用户展示-分析-探索的多层次可视化任务模型，实现顾及多层级用户偏好需求的场景内容的快速理解与准确描述。
地理数字孪生场景包括基础地理要素、监测数据及众多环境因素等，同时具有动态性与不确定性的特征，而不同终端展示方式多样，难以适应不同层次任务需求，导致展示信息过载或关键信息丢失，使得用户对场景信息认知负荷或是认知不全。因此，如何对建造关键信息进行高效呈现，提升用户认知效率就非常关键。
本案采用探索不同表达方式作用下用户对数字孪生场景内容的认知规律，构建基于协同过滤的场景数据级增强可视化方法，研究适配扩展现实的场景展示级增强可视化方法，提出协同语义约束与多样视觉变量的场景分析级增强可视化方法，建立基于情景认知驱动与交互行为引导的场景探索级增强可视化方法，提升用户对场景的认知效能。
地理数字孪生场景具有数据海量、模型精细、内容动态变化等特点，对场景表达与分析的实时性要求高，现有可视化绘制优化方法侧重于场景数据简化本身，未能有效解决数字孪生场景动态复杂性与用户交互实时性之间的矛盾。因此，亟需从新的角度、基于新的条件和新的方法，通过探明用户的兴趣、意图、行为等特征，另辟蹊径设计场景可视化绘制优化算法。
本案采用深入分析多层级用户的场景可视化探索分析行为，剖析人眼特征及空间视觉感知特性，研究基于眼动感知的场景感兴趣对象智能选择方法，提出联合用户特征挖掘与深度学习的场景可视化数据智能预测方法，设计感兴趣对象约束的适应性场景分析及其动态调整优化算法，实现数字孪生场景的实时可视化绘制与交互探索分析。
首先，基于地理场景(包括铁路桥梁建造场景)收集整理基础地理数据、地质数据以及实时监测数据等相关资料，从而提供数据基础，具体包括数字高程、专题数据、遥感影像、激光点云、管理数据、倾斜模型、监测数据和BIM模型；其次，剖析场景对象-用户特征-可视化表达三者特征及其动态关联关系，研究知识图谱驱动的语义关联度量与知识推理算法，构建满足用户展示-分析-探索需求的多层次可视化任务模型，以提供理论基础；然后，研究协同过滤推荐的场景数据智能优选方法，探明不同表达方式作用下的数字孪生场景视觉认知机理，形成数字孪生场景数据-展示-分析-探索多级增强可视化方法，实现数字孪生场景高效可视化认知。
基于多源异构数据剖析场景对象、用户特征和可视化表达方式三者特征及其动态关联关系，并基于地理场景数字孪生场景知识图谱驱动的语义关联度量与知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据，具体为：
第一，对场景对象中用户特征与可视化偏好分析。
首先，收集工程建造、地理分析、环境管理以及普通民众等多级用户特征，普通民众为第一层，地埋分析为第二层，环境管理为第三层，工程建造为第四层，分析他们的场景对象信息需求以及常见场景可视化表达形式；然后，重点梳理不同用户特征的可视化偏好需求(即指可视化表达)与字孪生场景对象(即指场景对象)实体的关联关系，主要分为概念关系和特征关系，其中，概念关联包括同位关系、父子关系、整体/部分关系、上下位关系等包括用户特征实体之间的关系、用户特征实体与场景对象实体的关系、场景对象实体之间的关系、场景对象实体与可视化表达方式之间的关系；最后，将上述得到的结果进行统一语义理解与关联映射，得到用户特征、场景对象以及可视化表达方式的关联关系，并采用数据库以关系三元组<Subject,Pred icate,Object>(S,P,O)的形式进行存储，从而实现对场景用户场景偏好概念的完整描述和统一语义理解，而特征关系是描述不同实体之间的关系，即明晰了用户特征及其场景对象、可视化偏好关联关系，赋予其逻辑性和层次性，实现用户可视化偏好需求与数字孪生场景对象之间的统一语义理解与关联映射。
第二，地理场景数字孪生场景知识图谱构建与更新，即将关联关系组织为三元组后与包括模式层和数据层的知识图谱进行知识映射，得到地理场景数字孪生场景知识图谱，在需要对地理场景数字孪生场景知识图谱进行更新时，将其作为图模型，通过在图模型上随机游走，将其游走连通的各实体节点间在语义关联强度、关联类型、游走路径关系更新到地理场景数字孪生场景知识图谱中。
首先，针对实际可视化需求对场景对象实体类别进行抽象和归纳，采用“自顶向下”的思路来构建地理场景数字孪生场景知识图谱，包含模式层和数据层两个层次的逻辑结构；然后，针对模式层构建，侧重于领域本体及其定义的概念层次，清晰定义领域用户特征及其场景对象偏好概念实体、属性及概念间的多元关系，并以OWL(Web Onto logyLanguage)形式将本体模型存储于Protégé数据库中，通过本体解析不断完善和扩充本体模型；接着，针对数据层构建，侧重于多层级用户特征的场景对象偏好要素实体、属性及概念间关系，对本体知识库结构化数据采用D2RQ转换的方法，实现实体对象信息的抽取，对于半结构化或非结构化的数据处理包括命名实体、属性抽取和关系抽取等，采用属性图模型来对场景知识集进行管理；最后，不断丰富与扩展可视化场景模式层和数据层，通过知识映射联合外部需求变化与内部关联推理，建立知识图谱自主循环优化动态更新机制，支持数字孪生场景知识图谱动态更新。
第三，基于地理场景数字孪生场景知识图谱驱动的语义关联度量和知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据。
首先，将可视化任务需求划分为三类，以建立满足用户展示-分析-探索需求的多层次可视化任务模型，三类分别为对多维特征进行直观展现的展示型可视化任务，对数据背后的规律进行解释的分析型可视化任务，和对数据间潜在的、有价值的关系进行假设推理和验证的探索型可视化任务。即根据多层级用户特征、信息需求和使用终端等因素，将可视化任务划分为三类：对数据分布、异常、聚集等多维特征进行直观展现的展示型可视化任务，如多源监测数据实时展示等；对数据背后的规律进行解释的分析型可视化任务；对数据间潜在的、有价值的关系进行假设推理和验证的探索型可视化任务，从而建立满足用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型，实现从用户偏好需求到数字孪生场景可视化任务的快速解析与精准映射，实现可视化任务的准确规划。
其次，分析地理场景数字孪生场景知识图谱中要素的实体与实体间的关联匹配程度，并将场景对象、可视化表达方式、用户特征和可视化任务需求转化为特征向量表达；
然后，根据语义关联度计算后，确定各可视化任务需求中要素的场景对象实体间的语义关联强度并建立知识关联网络，支持“用户/需求-场景对象”计算关联匹配度量筛选各可视化任务需求的用户偏好数据。具体根据内容语义关联度量Pc、时间邻近度Pt和空间重叠度Ps，计算关联匹配度量，计算公式为式：
P＝ωc×Pc+ωt×Pt+ωs×Ps (1)
其中，ωc、ωt和ωs分别是知识关联网络的内容语义关联度量Pc、时间邻近度Pt和空间重叠度Ps对应的权重因子，权重因子相加的和为1，其设置与实际不同阶段用户对场景偏好需求相关，V1和V2分别表示场景对象1和场景对象2，V1＝(x1,x2,…,xn)，V2＝(y1,y2,…,yn)，T1表示场景对象1的获取时间，T2表示场景对象2的获取时间，A1表示场景对象1的空间范围，A2表示场景对象2的空间范围，β表示空间重叠度衰减因子，取值范围是0-1，A1和A2相交范围越多，则空间重叠度越高，越接近1，若A1和A2相等或是包含，则空间重叠度为1。
基于用户偏好数据得到数字孪生场景数据-展示-分析-探索多级增强可视化数据及方式，具体为：
第一，基于场景数据智能优选的可视化增强，即对各可视化任务需求获取的用户偏好数据中的场景对象进行可视化增强。
首先，根据可视化任务需求与各可视化任务需求得到的用户偏好数据中的场景对象间的语义关系，计算场景对象与场景对象之间的特征相似度(指内容语义关联度量)、时间邻近度与空间重叠度从而获取语义关联度；语义关联度的公式为：
S＝ωc1×Pc1+ωt1×Pt1+ωs1×Ps1
其中，ωc1、ωt1和ωs1分别是用户偏好数据中的场景对象间内容语义关联度量Pc1特征相似度、时间邻近度Pt1与空间重叠度Ps1各参数对应的权重因子，权重因子相加和为1；
然后，结合语义关联度、更新前或更新后的地理场景数字孪生场景知识图谱与PageRank协同过滤算法，计算场景对象的需求度，如下式所示：
其中，PRo表示更新前或更新后的地理场景数字孪生场景知识图谱中节点O被访问的概率PR值，α表示在某节点停留时继续访问其他节点的概率，1-α表示停止访问其他节点的概率，r表示初始向量即可视化任务需求偏好向量，表示与节点O有入链关系的节点Pi相对中心节点的PR值，N表示与第i个节点Pi有出链关系的节点数量；
最后，根据场景对象的需求度对数据进行筛选，推荐最适合的场景对象种类与规模，即筛选得到场景对象对应的数据，或有效避免场景对象中信息过载或信息展示不全。
第二，基于扩展现实的场景展示级增强，即对经过上述增强后的用户偏好数据中的可视化表达方式进行场景展示级增强。
首先，人为分析经过步骤3.1增强后的用户偏好数据中可视化表达方式的展示特征，即分析VR、AR、MR等扩展可视化方式的展示特征，比如VR展示着重于虚拟世界中的临场感与真实感，AR与MR着重于虚拟与现实的信息互补；
其次，基于展示特征分析分析不同可视化表达方式对场景对象可视化的认知效率；公式为：
E＝RT(obj)+Des(obj)/Area
其中，E代表可视化的认知效率，值越高认知效率越优，RT(obj)是指找到任务目标的时间，Des(obj)是指在任务目标区域内眼动热点分布密度，Area是指任务目标区域的面积，任务目标是指让用户(所有人)在地理数字孪生场景中通过观察找到的场景对象；
最后，基于认知效率对各可视化任务需求选择可视化表达方式，再根据选择的可视化表达方式调度场景对象，实现场景可视化的展示级增强，即根据用户的实际任务需求，选择合适的扩展现实手段，根据可视化展示方式调度场景对象的信息，实现场景可视化的展示级增强。
第三，顾及语义约束的场景分析级增强，即基于经过上述增强后的用户偏好数据和语义约束进行场景分析级增强。
首先，提取出各个要素的语义关联，建立场景的语义约束，即提取出更新前或更新后的地理场景数字孪生场景知识图谱中用语义描述的语义关联，以建立场景对象的语义约束，其中，语义约束包括包含、邻接、上下方位的空间语义约束和关系语义约束；
然后，基于经过步骤3.2增强后的用户偏好数据和不同的语义约束，联合利用多视觉变量加强场景对象的关注度，或利用动态可视化表达方式对场景对象的事件过程的描述，或利用适宜性表达方法对场景对象的易读性来实现场景对象可视化的语义级增强；即
联合多种语义增强的可视化方式表现场景对象的信息，有效提升场景信息表达能力，实现场景可视化的语义级增强。
第四，认知引导的场景探索级增强，即基于经过上述增强后的用户偏好数据和认知引导模型进行场景探索级增强。
首先，基于经过上述增强后的用户偏好数据和用户的认知引导信息，建立用户探索分析的基本情景，即根据用户探索型可视化需求，综合考虑场景内容、表层信息、深层逻辑与时序关系等，结合增强后的用户偏好数据，建立满足用户探索分析的基本情景；
然后，通过梳理分析用户交互行为特征，对场景的可视化内容进行再组织，利用内容展现的时序表达深层逻辑，帮助用户在探索过程中加深对事物的认知，其中，用户交互行为是指在用户浏览场景时通过点击、缩放、旋转或漫游操作去关注某个场景对象，用户交互行为特征是指用户对场景的人机交互操作，包括选择、移动、缩放和旋转；
最后，联合表层信息与时序表达深度逻辑构建认知引导模型，协助用户在探索过程中快速获取所需信息，即实现可视化交互探索级增加，即得到重新组织的场景，提升数字孪生场景的可视化交互探索效率。过程公式为：
Sti＝M∪Hti(u)∪Pti(x,y,z)
其中，Sti为时间t中的第i个时刻场景范围，M为视角操作的方式，包括对整体场景进行观察或以第一人称视角的方式进行浏览，Hti为在时间t中的第i时刻，需要在地理数字孪生场景中重点展示的场景对象，u为用户类型，Hti(u)表示在时间t中的第i时刻将该用户特征有较强关联的场景对象重点显示，Pti(x,y,z)为在时间t中的第i时刻的视角位置，用于引导用户开始探索。
在得到多级增强可视化数据及方式后，对地理数字孪生场景进行可视化绘制，具体步骤为：
第一，基于眼动感知的感兴趣场景对象选择。
首先，剖析人眼视觉认知规律，研究眼动轨迹、注视点数量、注视时长以及瞳孔直径变化量等人眼视觉的生理参数；
然后，以关注场景对象的几何、纹理和语义等信息作为衡量因子；
最后，建立基于生理参数和衡量因子的环境信息视觉吸引力的兴趣度量模型。
其中，A为某场景下的视觉吸引力的兴趣度量模型，Bk为第k视觉吸引行为的注视时长，Dk为第k次视觉吸引行为的瞳孔直径，k为视觉吸引行为次数，k＝1,2,3,…,m；
根据公式得到兴趣度量值，记录感兴趣场景对象的几何信息、纹理信息、语义信息以及相应的兴趣度量值，对兴趣度量值进行排序，获得感兴趣对象的列表；
第二，用户行为驱动的场景数据智能预测，即在选择的感兴趣场景对象的驱动下进行未来时刻感兴趣场景对象智能预测。
首先，基于眼动仪检测后提取基于时间窗的用户兴趣特征、用户交互行为特征以及历史行为特征，其中，用户行为特征包括兴趣度量值和场景交互行为，场景交互行为包括点击、缩放、旋转和平移，用户兴趣特征是指观测的感兴趣场景对象，历史行为特征是指多个时间段的用户兴趣特征与用户交互行为特征；
然后，对提取的特征进行量化、标签化处理，结合用户长期行为特征和短期行为特征，建立基于反馈学习的循环神经网络模型；
最后，基于反馈学习的循环神经网络模型对用户行为特征预测未来时刻感兴趣场景对象，选择预测命中率、准确率与适应度为预测结果评价度量依据，通过用户行为特征分析，预测未来时刻感兴趣场景对象。
第三，感兴趣约束的场景适应性分析与动态调度，即基于选择的感兴趣场景的约束及预测得到的未来时刻感兴趣场景对象进行未来场景绘制。
首先采用感兴趣单元分级量化算法对感兴趣场景的感兴趣度量值和表达层次对未来时刻感兴趣场景对象进行单元划分与数据组织；
然后，基于单元划分与数据组织构建带有服务中断与动态优先权的动态调度排队模型，并优化渲染队列组织结构，即优化动态调度排队模型；
最后，通过几何裂缝消除与视觉一致性处理，进行场景对象调整优化，以维持场景视觉效果连续性，实现数字孪生场景的高效绘制，即通过几何裂缝消除与视觉一致性处理，采用动态调整优化算法调度优化后的渲染队列组织结构进行场景对象调整优化，实现地理数字孪生场景的绘制优化。
综上所述，绘制部分通过所有用户的眼动分析，来选择需要优化的场景对象，然后对场景对象进行优化。
因此，本案拟从新的角度、基于新的条件和新的方法来开展任务驱动的地理数字孪生场景增强可视化方法研究。包括多层次可视化任务模型以及数字孪生场景多级增强可视化方法。本项目在科学层面可为数字孪生场景可视化提供一种新的思路，促进虚拟地理环境与增强可视化理论和方法的发展；在技术上融合相关学科的研究成果，实现跨学科集成；在应用上服务于工程智能建造实际需求，具有广泛的应用价值和重大的现实意义。
Claims (8)
1.一种任务驱动的地理数字孪生场景增强可视化方法，其特征在于，包括如下步骤：
步骤1：基于地理场景获取多源异构数据，包括基础地理数据、地质数据以及实时监测数据；
步骤2：基于多源异构数据剖析场景对象、用户特征和可视化表达方式三者特征及其动态关联关系，并基于地理场景数字孪生场景知识图谱驱动的语义关联度量与知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；
步骤3：基于用户偏好数据得到数字孪生场景数据-展示-分析-探索多级增强可视化数据及方式；
步骤4：在得到多级增强可视化数据及方式后，对地理数字孪生场景进行可视化绘制；
所述步骤2具体步骤为：
步骤2.1：基于多源异构数据进行场景对象中的用户特征与可视化偏好分析，并与包括模式层和数据层的知识图谱进行知识映射，构建得到地理场景数字孪生场景知识图谱；
具体步骤为：
步骤2.11：基于多源异构数据进行用户偏好分析，用户偏好包括多层级用户特征、场景对象和可视化表达方式需求调查分析，其中，多层级用户特征包括工程建造、地理分析、环境管理和普通民众，普通民众为第一层，地埋分析为第二层，环境管理为第三层，工程建造为第四层，场景对象包括地理环境、地质构造、动态环境和构建筑物，可视化表达方式包括PC桌面端、VR/AR、数字大屏和手机移动端；
步骤2.12、基于步骤2.11得到的结果梳理不同用户偏好实体的概念关系和特征关系，其中，概念关联包括同位关系、父子关系、整体/部分关系和上下位关系，特征关系是描述不同实体特征之间的关系，包括用户特征实体之间的关系、用户特征实体与场景对象实体的关系、场景对象实体之间的关系、场景对象实体与可视化表达方式之间的关系；
步骤2.13：对步骤2.12得到的结果进行统一语义理解与关联映射，得到用户特征、场景对象以及可视化表达方式的关联关系，并将关联关系组织为三元组与包括模式层和数据层的知识图谱进行知识映射，即得到地理场景数字孪生场景知识图谱；
步骤2.14：对地理场景数字孪生场景知识图谱进行更新时，将其作为图模型，通过在图模型上随机游走，将其游走连通的各实体节点间在语义关联强度、关联类型、游走路径关系更新到地理场景数字孪生场景知识图谱中；
步骤2.2：基于地理场景数字孪生场景知识图谱驱动的语义关联度量和知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；
具体步骤为：
步骤2.21：将可视化任务需求划分为三类，以建立满足用户展示-分析-探索需求的多层次可视化任务模型，三类分别为对多维特征进行直观展现的展示型可视化任务，对数据背后的规律进行解释的分析型可视化任务，和对数据间潜在的、有价值的关系进行假设推理和验证的探索型可视化任务；
步骤2.22：人工分析更新前或更新后的地理场景数字孪生场景知识图谱中要素的实体与实体间的关联匹配程度，并将场景对象、可视化表达方式、用户特征和可视化任务需求转化为特征向量表达；
步骤2.23：基于转化得到的特征向量进行语义关联度计算，并基于语义关联度计算后确定的各可视化任务需求中要素的场景对象实体间的语义关联强度建立知识关联网络；
步骤2.24：根据知识关联网络计算内容语义关联度量Pc、时间邻近度Pt和空间重叠度Ps，并计算关联匹配度量筛选各可视化任务需求的用户偏好数据，关联匹配度量的公式为：
P＝ωc×Pc+ωt×Pt+ωs×Ps (1)
其中，ωc、ωt和ωs分别是知识关联网络的内容语义关联度量Pc、时间邻近度Pt和空间重叠度Ps对应的权重因子，权重因子相加的和为1，V1和V2分别表示场景对象1和场景对象2，V1＝(x1,x2,…,xn)，V2＝(y1,y2,…,yn)，T1表示场景对象1的获取时间，T2表示场景对象2的获取时间，A1表示场景对象1的空间范围，A2表示场景对象2的空间范围，β表示空间重叠度衰减因子，取值范围是0-1，A1和A2相交范围越多，则空间重叠度越高，越接近1，若A1和A2相等或是包含，则空间重叠度为1。
2.根据权利要求1所述的一种任务驱动的地理数字孪生场景增强可视化方法，其特征在于,所述步骤3的具体步骤为：
步骤3.1：对各可视化任务需求获取的用户偏好数据中的场景对象进行可视化增强；
步骤3.2：对经过步骤3.1增强后的用户偏好数据中的可视化表达方式进行场景展示级增强；
步骤3.3：基于经过步骤3.2增强后的用户偏好数据和语义约束进行场景分析级增强；
步骤3.4：基于经过步骤3.3增强后的用户偏好数据和认知引导模型进行场景探索级增强。
3.根据权利要求2所述的一种任务驱动的地理数字孪生场景增强可视化方法，其特征在于,所述步骤3.1的具体步骤为:
步骤3.11：获取各可视化任务需求得到的用户偏好数据中的场景对象间的语义关系，即计算场景对象与场景对象之间的内容语义关联度量、时间邻近度与空间重叠度获取语义关联度，语义关联度的公式为：
S＝ωc1×Pc1+ωt1×Pt1+ωs1×Ps1
其中，ωc1、ωt1和ωs1分别是用户偏好数据中的场景对象间内容语义关联度量Pc1特征相似度、时间邻近度Pt1与空间重叠度Ps1各参数对应的权重因子，权重因子相加和为1；
步骤3.12：结合语义关联度、更新前或更新后的地理场景数字孪生场景知识图谱与PageRank协同过滤算法，计算场景对象的需求度，公式为：
其中，PRo表示更新前或更新后的地理场景数字孪生场景知识图谱中节点O被访问的概率PR值，α表示在某节点停留时继续访问其他节点的概率，1-α表示停止访问其他节点的概率，r表示初始向量即可视化任务需求偏好向量，表示与节点O有入链关系的节点Pi相对中心节点的PR值，N表示与第i个节点Pi有出链关系的节点数量；
步骤3.13：根据场景对象的需求度对场景对象进行筛选，推荐场景对象种类与规模，即筛选得到场景对象对应的数据。
4.根据权利要求3所述的一种任务驱动的地理数字孪生场景增强可视化方法，其特征在于,所述步骤3.2的具体步骤为:
步骤3.21：人为分析经过步骤3.1增强后的用户偏好数据中可视化表达方式的展示特征，包括VR展示着重于虚拟世界中的临场感与真实感，AR与MR着重于虚拟与现实的信息互补；
步骤3.22：基于展示特征分析不同可视化表达方式对场景对象可视化的认知效率，公式为：
E＝RT(obj)+Des(obj)/Area
其中，E代表可视化的认知效率，值越高认知效率越优，RT(obj)是指找到任务目标的时间，Des(obj)是指在任务目标区域内眼动热点分布密度，Area是指任务目标区域的面积，任务目标是指让用户在地理数字孪生场景中通过观察找到的场景对象；
步骤3.23：基于认知效率对各可视化任务需求选择可视化表达方式，再根据选择的可视化表达方式调度场景对象，实现场景可视化的展示级增强。
5.根据权利要求4所述的一种任务驱动的地理数字孪生场景增强可视化方法，其特征在于,所述步骤3.3的具体步骤为:
步骤3.31：提取出更新前或更新后的地理场景数字孪生场景知识图谱中用语义描述的语义关联，以建立场景对象的语义约束，其中，语义约束包括包含、邻接、上下方位的空间语义约束和关系语义约束；
步骤3.32：基于经过步骤3.2增强后的用户偏好数据和不同的语义约束，联合利用多视觉变量加强场景对象的关注度，或利用动态可视化表达方式对场景对象的事件过程的描述，或利用适宜性表达方法对场景对象的易读性来实现场景对象可视化的语义级增强。
6.根据权利要求5所述的一种任务驱动的地理数字孪生场景增强可视化方法，其特征在于,所述步骤3.4的具体步骤为:
步骤3.41：基于经过步骤3.3增强后的用户偏好数据和用户的认知引导信息，建立用户探索分析的基本情景，其中，认知引导信息包括场景对象、表层信息、深层逻辑和时序关系；
步骤3.42：基于得到的基本情景，梳理分析用户交互行为特征对场景对象的可视化内容进行再组织，其中，用户交互行为是指在用户浏览场景时通过点击、缩放、旋转或漫游操作去关注某个场景对象，用户交互行为特征是指用户对场景的人机交互操作，包括选择、移动、缩放和旋转；
步骤3.43：联合表层信息与步骤3.42得到的再组织可视化内容展示的时序表达深度逻辑构建认知引导模型，实现可视化交互探索级增加，即得到重新组织的场景，过程公式为：
Sti＝M∪Hti(u)∪Pti(x,y,z)
其中，Sti为时间t中的第i个时刻场景范围，M为视角操作的方式，包括对整体场景进行观察或以第一人称视角的方式进行浏览，Hti为在时间t中的第i时刻，需要在地理数字孪生场景中重点展示的场景对象，u为用户类型，Hti(u)表示在时间t中的第i时刻将该用户特征有较强关联的场景对象重点显示，Pti(x,y,z)为在时间t中的第i时刻的视角位置，用于引导用户开始探索。
7.根据权利要求6所述的一种任务驱动的地理数字孪生场景增强可视化方法，其特征在于,所述步骤4的具体步骤为：
步骤4.1：基于眼动感知的感兴趣场景对象选择，即基于步骤3得到的结果和地理数字孪生场景设置感兴趣场景对象的信息，使用眼动仪获取人眼的生理参数构建兴趣度量模型，设置感兴趣场景对象的信息包括几何信息、纹理信息和语义信息，生理参数包括眼动轨迹、注视点数量、注视时长以及瞳孔直径变化量，构建兴趣度量模型的公式为：
其中，A为某场景下的视觉吸引力的兴趣度量模型，Bk为第k视觉吸引行为的注视时长，Dk为第k次视觉吸引行为的瞳孔直径，k为视觉吸引行为次数，k＝1,2,3,…,m；
根据公式得到兴趣度量值，记录感兴趣场景对象的几何信息、纹理信息、语义信息以及相应的兴趣度量值，对兴趣度量值进行排序，获得感兴趣对象的列表；
步骤4.2：在选择的感兴趣场景对象的驱动下进行未来时刻感兴趣场景对象智能预测，即基于眼动仪检测后提取基于时间窗的用户兴趣特征、用户交互行为特征以及历史行为特征，对提取的特征进行量化、标签化处理，结合用户长期行为特征和短期行为特征，建立基于反馈学习的循环神经网络模型对用户行为特征预测未来时刻感兴趣场景对象，其中，用户行为特征包括兴趣度量值和场景交互行为，场景交互行为包括点击、缩放、旋转和平移，用户兴趣特征是指观测的感兴趣场景对象，历史行为特征是指多个时间段的用户兴趣特征与用户交互行为特征；
步骤4.3：基于选择的感兴趣场景的约束及预测得到的未来时刻感兴趣场景对象进行未来场景绘制，即采用感兴趣单元分级量化算法对感兴趣场景的感兴趣度量值和表达层次对未来时刻感兴趣场景对象进行单元划分与数据组织；
基于单元划分与数据组织构建带有服务中断与动态优先权的动态调度排队模型，并优化渲染队列组织结构，即优化动态调度排队模型；
最后通过几何裂缝消除与视觉一致性处理，采用动态调整优化算法调度优化后的渲染队列组织结构进行场景对象调整优化，实现未来地理数字孪生场景的绘制优化。
8.一种任务驱动的地理数字孪生场景增强可视化系统，其特征在于，包括：
采集模块：基于地理场景获取多源异构数据，包括基础地理数据、地质数据以及实时监测数据；
用户偏好数据获取模块：基于多源异构数据剖析场景对象、用户特征和可视化表达方式三者特征及其动态关联关系，并基于地理场景数字孪生场景知识图谱驱动的语义关联度量与知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；
增强模块：基于用户偏好数据得到数字孪生场景数据-展示-分析-探索多级增强可视化数据及方式；
绘制模块：在得到多级增强可视化数据及方式后，对地理数字孪生场景进行可视化绘制；
所述用户偏好数据获取模块的具体实现步骤为：
步骤2.1：基于多源异构数据进行场景对象中的用户特征与可视化偏好分析，并与包括模式层和数据层的知识图谱进行知识映射，构建得到地理场景数字孪生场景知识图谱；
具体步骤为：
步骤2.11：基于多源异构数据进行用户偏好分析，用户偏好包括多层级用户特征、场景对象和可视化表达方式需求调查分析，其中，多层级用户特征包括工程建造、地理分析、环境管理和普通民众，普通民众为第一层，地埋分析为第二层，环境管理为第三层，工程建造为第四层，场景对象包括地理环境、地质构造、动态环境和构建筑物，可视化表达方式包括PC桌面端、VR/AR、数字大屏和手机移动端；
步骤2.12、基于步骤2.11得到的结果梳理不同用户偏好实体的概念关系和特征关系，其中，概念关联包括同位关系、父子关系、整体/部分关系和上下位关系，特征关系是描述不同实体特征之间的关系，包括用户特征实体之间的关系、用户特征实体与场景对象实体的关系、场景对象实体之间的关系、场景对象实体与可视化表达方式之间的关系；
步骤2.13：对步骤2.12得到的结果进行统一语义理解与关联映射，得到用户特征、场景对象以及可视化表达方式的关联关系，并将关联关系组织为三元组与包括模式层和数据层的知识图谱进行知识映射，即得到地理场景数字孪生场景知识图谱；
步骤2.14：对地理场景数字孪生场景知识图谱进行更新时，将其作为图模型，通过在图模型上随机游走，将其游走连通的各实体节点间在语义关联强度、关联类型、游走路径关系更新到地理场景数字孪生场景知识图谱中；
步骤2.2：基于地理场景数字孪生场景知识图谱驱动的语义关联度量和知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；
具体步骤为：
步骤2.21：将可视化任务需求划分为三类，以建立满足用户展示-分析-探索需求的多层次可视化任务模型，三类分别为对多维特征进行直观展现的展示型可视化任务，对数据背后的规律进行解释的分析型可视化任务，和对数据间潜在的、有价值的关系进行假设推理和验证的探索型可视化任务；
步骤2.22：人工分析更新前或更新后的地理场景数字孪生场景知识图谱中要素的实体与实体间的关联匹配程度，并将场景对象、可视化表达方式、用户特征和可视化任务需求转化为特征向量表达；
步骤2.23：基于转化得到的特征向量进行语义关联度计算，并基于语义关联度计算后确定的各可视化任务需求中要素的场景对象实体间的语义关联强度建立知识关联网络；
步骤2.24：根据知识关联网络计算内容语义关联度量Pc、时间邻近度Pt和空间重叠度Ps，并计算关联匹配度量筛选各可视化任务需求的用户偏好数据，关联匹配度量的公式为：
P＝ωc×Pc+ωt×Pt+ωs×Ps (1)
其中，ωc、ωt和ωs分别是知识关联网络的内容语义关联度量Pc、时间邻近度Pt和空间重叠度Ps对应的权重因子，权重因子相加的和为1，V1和V2分别表示场景对象1和场景对象2，V1＝(x1,x2,…,xn)，V2＝(y1,y2,…,yn)，T1表示场景对象1的获取时间，T2表示场景对象2的获取时间，A1表示场景对象1的空间范围，A2表示场景对象2的空间范围，β表示空间重叠度衰减因子，取值范围是0-1，A1和A2相交范围越多，则空间重叠度越高，越接近1，若A1和A2相等或是包含，则空间重叠度为1。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311312356 | 2023-10-11 | ||
| CN2023113123564 | 2023-10-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237574A CN117237574A (zh) | 2023-12-15 |
| CN117237574B true CN117237574B (zh) | 2024-03-26 |
Family
ID=89091117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311325775.1A Active CN117237574B (zh) | 2023-10-11 | 2023-10-13 | 任务驱动的地理数字孪生场景增强可视化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237574B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994416B (zh) * | 2023-12-18 | 2024-08-13 | 西南交通大学 | 数据与知识协同的公路隧道火灾环境孪生建模方法及系统 |
| CN117934781B (zh) * | 2024-03-18 | 2024-06-04 | 三体智慧网络科技(苏州)有限公司 | 基于数字孪生技术的虚拟场馆游览方法 |
| CN117934782B (zh) * | 2024-03-20 | 2024-05-31 | 虚拟现实(深圳)智能科技有限公司 | Xr扩展现实场景的构建方法、装置、设备及存储介质 |
| CN118657001A (zh) * | 2024-08-21 | 2024-09-17 | 江苏泽勤创文化科技有限公司 | 基于数字孪生的数据智能可视化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988946A (zh) * | 2021-05-07 | 2021-06-18 | 泰瑞数创科技(北京)有限公司 | 一种地理实体数据库用户定制化方法 |
| CN115937482A (zh) * | 2022-11-24 | 2023-04-07 | 西南交通大学 | 一种自适应屏幕尺寸的全息场景动态构建方法及系统 |
| CN116305914A (zh) * | 2023-03-14 | 2023-06-23 | 中国铁路设计集团有限公司 | 知识引导的铁路建造场景数字孪生建模方法 |
| WO2023129164A1 (en) * | 2021-12-30 | 2023-07-06 | Hitachi Vantara Llc | Digital twin sequential and temporal learning and explaining |
| CN116797412A (zh) * | 2023-06-20 | 2023-09-22 | 华中农业大学 | 一种基于知识图谱的景区数字孪生可视化展示与预警系统 |
-
2023
- 2023-10-13 CN CN202311325775.1A patent/CN117237574B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988946A (zh) * | 2021-05-07 | 2021-06-18 | 泰瑞数创科技(北京)有限公司 | 一种地理实体数据库用户定制化方法 |
| WO2023129164A1 (en) * | 2021-12-30 | 2023-07-06 | Hitachi Vantara Llc | Digital twin sequential and temporal learning and explaining |
| CN115937482A (zh) * | 2022-11-24 | 2023-04-07 | 西南交通大学 | 一种自适应屏幕尺寸的全息场景动态构建方法及系统 |
| CN116305914A (zh) * | 2023-03-14 | 2023-06-23 | 中国铁路设计集团有限公司 | 知识引导的铁路建造场景数字孪生建模方法 |
| CN116797412A (zh) * | 2023-06-20 | 2023-09-22 | 华中农业大学 | 一种基于知识图谱的景区数字孪生可视化展示与预警系统 |
Non-Patent Citations (4)
| Title |
|---|
| Digital twin-enabled dynsmic spatial-temporal knowledge graph for prodution logigtics resource allocation;Zhiheng Zhao等;《Computers & Industrial Engineering》;20220930;第171卷;1-10 * |
| 从实景三维建模到数字孪生建模;朱庆等;《测绘学报》;20220223;第51卷(第6期);1040-1049 * |
| 多源数据环境下产业竞争情报智慧服务平台构建研究——以"三元世界"和CPSS理论为基础;高志豪等;《情报学报》;20230724;第42卷(第7期);775-789 * |
| 实景三维空间信息平台与数字孪生川藏铁路;朱庆;朱军;黄华平;王玮;张利国;;高速铁路技术;20200428(02);50-57 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237574A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117237574B (zh) | 任务驱动的地理数字孪生场景增强可视化方法及系统 | |
| WO2019184052A1 (zh) | 一种基于地图的教育大数据分析方法及系统 | |
| Mohammadi et al. | Knowledge discovery in smart city digital twins | |
| D’Aniello et al. | An approach based on semantic stream reasoning to support decision processes in smart cities | |
| Gutiérrez et al. | On the use of information fusion techniques to improve information quality: Taxonomy, opportunities and challenges | |
| CN113656647A (zh) | 一种面向智能运维的工程档案数据管理平台、方法及系统 | |
| Shen et al. | A scenario-driven decision support system for serious crime investigation | |
| Wu et al. | Research themes of geographical information science during 1991–2020: a retrospective bibliometric analysis | |
| CN117171355A (zh) | 一种文化基因知识图谱的构建方法及装置 | |
| CN111797333A (zh) | 舆情传播任务展示的方法及装置 | |
| Wang | The digital presentation of human-oriented urban design | |
| Tavra et al. | Unpacking the role of volunteered geographic information in disaster management: focus on data quality | |
| Dan | Intelligent English resource recommendation and teaching effect based on symmetric SDAE collaborative filtering algorithm | |
| Casillo et al. | The Role of AI in Improving Interaction With Cultural Heritage: An Overview | |
| CN114417166B (zh) | 基于行为序列和动态社交影响的连续兴趣点推荐方法 | |
| Gaona-García et al. | Usability of big data resources in visual search interfaces of repositories based on KOS | |
| Jiao et al. | Neural network data mining clustering optimization algorithm | |
| Claramunt et al. | A brief review of the evolution of GIScience since the NCGIA research agenda initiatives | |
| Hu et al. | GeoEntity-type constrained knowledge graph embedding for predicting natural-language spatial relations | |
| CN114547408B (zh) | 一种基于细粒度学生时空行为异质网表征的相似学生搜索方法 | |
| CN117112859B (zh) | 人口移动演化的显示方法、装置及计算机可读存储介质 | |
| Guan | An online education course recommendation method based on knowledge graphs and reinforcement learning | |
| Zhu et al. | Personalized matching system of learning resources based on multi-dimensional user portrait using hybrid recommendation algorithm combining artificial intelligence | |
| Lin et al. | Research on Precise Ideological and Political Education in Colleges and Universities Based on the Analysis of Student Group Portraits | |
| Huang et al. | Detecting hotspots in interdisciplinary research based on overlapping community detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |