CN108734786B - 实景三维增强现实可视化系统及方法 - Google Patents

实景三维增强现实可视化系统及方法 Download PDF

Info

Publication number
CN108734786B
CN108734786B CN201710818778.7A CN201710818778A CN108734786B CN 108734786 B CN108734786 B CN 108734786B CN 201710818778 A CN201710818778 A CN 201710818778A CN 108734786 B CN108734786 B CN 108734786B
Authority
CN
China
Prior art keywords
image
current viewport
current
projection
optimal image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710818778.7A
Other languages
English (en)
Other versions
CN108734786A (zh
Inventor
宋彩虹
陈家兴
袁俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianjihang Information Technologies Inc ltd
Original Assignee
Wuhan Tianjihang Information Technologies Inc ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianjihang Information Technologies Inc ltd filed Critical Wuhan Tianjihang Information Technologies Inc ltd
Priority to CN201710818778.7A priority Critical patent/CN108734786B/zh
Publication of CN108734786A publication Critical patent/CN108734786A/zh
Application granted granted Critical
Publication of CN108734786B publication Critical patent/CN108734786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的实景三维增强现实可视化系统的最优影像查找装置，包括：基准四边形确定模块，利用地形或地形所在平面在当前视口四个角的交点构建一个四边形作为基准四边形；影像视椎体构建模块，根据当前影像的视图矩阵和投影矩阵构建影像视椎体；影像权值计算模块，计算影像视椎体与基准四边形相交的当前影像主光轴方向和当前视口主光轴方向之间角度的余弦值，将余弦值与当前视口中心点在影像所在投影屏面上的投影坐标到影像中心点的投影距离取反得到的负数相加作为当前影像的权值；以及最优影像确定模块，将影像权值最高的影像作为当前视口的最优影像。本发明使所有的影像都达到可进行坐标量测的高精度，并实现像实景三维一样的自由浏览和切换。

Description

实景三维增强现实可视化系统及方法
技术领域
本发明涉及三维全景增强现实技术，特别涉及一种最优影像查找技术及实景三维增强现实可视化技术。
背景技术
倾斜摄影技术是国际测绘领域近些年发展起来的一项高新技术。它改变了以往航空摄影测量只能使用单一相机从垂直角度拍摄地物的局限，通过在同一飞行平台上搭载多台传感器，同时从垂直、侧视和前后视等不同角度采集影像。倾斜影像不仅能真实反映地物情况，还通过采用如GPS定位、北斗定位等先进的定位技术，嵌入精确的地理信息、丰富的影像信息，给用户呈现出一个五彩缤纷的三维世界，获得身临其境的体验。
因为倾斜模型数据本身是由三角面片加纹理结合而成，所以在数据浏览时建筑会出现影像分辨率不高和小部件(路灯、电塔、垃圾桶等)丢失等效果。
发明内容
本发明鉴于现有技术的上述现状，其目的在于提供一种能够以高分辨率和精准的细节表现三维实景的实景三维增强现实可视化技术，具体提供实景三维增强现实可视化系统的最优影像查找方法及装置、实景三维增强现实可视化方法及系统。
本发明的一实施例的实景三维增强现实可视化系统的最优影像查找方法，包括：基准四边形确定步骤，利用地形或地形所在平面在当前视口四个角的交点构建一个四边形作为基准四边形；影像视椎体构建步骤，根据当前影像的视图矩阵和投影矩阵构建影像视椎体；影像权值计算步骤，计算所述影像视椎体与所述基准四边形相交的当前影像的主光轴方向和当前视口主光轴方向之间角度的余弦值，将所述余弦值与当前视口中心点在影像所在投影屏面上的投影坐标到影像中心点的投影距离取反得到的负数相加作为当前影像的权值；以及最优影像确定步骤，将所述影像权值最高的影像作为当前视口的最优影像。
与此对应的实景三维增强现实可视化系统的最优影像查找装置，包括：基准四边形确定模块，利用地形或地形所在平面在当前视口四个角的交点构建一个四边形作为基准四边形；影像视椎体构建模块，根据当前影像的视图矩阵和投影矩阵构建影像视椎体；影像权值计算模块，计算所述影像视椎体与所述基准四边形相交的当前影像的主光轴方向和当前视口主光轴方向之间角度的余弦值，将所述余弦值与当前视口中心点在影像所在投影屏面上的投影坐标到影像中心点的投影距离取反得到的负数相加作为当前影像的权值；以及最优影像确定模块，将所述影像权值最高的影像作为当前视口的最优影像。
本发明的另一实施例的实景三维增强现实可视化方法，包括：最优影像查找步骤，根据所述的最优影像查找方法查找当前视口中最优的影像；自由视图显示步骤，若当前视口中未找到最优影像，则直接显示自由视图供浏览；视角旋转切换影像重投影步骤，若找到当前视口中最优影像，则利用所述最优影像进行重投影。
进一步，所述的实景三维增强现实可视化方法，所述视角旋转切换影像重投影步骤包括：过渡效果实施步骤，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过渡效果；切换投影矩阵设置步骤，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及投影步骤，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。
与此对应的实景三维增强现实可视化系统，包括：最优影像查找模块，根据所述的最优影像查找装置查找当前视口中最优的影像；自由视图显示模块，若当前视口中未找到最优影像，则直接显示自由视图供浏览；视角旋转切换影像重投影模块，若找到当前视口中最优影像，则利用所述最优影像进行重投影。
进一步，所述的实景三维增强现实可视化系统，所述视角旋转切换影像重投影模块包括：过渡效果实施模块，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过渡效果；切换投影矩阵设置模块，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及投影模块，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。
另一实施例的实景三维增强现实可视化方法，包括：视角平移步骤，当视口平移时，根据视口在屏幕上的平移距离得到投影平面的平移矩阵，将所述平移矩阵与当前视口的投影矩阵相乘作为目标投影矩阵进行视角平移；影像切换需求判断步骤，计算当前视口区域与当前影像区域的相交区域，进一步计算所述相交区域与所述当前视口区域的比值，若所述比值为80％以上，则判断为不需要切换影像，若所述比值小于80％，则判断为需要切换影像；最优影像查找步骤，若在所述影像切换需求判断步骤判断为需要切换影像，则根据所述的最优影像查找方法查找当前视口中最优的影像；自由视图显示步骤，若当前视口中未找到最优影像，则直接显示自由视图供浏览；以及视角旋转切换影像重投影步骤，若找到当前视口中最优影像，则利用所述最优影像进行重投影。
进一步，所述的实景三维增强现实可视化方法，所述视角旋转切换影像重投影步骤包括：过渡效果实施步骤，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过渡效果；切换投影矩阵设置步骤，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及投影步骤，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。
与此对应的实景三维增强现实可视化系统，包括：视角平移模块，当视口平移时，根据视口在屏幕上的平移距离得到投影平面的平移矩阵，将所述平移矩阵与当前视口的投影矩阵相乘作为目标投影矩阵进行视角平移；影像切换需求判断模块，计算当前视口区域与当前影像区域的相交区域，进一步计算所述相交区域与所述当前视口区域的比值，若所述比值为80％以上，则判断为不需要切换影像，若所述比值小于80％，则判断为需要切换影像；最优影像查找模块，若在所述影像切换需求判断模块判断为需要切换影像，则由所述的最优影像查找装置查找当前视口中最优的影像；自由视图显示模块，若当前视口中未找到最优影像，则直接显示自由视图供浏览；以及视角旋转切换影像重投影模块，若找到当前视口中最优影像，则利用所述最优影像进行重投影。
进一步，所述的实景三维增强现实可视化系统，所述视角旋转切换影像重投影模块包括：过渡效果实施模块，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过渡效果；切换投影矩阵设置模块，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及投影模块，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。
本发明的各方案，具有如下的技术效果：
(1)因为采用了包括每张影像的视图矩阵及投影矩阵等空三数据，使所有的影像都能达到高精度，可进行坐标量测。
(2)因为实现了最优影像查找功能和旋转切换投影功能，使影像能够实现像实景三维一样的自由浏览和切换。
(3)因为采用了平滑过渡效果，使影像浏览时体验更好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面对具体实施方式部分中所需要使用的附图做简单介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是第一实施例的实景三维增强现实可视化系统的最优影像查找装置的框图。
图2是所述最优影像查找装置的最优影像查找方法的流程图。
图3是第二实施例的实景三维增强现实可视化系统的框图。
图4是第二实施例的实景三维增强现实可视化系统中视角旋转切换影像重投影模块的框图。
图5是第二实施例的实景三维增强现实可视化方法的流程图。
图6是第二实施例的视角旋转切换影像重投影步骤的详细过程的框图。
图7是第三实施例的实景三维增强现实可视化系统的框图。
图8是第三实施例的实景三维增强现实可视化系统中视角旋转切换影像重投影模块的框图。
图9是第三实施例的实景三维增强现实可视化方法的流程图。
图10是第三实施例的视角旋转切换影像重投影步骤的详细过程的框图。
具体实施方式
下面，参考附图更详细地说明本发明的实施方式。本发明的实施例可以变形为各种方式，本发明的范围不应解释为限定于下面说明的实施例。
<第一实施例>
首先，结合图1和2，具体说明本发明的第一实施例的实景三维增强现实可视化系统中最优影像查找装置及最优影像查找方法。
图1是第一实施例的实景三维增强现实可视化系统的最优影像查找装置的框图。图2是所述最优影像查找装置的最优影像查找方法的流程图。
如图1所示，第一实施例的实景三维增强现实可视化系统中最优影像查找装置100是基于原始空三数据(包含每张影像的视图矩阵M(v)以及投影矩阵M(p)))进行匹配查找最优影像。其具体包括：基准四边形确定模块110、影像视椎体构建模块120、影像权值计算模块130以及最优影像确定模块140。
其中，基准四边形确定模块110利用地形或地形所在平面在当前视口四个角的交点V1、V2、V3、V4构建一个四边形，作为基准四边形Polygon。
影像视椎体构建模块120根据当前影像的视图矩阵M(v)和投影矩阵M(p)构建影像视椎体Prism。
影像权值计算模块130计算所述影像视椎体Prism与所述基准四边形Polygon相交的当前影像主光轴方向V(img)和当前视口主光轴方向V(view)之间角度θ的余弦值余弦值cosθ，将所述余弦值余弦值cosθ与当前视口中心点V(center)在影像所在投影屏面上的投影坐标V(p)到影像中心点O(img)的投影距离Dis取反，并将得到的负数相加作为当前影像的权值W。
V(p)＝V(center)*M(v)*M(p)
Dis＝(V(p)-O(img)).length*(-1)
cosθ＝V(img)*V(view)
W＝Dis+cosθ
最优影像确定模块140将所述影像权值W最高的影像作为当前视口的最优影像。
如图2所示，实景三维增强现实可视化系统中最优影像查找方法是基于原始空三数据(包含每张影像的视图矩阵M(v)以及投影矩阵M(p)))进行匹配查找最优影像。其具体包括基准四边形确定步骤S110、影像视椎体构建步骤S120、影像权值计算步骤S130以及最优影像确定步骤S140。
在基准四边形确定步骤S110，利用地形或地形所在平面在当前视口四个角的交点V1、V2、V3、V4构建一个四边形，作为基准四边形Polygon。
之后，对所有待检查影像，在影像视椎体构建步骤S120，根据当前影像的视图矩阵M(v)和投影矩阵M(p)构建影像视椎体Prism。
在影像权值计算步骤S130，计算所述影像视椎体Prism与所述基准四边形Polygon相交的当前影像主光轴方向V(img)和当前视口主光轴方向V(view)之间角度θ的余弦值余弦值cosθ，将所述余弦值余弦值cosθ与当前视口中心点V(center)在影像所在投影屏面上的投影坐标V(p)到影像中心点O(img)的投影距离Dis取反，并将得到的负数相加作为当前影像的权值W。
V(p)＝V(center)*M(v)*M(p)
Dis＝(V(p)-O(img)).length*(-1)
cosθ＝V(img)*V(view)
W＝Dis+cosθ
最后，在最优影像确定步骤S140，将所述影像权值W最高的影像作为当前视口的最优影像。
本实施例的实景三维增强现实可视化系统中最优影像查找装置及最优影像查找方法，由于采用空三数据查找最优影像，所以使所有的影像都能达到高精度，可进行坐标量测。
<第二实施例>
下面，结合图3-图6，具体说明本发明的第二实施例的实景三维增强现实可视化系统及方法。
图3是第二实施例的实景三维增强现实可视化系统的框图。图4是第二实施例的实景三维增强现实可视化系统中视角旋转切换影像重投影模块的框图。图5是第二实施例的实景三维增强现实可视化方法的流程图。图6是第二实施例的视角旋转切换影像重投影步骤的详细过程的框图。
如图3所示，第二实施例的实景三维增强现实可视化系统200包括最优影像查找模块210、自由视图显示模块220以及视角旋转切换影像重投影模块230。
最优影像查找模块210根据实施例1中所述的最优影像查找装置100查找当前视口中最优的影像。若当前视口中未找到最优影像，则由自由视图显示模块220直接显示自由视图供浏览。若找到当前视口中最优影像，则由视角旋转切换影像重投影模块230利用所述最优影像进行重投影。
如图4所示，视角旋转切换影像重投影模块230包括过渡效果实施模块231、切换投影矩阵设置模块232以及投影模块233。
具体来说，在当前视口中找到最优影像后，过渡效果实施模块231以当前视口中心点V(center)作为原点，将当前视口相机旋转到所述最优影像image的主光轴的方向做过渡效果。
切换投影矩阵设置模块232，将所述最优影像的视图矩阵M(imgV)设置为当前视口的视图矩阵M(v)，设当前视口相机位到所述当前视口中心点V(center)的距离与所述最优影像image相机位到所述当前视口中心点V(center)的距离的比值为缩放量M(s)，将当前视口中心点V(center)在影像投影平面的平移量M(t)、所述缩放量M(s)以及当前影像投影矩阵M(imgP)相乘作为切换投影矩阵M(cp)。
M(t)＝V(Center)*M(imgV)*M(imgP)
M(s)＝Dis1/Dis2
M(cp)＝M(imgP)*M(t)*M(s)
投影模块233按照所述切换投影矩阵M(cp)，将所述最优影像image渲染到三维场景中。
如图5所示，第二实施例的实景三维增强现实可视化方法包括最优影像查找步骤S210、自由视图显示步骤S220以及视角旋转切换影像重投影步骤S230。
在显示三维增强现实实景时，首先在最优影像查找步骤S210，根据实施例1中所述的最优影像查找方法查找当前视口中最优的影像。若当前视口中未找到最优影像，则在自由视图显示步骤S220直接显示自由视图供浏览。若找到当前视口中最优影像，则在视角旋转切换影像重投影步骤S230利用所述最优影像进行重投影。
如图6所示，视角旋转切换影像重投影步骤S230包括过渡效果实施步骤S231、切换投影矩阵设置步骤S232以及投影步骤S233。
具体来说，在当前视口中找到最优影像后，在过渡效果实施步骤S231，将当前视口相机旋转到所述最优影像image的主光轴的方向做过渡效果。
实施过渡效果时的各参数及时间关系如下。
首先，计算当前视口主光轴方向V(view)与影像主光轴方向V(img)的夹角θ，根据θ的大小计算旋转时间T，并计算旋转的角速度a。
θ＝acos(V(view)*V(img))
T＝θ/(π/2)
之后，计算前后两帧之间的时间差T(Δ)，并根据T(Δ)计算相机旋转矩阵M(r)以及旋转之后的方向V(cv)。
M(r)＝M(a*T(Δ))
V(cv)＝V(view)*M(r)
计算当前视口相机位到V(center)的距离Dis，根据相机旋转之后的方向V(cv)，并以V(Center)为原点计算相机旋转之后的位置V(pos)。
V(pos)＝V(Center)-V(cv)*Dis
计算相机旋转后的向上方向V(up)，并以V(pos)、V(cv)、V(up)构建相机旋转之后的矩阵M(v)作为当前相机的视图矩阵。
计算剩余时间T(d)＝T-T(Δ)，如果T(d)大于0则继续a)，否则过渡效果结束。
之后，在切换投影矩阵设置步骤S232，将所述最优影像的视图矩阵M(imgV)设置为当前视口的视图矩阵M(v)，设当前视口相机位到所述当前视口中心点V(center)的距离与所述最优影像image相机位到所述当前视口中心点V(center)的距离的比值为缩放量M(s)，将当前视口中心点V(center)在影像投影平面的平移量M(t)、所述缩放量M(s)以及当前影像投影矩阵M(imgP)相乘作为切换投影矩阵M(cp)。
M(t)＝V(Center)*M(imgV)*M(imgP)
M(s)＝Dis1/Dis2
M(cp)＝M(imgP)*M(t)*M(s)
最后，在投影步骤S233按照所述切换投影矩阵M(cp)，将所述最优影像image渲染到三维场景中。
本实施例的实景三维增强现实可视化系统及方法，由于采用空三数据查找最优影像，所以使所有的影像都能达到高精度，可进行坐标量测。并且，本实施例的实景三维增强现实可视化系统及方法，由于使用最优影像进行切换，使影像能够实现像实景三维一样的自由浏览和切换。另外，由于采用了平滑过渡效果，使影像浏览时体验更好。
<第三实施例>
下面，结合图7-图10，具体说明本发明的第三实施例的实景三维增强现实可视化系统及方法。
图7是第三实施例的实景三维增强现实可视化系统的框图。图8是第三实施例的实景三维增强现实可视化系统中视角旋转切换影像重投影模块的框图。图9是第三实施例的实景三维增强现实可视化方法的流程图。图10是第三实施例的视角旋转切换影像重投影步骤的详细过程的框图。
如图7所示，第三实施例的实景三维增强现实可视化系统300包括视角平移模块310、影像切换需求判断模块320、最优影像查找模块330、自由视图显示模块340以及视角旋转切换影像重投影模块350。
当视口平移时，视角平移模块310根据视口在屏幕上的平移距离Dis得到投影平面的平移矩阵M(t)，将所述平移矩阵M(t)与当前视口的投影矩阵M(p)相乘作为目标投影矩阵M(cp)进行视角平移。
M(cp)＝M(p)*M(t)
影像切换需求判断模块320计算当前视口区域Polygon(v)与当前影像区域Polygon(img)的相交区域Polygon(i)，进一步计算所述相交区域Polygon(i)与所述当前视口区域Polygon(v)的比值Ratio，若所述比值Ratio为80％以上，则判断为不需要切换影像，若所述比值Ratio小于80％，则判断为需要切换影像。
若在所述影像切换需求判断模块判断为需要切换影像，则最优影像查找模块330由实施例1中所述的最优影像查找装置100查找当前视口中最优的影像。
若当前视口中未找到最优影像，则自由视图显示模块340直接显示自由视图供浏览。
若找到当前视口中最优影像，则视角旋转切换影像重投影模块350利用所述最优影像进行重投影。
如图8所示，视角旋转切换影像重投影模块350包括过渡效果实施模块351、切换投影矩阵设置模块352以及投影模块353。
具体来说，在当前视口中找到最优影像后，过渡效果实施模块351以当前视口中心点V(center)作为原点，将当前视口相机旋转到所述最优影像image的主光轴的方向做过渡效果。
切换投影矩阵设置模块352将所述最优影像的视图矩阵M(imgV)设置为当前视口的视图矩阵M(v)，设当前视口相机位到所述当前视口中心点V(center)的距离与所述最优影像image相机位到所述当前视口中心点V(center)的距离的比值为缩放量M(s)，将当前视口中心点V(center)在影像投影平面的平移量M(t)、所述缩放量M(s)以及当前影像投影矩阵M(imgP)相乘作为切换投影矩阵M(cp)。
M(t)＝V(Center)*M(imgV)*M(imgP)
M(s)＝Dis1/Dis2
M(cp)＝M(imgP)*M(t)*M(s)
投影模块353按照所述切换投影矩阵M(cp)，将所述最优影像image渲染到三维场景中。
如图9所示，第二实施例的实景三维增强现实可视化方法包括视角平移步骤S310、影像切换需求判断步骤S320、最优影像查找步骤S330、自由视图显示步骤S340以及视角旋转切换影像重投影步骤S350。
当视口平移时，在视角平移步骤S310，根据视口在屏幕上的平移距离Dis得到投影平面的平移矩阵M(t)，将所述平移矩阵M(t)与当前视口的投影矩阵M(p)相乘作为目标投影矩阵M(cp)进行视角平移。
M(cp)＝M(p)*M(t)
在影像切换需求判断步骤S320，计算当前视口区域Polygon(v)与当前影像区域Polygon(img)的相交区域Polygon(i)，进一步计算所述相交区域Polygon(i)与所述当前视口区域Polygon(v)的比值Ratio，若所述比值Ratio为80％以上，则判断为不需要切换影像，若所述比值Ratio小于80％，则判断为需要切换影像。
若在所述影像切换需求判断步骤判断为需要切换影像，则在最优影像查找步骤S330，根据实施例1中所述的最优影像查找方法查找当前视口中最优的影像。
若当前视口中未找到最优影像，则在自由视图显示步骤S340直接显示自由视图供浏览。
若找到当前视口中最优影像，则在视角旋转切换影像重投影步骤S350，利用所述最优影像进行重投影。
如图10所示，所述视角旋转切换影像重投影步骤S350包括过渡效果实施步骤S351、切换投影矩阵设置步骤S352以及投影步骤S353。
具体来说，在当前视口中找到最优影像后，在过渡效果实施步骤S351，以当前视口中心点V(center)作为原点，将当前视口相机旋转到所述最优影像image的主光轴的方向做过渡效果。
在切换投影矩阵设置步骤S352将所述最优影像的视图矩阵M(imgV)设置为当前视口的视图矩阵M(v)，设当前视口相机位到所述当前视口中心点V(center)的距离与所述最优影像image相机位到所述当前视口中心点V(center)的距离的比值为缩放量M(s)，将当前视口中心点V(center)在影像投影平面的平移量M(t)、所述缩放量M(s)以及当前影像投影矩阵M(imgP)相乘作为切换投影矩阵M(cp)。
M(t)＝V(Center)*M(imgV)*M(imgP)
M(s)＝Dis1/Dis2
M(cp)＝M(imgP)*M(t)*M(s)
在投影步骤S353按照所述切换投影矩阵M(cp)，将所述最优影像image渲染到三维场景中。
本实施例的实景三维增强现实可视化系统及方法，由于采用空三数据查找最优影像，所以使所有的影像都能达到高精度，可进行坐标量测。并且，本实施例的实景三维增强现实可视化系统及方法，由于使用最优影像进行切换，使影像能够实现像实景三维一样的自由浏览和切换。另外，由于采用了平滑过渡效果，使影像浏览时体验更好。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
产业实用性
本发明的各实施例给出的实施方案以及技术思想可应用于数字摄影测量的各个领域。

Claims (10)

1.一种实景三维增强现实可视化系统的最优影像查找装置，其特征在于，
包括：
基准四边形确定模块，利用地形或地形所在平面在当前视口四个角的交点构建一个四边形作为基准四边形；
影像视椎体构建模块，根据当前影像的视图矩阵和投影矩阵构建影像视椎体；
影像权值计算模块，计算所述影像视椎体与所述基准四边形相交的当前影像的主光轴方向和当前视口主光轴方向之间角度的余弦值，将所述余弦值与当前视口中心点在影像所在投影屏面上的投影坐标到影像中心点的投影距离取反得到的负数相加作为当前影像的权值；以及
最优影像确定模块，将所述影像权值最高的影像作为当前视口的最优影像。
2.一种实景三维增强现实可视化系统，其特征在于，包括：
最优影像查找模块，根据权利要求1所述的最优影像查找装置查找当前视口中最优的影像；
自由视图显示模块，若当前视口中未找到最优影像，则直接显示自由视图供浏览；
视角旋转切换影像重投影模块，若找到当前视口中最优影像，则利用所述最优影像进行重投影。
3.如权利要求2所述的实景三维增强现实可视化系统，其特征在于，
所述视角旋转切换影像重投影模块包括：
过渡效果实施模块，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过渡效果；
切换投影矩阵设置模块，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及
投影模块，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。
4.一种实景三维增强现实可视化系统，其特征在于，包括：
视角平移模块，当视口平移时，根据视口在屏幕上的平移距离得到投影平面的平移矩阵，将所述平移矩阵与当前视口的投影矩阵相乘作为目标投影矩阵进行视角平移；
影像切换需求判断模块，计算当前视口区域与当前影像区域的相交区域，进一步计算所述相交区域与所述当前视口区域的比值，若所述比值为80％以上，则判断为不需要切换影像，若所述比值小于80％，则判断为需要切换影像；
最优影像查找模块，若在所述影像切换需求判断模块判断为需要切换影像，则由权利要求1所述的最优影像查找装置查找当前视口中最优的影像；
自由视图显示模块，若当前视口中未找到最优影像，则直接显示自由视图供浏览；以及
视角旋转切换影像重投影模块，若找到当前视口中最优影像，则利用所述最优影像进行重投影。
5.如权利要求4所述的实景三维增强现实可视化系统，其特征在于，
所述视角旋转切换影像重投影模块包括：
过渡效果实施模块，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过渡效果；
切换投影矩阵设置模块，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及
投影模块，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。
6.一种实景三维增强现实可视化系统的最优影像查找方法，其特征在于，包括：
基准四边形确定步骤，利用地形或地形所在平面在当前视口四个角的交点构建一个四边形作为基准四边形；
影像视椎体构建步骤，根据当前影像的视图矩阵和投影矩阵构建影像视椎体；
影像权值计算步骤，计算所述影像视椎体与所述基准四边形相交的当前影像的主光轴方向和当前视口主光轴方向之间角度的余弦值，将所述余弦值与当前视口中心点在影像所在投影屏面上的投影坐标到影像中心点的投影距离取反得到的负数相加作为当前影像的权值；以及
最优影像确定步骤，将所述影像权值最高的影像作为当前视口的最优影像。
7.一种实景三维增强现实可视化方法，其特征在于，包括：
最优影像查找步骤，根据权利要求6所述的最优影像查找方法查找当前视口中最优的影像；
自由视图显示步骤，若当前视口中未找到最优影像，则直接显示自由视图供浏览；
视角旋转切换影像重投影步骤，若找到当前视口中最优影像，则利用所述最优影像进行重投影。
8.如权利要求7所述的实景三维增强现实可视化方法，其特征在于，
所述视角旋转切换影像重投影步骤包括：
过渡效果实施步骤，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过渡效果；
切换投影矩阵设置步骤，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及
投影步骤，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。
9.一种实景三维增强现实可视化方法，其特征在于，包括：
视角平移步骤，当视口平移时，根据视口在屏幕上的平移距离得到投影平面的平移矩阵，将所述平移矩阵与当前视口的投影矩阵相乘作为目标投影矩阵进行视角平移；
影像切换需求判断步骤，计算当前视口区域与当前影像区域的相交区域，进一步计算所述相交区域与所述当前视口区域的比值，若所述比值为80％以上，则判断为不需要切换影像，若所述比值小于80％，则判断为需要切换影像；
最优影像查找步骤，若在所述影像切换需求判断步骤判断为需要切换影像，则根据权利要求6所述的最优影像查找方法查找当前视口中最优的影像；
自由视图显示步骤，若当前视口中未找到最优影像，则直接显示自由视图供浏览；以及
视角旋转切换影像重投影步骤，若找到当前视口中最优影像，则利用所述最优影像进行重投影。
10.如权利要求9所述的实景三维增强现实可视化方法，其特征在于，
所述视角旋转切换影像重投影步骤包括：
过渡效果实施步骤，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过渡效果；
切换投影矩阵设置步骤，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及
投影步骤，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。
CN201710818778.7A 2017-09-12 2017-09-12 实景三维增强现实可视化系统及方法 Active CN108734786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710818778.7A CN108734786B (zh) 2017-09-12 2017-09-12 实景三维增强现实可视化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710818778.7A CN108734786B (zh) 2017-09-12 2017-09-12 实景三维增强现实可视化系统及方法

Publications (2)

Publication Number Publication Date
CN108734786A CN108734786A (zh) 2018-11-02
CN108734786B true CN108734786B (zh) 2021-07-27

Family

ID=63940876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710818778.7A Active CN108734786B (zh) 2017-09-12 2017-09-12 实景三维增强现实可视化系统及方法

Country Status (1)

Country Link
CN (1) CN108734786B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801376A (zh) * 2019-01-30 2019-05-24 宁波市测绘设计研究院 一种移动端倾斜模型数据的可视化方法
CN112346868B (zh) * 2020-11-06 2024-03-12 航天科工(北京)空间信息应用股份有限公司 海量遥感影像发布和动态切片方法和装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
EP2728548A2 (en) * 2012-10-31 2014-05-07 The Boeing Company Automated frame of reference calibration for augmented reality
CN103854283A (zh) * 2014-02-21 2014-06-11 北京理工大学 一种基于在线学习的移动增强现实跟踪注册方法
CN106251403A (zh) * 2016-06-12 2016-12-21 深圳超多维光电子有限公司 一种虚拟立体场景实现的方法、装置和系统
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286718B2 (en) * 2013-09-27 2016-03-15 Ortery Technologies, Inc. Method using 3D geometry data for virtual reality image presentation and control in 3D space

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2728548A2 (en) * 2012-10-31 2014-05-07 The Boeing Company Automated frame of reference calibration for augmented reality
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN103854283A (zh) * 2014-02-21 2014-06-11 北京理工大学 一种基于在线学习的移动增强现实跟踪注册方法
CN106251403A (zh) * 2016-06-12 2016-12-21 深圳超多维光电子有限公司 一种虚拟立体场景实现的方法、装置和系统
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Collaborative Augmented Reality Ping-pong via Markerless Real Rackets;Yong Yan 等;《2011 International Conference on Virtual Reality and Visualization》;20111201;第136-143页 *

Also Published As

Publication number Publication date
CN108734786A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
EP3170151B1 (en) Blending between street view and earth view
US6690370B2 (en) Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
CN106296783B (zh) 一种结合空间全局3d视图和全景图片的空间展示方法
KR101626037B1 (ko) 가상 표면들을 사용하는 패닝
EP3534336B1 (en) Panoramic image generating method and apparatus
US20120105581A1 (en) 2d to 3d image and video conversion using gps and dsm
EP2555166A1 (en) Space error parameter for 3D buildings and terrain
CN105137705B (zh) 一种虚拟球幕的创建方法和装置
US20140267236A1 (en) System and Method for Approximating Cartographic Projections by Linear Transformation
CN112714266B (zh) 标注信息展示方法、装置、电子设备及存储介质
US8675013B1 (en) Rendering spherical space primitives in a cartesian coordinate system
US20030225513A1 (en) Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context
CN110298924A (zh) 一种ar系统中用于显示检测信息的坐标变换方法
CN108734786B (zh) 实景三维增强现实可视化系统及方法
CN112351266B (zh) 三维视景处理方法、装置、设备、显示系统及介质
CN103914521A (zh) 基于混合瓦片金字塔的街景影像存储的方法及装置
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
WO2022166868A1 (zh) 漫游视图的生成方法、装置、设备和存储介质
CN113838116B (zh) 确定目标视图的方法、装置、电子设备及存储介质
US11288774B2 (en) Image processing method and apparatus, storage medium, and electronic apparatus
CN116824077A (zh) 一种高精度地图图像生成方法、装置及设备
CN106840167B (zh) 基于街景地图的目标物地理位置的二维量测算方法
KR100517590B1 (ko) 3차원 데이터 처리시스템과 그 방법 및 3차원 데이터처리기능을 갖춘 프로그램이 수록된 기록매체
CN112330769B (zh) 虚线纹理的生成方法、装置及电子设备
JP3149389B2 (ja) ビットマップ・イメージを環境マップにオーバレイする方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant