CN110036411A - 生成电子三维漫游环境的装置和方法 - Google Patents

生成电子三维漫游环境的装置和方法 Download PDF

Info

Publication number
CN110036411A
CN110036411A CN201980000291.5A CN201980000291A CN110036411A CN 110036411 A CN110036411 A CN 110036411A CN 201980000291 A CN201980000291 A CN 201980000291A CN 110036411 A CN110036411 A CN 110036411A
Authority
CN
China
Prior art keywords
shooting
optical sensor
panorama sketch
live image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980000291.5A
Other languages
English (en)
Other versions
CN110036411B (zh
Inventor
倪一翔
陈燕儿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/288,075 external-priority patent/US10616483B1/en
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN110036411A publication Critical patent/CN110036411A/zh
Application granted granted Critical
Publication of CN110036411B publication Critical patent/CN110036411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种生成目标环境的电子3D漫游环境的方法,包括:在目标环境中的第一位置点拍摄全景图;测量相机拍摄全景图时的初始方向;移动经过目标环境,在每个位置点拍摄周围的实况图像,并测量相机的方向;确定是否需要以相机的当前方向在相机的当前位置点拍摄新的全景图,包括:在上次拍摄的全景图中识别出与拍摄的实况图像匹配的子图像;如果无法识别子图像,则需要新的全景图;并通过连接拍摄的全景图生成电子3D漫游环境。

Description

生成电子三维漫游环境的装置和方法
【技术领域】
本发明涉及使用二维全景图像产生电子3D漫游环境。
【背景技术】
电子3D漫游环境的其中一种形式是使用一组连接的全景图像来创建的,其中可以在观看者之前呈现一个接一个的全景图,从而观看者可导航和体验模拟的电子3D环境。全景意味着从一个视点看是一个连续完整的场景。全景图可以是一系列照片或平移的视频素材。术语“全景旅行”和“虚拟漫游”主要与使用静态相机创建的虚拟旅行相关联。这样的虚拟旅行是由从一个有利地点拍摄的多张照片组成。
与虚拟旅行不同,在制作视频游览时,是以步行速度拍摄目标环境的,在整个目标环境中使用摄像机从一个位置点连续移动到另一个位置点。视频游览的好处是在整个移动拍摄中视点不断变化。但是,拍摄高质量视频比拍摄数字静态图片需要更高的技巧和更昂贵的设备。视频还带走了观众对游览的控制和互动;因此,对所有观众来说,游览都是相同的,主题只能是摄影师选择的。
电子3D漫游有许多应用,例如为观看者提供一种远程目的地的沉浸和交互式视觉体验,而无需出现在现场。电子3D漫游正用于多种增强现实或电子3D现实(AR/VR)应用中,用于虚拟旅游和环境导航。传统的无缝漫游体验需要高成本的深度相机,强大的计算能力和非常大的存储容量来重建多个位置点和视点处的三维场景。为了降低成本,更经济的360相机越来越频繁地用于代替深度相机。但是,在这种情况下,需要手动将全景图拼接在一起。因此,直到今天,电子3D漫游在移动和时间关键应用程序中还是非常有限。
因此,对生成具有无缝场景转换的基于二维(2D)全景图的电子3D漫游的技术,还存在未满足的需求,不需要手动拼接全景图,以及计算能力较小,存储容量小且设备便宜。
【发明内容】
本发明提供了一种生成电子3D漫游环境的装置和方法。本发明的一个目的是提供这样的装置和方法:不需要对拍摄的目标环境图像进行任何冗长或手动的后处理。本发明的目的还在于提供这样的装置和方法:需要比传统方法更少的计算能力、更紧凑的存储容量和相对便宜的设备,但是仍然可以得到相当质量的电子3D漫游环境。
根据本发明的一个实施例,一种基于全景图的电子3D漫游制作方法包括:拍摄者在目标环境中行走,停在多个位置点使用相机拍摄实时图像;使用位置跟踪子系统跟踪相机所在位置点(x,y和z绝对坐标或相对于一个固定空间点的相对坐标)和相机的方位(绝对和相对),包括其有利位置(相机的机位,从该机位观看所述位置点周围)和观看方向,并将这些信息与拍摄的实时图像一起传送到计算设备;当拍摄者走过目标环境时,由计算设备确定在相机所处当前位置点处是否需要相机当前方位的新全景图;发送通知数据消息以通知拍摄者在需要时拍摄新的全景图;并且由计算设备自动创建无缝场景的环境。
在整个文档中,位置点的x,y和z绝对坐标或相对坐标是指由横向(x)方向、深度(y)方向和高度(z)方向的值表示的三维空间中的绝对坐标或相对坐标。
根据一个实施例,用于生成基于全景图的电子3D漫游的装置包括:被配置以拍摄全景图的一个或多个光学传感器(如360相机);位置跟踪子系统,被配置以跟踪光学传感器所在位置点和光学传感器的方位。在一个实施例中,其中在远程计算设备中远程完成全景图的处理,该装置还包括数据通信电路,该数据通信电路被配置以将拍摄的全景图与光学传感器所在位置点和光学传感器的方位信息一起发送到远程计算设备,以及从远程计算设备接收通知或命令数据。在本地完成全景图处理的另一实施例中,该装置还包括:数据存储器,被配置以存储拍摄的全景图和结果运行时(runtime)电子3D漫游场景数据;以及处理器,被配置以确定在制作过程中哪里需要新的全景图并生成运行时电子3D漫游环境。
【附图说明】
下面参考附图更详细地描述本发明的实施例,其中:
图1显示本发明一个实施例的生成电子3D漫游环境的方法的基本原理;
图2显示本发明一个实施例的生成电子3D漫游环境的方法的过程流程图;
图3显示本发明一个实施例的估计目标环境中一个位置点周围的实况视图的场景深度的过程;
图4显示本发明一个实施例的确定先前拍摄全景图中子图像关于目标环境中一个位置点周围的实况视图的变焦因子的过程;
图5显示本发明一个实施例的在先前拍摄的全景图内识别出与目标环境中一个位置点周围的实况视图匹配的子图像的过程;
图6显示本发明一个实施例的硬件实施的逻辑框图。
【具体实施方式】
在以下描述中,作为优选示例阐述了生成电子3D漫游环境等的装置和方法。在不脱离本发明的范围和精神的情况下,可以进行修改,包括添加和/或替换,这些对本领域技术人员而言是显而易见的。省略了一些具体细节,以免模糊了本发明;但是,本公开使本领域技术人员能够在不进行过度实验的情况下实践本文教导。
基于全景的电子3D漫游制作主要有两种传统方法:手动和自动。在手动方法下,摄影师将走过目标环境,停在各个位置点以拍摄全景图,可选地在不同的有利位置点(vantage point,机位)和/或观看方向拍摄全景图。然后将全景图上载到计算设备,进行手动拼接以创建无缝场景。经验丰富的摄影师能够确定位置点、有利位置和/或观看方向上需要拍摄的最少数量全景图,用于无缝场景转换,而无需过多照片包含重复信息;因此,对数据存储的要求可以相对较低。另一方面,在自动方法下,每个位置点、每个有利位置和每个观看方向的全景图都被无差别地拍摄。然后通过图像处理算法处理全景图,自动创建无缝场景环境。这需要大量的计算能力用于图像处理算法和大量数据存储容量用于巨量的拍摄的全景图。
参考图1。根据本发明的一个实施例,一种基于全景的电子3D漫游制作的方法包括:拍摄者在目标环境中行走,停在多个位置点,使用相机拍摄实况图像;使用位置跟踪子系统跟踪拍摄者(或者更确切地说是相机)所在的位置点(x,y和z绝对坐标或相对于一个固定空间点的相对坐标)和相机方向(绝对和相对),并将该信息与拍摄的实况图像一起传送到计算设备;记录所述目标环境中每个位置点的绝对或相对坐标;计算设备确定在相机当前位置点和相机当前方向上是否需要新的全景图;如果确定在当前位置点需要,则发送通知数据消息,通知拍摄者拍摄新的全景图,并记录相机相对于拍摄最后一张全景图时相机方向的相对方向;从所拍摄的全景图和由计算设备记录的位置点的绝对或相对坐标自动地创建无缝场景环境。
在其他实施例,制作时步行的拍摄者可以由航空的、陆地的、水面的或水下无人机代替,这取决于目标环境的性质。在这些情况下,选择性全景图拍摄是自主的,跟踪相机所在位置点和相机方向跟踪,确定需要新拍摄全景图的位置可以与无人机的自导系统集成。
参考图2。根据本发明的一个实施例,电子3D漫游制作过程包括以下步骤:
(201):拍摄者开始在目标环境中行走,停在多个选定的位置点,用相机拍摄全景图,跟踪并记录拍摄者(或更确切地说是相机)在每个位置点的位置(x,y和z绝对坐标或相对于一个固定空间点的相对坐标);
(202):拍摄者停在第一个位置点或确定需要的位置点,在位置点i(第一个位置点i=0)拍摄场景的全景图Pi,其中全景图的水平视图≤360°,全景图的垂直视图≤180°;测量和记录相机的初始方向θ,如果它不在第一个位置点,则测量相对方向θ,相对于在最后一幅全景拍摄位置上记录的相机初始方向;
(203):拍摄者继续漫游目标环境,同时跟踪和记录相机连续所在位置点的x-y-z坐标(绝对或相对),并且测量相机连续的相对方向,以确定相机位移矢量(从拍摄全景图的最后位置点开始,从记录的x-y-z坐标计算得出)和相机的相对方向θ,即相机直接观看视线相对于相机初始方向的角度;相机连续拍摄每个位置点i∈{0,1,2,...,n}周围的实况图像Li
(204):处理器确定在位置点i是否需要新的全景图,包括:
(205):从实况图像Li估计场景深度D;
(206):根据相机位移矢量相机的相对方向θ和场景深度D确定变焦因子(zoomfactor)Z;
(207):从上次拍摄的全景图Pi=T(在位置点T处拍摄的上次全景图)中识别子图像Si,使用变焦因子Z和一个或多个可配置的设置参数(如电子3D漫游图像渲染分辨率)来匹配实况图像Li
(208):如果找不到子图像Si,则确定需要新的全景图并从步骤202开始重复;否则,
(209):确定所识别的子图像Si是否满足匹配实况图像Li的质量阈值;如果不满足,则确定需要新的全景图并从步骤202开始重复;否则,从步骤203开始重复。
根据一个实施例,从实况图像Li估计场景深度D包括:确定实况图像Li的一个兴趣点(POI),其可以是实况图像Li的中心;识别实况图像Li中的一个或多个特征点;对于每个特征点j,使用位置跟踪子系统确定特征点深度dj,以及特征点j和POI中心之间的距离pj;并通过以下等式估算场景深度D:
其中pj由以下等式确定
其中:
uj是距离实况图像Li最近侧边的水平距离;
vj是距离实况图像Li最近顶边或底边的垂直距离;
w是实况图像Li的宽度;
h是实况图像Li的高度;
r是POI的中心和边界之间的最大距离,r<w,h。
在一个实施例中,POI被定义为在实况图像Li中心处的特定尺寸的圆形区域,因为通常观看者的焦点会落在出现在图像中心的对象上。在其他实施例中,可以基于本领域技术人员已知且可合理预见的标准来不同定义POI。
图3显示利用实况图像(301)、定义的POI(302)和视觉特征(303)估算上述场景深度D。
根据一个实施例,变焦因子Z的确定包括:从位置点T(其中在此拍摄最后的全景图Pi=T)和当前位置点i(在此拍摄实况图像Li)确定相机行进的路径的位移矢量使用从实时图像Li和相机的相对方向θ估计的场景深度D确定深度矢量并使用深度矢量和位移矢量确定变焦因子Z。
图4显示上述变焦因子Z的确定。位置点T(401)是拍摄最后全景图Pi=T的地方,相机的行进路径(402)已经到达当前位置点i(403),位移矢量为远程对象(404)实况图像Li的POI(403),实况图像Li是在位置点i(403)处拍摄的。相机在位置点i(403)处的相对方向θ是相机直接观看POI的视线(405)相对于相机初始方向的角度。实况图像Li的深度矢量通过以下等式确定:
其中:
是x方向的单位向量;和
是y方向上的单位矢量。
在最后全景图Pi=T(在位置点T处上次拍摄的全景图)中观看POI的视角α和在当前位置点i观看POI的视角之间的角度差(即视线(406)和视线(405)之间的角度差),可以通过以下等式确定:
最后,变焦因子Z可以由下式确定:
图5显示上述从上次拍摄的全景图Pi=T中识别出子图像Si。通常,当在当前位置点i处拍摄的实况图像Li不能从上次拍摄的全景图Pi=T中呈现时,那么在当前位置点i处需要新的全景图。换句话说,如果通过对应于实况图像Li宽度w的水平角视场(FOVh)、对应于实时图像Li高度h的垂直角视场(FOVv)、最后全景图Pi=T中POI的视角α、以及变焦因子Z,还不能从最后拍摄的全景图Pi=T中提取出未失真子图像Si的话,那么在当前位置点i需要新的全景图。
根据一个实施例,如果最后全景图Pi=T中POI的水平视角α的垂直中心线和当前位置点上的POI的相机直接视线之间的绝对角度差大于水平角视场(FOVh)的一半,则认为不可从上次拍摄的全景图Pi=T中识别出子图像Si,即:
如果那么Si=空。(6)
根据另一实施例,如果变焦因子Z小于一个变焦因子阈值Zthreshold,则认为子图像Si不可从上次拍摄的全景图Pi=T中识别出;也就是说,如果Z<Zthreshold,则Si=空。变焦因子阈值Zthreshold是一个可配置的设置,其可以由一个或多个参数定义和/或影响,包括相机的一个或多个固有特征、拍摄的全景图的图像大小、运行时电子3D漫游图像显示窗口大小、以及期望的运行时电子3D漫游最大放大分辨率。在一个实施例中,变焦因子阈值Zthreshold与以下成比例关系:
其中:
wr是运行时电子3D漫游图像渲染宽度;
wSi是子图像Si的宽度;
hr是运行时电子3D漫游图像渲染高度;
hSi是子图像Si的高度;
其中:
其中最后的全景图是在位置点T拍摄的。
根据一个实施例,确定所识别的子图像Si在匹配实况图像Li时是否满足一个匹配质量阈值,包括:首先确定拍摄的全景图像Pi=T中识别的子图像Si=T和在位置点T处拍摄的相应实况图像Li=T之间的图像匹配质量的初始分数σinit。在这种情况下,位移矢量相机的相对方向θ是0°,如果使用相同的相机拍摄全景图和实况图像,则变焦因子Z应该是1,又或者接近1。所述确定还包括:按照以下等式确定所识别的子图像Si和在位置点i拍摄的相应的实时图像Li之间的图像匹配质量的分数σi
其中:
其中:
x和y表示图像坐标;
Si(x,y)是识别的子图像Si的x-y坐标处的图像强度,识别的子图像Si对应于在位置点i拍摄的实况图像Li
Li(x,y)是在位置点i拍摄的实况图像Li的x-y坐标处的图像强度;
是识别的子图像Si的图像强度均值,识别的子图像Si对应于在位置点i拍摄的实况图像Li
是在位置点i拍摄的实况图像Li的图像强度均值。如果识别的子图像Si和在位置点i拍摄的相应的实时图像Li之间的图像匹配质量的分数σi小于k*σinit,则在位置点i需要拍摄新的全景图,其中0<k<1,可以是1/2,即σiinit/2。
根据本发明的一个实施例,当制作时走过整个目标环境,在多个选择的位置点拍摄了多个全景图,位置点的坐标、相机移动轨迹的六自由度(6DoF)(x,y,z,俯仰角,偏航角,翻滚角)的连续数据流记录、以及获得的变焦因子存储在非瞬态存储器中。通过从6DoF相机轨迹数据记录中提取三自由度(3DoF)(x,y和z)轨迹数据,构建运行时电子3D漫游环境的2D地图。然后使用拍摄的全景图通过6DoF来渲染运行时电子3D漫游环境的热点,即拍摄全景图的选择位置点。然后使用获得的变焦因子来渲染连接的全景图之间的过渡效果。
参考图6。根据一个实施例,用于生成基于全景图的电子3D漫游的装置包括:一个或多个光学传感器(601),其被配置以拍摄全景图,其中一个或多个光学传感器可以是一个或多个广角相机、单个360相机、或任意组合的构成360相机的光学传感器;位置跟踪子系统(602),其被配置以跟踪位置(x,y和z绝对坐标或相对于光学传感器所在位置点的一个固定空间点的相对坐标)和方向光学传感器的方向,其中位置跟踪子系统(602)可以包括运动传感器(602b),其可以是陀螺仪、一个或多个惯性测量单元(IMU)的组合、光检测和测距(LiDAR)系统或其他已知的运动传感装置;位置传感器(602c)和位置跟踪模块(602a),其可以是GPS收发器、能够对无线信号进行三角测量的无线通信收发器、一个或多个视觉同时定位和映射(SLAM)、RGB-D SLAM、视觉惯性里程计或其他已知的位置跟踪设备的组合,用于处理方向和位置数据。在一个实施例中,其中在计算设备(诸如服务器计算机)中远程完成全景图的处理,该装置还包括数据通信电路,该数据通信电路被配置以将拍摄的全景图连同坐标信息和光学传感器的方向信息一起发送到远程计算设备,以及从远程计算设备接收通知或命令数据。在本地处理全景图的另一实施例中,该装置还包括处理器(603),其有图像拼接模块(603a),用于拼接拍摄的全景图以创建非时间电子3D漫游环境场景图像;IO控制模块(603b),用于控制光学传感器(601);虚拟漫游生成模块(603c),用于确定在制作漫游过程中是否需要新的全景图,并用于生成运行时电子3D漫游环境;以及渲染模块(603d),用于渲染运行时电子3D漫游环境场景图像。位置跟踪模块(602a)也可以包含在处理器(603)中。在本地处理全景图的实施例中,该装置还包括数据存储存储器(604),其配置用于存储坐标信息和光学传感器的方向信息、拍摄的全景图、以及由此产生的运行时电子3D漫游场景数据。
本领域普通技术人员可以理解,无需过度实验或偏离本发明的精神,可以容易地实施包括不同数量的本地和/或远程处理器(用于执行和运行不同的上述功能)的其他实施例。
这里公开的电子实施例可以使用一个或多个计算设备、计算机处理器或电子电路来实施,包括但不限于专用集成电路(ASIC)、现场可编程门阵列(FPGA)和根据本公开教导专门配置或者编程的其他可编程逻辑设备。基于本公开的教导,计算机和电子领域的技术人员可以容易地准备机器指令和/或电子电路配置在计算设备、计算机处理器或可编程逻辑设备中执行。
上述计算设备、计算机处理器或电子电路可以包含在一个或多个服务器计算机、个人计算机、膝上型计算机,移动计算设备如智能电话和平板计算机中。
电子实施例包括瞬态和非瞬态电子存储介质,其中存储有机器指令和/或电子电路配置数据,其可用于配置计算设备、计算机处理器或电子电路以执行本发明的任何过程。存储介质可以包括但不限于软盘、光盘、蓝光盘、DVD、CD-ROM、磁光盘、ROM、RAM、闪存设备或适用于存储指令、代码和/或数据的任何类型的介质或设备。
本发明的各种实施例还可以在分布式计算环境和/或云计算环境中实施,其中整个或部分机器指令以分布式方式由一个或多个处理设备执行,一个或多个处理设备通过通信网络互连,例如内联网、广域网(WAN)、局域网(LAN)、互联网和其他形式的数据传输介质。
已经出于说明和描述的目的提供了本发明的前述描述。其并非旨在穷举或将本发明限制于所公开的精确形式。许多修改和变化对于本领域技术人员来说是显而易见的。
实施例的选择和描述是为了最好地解释本发明的原理及其实际应用,从而使得本领域其他技术人员能够理解本发明的各种实施例以及适合于预期的特定用途的各种修改。

Claims (18)

1.一种生成目标环境的电子三维(3D)漫游环境的方法,包括:
在所述目标环境中的第一位置点:
通过光学传感器拍摄第一全景图;
通过位置跟踪系统测量和记录所述光学传感器的初始方向;
通过所述位置跟踪系统跟踪和记录所述光学传感器的第一坐标;
移动所述光学传感器,经过所述目标环境,在所述目标环境中的每个位置点:
通过所述光学传感器拍摄周围的实况图像;
通过所述位置跟踪系统测量光学传感器的相对方向,其中所述相对方向是相对于所述初始方向测量的;
通过所述位置跟踪系统跟踪和记录所述光学传感器的坐标;
确定是否需要拍摄新的全景图,包括:
由第一处理器在上次拍摄的全景图中识别出与拍摄的实况图像匹配的子图像;
如果不能识别出子图像,则需要以所述光学传感器的当前相对方向在当前位置点拍摄新的全景图;
如果确定需要在当前位置点拍摄新的全景图,则:
通过所述光学传感器拍摄所述光学传感器在当前位置点处的新全景图;
通过所述位置跟踪系统测量和记录所述光学传感器的新的初始方向。
2.根据权利要求1所述的方法,还包括:
第二处理器通过连接拍摄的全景图以产生无缝场景的电子3D漫游环境,并通过从记录的所述光学传感器的位置点坐标创建电子3D漫游环境的二维图,由此产生电子3D漫游环境。
3.根据权利要求1所述的方法,其中在最后拍摄的全景图中识别出与拍摄的实况图像匹配的子图像,包括:
从所述拍摄的实况图像估计场景深度;
从所述光学传感器的位移矢量、拍摄实况图像的当前位置点处的相对方向、和场景深度,确定变焦因子;
使用所述变焦因子和一个或多个可配置的设置参数来识别所述子图像。
4.根据权利要求3所述的方法,其中估计场景深度包括:
确定所述拍摄的实况图像的兴趣点POI;
识别所述拍摄的实况图像中的一个或多个特征点;
确定所述一个或多个特征点中每个特征点的特征点深度;
确定所述POI与所述一个或多个特征点中每个特征点之间的距离;
通过以下计算来估计所述场景深度:
其中:
pj是POI中心与特征点j之间的距离;
dj是特征点j的特征点深度;
W是pj的一个预定递减函数。
5.根据权利要求3所述的方法,其中确定变焦因子包括:
从记录的光学传感器拍摄最后全景图所在位置点的坐标和记录的光学传感器拍摄实况图像的当前位置点的坐标,确定所述光学传感器的移动位移矢量;
使用从所述实况图像估计的场景深度和所述相对方向,通过以下计算来确定深度矢量:
其中:
D是从所述实况图像估计的场景深度;
θ是相对方向;
是x方向的单位向量;
是y方向的单位向量;
通过以下计算确定所述变焦因子:
6.根据权利要求3所述的方法,其中使用所述变焦因子和一个或多个可配置的设置参数来识别所述子图像,包括:
基于一个或多个可配置设置参数确定一个变焦因子阈值,所述可配置设置参数包括:
所述光学传感器的一个或多个固有特性,
所述拍摄的全景图像大小,
所述电子3D漫游环境的图像显示窗口大小,和
所述电子3D漫游环境的最大放大分辨率,
比较所述变焦因子与所述变焦因子阈值,如果所述变焦因子不满足所述变焦因子阈值,则在所述上次拍摄的全景图中,不可识别出与拍摄的实况图像匹配的子图像。
7.根据权利要求1所述的方法,其中在上次拍摄的全景图中识别出与拍摄的实况图像匹配的子图像,包括:
确定拍摄的实况图像的兴趣点POI;
获得上次拍摄的全景图中POI的水平视角的垂直中心线与当前位置点的所述光学传感器的POI直接视线之间的绝对角度差;
如果所述绝对角度差大于拍摄的实况图像的水平角视场的一半,则从最后拍摄的全景图中无法识别子图像。
8.根据权利要求1所述的方法,其中确定需要以所述光学传感器的当前相对方向在当前位置点拍摄新的全景图,包括:
确定所述识别的子图像的匹配质量;
如果所述识别的子图像在匹配拍摄的实况图像时不满足一个质量阈值,则需要在当前位置点处使用所述光学传感器的当前相对方向拍摄新的全景图。
9.根据权利要求1所述的方法,其中所述光学传感器是一个360相机。
10.一种用于生成目标环境的电子三维(3D)漫游环境的装置,包括:
一个或多个光学传感器,其被配置以:
在所述目标环境中第一位置点拍摄第一全景图;
在所述目标环境中选定位置点拍摄全景图;
当所述光学传感器移动通过所述目标环境时,在每个位置点拍摄周围的实况图像;
一个位置跟踪系统,其被配置以:
测量所述光学传感器在每个位置点处拍摄全景图的初始方向;
测量所述光学传感器在每个位置点处拍摄实况图像的相对方向,其中所述相对方向是相对于所述初始方向测量的;
跟踪所述光学传感器在每个位置点的坐标;
第一处理器,其被配置以:
确定是否需要以所述光学传感器的当前相对方向在所述光学传感器所处的当前位置点处拍摄新的全景图,包括:
从上次拍摄的全景图中识别出与拍摄的实况图像匹配的子图像;
如果不能识别出子图像,则需要以所述光学传感器的当前相对方向在当前位置点拍摄新的全景图;
如果确定需要在当前位置点拍摄新的全景图,则命令所述光学传感器拍摄新的全景图;
记录所述光学传感器在拍摄全景图的每个位置点的初始方向;
记录所述光学传感器在每个位置点的坐标。
11.根据权利要求10所述的装置,还包括第二处理器,其被配置以:通过连接拍摄的全景图以产生无缝场景的电子3D漫游环境,并通过从记录的所述光学传感器的位置点坐标创建电子3D漫游环境的二维图,由此产生所述电子3D漫游环境。
12.根据权利要求10所述的装置,其中在最后拍摄的全景图中识别出与拍摄的实况图像匹配的子图像,包括:
从所述拍摄的实况图像估计场景深度;
从所述光学传感器的位移矢量、拍摄实况图像的当前位置点处的相对方向、和场景深度,确定变焦因子;
使用所述变焦因子和一个或多个可配置的设置参数来识别所述子图像。
13.根据权利要求12所述的装置,其中估计场景深度包括:
确定所述拍摄的实况图像的兴趣点POI;
识别所述拍摄的实况图像中的一个或多个特征点;
确定所述一个或多个特征点中每个特征点的特征点深度;
确定所述POI与所述一个或多个特征点中每个特征点之间的距离;
通过以下计算来估计所述场景深度:
其中:
pj是POI中心与特征点j之间的距离;
dj是特征点j的特征点深度;
W是pj的一个预定递减函数。
14.根据权利要求12所述的装置,其中确定变焦因子包括:
从记录的光学传感器拍摄最后全景图所在位置点的坐标和记录的光学传感器拍摄实况图像的当前位置点的坐标,确定所述光学传感器的移动位移矢量;
使用从所述实况图像估计的场景深度和所述相对方向,通过以下计算来确定深度矢量:
其中:
D是从所述实况图像估计的场景深度;
θ是相对方向;
是x方向的单位向量;
是y方向的单位向量;
通过以下计算确定所述变焦因子:
15.根据权利要求12所述的装置,其中使用所述变焦因子和一个或多个可配置的设置参数来识别所述子图像,包括:
基于一个或多个可配置设置参数确定一个变焦因子阈值,所述可配置设置参数包括:
所述光学传感器的一个或多个固有特性,
所述拍摄的全景图像大小,
所述电子3D漫游环境的图像显示窗口大小,和
所述电子3D漫游环境的最大放大分辨率,
比较所述变焦因子与所述变焦因子阈值,如果所述变焦因子不满足所述变焦因子阈值,则在所述上次拍摄的全景图中,不可识别出与拍摄的实况图像匹配的子图像。
16.根据权利要求10所述的装置,其中在上次拍摄的全景图中识别出与拍摄的实况图像匹配的子图像,包括:
确定拍摄的实况图像的兴趣点POI;
获得上次拍摄的全景图中POI的水平视角的垂直中心线与当前位置点的所述光学传感器的POI直接视线之间的绝对角度差;
如果所述绝对角度差大于拍摄的实况图像的水平角视场的一半,则从最后拍摄的全景图中无法识别子图像。
17.根据权利要求10所述的装置,其中确定需要以所述光学传感器的当前相对方向在当前位置点拍摄新的全景图,包括:
确定所述识别的子图像的匹配质量;
如果所述识别的子图像在匹配拍摄的实况图像时不满足一个质量阈值,则需要在当前位置点处以所述光学传感器的当前相对方向拍摄新的全景图。
18.根据权利要求10所述的装置,其中所述一个或多个光学传感器被配置以形成一个360相机。
CN201980000291.5A 2019-02-27 2019-03-06 生成电子三维漫游环境的装置和方法 Active CN110036411B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/288,075 2019-02-27
US16/288,075 US10616483B1 (en) 2019-02-27 2019-02-27 Apparatus and method of generating electronic three-dimensional walkthrough environment
PCT/CN2019/077241 WO2020172905A1 (en) 2019-02-27 2019-03-06 Apparatus and method of generating electronic three-dimensional walkthrough environment

Publications (2)

Publication Number Publication Date
CN110036411A true CN110036411A (zh) 2019-07-19
CN110036411B CN110036411B (zh) 2023-07-28

Family

ID=67243934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980000291.5A Active CN110036411B (zh) 2019-02-27 2019-03-06 生成电子三维漫游环境的装置和方法

Country Status (1)

Country Link
CN (1) CN110036411B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511622A (zh) * 2021-12-30 2022-05-17 北京城市网邻信息技术有限公司 全景图像采集方法、装置、电子终端及介质
CN115514897A (zh) * 2022-11-18 2022-12-23 北京中科觅境智慧生态科技有限公司 一种处理图像的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097206A1 (en) * 2005-11-02 2007-05-03 Houvener Robert C Multi-user stereoscopic 3-D panoramic vision system and method
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN104881869A (zh) * 2015-05-15 2015-09-02 浙江大学 一种移动平台上的实时全景跟踪与拼接方法
CN108259762A (zh) * 2018-03-23 2018-07-06 南京嘉码信息科技有限公司 一种漫游式全景图自动拍摄系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070097206A1 (en) * 2005-11-02 2007-05-03 Houvener Robert C Multi-user stereoscopic 3-D panoramic vision system and method
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN104881869A (zh) * 2015-05-15 2015-09-02 浙江大学 一种移动平台上的实时全景跟踪与拼接方法
CN108259762A (zh) * 2018-03-23 2018-07-06 南京嘉码信息科技有限公司 一种漫游式全景图自动拍摄系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511622A (zh) * 2021-12-30 2022-05-17 北京城市网邻信息技术有限公司 全景图像采集方法、装置、电子终端及介质
CN115514897A (zh) * 2022-11-18 2022-12-23 北京中科觅境智慧生态科技有限公司 一种处理图像的方法和装置
CN115514897B (zh) * 2022-11-18 2023-04-07 北京中科觅境智慧生态科技有限公司 一种处理图像的方法和装置

Also Published As

Publication number Publication date
CN110036411B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US11721067B2 (en) System and method for virtual modeling of indoor scenes from imagery
AU2017228625B2 (en) Multi-dimensional data capture of an environment using plural devices
US10616483B1 (en) Apparatus and method of generating electronic three-dimensional walkthrough environment
US11748907B2 (en) Object pose estimation in visual data
CN110799921A (zh) 拍摄方法、装置和无人机
US9479703B2 (en) Automatic object viewing methods and apparatus
CN110769240A (zh) 基于拍照的3d建模系统及方法、自动3d建模装置及方法
WO2018163898A1 (ja) 自由視点移動表示装置
JP5769813B2 (ja) 画像生成装置および画像生成方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
JP2009008655A (ja) 自律車両ナビゲーションのための三次元障害物マップ作成の方法及びシステム
US20230359204A1 (en) Flight control method, video editing method, device, uav and storage medium
WO2009093136A2 (en) Image capture and motion picture generation
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
CN110036411A (zh) 生成电子三维漫游环境的装置和方法
CN110730934A (zh) 轨迹切换的方法和装置
EP3882846B1 (en) Method and device for collecting images of a scene for generating virtual reality data
JP7552589B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
TWI726536B (zh) 影像擷取方法及影像擷取設備
CN112334853A (zh) 航线调整方法、地面端设备、无人机、系统和存储介质
WO2019000427A1 (zh) 一种图像处理方法、装置及电子设备
Tanaka 3D scene reconstruction from monocular spherical video with motion parallax
KR102644608B1 (ko) 디지털 트윈 기반의 카메라 위치 초기화 방법
JP2023110400A (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant