CN103971399B - 街景图像过渡方法和装置 - Google Patents

街景图像过渡方法和装置 Download PDF

Info

Publication number
CN103971399B
CN103971399B CN201310037566.7A CN201310037566A CN103971399B CN 103971399 B CN103971399 B CN 103971399B CN 201310037566 A CN201310037566 A CN 201310037566A CN 103971399 B CN103971399 B CN 103971399B
Authority
CN
China
Prior art keywords
street view
view image
image
original
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310037566.7A
Other languages
English (en)
Other versions
CN103971399A (zh
Inventor
徐昆
王建宇
李保利
李成军
黄浩智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Tsinghua University
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Shenzhen Tencent Computer Systems Co Ltd filed Critical Tsinghua University
Priority to CN201310037566.7A priority Critical patent/CN103971399B/zh
Priority to PCT/CN2013/087422 priority patent/WO2014117568A1/en
Priority to US14/267,843 priority patent/US20140240311A1/en
Publication of CN103971399A publication Critical patent/CN103971399A/zh
Application granted granted Critical
Publication of CN103971399B publication Critical patent/CN103971399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种街景图像过渡方法和装置。所述方法包括：获取原始街景图像和目标街景图像；对所述原始街景图像进行三维建模得到对应的三维模型；获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列；通过所述街景图像序列由所述原始街景图像切换至目标街景图像。所述装置包括街景图像获取模块、建模模块、相机模拟模块和切换模块。采用本发明能提高街景图像过渡的稳定性。

Description

街景图像过渡方法和装置
技术领域
本发明涉及虚拟现实技术，特别是涉及一种街景图像过渡方法和装置。
背景技术
街景（Streetview）漫游是电子地图中的一项重要功能，为人们提供了一个足不出户即可身临其境地感受当前所查看的地方。电子地图中人们通过点击街景模式的按钮即可进入街景漫游，查看所选地点的全景图像。
在街景漫游过程中，用户在某一时刻所看到的只是全景图像中的某一部分，当触发前往下一地点的指令时，下一地点所对应的全景图像将被加载，进而从当前全景图像中的某一部分过渡到下一地点所对应的全景图像中的某一部分。
传统的过渡方法是直接通过互联网络从服务器向用户传输并播放预先录制的影片，然而，这一基于服务器和互联网络的过渡方法将受到网络带宽、服务器存储空间状况等众多因素的影响，无法保证街景图像过渡的稳定性。
发明内容
基于此，有必要针对街景图像过渡缺乏稳定性的问题，提供一种能提高稳定性的街景图像过渡方法。
此外，还有必要提供一种能提高稳定性的街景图像过渡装置。
一种街景图像过渡方法，包括如下步骤：
获取原始街景图像和目标街景图像；
对所述原始街景图像进行三维建模得到对应的三维模型；
获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列；
通过所述街景图像序列由所述原始街景图像切换至目标街景图像。
一种街景图像过渡装置，包括：
街景图像获取模块，用于获取原始街景图像和目标街景图像；
建模模块，用于对所述原始街景图像进行三维建模得到对应的三维模型；
相机模拟模块，用于获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列；
切换模块，用于通过所述街景图像序列由所述原始街景图像切换至目标街景图像。
上述街景图像过渡方法和装置，获取原始街景图像和目标街景图像，对原始街景图像进行三维建模得到对应的三维模型，获取从原始街景图像和目标街景图像中提取得到的特征点匹配对，根据该特征点匹配对在三维模型中进行虚拟相机模拟，以摄取得到街景图像序列，进而通过街景图像序列实现原始街景图像至目标街景图像的过渡，不需要从通过互联网络从服务器中获取预先录制的过度影片，只需要通过原始街景图像和目标街景图像即可在本地快速地生成用于过渡的街景图像序列，屏蔽了各种因素的影响，提高了街景图像过渡的稳定性。
附图说明
图1为一个实施例中街景图像过渡方法的流程图；
图2为图1中获取原始街景图像和目标街景图像的方法流程图；
图3为一个实施例中全景图像截取的示意图；
图4为图1中对原始街景图像进行三维建模得到对应的三维模型的方法流程图；
图5为一个实施例中对原始街景图像构建长方盒模型的示意图；
图6为一个实施例中长方盒模型的示意图；
图7为图5中检测原始街景图像中的道路延伸方向的方法流程图；
图8为另一个实施例中街景图像过渡方法的流程图；
图9为一个实施例中获取从原始街景图像和目标街景图像中提取得到的特征点匹配对，根据特征点匹配对在三维模型中进行虚拟相机模拟，以摄取得到街景图像序列的方法流程图；
图10为一个实施例中通过街景图像序列由原始街景图像切换至目标街景图像的方法流程图；
图11为一个实施例中街景图像过渡方法的应用示意图；
图12为一个实施例中街景图像过渡装置的结构示意图；
图13为图12中街景图像获取模块的结构示意图；
图14为图12中建模模块的结构示意图；
图15为另一个实施例中街景过渡装置的结构示意图；
图16为一个实施例中相机模拟模块的结构示意图；
图17为一个实施例中切换模块的结构示意图。
具体实施方式
如图1所示，在一个实施例中，一种街景图像过渡方法，包括如下步骤：
步骤S110，获取原始街景图像和目标街景图像。
本实施例中，原始街景图像为显示窗口当前所显示的街景图像，目标街景图像是期望加载并显示的街景图像。例如，原始街景图像和目标街景图像对应了两个紧邻的地点，用户在显示窗口中浏览原始街景图像，对原始街景图像触发前往下一地点的指令时，即将加载并显示于显示窗口中的街景图像即为目标街景图像。
步骤S130，对原始街景图像进行三维建模得到对应的三维模型。
本实施例中，构建原始街景图像的三维模型，通过构建的三维模型可以获知原始街景图像中每一点的几何信息。
步骤S150，获取从原始街景图像和目标街景图像中提取得到的特征点匹配对，根据特征点匹配对在三维模型中进行虚拟相机模拟，以摄取得到街景图像序列。
本实施例中，每一特征点匹配对均包括了原始街景图像中的某一特征点以及目标街景图像中的特征点，其中，目标街景图像中的特征点是与原始街景图像中的特征点相匹配的。
根据特征点匹配对在三维模型中模拟虚拟相机，并移动虚拟相机，以摄取得到街景图像序列，该街景图像序列包括了摄取得到的一系列街景图像。
步骤S170，通过街景图像序列由原始街景图像切换至目标街景图像。
本实施例中，以原始街景图像为起始，逐帧播放街景图像序列，在显示窗口中一一展示街景图像序列所包含的街景图像，进而实现原始街景图像到目标街景图像的顺畅过渡，向用户展示自然顺畅的原始街景图像到目标街景图像之间的变换过程。
如图2所示，在一个实施例中，上述步骤S110包括：
步骤S111，获取原始街景图像所在的第一全景图像和目标街景图像所在的第二全景图像。
本实施例中，全景图像是拍摄设备于某一固定点进行360度拍摄得到的，街景图像是单次拍摄得到的图像，成为全景图像的组成部分，多个街景图像集合在一起便可拼接得到全景图像。
步骤S113，分别对第一全景图像和第二全景图像进行截取得到原始街景图像和目标街景图像。
本实施例中，如图3所示，在第一全景图像301中截取出合适的一部分作为原始街景图像303，在第二全景图像305中截取出合适的一部分作为目标街景图像307。
在一个实施例中，上述步骤S113的过程为：
根据显示窗口的尺寸设置像平面尺寸，并按照像平面尺寸截取得到第一全景图像上的第一像平面和第二全景图像上的第二像平面，即原始街景图像和目标街景图像。
本实施例中，显示窗口用于向用户展示图像画面，例如，显示窗口为浏览器窗口。
按照设定的像平面尺寸对第一全景图像和第二全景图像进行截取，以得到第一像平面和第二像平面，该第一像平面即为原始街景图像，第二像平面即为目标街景图像。
在优选的实施例中，为保证图像过渡的准确性，像平面尺寸将大于显示窗口的尺寸，例如，若显示窗口的尺寸为（W，H），则（λW，λH）为像平面尺寸，其中，λ为大于1的数值，例如，通常设置为2或者更大的数值。
设置像平面尺寸大于显示窗口的尺寸，以使得从全景图像上截取得到的像平面大于用户所实际看到的图像大小，进而使得用户从当前显示的街景图像后退到上一张街景图像时，也能够准确顺畅地实现过渡。
在一个实施例中，上述按照像平面尺寸截取得到第一全景图像上的第一像平面和第二全景图像上的第二像平面的具体过程为：
将第一全景图像和第二全景图像投影至球的内表面，并按照像平面尺寸分别进行截取得到原始街景图像和目标街景图像。
本实施例中，分别对第一全景图像和第二全景图像进行投影，并对投影的第一全景图像和第二全景图像进行截取，以得到第一像平面和第二像平面，以及显示的像素值，第一像平面和第二像平面即为第一全景图像和第二全景图像中某一视角某一方向上的局部图像，即原始街景图像和目标街景图像。
进行投影之后再截取得到原始街景图像和目标街景图像，可有效避免图像中出现明显扭曲的情况发生。
进一步的，分别将第一全景图像和第二全景图像置于投影球内，其中，该投影球的周长将与全景图的宽相近似或者相同。在将第一像平面或第二像平面置于投影球内时，将像平面与球心之间的距离设置为焦距f，通过从球心出发经过像平面各点的射线与球面的交点即可得到该像平面所对应的图像显示的像素值。
如图4所示，在一个实施例中，上述步骤S130包括：
步骤S131，检测原始街景图像中的道路延伸方向。
本实施例中，对原始街景图像中的景物进行检测，以得到原始街景图像中道路所对应的延伸方向。
步骤S133，将道路延伸方向与长方盒模型的内矩形相匹配，以道路延伸方向对应的消失点为原点构建原始街景图像中的长方盒模型。
本实施例中，原始街景图像所在的三维模型为长方盒模型，将道路延伸方向与长方盒模型的内矩形相匹配，使得原始街景图像中道路延伸方向上的景物置于内矩形上，并根据道路延伸方向确定消失点，以消失点作为长方盒模型的原点。消失点为原始街景图像中道路一直延伸至无穷远时汇聚成的点，道路两边的延长线相交的位置即为消失点。
进一步的，如图5所示，将原始街景图像划分为五个区域，这五个区域分别是：内矩形、左侧面（左墙）、右侧面（右墙）、底面和顶端。由于原始街景图像中街景整体可被近似为一个长方盒，即，如图6所示，可将原始街景图像中的道路对应长方盒模型中的底面，将原始街景图像中道路两旁的建筑分别对应长方盒模型中的左侧面和右侧面，将原始街景图像中的天空对应长方盒模型中的顶端，而线段QD和PC相交到点O，该点即为消失点，此时，虚拟相机在原点所摄取到的图像将与原始街景图像相一致，并且若虚拟相机在长方盒模型中脱离原点移动至新的视点时，将会得到在三维效果，保证了通过虚拟相机和长方盒模型所摄取得到的图像的真实性和准确性。
如图7所示，在一个实施例中，上述步骤S131包括：
步骤S1311，检测原始街景图像中的轮廓线，提取强度最强的水平轮廓线作为地平线。
本实施例中，轮廓是只保留图像中梯度变化的部分，通常呈线条状，即轮廓线，例如，图像中某个物体和背景相接触的边缘梯度变化很剧烈，因此能够从图像中检测得到所拥有的轮廓线。
检测原始街景图像的轮廓，以得到水平方向上强度最大的水平轮廓线，进而将这一水平轮廓线设置为地平线。在优选的实施例中，将按照从上到下的顺序查看原始街景图像中水平方向上轮廓线的强度。
步骤S1313，遍历地平线上的点与原始街景图像底边的连线，将连线方向上轮廓线强度最强的两个方向构成道路延伸方向。
本实施例中，依次遍历地平线上的点与原始街景图像底边的连线，连线方向上轮廓线强度最强的两个方向即为道路两侧的延伸方向，即道路延伸方向。
如图8所示，在另一个实施例中，上述步骤S150之前还包括如下步骤：
步骤S210，分别在原始街景图像和目标街景图像中提取特征点。
本实施例中，提取的特征点可以选用SIFT（Scale Invariant FeatureTransform）特征点，或者其它的特征点，在此不做限定。
步骤S230，在长方盒模型中设置遮罩，以保留长方盒模型中位于两侧的特征点。
本实施例中，为了使得街景图像中提取得到的特征点以及后续的处理更为适用于街景图像，在长方盒模型中设置遮罩，只保留长方盒模型中位于左侧面和右侧面的特征点，以提高后续匹配特征点的速度和效率。
步骤S250，将保留的特征点与目标街景图像中提取的特征点进行匹配，以得到特征点匹配对。
本实施例中，对特征点进行匹配，以得到原始街景图像和目标街景图像中特征点之间的匹配关系，进而形成特征点匹配对。
进一步的，在得到原始街景图像和目标街景图像的特征点之后，可采用RANSAC（Random Sample Consensus）算法进行特征点匹配，也可采用其它的特征点匹配算法，在此不做限定。
进一步的，在通过RANSAC算法进行特征点匹配之后，将得到原始街景图像中的特征点和目标街景图像中的特征点之间的匹配关系以及对应的单应矩阵H，应用得到的特征点匹配对数目和单应矩阵H评价当前匹配的效果，即，判断特征点匹配对数量是否达到阈值，并判断单应矩阵中的旋转分量是否小于设定的旋转阈值，若特征点匹配对数目小于阈值和旋转分量超出设定的旋转阈值均认为匹配的效果较差，需要重新进行特征点的匹配。例如，经过RANSAC算法所得到的特征点匹配对数目通常在10～40个，若当前所得到的特征点匹配对数目少于阈值6，则说明匹配结果差。
如图9所示，在一个实施例中，上述步骤S150包括：
步骤S151，获取通过匹配原始街景图像和目标街景图像中的特征点所得到的特征点匹配对。
步骤S153，获取特征点匹配对在三维模型中的几何信息，通过最小二乘法计算得到虚拟相机的移动参数。
本实施例中，特征点匹配对在三维模型中的几何信息即为特征点在三维模型的坐标。特征点匹配对中，来自于原始街景图像的特征点和来自于目标街景图像的特征点是相同或者相近似的两个点，因此这两个特征点所对应的几何信息将是相同的，即相同的位置坐标。
利用街景图像变换前后特征点在三维模型中位置不变的特征，根据俯视图的几何关系得到如下方程：
其中，x和y分别为特征点匹配对中原始街景图像的特征点的水平位置和目标街景图像的特征点的水平位置，f为截取街景图像时使用的焦距，w1是虚拟相机在移动前距离其中一侧面的距离，my和mz为计算得到的移动参数，mz为前后移动距离，my为左右移动距离。
通过多组特征点匹配对的几何信息，采用最小二乘法计算得到移动参数。
进一步的，还将获取街景拍摄时相机所在的GPS信息，根据GPS信息对x和y之间的关系进行约束计算得到的移动参数的取值范围。
例如，若实际拍摄原始街景图像和目标街景图像时相机的前进距离换算成像素单位之后的数值为170，则可以约束计算的得到移动参数mz应当处于范围120～22-之间，以确保移动参数的准确性。
步骤S155，根据移动参数在三维模型中移动虚拟相机，并摄取得到街景图像序列。
本实施例中，根据计算得到的移动参数在三维模型中按照移动参数所指示的前后移动距离和左右移动距离移动虚拟相机，以摄取得到若干帧街景图像序列。
如图10所示，在一个实施例中，上述步骤S170包括：
步骤S171，将街景图像序列生成过渡动画。
本实施例中，街景图像序列包括了若干个街景图像，用于表征不同视点所看到的影像，因此，通过街景图像序列中的若干个街景图像生存若干帧过渡动画，以表现由原始街景图像所在的视点变换到目标街景图像所在的视点的详细过程。
进一步的，在生成的过渡动画中，还对最后若干帧所展示的街景图像与目标街景图像基于时间的线性不透明度进行融合，以得到由过渡动画渐变出目标街景图像的效果。
进一步的，由于原始街景图像和目标街景图像可能存在着曝光程度相关较大的情况，因此，计算出原始街景图像和目标街景图像的整体曝光比值，在过渡动画中依据时间的变化线性地乘上这一曝光比值，以使得过渡动画中街景图像的曝光程序逐渐与目标街景图像趋于一致，而不会产生过于明显的曝光程序跳变，提高了街景图像切换的真实性。
步骤S173，播放过渡动画，并由过渡动画渐变出目标街景图像。
下面结合一个具体的实施例来详细阐述上述街景图像过渡方法。该实施例中，如图11所示，在步骤S1中，分别对输入的第一全景图像101和第二全景图像103进行截取，以得到原始街景图像105和目标街景图像107。在得到原始街景图像之后，进入步骤S2将对原始街景图像建立长方盒模型，并通过步骤S3进行特征点匹配，以得到多组特征点匹配对以及在长方盒模型中对应的几何信息。
在步骤S4中，依据长方盒模型俯视图进行移动参数的计算，进而在长方盒模型中按照移动参数移动虚拟相机，以摄取得到街景图像序列，并生成如步骤S5所示的过渡动画，通过过渡动画实现原始街景图像和目标街景图像之间的过渡。
如图12所示，在一个实施例中，一种街景图像过渡装置，包括：街景图像获取模块110、建模模块130、相机模拟模块150和切换模块170。
街景图像获取模块110，用于获取原始街景图像和目标街景图像。
本实施例中，原始街景图像为显示窗口当前所显示的街景图像，目标街景图像是期望加载并显示的街景图像。例如，原始街景图像和目标街景图像对应了两个紧邻的地点，用户在显示窗口中浏览原始街景图像，对原始街景图像触发前往下一地点的指令时，即将加载并显示于显示窗口中的街景图像即为目标街景图像。
建模模块130，用于对原始街景图像进行三维建模得到对应的三维模型。
本实施例中，建模模块130构建原始街景图像的三维模型，通过构建的三维模型可以获知原始街景图像中每一点的几何信息。
相机模拟模块150，用于获取从原始街景图像和目标街景图像中提取得到特征点匹配对，根据特征点匹配对在三维模型中进行虚拟相机模拟，以摄取得到街景图像序列。
本实施例中，每一特征点匹配对均包括了原始街景图像中的某一特征点以及目标街景图像中的特征点，其中，目标街景图像中的特征点是与原始街景图像中的特征点相匹配的。
相机模拟模块150根据特征点匹配对在三维模型中模拟虚拟相机，并移动虚拟相机，以摄取得到街景图像序列，该街景图像序列包括了摄取得到的一系列街景图像。
切换模块170，用于通过街景图像序列由原始街景图像切换至目标街景图像。
本实施例中，切换模块170以原始街景图像为起始，逐帧播放街景图像序列，在显示窗口中一一展示街景图像序列所包含的街景图像，进而实现原始街景图像到目标街景图像的顺畅过渡，向用户展示自然顺畅的原始街景图像到目标街景图像之间的变换过程。
如图13所示，在一个实施例中，上述街景图像获取模块110包括全景图像获取单元111和图像截取单元113。
全景图像获取单元111，用于获取原始街景图像所在的第一全景图像和目标街景图像所在的第二全景图像。
本实施例中，全景图像是拍摄设备于某一固定点进行360度拍摄得到的，街景图像是单次拍摄得到的图像，成为全景图像的组成部分，多个街景图像集合在一起便可拼接得到全景图像。
图像截取单元113，用于分别对第一全景图像和第二全景图像进行截取得到原始街景图像和目标街景图像。
本实施例中，图像截取单元113在第一全景图像中截取出合适的一部分作为原始街景图像，在第二全景图像中截取出合适的一部分作为目标街景图像。
，在一个实施例中，上述图像截取单元113还用于根据显示窗口的尺寸设置像平面尺寸，并按照像平面尺寸截取得到第一全景图像上的第一像平面和第二全景图像上的第二像平面，即为原始街景图像和目标街景图像。
本实施例中，显示窗口用于向用户展示图像画面，例如，显示窗口为浏览器窗口。
像平面截取单元1131按照设定的像平面尺寸对第一全景图像和第二全景图像进行截取，以得到第一像平面和第二像平面，该第一像平面即为原始街景图像，第二像平面即为目标街景图像。
在优选的实施例中，为保证图像过渡的准确性，像平面尺寸将大于显示窗口的尺寸，例如，若显示窗口的尺寸为（W，H），则（λW，λH）为像平面尺寸，其中，λ为大于1的数值，例如，通常设置为2或者更大的数值。
像平面截取单元1131设置像平面尺寸大于显示窗口的尺寸，以使得从全景图像上截取得到的像平面大于用户所实际看到的图像大小，进而使得用户从当前显示的街景图像后退到上一张街景图像时，也能够准确顺畅地实现过渡。
在另一个实施例中，上述图像截取单元113还用于将第一全景图像和第二全景图像投影至球的内表面，并按照像平面尺寸分别进行截取得到原始街景图像和目标街景图像。
本实施例中，图像截取单元113分别对第一全景图像和第二全景图像进行投影，并对投影的第一全景图像和第二全景图像进行截取，以得到第一像平面和第二像平面，以及显示的像素值，第一像平面和第二像平面即为第一全景图像和第二全景图像中中某一视角某一方向上的局部图像，即原始街景图像和目标街景图像。
进行投影之后再截取得到原始街景图像和目标街景图像，可有效避免图像中出现明显扭曲的情况发生。
进一步的，图像截取单元113分别将第一像全景图像和第二全景图像置于投影球内，其中，该投影球的周长将与全景图的宽相近似或者相同。在将第一像平面或第二像平面投影置于投影球内时，投影单元1133将像平面与球心之间的距离设置为焦距f，通过从球心出发经过像平面各点的射线与球面的交点即可得到该像平面所对应的图像显示的像素值。
如图14所示，在一个实施例中，上述建模模块130包括方向检测单元131和长方盒模型构建单元133。
方向检测单元131，用于检测原始街景图像中的道路延伸方向。
本实施例中，方向检测单元131对原始街景图像中的景物进行检测，以得到原始街景图像中道路所对应的延伸方向。
长方盒模型构建单元133，用于将道路延伸方向与长方盒模型的内矩形相匹配，以道路延伸方向对应的消失点为原点构建原始街景图像中的长方盒模型。
本实施例中，原始街景图像所在的三维模型为长方盒模型，长方盒模型构建单元133将道路延伸方向与长方盒模型的内矩形相匹配，使得原始街景图像中道路延伸方向上的景物置于内矩形上，并根据道路延伸方向确定消失点，以消失点作为长方盒模型的原点。消失点为原始街景图像中道路一直延伸至无穷远时汇聚成的点，道路两边的延长线相交的位置即为消失点。
进一步的，长方盒模型构建单元133将原始街景图像划分为五个区域，这五个区域分别是：内矩形、左侧面、右侧面、底面和顶端。由于原始街景图像中街景整体可被近似为一个长方盒，即，长方盒模型构建单元133可将原始街景图像中的道路对应长方盒模型中的底面，将原始街景图像中道路两旁的建筑分别对应长方盒模型中的左侧面和右侧面，将原始街景图像中的天空对应长方盒模型中的顶端，而线段QD和PC相交到点O，该点即为消失点，此时，虚拟相机在原点所摄取到的图像将与原始街景图像相一致，并且若虚拟相机在长方盒模型中脱离原点移动至新的视点时，将会得到在三维效果，保证了通过虚拟相机和长方盒模型所摄取得到的图像的真实性和准确性。
在一个实施例中，上述方向检测单元131还用于检测原始街景图像中的轮廓线，提取强度最强的水平轮廓线作为地平线，遍历地平线上的点与原始街景图像底边的连线，将连线方向上轮廓线强度最强的两个方向构成道路延伸方向。
本实施例中，轮廓是只保留图像中梯度变化的部分，通常呈线条状，即轮廓线，例如，图像中某个物体和背景相接触的边缘梯度变化很剧烈，因此能够从图像中检测得到所拥有的轮廓线。
方向检测单元131检测原始街景图像的轮廓，以得到水平方向上强度最大的水平轮廓线，进而将这一水平轮廓线设置为地平线。在优选的实施例中，方向检测单元131将按照从上到下的顺序查看原始街景图像中水平方向上轮廓线的强度。
方向检测单元131依次遍历地平线上的点与原始街景图像底边的连线，连线方向上轮廓线强度最强的两个方向即为道路两侧的延伸方向，即道路延伸方向。
如图15所示，在另一个实施例中，上述街景过渡装置还包括提取模块210、遮罩模块230和匹配模块250。
提取模块210，用于分别在原始街景图像和目标街景图像中提取特征点。
本实施例中，提取模块210提取的特征点可以选用SIFT特征点，或者其它的特征点，在此不做限定。
遮罩模块230，用于在长方盒模型中设置遮罩，以保留长方盒模型中两侧的特征点。
本实施例中，为了使得街景图像中提取得到的特征点以及后续的处理更为适用于街景图像，遮罩模块230在长方盒模型中设置遮罩，只保留长方盒模型中位于左侧面和右侧面的特征点，以提高后续匹配特征点的速度和效率。
匹配模块250，用于将保留的特征点与目标街景图像中提取的特征点进行匹配，以得到特征点匹配对。
本实施例中，匹配模块250对特征点进行匹配，以得到原始街景图像和目标街景图像中特征点之间的匹配关系，进而形成特征点匹配对。
进一步的，在得到原始街景图像和目标街景图像的特征点之后，匹配模块250可采用RANSAC算法进行特征点匹配，也可采用其它的特征点匹配算法，在此不做限定。
进一步的，在通过RANSAC算法进行特征点匹配之后，匹配模块250将得到原始街景图像中的特征点和目标街景图像中的特征点之间的匹配关系以及对应的单应矩阵H，应用得到的特征点匹配对数目和单应矩阵H评价当前匹配的效果，即，判断特征点匹配对数量是否达到阈值，并判断单应矩阵中的旋转分量是否小于设定的旋转阈值，若特征点匹配对数目小于阈值和旋转分量超出设定的旋转阈值均认为匹配的效果较差，需要重新进行特征点的匹配。例如，经过RANSAC算法所得到的特征点匹配对数目通常在10～40个，若当前所得到的特征点匹配对数目少于阈值6，则说明匹配结果差。
如图16所示，在一个实施例中，上述相机模拟模块150包括匹配对获取单元151、运算单元153和摄取单元155。
匹配对获取单元151，用于获取通过匹配原始街景图像和目标街景图像中的特征点所得到的特征点匹配对。
运算单元153，用于获取特征点匹配对在三维模型中的几何信息，通过最小二乘法计算得到虚拟相机的移动参数。
本实施例中，特征点匹配对在三维模型中的几何信息即为特征点在三维模型的坐标。特征点匹配对中，来自于原始街景图像的特征点和来自于目标街景图像的特征点是相同或者相近似的两个点，因此这两个特征点所对应的几何信息将是相同的，即相同的位置坐标。
运算单元153利用街景图像变换前后特征点在三维模型中位置不变的特征，根据俯视图的几何关系得到如下方程：
其中，x和y分别为特征点匹配对中原始街景图像的特征点的水平位置和目标街景图像的特征点的水平位置，f为截取街景图像时使用的焦距，w1是虚拟相机在移动前距离其中一侧面的距离，my和mz为计算得到的移动参数，mz为前后移动距离，my为左右移动距离。
运算单元153通过多组特征点匹配对的几何信息，采用最小二乘法计算得到移动参数。
进一步的，运算单元153还将获取街景拍摄时相机所在的GPS信息，根据GPS信息对x和y之间的关系进行约束计算得到的移动参数的取值范围。
例如，若实际拍摄原始街景图像和目标街景图像时相机的前进距离换算成像素单位之后的数值为170，则可以约束计算的得到移动参数mz应当处于范围120～22-之间，以确保移动参数的准确性。
摄取单元155，用于根据移动参数在三维模型中移动虚拟相机，并摄取得到街景图像序列。
本实施例中，摄取单元155根据计算得到的移动参数在三维模型中按照移动参数所指示的前后移动距离和左右移动距离移动虚拟相机，以摄取得到若干帧街景图像序列。
如图17所示，在一个实施例中，上述切换模块170包括动画生成单元171和播放单元173。
动画生成单元171，用于将街景图像序列生成过渡动画。
本实施例中，街景图像序列包括了若干个街景图像，用于表征不同视点所看到的影像，因此，动画生成单元171通过街景图像序列中的若干个街景图像生存若干帧过渡动画，以表现由原始街景图像所在的视点变换到目标街景图像所在的视点的详细过程。
进一步的，在生成的过渡动画中，动画生成单元171还对最后若干帧所展示的街景图像与目标街景图像基于时间的线性不透明度进行融合，以得到由过渡动画渐变出目标街景图像的效果。
进一步的，由于原始街景图像和目标街景图像可能存在着曝光程度相关较大的情况，因此，动画生成单元171计算出原始街景图像和目标街景图像的整体曝光比值，在过渡动画中依据时间的变化线性地乘上这一曝光比值，以使得过渡动画中街景图像的曝光程序逐渐与目标街景图像趋于一致，而不会产生过于明显的曝光程序跳变，提高了街景图像切换的真实性。
播放单元173，用于播放过渡动画，并由过渡动画渐变出目标街景图像。
上述街景图像过渡方法和装置，获取原始街景图像和目标街景图像，对原始街景图像进行三维建模得到对应的三维模型，获取从原始街景图像和目标街景图像中提取得到的特征点匹配对，根据该特征点匹配对在三维模型中进行虚拟相机模拟，以摄取得到街景图像序列，进而通过街景图像序列实现原始街景图像至目标街景图像的过渡，不需要从通过互联网络从服务器中获取预先录制的过度影片，只需要通过原始街景图像和目标街景图像即可在本地快速地生成用于过渡的街景图像序列，屏蔽了各种因素的影响，提高了稳定性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种街景图像过渡方法，包括如下步骤：
获取原始街景图像和目标街景图像，具体包括：获取所述原始街景图像所在的第一全景图像和所述目标街景图像所在的第二全景图像，分别对所述第一全景图像和第二全景图像进行截取得到所述原始街景图像和目标街景图像，具体包括：根据显示窗口的尺寸设置像平面尺寸，并按照所述像平面尺寸截取得到所述第一全景图像上的第一像平面和第二全景图像上的第二像平面，即为原始街景图像和目标街景图像，所述像平面尺寸大于所述显示窗口的尺寸，显示窗口用于向用户展示图像画面，街景图像是单次拍摄得到的图像，成为全景图像的组成部分，多个街景图像集合在一起拼接得到全景图像；
对所述原始街景图像进行三维建模得到对应的三维模型；
获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列；
通过所述街景图像序列由所述原始街景图像切换至目标街景图像，具体为：将街景图像序列生成过渡动画，对最后预设帧所展示的街景图像与目标街景图像基于时间的线性不透明度进行融合，播放过渡动画，并由过渡动画渐变出目标街景图像。
2.根据权利要求1所述的街景图像过渡方法，其特征在于，所述按照所述像平面尺寸截取得到第一全景图像上的第一像平面和第二全景图像上的第二像平面，即为原始街景图像和目标街景图像的步骤为：
将所述第一全景图像和第二全景图像投影至球的内表面，并按照所述像平面尺寸分别进行截取得到原始街景图像和目标街景图像。
3.根据权利要求1所述的街景图像过渡方法，其特征在于，所述对所述原始街景图像进行三维建模得到对应的三维模型的步骤包括：
检测所述原始街景图像中的道路延伸方向；
将所述道路延伸方向与长方盒模型的内矩形相匹配，以所述道路延伸方向对应的消失点为原点构建所述原始街景图像中的长方盒模型。
4.根据权利要求3所述的街景图像过渡方法，其特征在于，所述检测所述原始街景图像中的道路延伸方向的步骤包括：
检测原始街景图像中的轮廓线，提取强度最强的水平轮廓线作为地平线；
遍历地平线上的点与原始街景图像底边的连线，将连线方向上轮廓线强度最强的两个方向构成所述道路延伸方向。
5.根据权利要求3所述的街景图像过渡方法，其特征在于，所述获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列的步骤之前还包括：
分别在所述原始街景图像和目标街景图像中提取特征点；
在所述长方盒模型中设置遮罩，以保留长方盒模型中位于两侧的特征点；
将保留的特征点与所述目标街景图像中提取的特征点进行匹配，以得到特征点匹配对。
6.根据权利要求1所述的街景图像过渡方法，其特征在于，所述获取从原始街景和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列的步骤包括：
获取通过匹配原始街景图像和目标街景图像中的特征点所得到的特征点匹配对；
获取特征点匹配对在三维模型中的几何信息，通过最小二乘法计算得到虚拟相机的移动参数；
根据所述移动参数在所述三维模型中移动虚拟相机，并摄取得到街景图像序列。
7.一种街景图像过渡装置，其特征在于，包括：
街景图像获取模块，用于获取原始街景图像和目标街景图像，包括：
全景图像获取单元，用于获取所述原始街景图像所在的第一全景图像和所述目标街景图像所在的第二全景图像；
图像截取单元，用于分别对所述第一全景图像和第二全景图像进行截取得到所述原始街景图像和目标街景图像，还用于根据显示窗口的尺寸设置像平面尺寸，并按照所述像平面尺寸截取得到所述第一全景图像上的第一像平面和第二全景图像上的第二像平面，即为原始街景图像和目标街景图像，所述像平面尺寸大于所述显示窗口的尺寸，显示窗口用于向用户展示图像画面，街景图像是单次拍摄得到的图像，成为全景图像的组成部分，多个街景图像集合在一起拼接得到全景图像；
建模模块，用于对所述原始街景图像进行三维建模得到对应的三维模型；
相机模拟模块，用于获取从所述原始街景图像和目标街景图像中提取得到的特征点匹配对，根据所述特征点匹配对在所述三维模型中进行虚拟相机模拟，以摄取得到街景图像序列；
切换模块，用于通过所述街景图像序列由所述原始街景图像切换至目标街景图像，所述切换模块包括：动画生成单元，用于将所述街景图像序列生成过渡动画，对最后预设帧所展示的街景图像与目标街景图像基于时间的线性不透明度进行融合；播放单元，用于播放所述过渡动画，并由所述过渡动画渐变出所述目标街景图像。
8.根据权利要求7所述的街景图像过渡装置，其特征在于，所述图像截取单元还用于将第一全景图像和第二全景图像投影至球的内表面，并按照所述像平面尺寸分别进行截取得到原始街景图像和目标街景图像。
9.根据权利要求7所述的街景图像过渡装置，其特征在于，所述建模模块包括：
方向检测单元，用于检测所述原始街景图像中的道路延伸方向；
长方盒模型构建单元，用于将所述道路延伸方向与长方盒模型的内矩形相匹配，以所述道路延伸方向对应的消失点为原点构建所述原始街景图像中的长方盒模型。
10.根据权利要求9所述的街景图像过渡装置，其特征在于，所述方向检测单元还用于检测原始街景图像中的轮廓线，提取强度最强的水平轮廓线作为地平线，遍历地平线上的点与原始街景图像底边的连线，将连线方向上轮廓线强度最强的两个方向构成所述道路延伸方向。
11.根据权利要求9所述的街景图像过渡装置，其特征在于，还包括：
提取模块，用于分别在所述原始街景图像和目标街景图像中提取特征点；
遮罩模块，用于在所述长方盒模型中设置遮罩，以保留长方盒模型中位于两侧的特征点；
匹配模块，用于将保留的特征点与所述目标街景图像中提取的特征点进行匹配，以得到特征点匹配对。
12.根据权利要求7所述的街景图像过渡装置，其特征在于，所述相机模拟模块包括：
匹配对获取单元，用于获取通过匹配原始街景图像和目标街景图像中的特征点所得到的特征点匹配对；
运算单元，用于获取特征点匹配对在三维模型中的几何信息，通过最小二乘法计算得到虚拟相机的移动参数；
摄取单元，用于根据所述移动参数在所述三维模型中移动虚拟相机，并摄取得到街景图像序列。
CN201310037566.7A 2013-01-30 2013-01-30 街景图像过渡方法和装置 Active CN103971399B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310037566.7A CN103971399B (zh) 2013-01-30 2013-01-30 街景图像过渡方法和装置
PCT/CN2013/087422 WO2014117568A1 (en) 2013-01-30 2013-11-19 Method and device for performing transition between street view images
US14/267,843 US20140240311A1 (en) 2013-01-30 2014-05-01 Method and device for performing transition between street view images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310037566.7A CN103971399B (zh) 2013-01-30 2013-01-30 街景图像过渡方法和装置

Publications (2)

Publication Number Publication Date
CN103971399A CN103971399A (zh) 2014-08-06
CN103971399B true CN103971399B (zh) 2018-07-24

Family

ID=51240846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310037566.7A Active CN103971399B (zh) 2013-01-30 2013-01-30 街景图像过渡方法和装置

Country Status (3)

Country Link
US (1) US20140240311A1 (zh)
CN (1) CN103971399B (zh)
WO (1) WO2014117568A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
US9002647B1 (en) 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews
US9418472B2 (en) * 2014-07-17 2016-08-16 Google Inc. Blending between street view and earth view
CN104244019B (zh) * 2014-09-18 2018-01-19 孙轩 一种全景视频影像室内分屏显示方法及显示系统
CN104301769B (zh) * 2014-09-24 2017-12-15 华为技术有限公司 呈现图像的方法、终端设备和服务器
CN104699842B (zh) * 2015-03-31 2019-03-26 百度在线网络技术（北京）有限公司 图片展示方法和装置
CN106157354B (zh) * 2015-05-06 2019-08-23 腾讯科技（深圳）有限公司 一种三维场景切换方法及系统
US9679413B2 (en) * 2015-08-13 2017-06-13 Google Inc. Systems and methods to transition between viewpoints in a three-dimensional environment
CN105719343A (zh) * 2016-01-19 2016-06-29 上海杰图天下网络科技有限公司 一种构建虚拟街景地图的方法
CN106484850B (zh) * 2016-09-30 2019-10-15 北京百度网讯科技有限公司 全景地图显示方法和装置
CN107993276B (zh) 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
CN107170049B (zh) * 2017-04-28 2019-03-22 深圳市思为软件技术有限公司 一种序列帧与全景交互的方法及装置
CN107770458B (zh) * 2017-10-12 2019-01-01 深圳思为科技有限公司 一种场景切换的方法及终端设备
CN110874818B (zh) * 2018-08-31 2023-06-23 阿里巴巴集团控股有限公司 图像处理和虚拟空间构建方法、装置、系统和存储介质
TWI678546B (zh) * 2018-12-12 2019-12-01 緯創資通股份有限公司 距離偵測方法、距離偵測系統與電腦程式產品
CN110084889B (zh) * 2019-03-29 2020-07-24 贝壳找房(北京)科技有限公司 一种小区虚拟三维模型中的游走线路处理方法及装置
CN113892129B (zh) 2019-05-31 2022-07-29 苹果公司 创建三维外观的虚拟视差
CN110286993B (zh) * 2019-07-07 2022-02-25 徐书诚 一种实现全景图像非匀速动画显示计算机系统
CN112100521B (zh) * 2020-09-11 2023-12-22 广州宸祺出行科技有限公司 一种街景识别定位并获取全景图片的方法及系统
CN112116524A (zh) * 2020-09-21 2020-12-22 胡翰 一种街景图像立面纹理的纠正方法及装置
CN112308987B (zh) * 2020-11-03 2024-02-02 豪威科技(武汉)有限公司 车载图像拼接方法、系统以及装置
CN112634414B (zh) 2020-12-24 2023-09-05 北京百度网讯科技有限公司 地图显示方法及装置
CN112822400A (zh) * 2021-01-07 2021-05-18 浙江图盛输变电工程有限公司 一种数字全景地图的采集使用方法
CN113297984B (zh) * 2021-05-27 2024-02-27 北京皮尔布莱尼软件有限公司 虚拟现实展馆内展品的展示方法及计算设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000461A (zh) * 2006-12-14 2007-07-18 上海杰图软件技术有限公司 一种鱼眼图像生成立方体全景的方法
US7460782B2 (en) * 2004-06-08 2008-12-02 Canon Kabushiki Kaisha Picture composition guide

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095131A1 (en) * 2001-11-08 2003-05-22 Michael Rondinelli Method and apparatus for processing photographic images
NZ518092A (en) * 2002-03-28 2004-11-26 Pulse Data Internat Ltd Low vision video magnifier viewing apparatus having digital zoom feature
US20060132482A1 (en) * 2004-11-12 2006-06-22 Oh Byong M Method for inter-scene transitions
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
US9008359B2 (en) * 2012-06-28 2015-04-14 International Business Machines Corporation Detection of static object on thoroughfare crossings

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460782B2 (en) * 2004-06-08 2008-12-02 Canon Kabushiki Kaisha Picture composition guide
CN101000461A (zh) * 2006-12-14 2007-07-18 上海杰图软件技术有限公司 一种鱼眼图像生成立方体全景的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Photo Navigator;Chi-Chang Hsieh等;《Proc Acm Multimedia》;20081231;第419-428页 *
基于特征跟踪的电子稳像技术研究;韩卿;《中国优秀硕士学位论文全文数据库信息科技辑》;20090115(第1期);I138-825 *

Also Published As

Publication number Publication date
CN103971399A (zh) 2014-08-06
WO2014117568A1 (en) 2014-08-07
US20140240311A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
CN103971399B (zh) 街景图像过渡方法和装置
US9117310B2 (en) Virtual camera system
Izadi et al. Kinectfusion: real-time 3d reconstruction and interaction using a moving depth camera
US8254667B2 (en) Method, medium, and system implementing 3D model generation based on 2D photographic images
US8471848B2 (en) System and method for tracking three dimensional objects
US11284057B2 (en) Image processing apparatus, image processing method and storage medium
EP3668093B1 (en) Method, system and apparatus for capture of image data for free viewpoint video
US20200320727A1 (en) Method and apparatus for generating a three-dimensional model
Zhi et al. Toward dynamic image mosaic generation with robustness to parallax
Liao et al. SynthText3D: synthesizing scene text images from 3D virtual worlds
US20150138193A1 (en) Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium
Zhang et al. Personal photograph enhancement using internet photo collections
Liu et al. Extracting 3D information from broadcast soccer video
Wang et al. People as scene probes
Wei et al. Simulating shadow interactions for outdoor augmented reality with RGBD data
Wang et al. Human foot reconstruction from multiple camera images with foot shape database
Deepu et al. 3D Reconstruction from Single 2D Image
Wardlaw et al. A new approach to thermal imaging visualisation
Zhou et al. Model-guided 3D stitching for augmented virtual environment
GB2365243A (en) Creating a 3D model from a series of images
Vezhnevets et al. Interactive image-based urban modeling
GB2358540A (en) Selecting a feature in a camera image to be added to a model image
Ye et al. A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields
CN114764818A (zh) 基于图像跟踪的视频渲染方法及装置
Liu et al. A wide base line multiple camera system for high performance 3D video and free viewpoint video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant