CN101681525A - 产生多视点全景图的方法及设备 - Google Patents

产生多视点全景图的方法及设备 Download PDF

Info

Publication number
CN101681525A
CN101681525A CN200780053247A CN200780053247A CN101681525A CN 101681525 A CN101681525 A CN 101681525A CN 200780053247 A CN200780053247 A CN 200780053247A CN 200780053247 A CN200780053247 A CN 200780053247A CN 101681525 A CN101681525 A CN 101681525A
Authority
CN
China
Prior art keywords
image
panorama
map
viewpoint
source images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200780053247A
Other languages
English (en)
Inventor
沃伊切赫·托马什·诺瓦克
拉法尔·扬·格利什琴斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tele Atlas BV
Tele Atlas NV
Original Assignee
Tele Atlas BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tele Atlas BV filed Critical Tele Atlas BV
Publication of CN101681525A publication Critical patent/CN101681525A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Abstract

本发明揭示一种产生路边的多视点全景图的方法。所述方法包含：获取通过安装在移动车辆上的至少一个基于陆地的激光扫描仪获得的一组激光扫描样本，其中每一样本与位置数据及定向数据相关联；获取至少一个图像序列，其中借助安装在所述移动车辆上的基于陆地的相机获得每一图像序列，其中所述至少一个图像序列中的每一图像与位置及定向数据相关联；从所述组激光扫描样本中抽取表面且依据与所述激光扫描样本相关联的所述位置数据确定所述表面的位置；依据所述表面的所述位置及与所述图像中的每一者相关联的所述位置及定向数据从所述至少一个图像序列产生所述表面的多视点全景图。

Description

产生多视点全景图的方法及设备
技术领域
本发明涉及一种产生多视点全景图的方法。本发明进一步涉及一种从多视点全景图产生路边全景图的方法。本发明进一步涉及一种用于多视点全景图的设备、一种计算机程序产品及一种携载所述计算机程序产品的处理器可读媒体。本发明进一步涉及一种使用所述路边全景图的计算机实施的系统。
背景技术
当今，人们使用导航装置来沿道路对自己进行导航或使用因特网上的地图显示。导航装置在其显示器中显示位置的平面透视、有角透视(鸟瞰图)或可变比例的“2D”地图。所述显示器中仅显示关于道路的信息或一些关于区域(例如，湖泊及公园)的简单属性信息。此种信息实际上是位置的抽象表示且并不显示位于所述显示器中所示(实际地或虚拟地)的位置处的人或相机可看到的事物。一些因特网应用显示从卫星或飞机上拍摄的俯视图片且仍很少地显示从道路拍摄的有限的一组照片，可能在用户的位置(真实的或虚拟的)附近且面向用户打算看向的大致相同的方向。
在未来的导航装置及因特网应用中需要更准确且更现实的路边视图。所述路边视图使得用户能够看到在特定位置可看到的事物且在驾驶时非常容易地检验导航装置是否使用正确的位置或检验在因特网上询问的所关心的地方真正是其想去的地方或仅仅因为娱乐或商业原因而更详细地观看所述区域。在所述显示器中，用户则可立即看到在显示器上看到的建筑物是否对应于其可在路边看到的建筑物或根据记忆或其它描述想象的建筑物。将从自不同的观点捕获的图像产生的全景图像视为多视点或多视角的。另一种类型的全景图像是缝隙扫描全景图。在其最简单的形式中，条带全景图沿水平轴展现正射投影，且沿垂直轴展现透视投影。
从阿什姆阿加瓦拉(Aseem Agarwala)等人的以多视点全景图拍摄长景物(Photographing long scenes with multi-viewpoint panoramas)(ACM图形学汇刊(SIGGRAPH 2006学报)，2006年)知道用于产生多视点全景图的系统。用于产生长、大致平面的景物(例如，沿城市街道的建筑物的正面)的多视点全景图的系统从使用手持式照相机捕获的相对稀疏的一组照片产生。用户必须识别所拍摄的景物的主平面。然后，系统使用马可夫随机场优化自动计算全景图。
用于描绘周围事物的现实图像的另一种技术是开发区域的全3D模型且然后将现实纹理应用到每一建筑物的外部尺寸。应用(例如，导航单元中或因特网上的应用)则可使用3D再现软件来构造周围对象的现实图片。
发明内容
本发明试图提供一种产生多视点全景图的替代方法及一种以接近照片的质量提供表示虚拟表面的一组高质量的易于理解的图像的替代方式，所述图像易于操纵以获得伪现实透视图像而不存在开发3D模型的增加的成本及复杂性。
根据本发明，所述方法包含：
获取通过安装在移动车辆上的激光扫描仪获得的一组激光扫描样本，其中每一样本与位置数据相关联；
获取至少一个图像序列，其中已借助安装在所述移动车辆上的基于陆地的相机获得每一图像序列，其中所述至少一个图像序列中的每一图像与位置及定向数据相关联；
从所述组激光扫描样本中抽取表面且依据与所述激光扫描样本相关联的所述位置数据确定所述表面的位置；
依据所述表面的所述位置及与所述图像中的每一者相关联的所述位置及定向数据从所述至少一个图像序列产生所述多边形的多视点全景图。
本发明是基于辨识移动测绘车辆，所述移动测绘车辆行驶在地球表面上、用基于陆地的相机记录表面收集的地理位置图像序列。此外，所述移动测绘车辆记录激光扫描样本，所述激光扫描样本使得软件能够根据来自所述激光扫描仪样本的距离信息产生所述移动测绘车辆的环境的3D表示。借助GPS接收器及惯性测量装置(例如，一个或一个以上回转仪及/或加速计)确定车辆的位置及定向。此外，已知相机相对于车辆且因此相对于环境的3D表示的位置及定向。为能够产生视觉上有吸引力的多视点全景图，必须知道相机与全景图的表面之间的距离。所述全景图可表示路边的视图，其从建筑物表面一直变化为街道的路边全景图。此可通过现有图像处理技术完成。然而，此需要大量的计算机处理能力。根据本发明，通过处理激光扫描仪数据来确定所述表面。此比仅使用图像处理技术需要少得多的处理能力来确定表面的位置。随后，可通过将所记录的图像或图像的段投影到所确定的表面上来产生多视点全景图。
借助车载定位系统(例如，GPS接收器)及其它额外位置与定向确定装备(例如，惯性导航系统-INS)准确地知道相机及激光扫描仪的地理位置。
本发明的另一个改进是在没有计算3D模型所必需的处理时间也没有再现全3D模型所必需的处理时间的情况下提供显示某种写实性3D图像的影像的能力。3D模型包含多个多边形或表面。再现全3D模型需要针对多边形中的每一者评价在从特定侧观看所述3D模型时所述多边形是否可被看到。如果可看到多边形，那么所述多边形将投影在所述影像上。根据本发明的多视点全景图仅为整个临街面的一个表面。
本发明的其它实施例已界定于所附权利要求书中。
在本发明的一个实施例中，产生包含：
检测在所述至少一个图像序列中的所有图像中阻碍观看所述表面的一部分的一个或一个以上障碍物；
将所述一个或一个以上障碍物中的一者的视图投影到多视点全景图。激光扫描仪样本使我们能够针对每一图像检测哪些障碍物在相机的前方且在将要产生的多视点全景图的平面的位置之前。这些特征使我们能够检测所述平面的哪些部分在所述图像中的任一者中不可见且应填满障碍物。此允许我们最小化在正面前方在所述全景图中可见的障碍物的数量且从而从多视点全景图中排除尽可能多的障碍物以便在所有所述图像中不阻碍观看所述表面的一部分。此使我们能够提供具有良好的视觉质量的临街面的多视点全景图。
在本发明的另一个实施例中，产生进一步包含：
针对所检测的障碍物中的每一者确定其是否在所述图像中的任一者中完全可见；
如果所检测的障碍物在至少一个图像中完全可见，那么将所述所检测对象的视图从所述至少一个图像中的一者投影到多视点全景图。这些特征允许我们减少将部分地显像于所述全景图中的障碍物的数量。此改善所述多视点全景图的吸引力。
在本发明的一个实施例中，优选地从图像中具有最垂直于多边形的相关联视角的部分图像产生多视点全景图。此特征使我们能够从所述图像产生质量最好的多视点全景图。
在本发明的一个实施例中，通过组合多视点全景图来产生路边全景图。针对路边全景图确定平行于线(例如，道路的中心线)但距所述线一定距离的共用表面。将具有与所述共用表面不同的位置的多视点全景图投影在所述共用表面上以便就像在等于所述表面与所述线之间的距离的距离处看到所述多视点全景图中的每一者那样表示所述多视点全景图中的所述每一者。相应地，产生全景图，所述全景图显像具有与所述共用表面不同的位置的多视点全景图中的对象，现在就像从相同的距离看到那样。已从所述多视点全景图中移除尽可能多的障碍物以获得最好的视觉质量，产生其中将不显像沿道路的许多障碍物的路边全景图。
根据本发明的路边全景图提供显示街道的某种写实性3D视图的影像的能力，而不存在再现沿所述街道的建筑物的全3D模型所必需的处理时间。使用所述街道的3D模型提供所述街道的3D视图需要针对沿所述街道的每一建筑物或每一建筑物的部分确定其能否被看到且随后将所述建筑物或其部分的每一3D模型再现为3D视图。可容易地通过根据本发明的路边全景图提供显示街道的某种写实性3D视图的影像。所述路边全景图表示当投影到共用表面上时沿所述街道的建筑物。可容易地通过依序(以具有距离观看位置最远的位置的像素列开始一直到具有距离观看点最近的位置的像素列)将所述路边全景图的像素列投影在所述3D视图上将所述表面变换为伪透视图像。以此方式，可针对左及右路边全景图的表面产生现实的透视图像，从而产生街道的伪现实视图。当使用沿街道的建筑物的3D模型时，仅需要表示两个表面的两个图像替代多个多边形。
可使用软件、硬件或软件与硬件的组合来实施本发明。当本发明的全部或部分在软件中实施时，所述软件可驻存于处理器可读存储媒体上。适当的处理器可读存储媒体的实例包括软磁盘、硬磁盘、CD ROM、DVD、存储器IC等。当系统包括硬件时，所述硬件可包括：输出装置(例如，监视器、扬声器或打印机)；输入装置(例如，键盘、指向装置及/或麦克风)；及处理器，其与所述输出装置通信；以及处理器可读存储媒体，其与所述处理器通信。所述处理器可读存储媒体存储代码，所述代码能够编程所述处理器以执行所述动作从而实施本发明。本发明的过程还可在可经由电话线或其它网络或因特网连接存取的服务器上实施。
附图说明
下文将使用多个实例性实施例参照附图更详细地论述发明，所述附图打算图解说明本发明而非限制其由所附权利要求书及其等效实施例界定的范围，附图中
图1显示具有相机及激光扫描仪的MMS系统；
图2显示位置及定向参数的图示；
图3显示本发明可借助其执行的计算机布置的框图；
图4是根据本发明用于产生道路信息的过程的实例性实施方案的流程图；
图5显示基于激光扫描样本的直方图；
图6显示多边形检测的实例性结果；
图7显示源图像在虚拟平面上的投影的透视图；
图8显示源图像在虚拟平面上的投影的俯视图；
图9显示源图像在虚拟平面上的投影的侧视图；
图10显示在不同位置的记录同一平面的两个相机的俯视图；
图11显示来自图10中所示的情形的透视图；
图12图解说明从两个图像构成全景图的过程；
图13显示在不同位置的记录同一平面的两个相机的俯视图；
图14显示来自图13中所示的情形的透视图；
图15a-d显示全景图的应用，
图16a-e图解说明在源图像中找到产生多视点全景图的区域的第二实施例，
图17显示用以分派源图像中将要选择的部分源图像的算法的流程图；及
图18显示路边全景图的另一个实例。
具体实施方式
图1显示采用汽车1形式的MMS系统。汽车1具有一个或一个以上相机9(i)(i＝1，2，3，...I)及一个或一个以上激光扫描仪3(j)(j＝1，2，3，...J)。视角或所述一个或一个以上相机9(i)可在相对于汽车1的驾驶方向的任何方向上且因此可以是前视相机、侧视相机或后视相机等。优选地，汽车1的行驶方向与相机的视角之间的角度在任一侧上在45度到135度的范围内。汽车1可由驾驶员驾驶着沿感兴趣的道路行驶。在实例性实施例中，两个侧视相机安装在汽车1上，其中所述两个相机之间的距离是2米且所述相机的视角垂直于汽车1的行驶方向且平行于地球表面。在另一个实例性实施例中，两个相机已安装在汽车1上，所述相机具有与所述汽车的一个侧的水平视角及向前视角，其分别为约45°及135°。另外，具有45°的向上视角的第三侧视相机可安装在所述汽车上。此第三相机用于捕获路边的建筑物的上部部分。
汽车1具有多个车轮2。此外，汽车1具有高准确性位置确定装置。如图1中所示，所述位置确定装置包含以下组件：
·GPS(全球定位系统)单元，其连接到天线8且经布置以与多个卫星SLi(i＝1，2，3，...)通信且根据从卫星SLi接收的信号计算位置信号。所述GPS单元连接到微处理器μP。基于从所述GPS单元接收的信号，所述微处理器μP可确定将显示于汽车1中的监视器4上的合适的显示信号，从而告知驾驶员汽车的所在位置及所述汽车可能正沿哪个方向行进。替代GPS单元，可使用差分GPS单元。差分全球定位系统(DGPS)是对全球定位系统(GPS)的增强，其使用固定的基于地面的参考站网络来广播由卫星系统所指示的位置与已知的固定位置之间的差异。这些站广播所测量的卫星伪距与实际(在内部计算的)伪距之间的差异，且接收器站可将其伪距校正相同量。
·DMI(距离测量器具)。此器具是通过感测车轮2中的一者或一者以上的旋转次数来测量汽车1行进的距离的计程仪。所述DMI还连接到微处理器μP以允许所述微处理器μP考虑由所述DMI测量的距离，同时依据来自所述GPS单元的输出信号计算显示信号。
·IMU(惯性测量单元)。此种IMU可实施为3个回转仪单元，其经布置以测量沿3个正交方向的旋转加速度及平移加速度。所述IMU还连接到微处理器μP以允许所述微处理器μP考虑所述DMI的测量结果，同时依据来自所述GPS单元的输出信号计算显示信号。所述IMU还可包含航位推算传感器。
应注意，所属领域的技术人员可找到全球卫星导航系统与车载惯性与航位推算系统的许多组合以提供车辆的准确位置及定向且因此提供装备(其以参照所述车辆的已知位置及定向安装)的准确位置及定向。
如图1中所示的系统为所谓的“移动测绘系统”，其(举例来说)通过借助安装在汽车1上的一个或一个以上相机9(i)拍摄图片来收集地理数据。所述相机连接到微处理器μP。所述汽车前方的相机9(i)可以是立体相机。所述相机可经布置以产生图像序列，其中已以预界定的帧速率捕获了图像。在实例性实施例中，所述相机中的一者或一者以上为照相机，其经布置以在汽车1的每个预界定位移或每个时间间隔捕获图片。所述预界定位移经选择以使得在垂直于行驶方向的预界定距离处的位置捕获为侧视相机的至少两个连续图片。举例来说，可在每行进4米之后捕获图片，从而在平行于行驶方向的平面的每一图像中在5米距离处产生重叠。
当汽车1正沿路边的建筑物行驶时，激光扫描仪3(j)扫描激光样本。其还连接到微处理器μP且将这些激光样本发送到微处理器μP。
通常想要从3个测量单元GPS、IMU及DMI尽可能准确地提供位置及定向测量。当相机9(i)拍摄图片且激光扫描仪3(j)扫描激光样本时，测量这些位置及定向数据。存储所述图片及激光样本以供稍后联合在拍摄这些图片的同时收集的汽车1的对应的位置及定向数据用于μP的合适的存储器中。所述图片包括关于道路信息的信息，例如，道路的中心、路面边缘及道路宽度。由于从同一位置确定装置获得与所述激光样本及图片相关联的位置及定向数据，因此可在所述图片与激光样本之间进行精确的匹配。
图2显示哪些位置信号可从图1中所示的三个测量单元GPS、DMI及IMU获得。图2显示微处理器μP经布置以计算6个不同参数，即，相对于预定坐标系统中的原点的3个距离参数x、y、z及分别是ωx、ωy、ωz的3个角参数，其分别表示绕x轴、y轴及z轴的旋转。z方向与重力向量的方向一致。总体UTM坐标系统可用作预定坐标系统。
通常想要从3个测量单元GPS、IMU及DMI尽可能准确地提供位置及定向测量。当相机9(i)拍摄图像且激光扫描仪3(j)扫描激光样本时测量这些位置及定向数据。存储所述图像及所述激光样本两者以供稍后联合在拍摄这些图片及激光样本的时刻汽车1的对应的位置及定向数据以及相机及激光扫描仪相对于汽车1的位置及定向用于微处理器的合适的存储器中。
所述图片及激光样本包括关于路边的对象(例如，建筑物块正面)的信息。在一个实施例中，激光扫描仪3(j)经布置以产生具有最小50Hz及1度的分辨率的输出以便产生用于所述方法的足够密集的输出。由SICK生产的激光扫描仪(例如，MODELLMS291-S05)能够产生此种输出。
汽车1中的微处理器及存储器9可实施为计算机布置。图3中显示此种计算机布置的实例。
在图3中，给出计算机布置300的概略图，其包含用于实施算术运算的处理器311。在图1所示的实施例中，所述处理器将是微处理器μP。
处理器311连接到多个存储器组件，包括硬磁盘312、只读存储器(ROM)313、电可擦除可编程只读存储器(EEPROM)314及随机存取存储器(RAM)315。未必需要提供所有这些存储器类型。此外，这些存储器组件无需在物理上接近于处理器311定位而是可远离处理器311定位。
处理器311还连接到用户用来输入指令、数据等的构件，如键盘316及鼠标317。也可提供所属领域的技术人员已知的其它输入构件，例如触摸屏、轨迹球及/或声音转换器。
提供连接到处理器311的读取单元319。读取单元319经布置以从可移除数据载体或可移除存储媒体(如软磁盘320或CDROM 321)读取数据及可能在其上写入数据。其它可移除数据载体可以是磁带、DVD、CD-R、DVD-R、存储器棒等，如所属领域的技术人员已知。
处理器311可连接到打印机323以在纸张上以及向显示器318打印输出数据，所述显示器例如监视器或LCD(液晶显示器)屏幕或所属领域的技术人员已知的任何其它类型的显示器。
处理器311可连接到扩音器329。
此外，处理器311可借助I/O构件325连接到通信网络327，例如，公共交换电话网络(PSTN)、局域网(LAN)、广域网(WAN)、因特网等。处理器311可经布置以通过网络327与其它通信布置通信。I/O构件325进一步适于将位置确定装置(DMI、GPS、IMU)、相机9(i)及激光扫描仪3(j)连接到计算机布置300。
数据载体320、321可包含数据及指令形式的计算机程序产品，所述计算机程序产品经布置以给处理器提供执行根据本发明的方法的能力。然而，此种计算机程序产品或者可经由电信网络327下载。
处理器311可实施为独立系统，或实施为多个各自经布置以实施较大计算机程序的子任务的并行操作处理器，或实施为具有若干子处理器的一个或一个以上主处理器。本发明的部分功能性甚至可由通过电信网络327与处理器311通信的远程处理器实施。
图3的计算机系统中所含有的组件为通常在通用计算机系统中找到的那些组件，且打算表示在所属技术中众所周知的这些计算机组件的宽广种类。
因此，图3的计算机系统可以是个人计算机、工作站、小型计算机、大型计算机等。所述计算机还可包括不同的总线配置、联网平台、多处理器平台等。可使用各种操作系统，包括UNIX、Solaris、Linux、Windows、Macintosh OS及其它合适的操作系统。
为对通过相机9(i)及激光扫描仪3(j)拍摄的图像及扫描以及位置/定向数据进行后处理，将使用与图3中的布置类似的布置，但此布置将不位于汽车1中而是可方便地位于建筑物中用于离线后处理。将通过相机9(i)及扫描仪3(j)拍摄的图像及扫描以及相关联的位置/定向数据存储在一个或一个以上存储器312-315中。此存储可通过首先将所述图像及扫描以及所述相关联位置/定向数据存储在DVD、存储器棒或类似物上或从存储器9中传输其(可能无线地)完成。可将界定汽车1的轨迹的相关联位置及定向数据存储为原始数据，包括时间戳。此外，每一图像及激光扫描仪样本具有时间戳。所述时间戳使我们能够准确地确定相机9(i)及激光扫描仪3(j)在分别捕获图像及激光扫描仪样本时的位置及定向。以此方式，所述时间戳界定图像中所示的视图与激光扫描仪样本之间的空间关系。也可将相关联的位置及定向数据存储为由所使用的数据库架构与相应的图像及激光扫描仪样本链接的数据。
在本发明中，通过使用相机9(i)所拍摄的图像及激光扫描仪3(j)所扫描的扫描两者来产生多视点全景图。所述方法使用来自图像处理及激光扫描技术两个领域的独特的技术组合。本发明可用于产生从建筑物的临街面变化为街道的整个路边视图的多视点全景图。
图4显示根据本发明用于产生路边信息的过程的实例性实施方案的流程图。图4显示以下动作：
A.动作42：激光点地图创建
B.动作44：从激光点地图中抽取对象的平面坐标
C.动作46：源图像部分选择(使用阴影地图)
D.动作48：从选定的源图像部分构成全景图下文将详细阐释这些动作。
A.动作42：激光点地图创建
用于找到平面点的好方法是使用直方图分析。直方图包含激光扫描仪3(j)在某一距离处扫描的如在垂直于MMS系统行进的轨道的方向上看到且沿汽车1行进的某一距离相加的激光扫描样本的数量。所述激光扫描仪可在垂直于地球表面的表面中在(举例来说)跨越180°的角方向上扫描。例如，所述激光扫描仪可扫描180个样本，每一样本从其邻近样本偏离1°。此外，至少每20cm制作激光扫描样本片。通过一秒旋转75次的激光扫描仪，汽车行驶速度不应快于54km/h。在大多数时间，MMS系统将沿行沿一条线的路线，所述线沿某条道路引导(仅当由于某个原因改变车道或拐弯时，所行进的路径将显示从此路线的偏离。
激光扫描仪3(j)在一个实施例中是2D激光扫描仪。2D激光扫描仪3(j)提供一组三个数据(所谓的激光样本)，其包含测量时间、测量角度及从激光扫描仪3(j)到在此角度上可见的最近的固体的距离。通过组合汽车1位置及定向(其由所述汽车中的位置确定装置捕获)、激光扫描仪相对于汽车1的相对位置及定向及激光样本，创建如图5中所示的激光点地图。通过在垂直于所述汽车的行驶方向的方向上扫描的激光扫描仪获得图5中所示的激光点地图。如果使用多于一个激光扫描仪产生所述激光点地图，那么所述激光扫描仪可具有(举例来说)45°、90°及/或135°的角度。如果仅使用一个激光扫描仪，垂直于行驶方向进行扫描的激光扫描仪在激光点地图空间中提供用于找到平行于行驶方向的垂直平面的最好分辨率。
在图5中，显示两个直方图：
1.距离直方图61-此直方图61显示在某一行进距离(例如，2米)上相加的依据到汽车1的距离的激光扫描样本的数量，包括接近于汽车1的样本。当每20cm制作激光扫描片时，将计及10片的激光扫描样本。图中显示接近于汽车1的峰值，其指示接近于汽车1的激光“回波”。由于激光扫描进行的角度扫掠，此峰值与接近于汽车1存在的许多回波相关。此外，较大距离处存在第二峰值，其与在距离汽车1的所述较大距离处识别的对象的垂直表面相关。
2.距离直方图63仅显示距离汽车1的某一距离处的第二峰值，其指示仅一个对象。由于激光扫描的角分布，通过消除汽车1的直接附近区域中的较高密度的激光扫描样本来实现此直方图。此消除的作用是某人将更好地看到远离汽车1的某一距离处的对象，即，建筑物65的正面。所述消除进一步具有在所述直方图中减小障碍物的影响的作用。此减小障碍物将错误地被辨识为垂直平面的机会。
直方图63上的峰值指示平行于汽车行进方向的平坦固体表面的存在。可通过任何可用方法确定汽车1与正面65之间的大约距离。举例来说，共用待决专利申请案PCT/NL2006/050264中所阐释的方法可用于所述目的，所述专利申请案以引用方式并入本文中。或者，可比较指示汽车1行进的轨道的GPS(或其它)数据与显示建筑物的占地面积的位置的数据，且从而再现汽车1与正面65之间的大约距离数据。通过分析某一区域内关于此大约距离的直方图数据，将此区域内的局部最大峰值识别为是正面65的基点。将在(举例来说)此局部最大峰值之前0.5m的垂直距离内的所有激光扫描样本视为正面65的建筑细节且标记为“平面点”。丢弃具有比最大峰值大的垂直距离的激光扫描样本或可将其标记为“平面点”。所有其它样本是具有在局部最大峰值的位置与汽车1的位置之间的位置的激光扫描样本，将其视为“鬼点”并这么标记。应注意，0.5m的距离仅作为实例给出。如果需要，可使用其它距离。
沿汽车1的轨迹，每2米执行一次直方图分析。以此方式，激光点地图划分成2米的片。在每个片中，直方图确定是否将激光扫描样本标记为“平面点”或“鬼点”。
B.动作44：从激光点地图中抽取对象的平面坐标
标记为“平面点”的激光样本用于从激光点地图中抽取平面坐标。本发明在3D空间中对表示临街面(通常是建筑物正面)的表面进行处理。通过其中所述表面是多边形(其是表示建筑物正面的垂直矩形)的实例阐明本发明。应注意，所述方法可应用于任何‘垂直’表面。因此，下文说明中的术语“多边形”不应限于由笔直侧限定的闭合平面图，而是原则上可以是任何“垂直”表面。‘垂直’表面意指相机可看到的任何共用构造的表面。
从标记为“平面点”的激光扫描仪数据中抽取多边形。许多现有技术可用于找到平面或表面，包括基于RANSAC(随机取样一致性)算法的方法。
简单的RANSAC算法直接用于标记为“平面点”的3D点上。对于仅垂直平面，本发明的简化的实施例首先通过丢弃3D点的高度值将所有非地面点投影在某一水平平面上。然后对所述水平平面的2D点使用RANSAC或霍夫变换(Hugh transform)来检测线。这些线用于导出平面沿所述线的下部及上部位置。
上文所述的算法需要额外处理来找到限制平面的多边形。已知用于找到限制平面的多边形的现有技术方法。在一个实例中，将来自所述平面的低于给定阈值的所有激光点投影在平面上。此平面类似于可对其应用聚类技术及图像分割算法以获得表示(举例来说)建筑物正面的边界的多边形的2D图像。图6显示多边形检测的实例性结果。通过组合来自两个激光扫描仪的激光扫描仪样本获得图6中所示的激光扫描仪地图。一个具有与汽车1的行驶方向45°的角度且另一个具有与汽车1的行驶方向135°的角度。因此，可紧在建筑物的前正面600的平面的多边形之后抽取侧正面602、604的平面的两个多边形。对于每一所检测的平面，通过平面坐标描述多边形，所述平面坐标是预定坐标系统中平面的拐角的3D位置。
应注意，也可使用关于建筑物的地理参考3D位置(可从商业数据库获得)检索平面的多边形且确定来自激光扫描仪地图的激光扫描仪样本是否是“平面点”或“鬼点”。
应注意，当针对仅一个建筑物的临街面产生多视点全景图时，所述临街面的基点的定向可未必平行于行驶方向。
临街面的多视点全景图可用于产生路边多视点全景图。路边全景图是建筑物的多个多视点全景图的组合物。根据本发明的路边全景图的特性是：
全景图表示虚拟的共用构造的垂直表面；
全景图的每一像素列表示距离汽车的轨迹、街道的中心线或沿街道的线的任何其它表示的预定垂直距离处的垂直表面，及
全景图的每一像素表示表面的区域，其中所述区域具有固定高度。
如果产生街道的路边全景图，那么通常认为所述全景图的表面平行于行驶方向、沿道路延伸的道路的中心线或任何其它特征。因此，弯曲的街道的路边全景图的表面将遵循所述街道的曲率。认为所述全景图的每一点就像垂直于所述表面的定向看到的那样。因此，对于街道的路边全景图，在激光扫描仪地图中搜寻一直到最共用表面的距离或已给予所述距离预界定的值。此距离界定所述全景图在水平及垂直方向上的像素分辨率。所述垂直分辨率取决于所述距离，而所述水平分辨率取决于所述距离与沿所述街道的线的曲率的组合。然而，汽车的行驶方向与通过直方图分析找到的垂直表面的基点之间的垂直距离可包含不连续。此可在两个相邻建筑物不具有相同的建筑物线(即，不在同一平面上排成一行)时发生。为获得上文定义的路边全景图，每一建筑物表面的多视点全景图将变换为就像从一直到最共用表面的距离看到建筑物表面那样的多视点全景图。以此方式，每一像素将表示具有相等高度的区域。
在已知全景图中，具有相同大小但在不同距离处的两个对象在全景图中将以不同大小显示。根据本发明的实施例，将产生路边全景图，其中具有相对于行驶方向的不同垂直距离的两个类似对象在所述多视点全景图将具有相同大小。因此，当产生所述路边全景图时，每一正面的全景图将按比例缩放，使得所述路边全景图的每一像素将具有相同的分辨率。因此，在通过上述方法产生的路边全景图中，在5米的距离处的具有10米的实际高度的建筑物在所述路边全景图中将具有与在10米的距离处具有10米的实际高度的建筑物相同的高度。
具有上述特性的路边全景图显示沿街道的建筑物的正面，就像建筑物具有相同的建筑物线，而实际上其将不具有相同的建筑物线。全景图的重要视觉对象在同一平面中。此使得我们能够将前视全景图变换为透视图，而不存在令人烦恼的视觉变形。此具有所述全景图可用于在如图3中所示的系统上或具有最小的图像处理能力的任何种类的移动装置(例如，导航装置)上运行的应用程序中的优点。借助全景图(其中平行于街道的方向的建筑物的正面按比例缩放以具有相同的建筑物线)，可从任何观看角度呈现全景图的近现实视图。近现实视图是可表示现实但不对应于现实的易于理解的视图。
C.动作46：源图像部分选择(使用阴影地图)
通过本发明获得的多视点全景图由来自通过相机9(i)获得的图像序列的一组图像构成。每一图像具有相关联的位置及定向数据。未公开的专利申请案PCT/NL2006/050252中所描述的方法用于确定哪些源图像具有观看窗口，所述观看窗口包括在动作44中确定的表面的至少一部分。首先，从通过相机产生的至少一个源图像序列中选择具有包括必须为其产生全景图的表面的至少一部分的观看窗口的源图像。此可以完成，因为每一源图像具有捕获所述源图像的相机的相关联位置及定向。
在本发明中，表面对应于大致垂直的平面。知道相机的位置及定向以及观看角度及观看窗口，可确定所述观看窗口在表面上的投影。知道测角术数学的所属领域的技术人员能够将未公开的申请案PCT/NL2006/050252中所述的正射纠正方法重写为用于将具有任意观看角度的观看窗口投影在任意表面上的方法。通过三个操作执行多边形或表面区域在具有任意位置及定向两者的相机的观看窗口上的投影：相机焦点上的旋转，按比例缩放及平移。
图7显示源图像700的投影的透视图，其等于在虚拟表面702上的相机观看窗口。虚拟表面702对应于多边形且具有坐标(xt1，yt1，zt1)、(xt2，yt2，zt2)、(xt3，yt3，zt3)及(xt4，yt4，zt4)。参考706指示相机的焦点。相机的焦点706具有坐标(xf，yf，zf)。源图像700的边沿界定相机的观看窗口。穿过相机的焦点706的直线穿过观看窗口与虚拟表面702两者的交叉点界定从虚拟表面702的像素在源图像700的像素上的投影。此外，穿过相机的焦点706的直线与虚拟表面702的交叉点及标记为“鬼点”的激光扫描仪样本界定在观看窗口中不能够看到的虚拟平面的点。以此方式，障碍物704的阴影708可投影在虚拟表面702上。障碍物的阴影是虚拟表面(例如，正面)前方的一组邻接像素。由于所述虚拟表面的位置对应于临街面的位置，因此所述阴影可准确地投影在所述虚拟表面上。应注意，从临街面一直延伸0.5米的阳台被认为是共用结构表面的部分。因此，源图像中所述阳台的透视图在的细节将投影在多视点全景图上。所述透视图的细节是阳台的侧垂直于所述临街面，所述侧将不显像于建筑物的纯前视图像中。
以上投影方法用于选择观看表面的至少一部分的源图像。在选择观看所述表面的至少一部分的源图像之后，在激光扫描仪地图中，选择具有在相机的焦点的位置与所述表面的位置之间的位置的激光扫描仪样本。这些是标记为“鬼点”样本的激光扫描仪样本。选定的激光扫描样本表示妨碍相机记录虚拟表面702所表示的对象的障碍物。通过已知的算法将选定的激光扫描仪样本聚类以形成一个或一个以上固体障碍物。然后，在虚拟表面702上产生所述障碍物的阴影。此通过将穿过焦点706及所述固体障碍物的直线一直延伸到虚拟表面702的位置来完成。沿障碍物的边界的线撞击虚拟表面702的位置对应于所述障碍物的阴影的边界点。
从图7中可看到，在图像中看到对象704(即，树)在表面702前方。如果知道对象704相对于虚拟表面702及相机的焦点706的位置，那么可容易地确定对象704在虚拟表面702上的阴影708。
根据本发明，使用从激光扫描仪地图检索的表面或来自商业数据库的关于建筑物正面的3D信息创建所述表面的地理定位多视点全景图。根据本发明的方法组合相机9(i)位置及定向的3D信息、图像的焦距及分辨率(＝像素大小)、所检测平面的3D信息及激光扫描仪地图的鬼点样本的3D位置。相机的位置及定向信息与激光扫描仪地图的组合使得所述方法能够针对每一个别图像确定：
1)相机所捕获的源图像是否包括表面的至少一部分；及
2)哪个对象妨碍相机显像将处于所述表面的所述部分的图像信息。
所述组合的结果使得所述方法能够确定虚拟平面所表示的正面在所述图像的哪些部分上可见。因此确定哪些图像可用于产生多视点全景图。将丢弃具有原本可捕获虚拟表面的至少一部分但由于相机前方的巨大障碍物而不能够捕获所述虚拟表面的任何部分的观看窗口的图像。表面的位置与相机位置之间的“鬼点”投影在源图像上。此使得所述方法能够找到障碍物在所述源图像上可见且因此在最终的多视点全景图上可见的表面或区域(阴影带)。
应注意，用以阐明本发明的实例使用多边形作为虚拟表面。已使用简单的实例减小所述实例的复杂性。然而，所属领域的技术人员将立即认识到本发明并不限于平坦表面而是可用于任何平滑表面，举例来说，垂直的弯曲表面。
图8及9分别显示将障碍物806投影在源图像800上及虚拟表面804上的俯视图及侧视图。从激光扫描仪地图获得障碍物806的位置。因此，根据本发明，不通过对多于一个图像使用图像分割及三角化算法以检测并确定平面及障碍物在图像中的位置的复杂的图像处理算法获得对象的位置，而是通过结合相机的位置及定向数据使用来自激光扫描仪地图的3D信息。结合相机的位置及定向数据使用激光扫描仪地图提供在图像中确定障碍物的位置的简单且准确的方法，所述障碍物妨碍相机显像在所述障碍物后方的对象的表面的区域。使用测角术来确定障碍物806在源图像800上的阴影802以及障碍物806在虚拟表面804上的阴影808，所述虚拟表面描述对象(即，建筑物正面)的临街面的位置及定向。虚拟表面上的阴影808在本发明的以下说明中将称作阴影带。
通过找到源图像的以最好的方式显像已在激光扫描仪地图中找到的表面的区域且将所述区域投影在多视点全景图上来构成多视点全景图。应选择所述源图像的显像障碍物或在多视点全景图上显像具有最小阴影(＝区域)的障碍物的区域并将其组合以获得多视点全景图。
将揭示用于找到所述源图像中用以产生多视点全景图的部分源图像的两个可能的实施方案。
第一实施例用于找到所述区域。
在所述第一实施例中已通过针对显像表面的一部分的每一源图像产生阴影地图实现以上目的。阴影地图是二进制图像，其中所述图像的大小对应于源图像的当投影在平面上时显像所述平面的区域且其中针对每一像素指示其在所述源图像中是否显像所述表面或障碍物。随后，将所有阴影地图叠置在对应于所述表面的主阴影地图上。以此方式，针对所述表面且因此针对将要产生的多视点全景图制作了一个主阴影地图。
在一个实施例中，产生主阴影地图，其中此主阴影地图中的阴影带指示选定的源图像中的至少一者在所述至少一个选定源图像的对应于所述阴影带的区域投影在多视点全景图上时显像障碍物。换句话说，此主阴影地图识别正面的哪些区域在所述图像中不被任何障碍物阻挡。应注意，主阴影地图的大小及分辨率类似于将要产生的多视点全景图的大小及分辨率。
所述主阴影地图用于将多视点全景图分成若干段。通过找到最好的“锯割路径”将所述主阴影地图切割为所述段来获得所述段，其中所述主阴影地图上的路径不将阴影带划分为两个部分。分割界定必须如何构成全景图。应注意，锯割路径总是跨越主阴影地图的已通过至少两个图像的阴影地图的叠置获得的区域。使所述路径在阴影带之间确保全景图中段之间的接缝在正面的可见部分中且不可能在将投影在所述正面上的障碍物的区域中。此使得所述方法能够选择用于将对应于段的区域投影在所述全景图上的最好图像。所述最好的图像可以是在对应于所述段的区域中不具有阴影带的图像或具有最小阴影带区域的图像。确定“锯割路径”的最好位置的额外标准可以是至少两个图像相对于将要产生的全景图的平面的定向的视角。由于所述至少两个图像具有不同的位置，因此相对于正面的视角将不同。已发现最垂直的图像将在全景图中提供最好的视觉质量。
可将每一段定义为多边形，其中通过预界定坐标系统中的3D位置界定多边形的边缘。由于“锯割路径”跨越在所有所述至少两个源图像中显像对应于所述平面的表面的像素，因此此允许所述方法在两个段之间创建平滑区。所述平滑减小多视点全景图中的视觉干扰。稍后将阐明本发明的此方面。所述平滑区的宽度可用作用于找到最好的“锯割路径”的另一个标准。所述平滑区的宽度可用于界定锯割路径与阴影带之间的最小距离。如果两个阴影带的边沿线之间的最近距离小于预界定的距离，那么将创建具有两个阴影带的段。此外，源图像的用于所述平滑区的像素不应表示障碍物。用于所述平滑区的像素是阴影周围的像素的边沿。因此，所述平滑区的宽度界定阴影带的边沿线与界定包含所述阴影带的段的多边形之间的最小距离。应注意，如果导致所述阴影带的障碍物在图像中部分可见，那么阴影带的边沿线与界定所述段的所述多边形之间的距离可为零。
通过组合源图像中与所述段相关联的部分源图像来产生多视点全景图。为获得多视点全景图的最佳显像，对于每一段，我们必须选择以最适当的方式显像对象的产生多视点全景图所必须针对的所述段的源图像。
以以下方式确定源图像的必须用于产生全景图的对应段的区域：
1.选择具有显像段的整个区域的区域的源图像；
2.从先前动作中的源图像中选择在与源图像相关联的阴影地图中的相关联段中包含最少数量的标记为阴影的像素的所述源图像。
第一动作确保仅从一个源图像中取源图像的对应于段的像素。此减小可见干扰的数量，例如部分地显像障碍物。举例来说，停放在建筑物的区域前方的汽车对应于可在三个图像中看到的段，一个显像前端，一个显像后端且一个显像整个汽车，那么在所述情况下将取来自显像整个汽车的图像的段。应注意，选择其它图像可产生显像将要通过全景图表示的对象的在选定图像中隐藏在汽车后方的更多细节的全景图。已发现，人们发现完全显像障碍物的图像比部分显像所述障碍物的图像更具吸引力。应进一步注意，可存在显像整个区域而不存在汽车的图像，然而其观看角度不如其它三个图像有利。在所述情况下，将选择此图像，因为其在与所述图像相关联的阴影地图中的相关联段中包含最少数量(零)的标记为阴影的像素。
此外，当存在显像整个区域而不存在任何对象(＝零个标记为阴影的像素)的两个图像时，将选择具有最近的垂直观看角度的图像用于在多视点全景图中显像所述区域。
第一动作之后的第二动作确保选择显像通过全景图表示的对象的大部分的源图像。因此，对于每一段，选择在对应于所述段的区域中显像最小阴影带区域的源图像。
如果不存在显像对应于段的整个区域的任何图像，那么必须将所述段锯割为子段。在所述情况下，可使用图像边界作为锯割路径。将对所述子段重复先前的步骤以选择具有最有利区域的图像，以用于在多视点全景图中显像所述区域。确定所述最有利区域的参数是标记为阴影的像素的数量及观看角度。
换句话说，以以下方式组合用于多视点全景图的源图像：
1.当主阴影地图中的阴影带间断时，在多视点全景图的位于所述主阴影地图所界定的阴影带之间的部分中执行拼接；
2.当在投影在多视点全景图上的选定源图像中可见的障碍物的阴影带重叠或间断时，通过以下规则将所述多视点全景图的区域分成若干部分：
a)选择包含全阴影带的源图像放入多视点全景图中。当存在包含全阴影带的多于一个源图像时，选择以最接近于垂直向量的视角显像所述段的源图像。换句话说，显像所述段的前视源图像优选地为以上角度观看的源图像；
b)当不存在覆盖全阴影带的任何图像时，从显像所述段的源图像中的最垂直的部分源图像中取所述段。
第二实施例用于找到所述区域。
将通过图16a-f阐明所述第二实施例。图16a显示两个相机位置1600、1602及表面1604的俯视图。位于在两个相机位置1600、1602与表面1604之间的是第一障碍物1606及第二障碍物1608。可在两个相机位置的观看窗口中看到第一障碍物1606且仅可通过第一相机位置1600看到第二障碍物1608。可通过将所述障碍物的阴影投影在表面1604上来导出三个(阴影)区。通过从第一相机位置1600将所述第二障碍物的阴影投影在所述表面上来获得区1610。已通过分别从所述第二及第一相机位置将所述第一障碍物的阴影投影在所述表面上获得区1612及区1614。将分别针对从第一及第二相机位置1600、1602捕获的源图像产生阴影地图。针对源图像的显像表面1604的一部分的每一部分，将产生阴影地图。此阴影地图(在与将要产生的表面1604的多视点全景图相同的坐标系统中参考)针对每一像素指示像素是否显像表面1604或由于障碍物而不显像所述表面。
图16b显示对应于从第一相机位置1600捕获的源图像的左阴影地图1620及对应于从第二相机位置1602捕获的源图像的右阴影地图1622。所述左阴影地图显示表面1604的显像于所述源图像中的哪些区域不包含表面1604的视觉信息。区域1624是对应于第二障碍物1608的阴影且区域1626是对应于第一障碍物1606的阴影。可看到，第一障碍物1606高于第二障碍物1608。右阴影地图1622仅显示一个区域1628，区域1628不包含表面1604的视觉信息。区域1628对应于第一障碍物1606的阴影。
组合所述阴影地图以产生主阴影地图。主阴影地图是与必须针对其产生多视点全景图的表面相关联的地图。然而，根据第二实施例，对于所述主阴影地图中的每一像素，确定其是否可通过至少一个源图像来显像。所述主阴影地图的目的是找到所述全景图的不显像所述表面但将显像所述表面前方的障碍物的区域。
图16c显示已通过组合阴影地图1620与1622获得的主阴影地图1630。可准确地进行此组合，因为准确地记录了每一相机的位置及定向。区域1640是表面1604的不能够通过从第一相机位置1600或第二相机位置1602捕获的任一源图像显像的区域。此区域1640的像素是临界的，因为其将总是显示障碍物且从不显示表面1604。区域1640中的像素获得对应的值，例如“临界”。区域1640在表面1604的多视点全景图中将显示第一障碍物1606的一部分或第二障碍物1608的一部分。其它像素中的每一者将获得值，所述值指示多视点全景图的相关联像素的值可从至少一个源图像获得以显像所述表面。在图16c中，区域1634、1636及1638指示对应于相应源图像的阴影地图中的区域1624、1626及1628的区域。所述区域1634、1636及1638获得值，所述值指示多视点全景图的相关联像素的值可从至少一个源图像获得以显像所述表面。
主阴影地图1630随后用于针对每一源图像产生使用地图。使用地图具有与所述源图像的阴影地图相等的大小。所述使用地图针对每一像素指示：
1)源图像中对应像素的值是否应该用于产生多视点全景图，
2)源图像中对应像素的值是否不应该用于产生多视点全景图，及
3)源图像中对应像素的值是否可用于产生多视点全景图。
可通过针对源图像的阴影地图中的每一阴影带检验主阴影地图中的对应区域是否包含指示像素不能够通过所述源图像中的任一者显像多视点全景图中的表面1604的至少一个像素来产生此地图。如果是，对应于整个阴影带的区域将标记为“应使用”。如果否，对应于整个阴影的区域将标记为“不应使用”。剩余像素将标记为“可使用”。图16d显示已通过组合阴影地图1620中的信息与主阴影地图1630获得的左使用地图1650。区域1652对应于第二障碍物1608的阴影。此区域1652已获得值“应使用”，因为阴影地图1620中的区域1624在主阴影地图中具有一个或一个以上标记为“临界”的对应像素。此意指，如果区域1652的一个像素必须用于产生多视点全景图，那么必须使用所述区域的所有其它像素。区域1654对应于第一障碍物1606的阴影。所述区域1654已获得值“不应使用”，因为对应阴影地图1620中的区域1626在所述主阴影地图中的对应区域1636中不具有标记为“临界”的任何像素，此意指可通过在通过第二相机1602捕获的源图像中选择对应的区域来从多视点全景图中移除第一障碍物1606。因此，源图像中对应于区域1654的区域不应该用于产生表面1604的多视点全景图。已通过组合阴影地图1622中的信息与主阴影地图1630获得图16d的右使用地图1656。区域1658对应于第二障碍物1606的阴影。此区域1658已获得值“应使用”，因为阴影地图1622中的区域1628在主阴影地图中具有一个或一个以上标记为“临界”的对应像素。此意指，如果区域1658的一个像素必须用于产生多视点全景图，那么必须使用所述区域的所有其它像素。
使用地图1650及1656来选择源图像中的哪些部分必须用于产生多视点全景图。将给出用以分派源图像中将要选择的部分源图像的算法的一个实施例。所属领域的技术人员应清楚，可使用其它可能的算法。图17中显示所述算法的流程图。所述算法以检索空选择地图开始，所述空选择地图针对多视点全景图的每一像素指示哪个源图像应该用于产生表面1604的多视点全景图及与每一源图像相关联的使用地图1650、1656。
随后选择1704尚未向其分派源图像的选择地图的像素。在动作1706中，搜索在其相关联使用地图中具有标记为“应使用”或“可使用”的对应像素的源图像。优选地，如果所有使用地图中的对应像素标记为“可使用”，那么选择具有相对于所述像素的最垂直观看角度的源图像。此外，为优化全景图中的表面1604的可见性，在使用地图中的一者中的对应像素标记为“必须使用”的情况下，优选地借助主阴影地图，选择在使用地图中具有标记为“必须使用”的最小区域的源图像，其覆盖主阴影地图中标记为“临界”的区域。
在选择所述源图像之后，在动作1708中，使用选定图像的使用地图来确定所述源的在所述选定像素周围的哪一区域应该用于产生全景图。此可通过增长算法完成。举例来说，通过选择使用地图中标记为“应使用”及可使用的所有相邻像素(且其中尚未将源图像分派给选择地图中的对应像素)。
下一动作1710确定是否已向所有像素分派源图像。如果否，通过选择尚未向其分派源图像的像素来再次执行动作1704且将重复随后的动作直到将向每一像素分派源图像。
图16e显示两个图像，所述两个图像识别选择源图像中的哪些部分用于产生表面1604的多视点全景图。所述部分源图像的组合显示于图16f中，其对应于表面1604的多视点全景图的选择地图1670。图16e的左图像1660对应于通过第一相机1600捕获的源图像且右图像1662对应于通过第二相机1602捕获的源图像。选择地图1670的左段1672中的像素被分派到从第一相机位置1600捕获的源图像中的对应区域，此区域对应于图16e的左图像1660中的区域1664。选择地图1670的右段1674中的像素被分派到从第二相机位置1602捕获的源图像中的对应区域。此区域对应于图16e的右图像1662中的区域1666。
当应用上述算法时，在选择地图的左部选择像素，例如左上像素。所述像素仅存在于一个源图像中。在动作1708中，相邻区域可增长直到其由选择地图的边沿及标记为“将不使用”的像素限定。以此方式，选择区域1664且在选择地图1670中，向段1672的像素分派第一源图像。随后，选择尚未向其分派源图像的新像素。此像素位于区域1666中。随后，选择所述像素的相邻区域。区域1666的边沿由源图像边沿及选择地图1670中已分派到其它源图像(即，分派到通过第一相机捕获的图像)的已经分派的像素界定。
从源图像中选择对应于段1672及1674的像素将产生多视点全景图，其中第一障碍物1606不可见且第二障碍物安全可见。
在图16e的右图像中，区域1668识别哪些对应的像素可用于产生表面1604的多视点全景图的区域。可通过按照以下标准扩展动作1708来获得此区域：当与其它源图像的重叠边沿的宽度超过预界定的阈值(例如，7个像素)或在使用地图中标记为“应使用”或“不应使用”的像素处时，所述增长过程停止。区域1668是此种重叠边沿。此在图16e中由区域1676图解说明。此区域可用作平滑区。此使得所述方法能够掩饰两个相邻源图像之间的不规则性，例如图像之间的色彩差异。以此方式，色彩可从第一图像的背景色彩平滑地变为第二色彩的背景色彩。此减小正常应具有相同色彩的区域中突发色彩改变的数量。
用于选择源图像部分的上述两个实施例针对多视点全景图产生地图，其中每一像素被分派到源图像。此意指，将通过将对应的源图像部分投影在多视点全景图上来获得在多视点全景图中可见的所有信息。两个实施例尝试通过选择源图像中显像表面而不是障碍物的部分源图像消除尽可能多的障碍物。如果仅应用源图像部分的像素在全景图上的投影，那么表面的一些部分不在任何源图像中显像且因此将显像障碍物或障碍物的部分。然而，所述两个实施例可适于首先导出所述表面的不能够从所述源图像中的任一者看到的区域的特征。这些区域对应于所述第二实施例的主阴影地图中的阴影。可导出的一些特征是高度、宽度、形状、大小。如果区域的特征与预界定的标准匹配，那么多视点全景图中对应于所述区域的像素可从多视点全景图中包围所述区域的像素中导出。举例来说，如果所述区域的宽度在多视点全景图中不超过预定的像素数量(例如，街灯柱的阴影)，那么可通过分派相邻像素的平均值或插入来获得所述像素值。应清楚，可应用其它阈值函数。
此外，可应用决定所产生的障碍物是否显著得足以以某一保真度重新产生的算法。举例来说，挡住正面的树显示在两个图像中，在一个图像中在图像的边沿处仅看到一小部分且在另一个图像中看到整棵树。所述算法可经布置以确定在全景图中包括所述小部分是否不会看起来愚蠢。如果是，则显示所述小部分，从而产生显像正面的最大部分的全景图及由于所述树而产生的小的视觉不规则性。如果否，那么将包括整棵树，从而产生显露正面的较小部分的全景图，但不存在关于所述树的视觉不规则性。以这些方式，可进一步减小可见障碍物的数量及在多视点全景图中的对应大小。此使得所述方法能够提供具有最好的视觉效果的全景图。可对相应的阴影地图执行所述函数。
D.动作48：从选定的源图像部分构成全景图
在产生对应于多视点全景图的段地图并针对每一段选择源图像(其应该用于投影所述源图像中对应于所述段的区域)之后，将所述源图像中与所述段相关联的区域投影在全景图上。此过程可与未公开的专利申请案PCT/NL2006/050252中所述的正射纠正方法比较，所述正射纠正方法可描述为对源图像的区域执行三个操作，即，相机全焦点上的旋转、按比例缩放及平移，此均为图像处理中众所周知的算法。所有段一同形成组合图画，其是多视点全景图，因为使用具有不同位置的图像(＝多视点)。
可通过沿两个段的边界界定平滑区来减小或消除从一个段到另一个段的交叉点处的视觉不规则性。
在一个实施例中，通过对第一及第二源图像中的对应像素的值求平均来获得所述平滑区的像素的值。在另一个实施例中，通过以下公式获得所述像素值：valuepan＝α×valueimage1+(1-α)×valueimage2，其中valuepan、valueimage1及valueimage2分别是多视点全景图、第一图像及第二图像中的像素值且α是在0到1的范围内的值，其中当所述平滑区触及所述第一图像时α＝1且当所述平滑区触及所述第二图像时α＝0，α可从所述平滑区的一个侧线性地改变到另一个侧。在所述情况下，valuepan是所述平滑区的中部第一及第二图像的值的平均值，所述中部通常是拼接的地方。应注意，参数α在从0到1变化时可具有任何其它合适的过程。
在图像处理技术领域中，已知用以获得从一个段到另一个段的平滑交叉的许多其它算法。
将通过一些简单的实例阐明上述方法。
图10显示在不同位置A、B上且记录同一平面1004的两个相机1000、1002的俯视图。所述两个相机1000、1002安装在移动的车辆(未显示)上且所述车辆从位置A向位置B移动。箭头1014指示行驶方向。在所述给出的实例中，源图像序列仅包括显像平面1004的两个源图像。当车辆在位置A处时从第一相机1000获得一个源图像。当车辆在位置B时从第二相机1002获得另一个源图像。图11显示来自图10中所示的情形的透视图像。所述左及右透视图像分别对应于通过第一相机1000及第二相机1002捕获的源图像。两个相机具有相对于车辆的行驶方向的不同的视角。图10显示障碍物1006，举例来说位于位置A及B与平面1004之间的圆柱。因此平面1004的部分1008在通过第一相机1000捕获的源图像中不可见且平面1004的部分1010在通过第二相机1002捕获的源图像中不可见。
与通过相机1000捕获的源图像相关联的阴影地图在右半边具有阴影且与通过相机1000捕获的源图像相关联的阴影地图在左半边具有阴影。图10显示平面1004的主阴影地图的俯视图。所述阴影地图包含两个间断的阴影1008及1010。根据本发明，拼接所述主阴影地图的地方1012在所述两个阴影1008与1010之间。在图11中，多边形1102及1104表示其中划分平面1004的两个段。
如上所述，根据本发明的方法针对每一段分析每一源图像的阴影地图中的对应区域。将选择以最小的阴影区域显像所述段的源图像。在所述给出的实例中，将选择在对应段中不包含阴影的源图像来表示所述区段。因此，将从通过第一相机1000捕获的图像中获得由图11中的多边形1102指示的平面1004的左部分且将从通过第一相机1002捕获的图像中获得由图11中的多边形1104指示的平面1004的右部分。
图12图解说明在针对每一段选择用以显像对应的段的对应的源图像之后从图11中所示的两个图像构成图10中的平面1004的全景图的过程。在一个实施例中，将多边形1102及1104所界定的段投影在平面1004的多视点全景图上。
所述两个段在拼接的地方1202处不能完美地匹配。原因可能是所述两个源图像在拼接的地方1202处在分辨率、色彩及其它视觉参数上的差异。当所述两个段在拼接的地方1202的两个侧处的像素值是直接从相应图像中的仅一者中导出时，用户可在全景图中注意到所述不规则性。为减小所述缺陷的可见性，可在拼接的地方1202周围界定平滑区1204。
图13及14显示与上文给出的用于阐明本发明的实例类似的另一个简单实例。在此实例中，另一个障碍物阻碍显像平面1304。图13显示在不同位置C、D上且记录同一平面1304的两个相机1300、1302的俯视图。所述两个相机1300、1302安装在移动的车辆(未显示)上且所述车辆从位置C向位置D移动。箭头1314指示行驶方向。在所述给出的实例中，源图像序列仅包括显像平面1304的两个源图像。当车辆在位置C处时从第一相机1300获得一个源图像。当车辆在位置D时从第二相机1302获得另一个源图像。图14显示来自图13中所示的情形的透视图像。图14中所示的左及右透视图像分别对应于通过第一相机1300及第二相机1302捕获的源图像。两个相机具有相对于车辆的行驶方向的不同的视角。图13显示障碍物1306，举例来说，位于位置C及D与平面1004之间的圆柱。因此平面1308的部分1304在通过第一相机1300捕获的源图像中不可见且平面1310的部分1304在通过第二相机1302捕获的源图像中不可见。
图13显示与平面1304相关联的主阴影地图的俯视图。所述主阴影地图显示具有重叠区域的阴影1008与1010。因为仅存在显像平面1304的两个图像，因此不能够在所述图像中的任一者中看到与所述阴影相关联的平面的对应于所述重叠的区域。因此平面1304的全景图中对应于所述重叠的区域将显像障碍物1306的对应部分。现在，可将所述主阴影地图划分为三个部分，其中一个部分包含所述阴影。界定包含所述阴影的段的多边形的边沿线优选地以最小距离与所述阴影的边沿线间隔开。此允许我们界定平滑区。参考1312及1316指示所述段的左及右边沿线。当两个源图像完全显像所述段(在图14中可容易地看到的情景)时，将从具有相对于所述平面的最垂直的视角的源图像中取所述段。在所述给出的实例中，将从通过第二相机1302拍摄的源图像中取所述段。当将从同一源图像中取包含障碍物的段及所述平面的最右边部分时，可移除具有参考1316的边沿线且不必在那里界定平滑区。因此，最终剩下两个段构成平面1304的全景图。在图14中，多边形1302及1304表示源图像的用于构成平面1304的两个段。参考1312指示可在那里界定平滑区的边沿线。
上述方法自动地执行。可能碰巧多视点全景图的质量使得执行本发明的图像处理工具及对象辨识工具需要某一校正。举例来说，在激光扫描仪地图中找到的多边形对应于两个邻近的建筑物，而对于每一建筑物正面，必须产生全景图。在所述情况下，所述方法包括一些验证及手动调适动作以实现确认或调适中间结果的可能性。这些动作还可适于接受道路信息产生的中间结果或最终结果。此外，表示建筑物表面的多边形及/或关于一个或一个以上连续源图像的阴影地图的叠置可用于请求人来执行验证。
通过本发明产生的多视点全景图与合适的坐标系统中的相关联位置及定向数据一同存储在数据库中。所述全景图可用于测绘出伪现实、易于理解的视图及在如谷歌地球(Google Earth)、谷歌街景(Google Street View)及微软虚拟地球(Microsoft′s VirtualEarth)等应用中产生世界各地的城市的视图或可方便地存储或安排在导航装置上。
如上所述，多视点全景图用于产生路边全景图。
图15a-15d显示通过本发明产生的路边全景图的应用。所述应用增强当前导航系统及因特网上的导航应用的视觉输出。执行所述应用的装置不需要专用的图像处理硬件来产生输出。图15a显示街道的伪透视图，其可在不使用路边的建筑物的复杂3D模型的情况下容易地产生。已通过处理所述街道的左及右路边全景图及两个多视点全景图之间的道路表面(地球表面)的图生相似性(map generated likeness)获得所述伪透视图。所述地图及两个图像可能已通过处理已在移动测绘活动时间期间记录的图像序列及位置/行进方向数据获得，或可能已使用虚拟平面的图像且将其与从数字地图数据库中导出的数据组合。图15b显示街道的左侧的路边全景图且图15c显示街道的右侧的路边全景图。图15d显示从地图数据库或也可从街道的经正射纠正的图像(也从移动测绘车辆收集)扩展的段。可看出，可借助非常有限数量的平面产生街道的伪现实视图。参考1502及1506分别指示已通过制作图15b及15c的全景图的伪透视图获得的图像的部分。所述部分1502及1506可容易地通过将图15b及15c的全景图变换为透视图像来产生，所述变化是通过依序(以具有距离观看位置最远的位置的像素列开始一直到具有距离观看点最近的位置的像素列)将所述路边全景图的像素列投影在所述伪现实视图上进行的。参考1504指示已通过制作地图数据库或道路表面的经正射纠正的图像的透视图的扩展获得的图像的部分。
应注意，在伪透视图像中，道路的一侧的所有建筑物具有相同的建筑物线且因此其不能是完全透视图。实际上，每一建筑物可具有其自己的建筑物线。在通过缝隙扫描相机捕获的全景图中，所述建筑物则将具有不同的大小。在本应用中使用此类型的的全景图将产生看起来奇怪的透视图像。建筑物与道路之间的不同垂直距离在透视图像中将解释为建筑物的不同高度及大小。在此种情况下，本发明能够以更完全的3D表示所需要的处理能力的一小部分产生相当现实的视图图像。根据根据本发明的方法，在两个步骤中产生街道的路边全景图。首先，对于沿街道的建筑物，将制作一个或一个以上多视点全景图。其次，通过将所述一个或一个以上多视点全景图投影在一个共用平滑表面上来产生路边全景图。在一个实施例中，所述共用平滑表面平行于沿所述道路的线，例如，汽车的轨迹线、中心线、边沿线。“平滑”意指所述表面与沿所述道路的线之间的距离可变化，但不突发地变化。
在所述第一个动作中，针对沿路边的每一平滑表面产生多视点全景图。可通过具有相同建筑物线的一个或一个以上相邻建筑物正面形成平滑表面。此外，在此动作中，将移除所述表面前方尽可能多的障碍物。障碍物的移除可仅在表面的所确定位置对应于建筑物的正面的实际位置时准确地进行。所述表面沿所述道路的定向可变化。此外，道路的方向与沿街道的两个相邻多视点全景图的表面之间的垂直距离可变化。
在第二个动作中，从在第一个动作产生的多视点全景图产生路边全景图。假设所述多视点全景图是沿所述道路的平滑表面，其中认为每一像素表示就像从垂直于表面的所界定距离看到的所述表面。在根据本发明的路边全景图中，所述路边全景图的每一像素的垂直分辨率是类似的。举例来说，像素表示具有5cm的高度的矩形。所述应用中所使用的路边全景图是虚拟表面，其中沿所述路边的建筑物的每一多视点全景图按比例缩放使得其在所述虚拟表面处具有类似的垂直分辨率。相应地，将在全景图中显像具有具有相等临街面但具有不同建筑物线的房屋的街道，就像房屋具有相同建筑物线及类似临街面那样。
对于上述路边全景图，深度信息可沿全景图的水平轴相关联。此使得在具有某一强大的图像处理硬件的系统上运行的应用能够根据建筑物的实际位置从全景图产生3D表示。
在当前的数字地图数据库中，街道及道路存储为道路段。可通过在数据库中使左及右路边全景图及任选地所述街道的道路表面的经正射纠正的图像与每一段相关联来改善使用数字地图的本应用的视觉输出。在所述数字地图中，可通过绝对坐标或关于段的预界定坐标的坐标来界定多视点全景图的位置。此使得所述系统能够准确地确定输出中的全景图的伪透视图相对于所述街道的位置。
将通过若干段表示具有交叉点或汇合点的街道。所述交叉点或汇合点将是段的开始点或结束点。当数据库针对每一段包含相关联的左及右路边全景图时，可容易地通过制作与可见且在合理的距离处的街道的段相关联的左及右路边全景图的透视图来产生如图15a中所示的透视图。图15a是针对汽车具有平行于街道的方向的行驶方向的情形产生的透视图像。箭头1508指示汽车在道路上的定向及位置。当针对最共用的平面产生全景图时，全景图将以最左边的建筑物开始且以对应于道路段的路边的最右边的建筑物结束。因此，交叉点处的建筑物之间的空间不存在全景图。在一个实施例中，所述透视图像的这些部分将不与信息一同归档。在另一个实施例中，透视图像的这些部分将与全景图的与连接到交叉点或汇合点的段相关联的对应部分及扩展的地图数据或经正射纠正的表面数据一同归档。以此方式，交叉点的拐角处的建筑物的两个侧将显示在透视图像中。
在不具有专用图像处理硬件的导航系统中，当驾驶汽车时，仍可依据行进的距离频繁地刷新显示器，例如每一秒。在所述情况下，透视图每一秒将基于导航装置的实际GPS位置及定向产生并输出。
此外，根据本发明的多视点全景图适合在用于容易地提供街道、地址或所关心的任何其它点的周围的伪现实视图的应用中使用。举例来说，输出呈现线路规划系统可容易地通过添加根据本发明的地理参考路边全景图而增强，其中建筑物的正面已按比例缩放以使建筑物的像素的分辨率相等。此种全景图对应于街道的全景图，其中沿所述街道的所有建筑物具有相同的建筑物线。用户搜寻位置。然后，对应的地图呈现在屏幕上的窗口中。随后，在屏幕上的另一个窗口中(或临时在同一窗口上)，根据对应于所述位置的垂直于道路的定向的路边呈现图像(像15b或15c的图像)。在另一个实施方案中，屏幕上的地图的方向可用于界定应以何种定向给出全景图的透视图。认为路边全景图的所有像素表示路边全景图的表面的位置处的临街面。所述路边全景图仅包含假设在所述表面上的视觉信息。因此，可针对路边全景图的任何任意观看角度容易地制作伪现实透视图。通过系统的旋转功能，所述地图可在所述屏幕上旋转。同时，可产生对应于所做的旋转的对应的透视伪现实图像。举例来说，当街道的方向是从屏幕的左侧到右侧表示数字地图的对应部分时，将仅显示如图15b中所示的全景图的一部分。可在无需变换所述图像的情况下显示所述部分，因为假设所述显示表示路边视图，其垂直于街道的方向。此外，所示部分从用户选择的位置对应于左及右全景图的预定区。当所述街道的方向是从屏幕的底部到顶部，那么将通过组合左及右路边全景图及任选地道路表面的经正射纠正的图像产生像图15a那样的透视图。
所述系统还可包含翻转功能，以通过一个指令在180°上旋转所述地图及观看街道的另一侧。
系统的扫视功能可用于沿地图上的街道的方向行走且同时依据屏幕上的地图的定向显示街道的对应显像。每当将伪现实图像呈现为所使用的图像时，左及右路边全景图及经正射纠正的道路表面图像(如果需要)表示经纠正的图像。经纠正的图像是其中每一像素表示建筑物正面的纯前视图及道路表面的俯视图的图像。
图15b及15c显示街道的路边全景图，其中所有的房屋具有相同的地平面。然而，对于所属领域的技术人员显而易见的是，上述方法通常将产生其中具有不同地平面的房屋在路边全景图中将显示为不同高度的路边全景图。图18显示此种路边全景图。在所述路边全景图中，在显示器上应仅显示对应于表示多视点全景图的表面的像素。因此，当在显示器上重新产生所述路边全景图时，不应计及区域1802及1804中的像素。优选地，将给予所述区域1802及1804能够检测沿所述路边的对象的区域的边沿线在哪里的值、图案或纹理。举例来说，所述区域1802及1804中的像素将获得图像中通常不存在的值，或在每一像素列中，所述像素的值以第一预界定的值开始且以具有第二预界定的值的像素结束，其中所述第一预界定的值不同于所述第二预界定的值。应注意，山上的建筑物可具有其中地平面具有坡度的临街面。则此也将在临街面的多视点全景图及包含所述多视点全景图的路边全景图中看到。
存在当在屏幕上产生数字地图的透视图像时显像道路的高度信息的应用。如图18中所示的路边全景图非常适合在用以提供街道的伪现实透视图的那些应用中使用。道路表面的高度在大多数情况下将与临街面的地平面匹配。可能已将临街面的多视点全景图投影在与路边全景图相关联的表面上。在所述情况下，道路表面的高度可能不与临街面的地平面的高度匹配。可给所述应用提供检测道路表面的高度与多视点全景图中的临街面的地平面之间的差异的算法。因此，所述应用经布置以通过检测区域1802的顶部像素的位置来在每一像素列中确定对应于所述路边全景图所表示的对象的像素的最低位置的垂直位置。由于每一像素表示具有预定高度的区域，因此可确定道路表面与地平面之间在高度上的差异。随后使用沿街道的此差异来校正全景图中的临街面的高度且产生道路表面与路边的伪透视图像，其中所述道路表面的高度与所述临街面的地平面的高度匹配。
存在使用不包含道路的高度的地图的应用。因此，其仅适于产生水平地图的透视图。图18的路边全景图的组合将产生透视图像，其中建筑物的地平面沿所述道路变化。此不一致性可能看起来不现实。将给出其中这些应用可提供伪现实透视图像的两个实施例。
在第一个实施例中，所述应用将从路边全景图中导出高度信息且使用所述高度信息增强水平地图的透视图。因此，所述应用经布置以通过检测区域1802的顶部像素的位置来在每一像素列中确定对应于所述路边全景图所表示的对象的像素的最低位置的垂直位置。由于每一像素表示具有预定高度的区域，因此可确定沿街道在高度上的差异。随后使用沿街道的此差异产生道路表面的伪透视图像，其显像沿所述街道在高度上的对应差异。以此方式，可组合所述路边全景图与道路表面，其中在所述伪现实透视图像中，所述道路表面与路边视图的表面将是邻接的。对于所属领域的技术人员显而易见的是，如果必须根据图18中所示的临街面地平面产生具有不同高度的道路表面，那么应产生逐渐增大/减小的道路表面。优选地，向从路边全景图导出的沿街道的地平面应用平滑功能。应用此平滑功能的结果是道路表面的高度平滑地改变，此是道路表面的更加现实的视图。
在第二实施例中，与第一实施例相反，所述应用将从路边全景图中移除区域1802且使用由此获得的图像与水平地图组合。区域1802的移除将产生与图15c中所示的路边全景图类似的图像。通过从所述路边全景图中移除高度信息，产生伪现实透视图像，表示其中沿道路的建筑物全部具有相同的地平面的水平道路表面。在所述情况下，路边全景图中的正面的地平面具有坡度，可通过门及窗户的视觉矩形性的扭曲在伪现实透视图像中看到所述坡度。
出于例示及说明目的，上文已提供了对本发明的详细说明。并不打算穷尽列举本发明的形式或将本发明限于所揭示的确切形式，且显然鉴于以上教示许多修改及变化均可行。举例来说，替代使用两个或多于两个相机的源图像，可仅使用一个相机的图像序列来产生建筑物表面的全景图。在所述情况下，对于在垂直于移动车辆的轨迹的预界定距离处的正面，两个连续图像应具有足够的重叠，举例来说，＞60％。
为最好地阐释本发明的原理及其实际应用，因此选择所述实施例，以使所属领域的技术人员能够最好地利用各个实施例中的本发明且通过所涵盖的适用于特定用途的各种修改来最好地利用本发明。本发明的范围既定由所附权利要求书予以界定。

Claims (18)

1、一种产生路边的多视点全景图的方法，其包含：
获取通过安装在移动车辆上的至少一个基于陆地的激光扫描仪获得的一组激光扫描样本，其中每一样本与位置数据及定向数据相关联；
获取至少一个图像序列，其中借助安装在所述移动车辆上的基于陆地的相机获得每一图像序列，其中所述至少一个图像序列中的每一图像与位置及定向数据相关联；
从所述组激光扫描样本中抽取表面且依据与所述激光扫描样本相关联的所述位置数据确定所述表面的位置；
依据所述表面的所述位置及与所述图像中的每一者相关联的所述位置及定向数据从所述至少一个图像序列产生所述表面的多视点全景图。
2、根据权利要求1所述的方法，其中产生包含：
检测在所述至少一个图像序列中的第一图像中阻碍观看所述表面的一部分的障碍物；
选择第二图像的显像所述表面的所述部分的区域；及
使用所述第二图像的所述区域产生所述多视点全景图的所述部分。
3、根据权利要求1所述的方法，其中产生包含：
检测在所述至少一个图像序列中的所有图像中阻碍观看所述表面的一部分的一个或一个以上障碍物；
将所述一个或一个以上障碍物中的一者的视图投影到所述多视点全景图。
4、根据权利要求3所述的方法，其中产生进一步包含：
针对所述所检测的障碍物中的每一者确定其是否在所述图像中的任一者中完全可见；
如果所述所检测的障碍物在至少一个图像中完全可见，那么将所述所检测对象的视图从所述至少一个图像中的一者投影到所述多视点全景图。
5、根据权利要求1到4中任一权利要求所述的方法，其中优选地从图像中具有最垂直于所述表面的相关联视角的部分产生所述全景图。
6、根据权利要求1所述的方法，其中产生包含：
产生所述表面的主阴影地图；
依据所述主阴影地图产生所述多视点全景图。
7、根据权利要求6所述的方法，其中产生主阴影地图包含：
选择具有包括所述表面的至少一部分的观看窗口的图像；
通过投影在所述表面前方显像于对应的选定图像中的障碍物的阴影来产生每一选定图像的阴影地图；及
组合所述选定图像的所述阴影地图以获得所述主阴影地图。
8、根据权利要求6或7所述的方法，其中产生进一步包含：
将所述主阴影地图分成若干段；
针对每一段确定在其相关联观看窗口中不具有障碍物的对应图像；及
使用所述对应图像将与所述段相关联的区域投影在所述多视点全景图上。
9、根据权利要求8所述的方法，其中产生进一步包含：
如果尚未找到段的对应图像，那么使用在其相关联观看窗口中具有整个障碍物的图像。
10、根据权利要求8或9所述的方法，其中产生进一步包含：
如果尚未找到段的对应图像，那么使用具有最垂直于所述表面的相关联视角的所述图像。
11、根据权利要求1、2或3所述的方法，其中通过对所述组激光扫描样本执行直方图分析来抽取所述表面。
12、一种产生路边全景图的方法，其包含：
检索可能已通过权利要求1到10中任一权利要求及相关联的位置信息产生的多个多视点全景图；
确定所述路边全景图的虚拟表面的位置；及
将所述多个多视点全景图投影在所述虚拟表面上。
13、一种用于执行根据权利要求1到11中任一权利要求所述的方法的设备，所述设备包含：
输入装置；
处理器可读存储媒体；及
处理器，其与所述输入装置及所述处理器可读存储媒体通信；
输出装置，其用以实现与显示器单元的连接；
所述处理器可读存储媒体存储代码，所述代码用以编程所述处理器以执行包含以下动作的方法：
获取通过安装在移动车辆上的至少一个基于陆地的激光扫描仪获得的一组激光扫描样本，其中每一样本与位置数据及定向数据相关联；
获取至少一个图像序列，其中借助安装在所述移动车辆上的基于陆地的相机获得每一图像序列，其中所述至少一个图像序列中的每一图像与位置及定向数据相关联；
从所述组激光扫描样本中抽取表面且依据与所述激光扫描样本相关联的所述位置数据确定所述表面的位置；
依据所述表面的所述位置及与所述图像中的每一者相关联的所述位置及定向数据从所述至少一个图像序列产生所述表面的多视点全景图。
14、一种包含指令的计算机程序产品，当加载于计算机布置上时所述计算机程序产品允许所述计算机布置执行根据权利要求1到11所述的方法中的任一者。
15、一种携载计算机程序产品的处理器可读媒体，当加载于计算机布置上时所述计算机程序产品允许所述计算机布置执行根据权利要求1到11所述的方法中的任一者。
16、一种携载多视点全景图的处理器可读媒体，所述多视点全景图已通过执行根据权利要求1到11所述的方法中的任一者获得。
17、一种在屏幕上同时提供地图及街道中的选定位置以及来自所述位置的伪现实视图的计算机实施的系统，其包含
包含所述选定位置的地图；
根据权利要求11所述的至少一个路边全景图；
用于在屏幕上以可变定向显示包括街道中的所述选定位置的显示地图的地图产生组件；及
用于依据所述可变定向从所述至少一个路边全景图产生所述选定位置的伪现实视图的视图产生组件。
18、根据权利要求17所述的计算机实施的系统，其中所述地图与所述伪现实视图组合为一个伪透视图。
CN200780053247A 2007-06-08 2007-06-28 产生多视点全景图的方法及设备 Pending CN101681525A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NLPCT/NL2007/050274 2007-06-08
NL2007050274 2007-06-08
PCT/NL2007/050319 WO2008150153A1 (en) 2007-06-08 2007-06-28 Method of and apparatus for producing a multi-viewpoint panorama

Publications (1)

Publication Number Publication Date
CN101681525A true CN101681525A (zh) 2010-03-24

Family

ID=39313195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780053247A Pending CN101681525A (zh) 2007-06-08 2007-06-28 产生多视点全景图的方法及设备

Country Status (8)

Country Link
US (1) US20100118116A1 (zh)
EP (1) EP2158576A1 (zh)
JP (1) JP2010533282A (zh)
CN (1) CN101681525A (zh)
AU (1) AU2007354731A1 (zh)
CA (1) CA2699621A1 (zh)
RU (1) RU2009148504A (zh)
WO (1) WO2008150153A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102834849A (zh) * 2011-03-31 2012-12-19 松下电器产业株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
CN104113678A (zh) * 2013-04-17 2014-10-22 腾讯科技（深圳）有限公司 图像的等距采集实现方法及系统
CN104937653A (zh) * 2013-03-21 2015-09-23 Lg电子株式会社 显示装置及其控制方法
CN105229704A (zh) * 2013-03-14 2016-01-06 微软技术许可有限责任公司 用于对场景的交互视图导航的综合分组
CN106162072A (zh) * 2015-05-11 2016-11-23 三星电子株式会社 周围观看方法和周围观看系统
US9712746B2 (en) 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
CN107256532A (zh) * 2012-10-24 2017-10-17 株式会社摩如富 图像处理装置、图像处理方法以及记录介质
CN108604380A (zh) * 2016-05-03 2018-09-28 谷歌有限责任公司 用于在移动设备上获得成对极线约束和解决全景姿态的方法和系统
CN109314788A (zh) * 2016-06-21 2019-02-05 派视特立株式会社 编码装置和编码方法以及解码装置和解码方法
CN110392892A (zh) * 2017-02-20 2019-10-29 大众汽车有限公司 生成分割的车辆图像数据的方法、对应的系统和车辆
CN110781263A (zh) * 2019-10-25 2020-02-11 北京无限光场科技有限公司 房源信息展示方法、装置、电子设备及计算机存储介质
CN111275818A (zh) * 2018-12-04 2020-06-12 赫尔环球有限公司 提供实时特征三角测量的方法和装置
CN111383231A (zh) * 2018-12-28 2020-07-07 成都皓图智能科技有限责任公司 一种基于3d图像的图像分割方法、装置及系统
WO2020199153A1 (zh) * 2019-04-03 2020-10-08 南京泊路吉科技有限公司 基于全景影像的正射影像生成方法
US11972507B2 (en) 2019-04-03 2024-04-30 Nanjing Polagis Technology Co. Ltd Orthophoto map generation method based on panoramic map

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5564946B2 (ja) * 2007-09-20 2014-08-06 日本電気株式会社 映像提供システム、および映像提供方法
TW201011259A (en) * 2008-09-12 2010-03-16 Wistron Corp Method capable of generating real-time 3D map images and navigation system thereof
US9683853B2 (en) * 2009-01-23 2017-06-20 Fuji Xerox Co., Ltd. Image matching in support of mobile navigation
US8698875B2 (en) * 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
GB0908200D0 (en) * 2009-05-13 2009-06-24 Red Cloud Media Ltd Method of simulation of a real physical environment
JP4854819B2 (ja) * 2009-05-18 2012-01-18 小平アソシエイツ株式会社 画像情報出力方法
DE102010064480B3 (de) * 2009-05-29 2017-03-23 Kurt Wolfert Vorrichtung zur automatisierten Erfassung von Objekten mittels eines sich bewegenden Fahrzeugs
US8581900B2 (en) * 2009-06-10 2013-11-12 Microsoft Corporation Computing transitions between captured driving runs
DE102009036200A1 (de) 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
WO2011023246A1 (en) * 2009-08-25 2011-03-03 Tele Atlas B.V. A vehicle navigation system and method
KR100971777B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN102025922A (zh) * 2009-09-18 2011-04-20 鸿富锦精密工业（深圳）有限公司 影像匹配系统及方法
WO2011047731A1 (en) * 2009-10-22 2011-04-28 Tele Atlas B.V. Method for creating a mosaic image using masks
CA2795269A1 (en) * 2010-04-12 2011-10-20 Fortem Solutions Inc. Camera projection meshes
NL2004996C2 (nl) * 2010-06-29 2011-12-30 Cyclomedia Technology B V Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto.
JP5875120B2 (ja) * 2010-07-30 2016-03-02 学校法人 芝浦工業大学 他視点閉曲面画素値補正装置、他視点閉曲面画素値補正方法、利用者位置情報出力装置、利用者位置情報出力方法
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
US8892357B2 (en) 2010-09-20 2014-11-18 Honeywell International Inc. Ground navigational display, system and method displaying buildings in three-dimensions
EP2643821B1 (en) * 2010-11-24 2019-05-08 Google LLC Path planning for street level navigation in a three-dimensional environment, and applications thereof
DE202011110924U1 (de) * 2010-11-24 2017-04-25 Google Inc. Geführte Navigation durch mit Geo-Tags versehene Panoramen
JP2012118666A (ja) * 2010-11-30 2012-06-21 Iwane Laboratories Ltd 三次元地図自動生成装置
KR20120071160A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 이동체용 실외 지도 제작 방법 및 그 장치
US10168153B2 (en) 2010-12-23 2019-01-01 Trimble Inc. Enhanced position measurement systems and methods
WO2012089264A1 (en) * 2010-12-30 2012-07-05 Tele Atlas Polska Sp.Z.O.O Method and apparatus for determining the position of a building facade
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US8711174B2 (en) 2011-06-03 2014-04-29 Here Global B.V. Method, apparatus and computer program product for visualizing whole streets based on imagery generated from panoramic street views
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
CN102510482A (zh) * 2011-11-29 2012-06-20 蔡棽 一种提高能见度和可视距离的图像拼接重建及全局监控方法
US9324184B2 (en) 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US8995788B2 (en) 2011-12-14 2015-03-31 Microsoft Technology Licensing, Llc Source imagery selection for planar panorama comprising curve
US8872898B2 (en) 2011-12-14 2014-10-28 Ebay Inc. Mobile device capture and display of multiple-angle imagery of physical objects
DE102011056671A1 (de) * 2011-12-20 2013-06-20 Conti Temic Microelectronic Gmbh Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
CN102542523A (zh) * 2011-12-28 2012-07-04 天津大学 一种基于街景的城市图片信息认证方法
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
US10477184B2 (en) * 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
JP5867596B2 (ja) * 2012-04-16 2016-02-24 日産自動車株式会社 立体物検出装置及び立体物検出方法
US9014903B1 (en) 2012-05-22 2015-04-21 Google Inc. Determination of object heading based on point cloud
US9262868B2 (en) * 2012-09-19 2016-02-16 Google Inc. Method for transforming mapping data associated with different view planes into an arbitrary view plane
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
US9234618B1 (en) 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
US9235763B2 (en) * 2012-11-26 2016-01-12 Trimble Navigation Limited Integrated aerial photogrammetry surveys
JP6265131B2 (ja) * 2012-12-06 2018-01-24 日本電気株式会社 視界表示システム、視界表示方法および視界表示プログラム
NL2010463C2 (nl) * 2013-03-15 2014-09-16 Cyclomedia Technology B V Werkwijze voor het genereren van een panoramabeeld.
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
FR3017207B1 (fr) * 2014-01-31 2018-04-06 Groupe Gexpertise Vehicule d'acquisition de donnees georeferencees, dispositif, procede et programme d'ordinateur correspondant
GB201407643D0 (en) 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
CN104301673B (zh) * 2014-09-28 2017-09-05 北京正安维视科技股份有限公司 一种基于视频分析的实时车流分析与全景可视方法
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
US10436582B2 (en) 2015-04-02 2019-10-08 Here Global B.V. Device orientation detection
DE102015206477A1 (de) * 2015-04-10 2016-10-13 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
JP6594039B2 (ja) * 2015-05-20 2019-10-23 株式会社東芝 画像処理装置、方法及びプログラム
KR20180038475A (ko) 2015-08-03 2018-04-16 톰톰 글로벌 콘텐트 비.브이. 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
CN105208368A (zh) * 2015-09-23 2015-12-30 北京奇虎科技有限公司 显示全景数据的方法及装置
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
EP3404358B1 (en) * 2016-03-07 2020-04-22 Mitsubishi Electric Corporation Map making device and map making method
JP6660774B2 (ja) * 2016-03-08 2020-03-11 オリンパス株式会社 高さデータ処理装置、表面形状測定装置、高さデータ補正方法、及びプログラム
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
EP3482163B1 (en) * 2016-07-07 2021-06-23 Saab Ab Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
EP3533026A4 (en) * 2016-10-26 2021-01-27 Continental Automotive GmbH METHOD AND SYSTEM FOR GENERATING A TOP VIEW IMAGE COMPOSED OF A ROAD
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
JP2019036872A (ja) 2017-08-17 2019-03-07 パナソニックＩｐマネジメント株式会社 捜査支援装置、捜査支援方法及び捜査支援システム
US10586349B2 (en) 2017-08-24 2020-03-10 Trimble Inc. Excavator bucket positioning via mobile device
US10460465B2 (en) * 2017-08-31 2019-10-29 Hover Inc. Method for generating roof outlines from lateral images
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
CN109697745A (zh) * 2017-10-24 2019-04-30 富泰华工业（深圳）有限公司 障碍物透视方法及障碍物透视装置
EP3487162B1 (en) * 2017-11-16 2021-03-17 Axis AB Method, device and camera for blending a first and a second image having overlapping fields of view
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
KR102133735B1 (ko) * 2018-07-23 2020-07-21 (주)지니트 파노라마 크로마키 합성 시스템 및 방법
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN110097498B (zh) * 2019-01-25 2023-03-31 电子科技大学 基于无人机航迹约束的多航带图像拼接与定位方法
US10997453B2 (en) * 2019-01-29 2021-05-04 Adobe Inc. Image shadow detection using multiple images
EP3977412A1 (en) 2019-05-31 2022-04-06 Apple Inc. Virtual parallax to create three-dimensional appearance
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US10943360B1 (en) 2019-10-24 2021-03-09 Trimble Inc. Photogrammetric machine measure up
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113989450B (zh) * 2021-10-27 2023-09-26 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN114087987A (zh) * 2021-11-17 2022-02-25 厦门聚视智创科技有限公司 一种基于手机背框的高效大视野光学成像方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359527B2 (en) * 1995-06-07 2008-04-15 Automotive Technologies International, Inc. Combined occupant weight and spatial sensing in a vehicle
AT412132B (de) * 2001-01-17 2004-09-27 Efkon Ag Drahtlose, insbesondere mobile kommunikationseinrichtung
US6759979B2 (en) * 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
US7199793B2 (en) * 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
US7415335B2 (en) * 2003-11-21 2008-08-19 Harris Corporation Mobile data collection and processing system and methods
FI117490B (fi) * 2004-03-15 2006-10-31 Geodeettinen Laitos Menetelmä puustotunnusten määrittämiseksi laserkeilaimen, kuvainformaation ja yksittäisten puiden tulkinnan avulla
WO2006034256A2 (en) * 2004-09-17 2006-03-30 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
WO2007027847A2 (en) * 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
US7499586B2 (en) * 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
CA2625105A1 (en) * 2005-10-17 2007-04-26 Tele Atlas North America, Inc. Method for generating an enhanced map
US7430490B2 (en) * 2006-03-29 2008-09-30 Microsoft Corporation Capturing and rendering geometric details
US7499155B2 (en) * 2006-08-23 2009-03-03 Bryan Cappelletti Local positioning navigation system
WO2008048088A1 (en) * 2006-10-20 2008-04-24 Tele Atlas B.V. Computer arrangement for and method of matching location data of different sources
US7639347B2 (en) * 2007-02-14 2009-12-29 Leica Geosystems Ag High-speed laser ranging system including a fiber laser
US20080226181A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102834849A (zh) * 2011-03-31 2012-12-19 松下电器产业株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
CN102834849B (zh) * 2011-03-31 2016-08-31 松下知识产权经营株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
CN107256532A (zh) * 2012-10-24 2017-10-17 株式会社摩如富 图像处理装置、图像处理方法以及记录介质
CN107256532B (zh) * 2012-10-24 2020-09-18 株式会社摩如富 图像处理装置、图像处理方法以及记录介质
US10951819B2 (en) 2013-03-14 2021-03-16 Microsoft Technology Licensing, Llc Image capture and ordering
US9973697B2 (en) 2013-03-14 2018-05-15 Microsoft Technology Licensing, Llc Image capture and ordering
US9712746B2 (en) 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
CN105229704A (zh) * 2013-03-14 2016-01-06 微软技术许可有限责任公司 用于对场景的交互视图导航的综合分组
US9571732B2 (en) 2013-03-21 2017-02-14 Lg Electronics Inc. Display device and method for controlling the same
CN104937653A (zh) * 2013-03-21 2015-09-23 Lg电子株式会社 显示装置及其控制方法
CN104113678A (zh) * 2013-04-17 2014-10-22 腾讯科技（深圳）有限公司 图像的等距采集实现方法及系统
CN106162072A (zh) * 2015-05-11 2016-11-23 三星电子株式会社 周围观看方法和周围观看系统
CN106162072B (zh) * 2015-05-11 2020-05-26 三星电子株式会社 周围观看方法和周围观看系统
US11568551B2 (en) 2016-05-03 2023-01-31 Google Llc Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device
CN108604380B (zh) * 2016-05-03 2022-04-12 谷歌有限责任公司 用于在移动设备上获得成对极线约束和解决全景姿态的方法和系统
US11080871B2 (en) 2016-05-03 2021-08-03 Google Llc Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device
CN108604380A (zh) * 2016-05-03 2018-09-28 谷歌有限责任公司 用于在移动设备上获得成对极线约束和解决全景姿态的方法和系统
CN109314788A (zh) * 2016-06-21 2019-02-05 派视特立株式会社 编码装置和编码方法以及解码装置和解码方法
CN110392892A (zh) * 2017-02-20 2019-10-29 大众汽车有限公司 生成分割的车辆图像数据的方法、对应的系统和车辆
CN110392892B (zh) * 2017-02-20 2023-05-12 大众汽车有限公司 生成分割的车辆图像数据的方法、对应的系统和车辆
CN111275818A (zh) * 2018-12-04 2020-06-12 赫尔环球有限公司 提供实时特征三角测量的方法和装置
CN111383231A (zh) * 2018-12-28 2020-07-07 成都皓图智能科技有限责任公司 一种基于3d图像的图像分割方法、装置及系统
CN111383231B (zh) * 2018-12-28 2023-10-27 成都皓图智能科技有限责任公司 一种基于3d图像的图像分割方法、装置及系统
WO2020199153A1 (zh) * 2019-04-03 2020-10-08 南京泊路吉科技有限公司 基于全景影像的正射影像生成方法
US11972507B2 (en) 2019-04-03 2024-04-30 Nanjing Polagis Technology Co. Ltd Orthophoto map generation method based on panoramic map
CN110781263A (zh) * 2019-10-25 2020-02-11 北京无限光场科技有限公司 房源信息展示方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CA2699621A1 (en) 2008-12-11
EP2158576A1 (en) 2010-03-03
AU2007354731A1 (en) 2008-12-11
RU2009148504A (ru) 2011-07-20
US20100118116A1 (en) 2010-05-13
WO2008150153A1 (en) 2008-12-11
JP2010533282A (ja) 2010-10-21

Similar Documents

Publication Publication Date Title
CN101681525A (zh) 产生多视点全景图的方法及设备
US8665263B2 (en) Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein
US8958980B2 (en) Method of generating a geodetic reference database product
US8649632B2 (en) System and method for correlating oblique images to 3D building models
EP2074379B1 (en) Method and apparatus for generating an orthorectified tile
CN109791052A (zh) 用于生成和使用定位参考数据的方法和系统
CN101523439A (zh) 用于从基于陆地的移动测绘数据检测对象的方法和设备
CN101842808A (zh) 用于产生车道信息的方法及设备
CN101563581A (zh) 用于图像中的平面对象的识别和位置确定的方法和设备
EP2137693A1 (en) Method of and apparatus for producing road information
JP4255777B2 (ja) 電波伝搬シミュレーション装置、及び電波伝搬シミュレーション方法
TW201024664A (en) Method of generating a geodetic reference database product
WO2010068185A1 (en) Method of generating a geodetic reference database product
TW201024665A (en) Method of generating a geodetic reference database product

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1136899

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100324

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1136899

Country of ref document: HK