CN105793895A - 用于生成和显示地理区域的立体图像对的系统和方法 - Google Patents

用于生成和显示地理区域的立体图像对的系统和方法 Download PDF

Info

Publication number
CN105793895A
CN105793895A CN201480049074.2A CN201480049074A CN105793895A CN 105793895 A CN105793895 A CN 105793895A CN 201480049074 A CN201480049074 A CN 201480049074A CN 105793895 A CN105793895 A CN 105793895A
Authority
CN
China
Prior art keywords
image
stereo pairs
model
map
route map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480049074.2A
Other languages
English (en)
Inventor
章云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of New Brunswick
Original Assignee
University of New Brunswick
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of New Brunswick filed Critical University of New Brunswick
Publication of CN105793895A publication Critical patent/CN105793895A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/005—Map projections or methods associated specifically therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

在一些实施方案中，由2D卫星图像或空间图像以及3D模型生成立体图像对的系统和方法。

Description

用于生成和显示地理区域的立体图像对的系统和方法
技术领域
本发明一般地涉及立体图像对和三维(“3D”)模型生成，更具体地涉及生成和显示地理区域的立体图像对的领域，以及关联的系统和方法。
背景技术
卫星图像和空间图像以及路线图可供世界的许多部分使用。这些图像和地图越来越多地在线可用。GoogleMapsTM和BingMapsTM例如提供许多地理区域的二维(“2D”)卫星图像和2D路线图的在线访问。
卫星图像和空间图像还可视为使用形成立体图像对的两个图像的立体3D。立体图像对可以进一步制成补色立体图像。补色立体图像能够显示在2D显示器上，例如2D计算机监控器。通过一对红-蓝或红-蓝绿色眼镜观看补色立体图像，能够觉察到3D效果。MicroImages公司例如提供了“GoogleMaps立体3D应用”，其使用补色立体图像来盖中GoogleMaps的2D图像或2D地图上以显示补色立体图像覆盖区域的3D效果。
然而，立体图像对或补色立体图像不能供所有地理区域使用。
附图说明
图1是描绘根据本发明的一些实施方案(而不是全部实施方案)的生成地理区域的立体图像对的方法的实现方式的图。
图2是描绘根据本发明的一些实施方案(而不是全部实施方案)的生成地理区域的立体图像对的方法的实现方式的流程图。
图3是描绘由地理区域的立体图像对生成3D模型的现有技术方法的流程图。
图4是描绘根据本发明的一些实施方案(而不是全部实施方案)的基于不同视角的两个离最低点图像来生成地理区域的北极定向立体图像对的方法的实现方式的图。
图5是描绘根据本发明的一些实施方案(而不是全部实施方案)的基于不同视角的两个离最低点图像来生成地理区域的非北极定向立体图像对的方法的实现方式的图。
图6是可以实现根据本发明的方法的系统的实施例的计算环境的高级框图。
发明详述
本发明可以用多种不同的形式来具体实施，而不应解释为局限于本文阐述的实施方案。相反，这些实施方案仅通过示例的方式来提供并且使得本公开将是全面的、完整的，并且将本发明的整个范围充分传达给本领域技术人员。
如本文所使用的“二维(“2D”)图像”是这样一种图像：当某人以充分正常的双目视觉用双眼观看图像时，不能觉察到三维深度的幻影。2D图像包括但不限于2D卫星图像、2D空间图像、2D地图、2D路线图、2D地图特征、2D图形符号或2D文本标签。
如本文所使用的“立体显示器”是这样一种装置：立体3D图像对可以显示在该装置上，使得当某人使用3D眼镜以充分正常的双目视觉用双眼观看图像时，能够觉察到三维深度的幻影。立体显示器包括3D显示器，包括但不限于3D手持装置、数字3D监控器以及数字3D电视机，其中可利用一副3D眼镜或其它适合的3D眼镜来觉察到立体3D。
如本文所使用的“自动立体显示器”是这样一种装置：立体3D图像对可以通过每个图像仅能由每只眼看到而使得某人在不使用3D眼镜的情况下以充分正常的双目视觉可以觉察到三维深度的幻影的方式来显示。无眼镜3D显示器是自动立体显示器的实施例。自动立体显示器可用作为用于例如3D计算机、3D电视机和3D手持装置的显示器。
如本文所使用的立体三维(“3D”)图像对是一对2D图像，其中当正确地定向和观看时，当某人以充分正常的双目视觉用双眼观看图像时，可以觉察到三维深度的幻影，每只眼观看一个图像(但是其中两只眼不观看同一图像)。
如本文所使用的三维(“3D”)模型可以是具有连续分布的3D点的数字3D模型，诸如数字高程模型(“DEM”)(在本领域有时也称为数字地域模型(“DTM”))、数字表面模型(DSM)或一个或多个离散的3D点(也称为3D点云)。
如本文所使用的3D点是地面上的3D位置并且其相对高程或高度相比于地面上的一个或多个其它位置是已知的或者其绝对高程或高度相比于基准是已知的。
“立体感”在本文中有时简称为“立体”。
根据一些实施方案(而不是全部的)，本发明涉及用于由2D卫星或空间图像生成立体图像对的系统和方法。
根据一些实施方案(而不是全部的)，本发明涉及由2D地图生成地图立体对的系统和方法。
根据一些实施方案(而不是全部的)，本发明涉及由2D标签来生成标签立体对的系统和方法。
根据一些实施方案(而不是全部的)，本发明涉及由2D卫星或空间图像、2D地图和2D标签生成组合立体对的系统和方法。
根据一些实施方案(而不是全部的)，本发明涉及利用从不同视角取得的图像生成立体图像对以及随后基于立体图像对由2D地图或2D标签生成地图或标签的立体对的系统和方法。
根据一些实施方案(而不是全部的)，通过由立体对生成补色立体图像以及显示补色立体图像，根据本发明的一些方法生成的立体对可以单独地显示在3D显示器而不是2D显示器上。
根据一些实施方案(而不是全部的)，根据本发明的一些方法生成的立体对可以显示为3D显示器上的各个层，诸如在3D卫星图像之上的3D路线图以及进一步在3D路线图之上的3D标签。这可以例如利于地理区域的复杂3D信息的可视化。每个单个的3D层可以盖在另一层之上或者从层中去除或者基于观看者的需要或偏好而没有显示。
根据一些实施方案(而不是全部的)，本发明涉及由2D图像生成立体3D图像对的方法。立体3D图像对可以显示在立体显示器上或自动立体显示器上。
根据一些实施方案(而不是全部的)，本发明涉及利用辅助3D信息由2D图像生成立体3D图像对的方法。立体图像对可显示在立体显示器上或者显示在自动立体显示器上。
根据一些实施方案(而不是全部的)，本发明涉及利用辅助3D信息由2D路线图生成立体3D路线图的方法。立体3D路线图对可显示在立体显示器上或显示在自动立体显示器上。
根据一些实施方案(而不是全部的)，本发明涉及利用辅助3D信息由2D标签生成立体3D标签对的方法。立体3D标签对可以显示在立体显示器上或显示在自动立体显示器上。
根据一些实施方案(而不是全部的)，本发明涉及利用从不同视角取得的图像来生成3D模型的方法。3D模型包括连续3D模型和诸如3D点云的离散3D模型，并且使用生成的3D模型来由2D图像生成立体3D图像对。
根据一些实施方案(而不是全部的)，本发明涉及一种系统，该系统包括包含处理器的计算机系统以及立体图像对生成器，其在处理器上执行，用于相对于3D模型将2D图像计算地投影到立体图像对上，其中计算地投影的步骤包括：根据使用共线条件原理的两个预定视点的位置，将2D图像的各个像素转移到立体图像对上的适当对应位置上。该系统可进一步包括显示器，该显示器与处理器通信，用于显示由立体图像对生成器生成的立体图像对。该系统可进一步包括用于存储2D图像和3D模型数据的存储部件。
根据一些实施方案(而不是全部的)，本发明涉及存储用于执行本文所描述的方法的指令的非暂态计算机可读介质。
根据一些实施方案(而不是全部的)，本发明涉及一种方法，包括：提供2D图像；提供3D模型；以及通过将2D图像与3D模型计算地重叠以及将2D图像计算地投影到立体图像对上，来生成立体图像对。计算地重叠的步骤包括包括将2D图像的各个像素与3D模型的对应像素相关。计算地投影2D图像的步骤包括：根据每个2D图像像素的位置、其在3D模型中的高度和两个预定的视点的位置，将2D图像的各个像素转移到立体图像对上的适当位置上。在计算地投影2D图像时使用共线原理。
根据一些实施方案(而不是全部的)，本发明涉及一种方法，包括：提供2D路线图或2D标签；提供3D模型；通过将2D路线图或2D标签与3D模型计算地重叠以及将2D路线图或2D标签计算地投影到立体3D路线图或3D标签上，来生成3D路线图或3D标签的立体对。计算地重叠的步骤包括：将2D地图或单个2D标签的各线与它们在3D模型中的对应位置相关。计算地投影的步骤包括：根据每个2D线或2D标签的位置，它们在3D模型中的高度和两个预定视点的位置将2D地图或单个2D标签的各线转移到它们在立体对上的适当的对应位置。在计算投影时使用共线原理。
根据一些实施方案(而不是全部的)，本发明涉及在3D显示器上显示立体对或者将它们在图像层中显示于3D显示器上，诸如在3D路线图之上的3D标签或者在3D卫星图像或空间图像之上的3D路线图。一个3D层可以重叠在另一层之上或者基于观看者的需要或偏好从另一层去除。
参考图1，提供2D图像和3D模型。2D图像与3D模型进行数学或数字或计算重叠。根据两个预定视点(50和60，立体图像对的每个图像各一个)的位置、2D图像(例如，10和20)的各像素的2D位置以及3D模型的对应像素的高度(第三维)信息(例如，分别从10至11的高度距离以及从20至21的高度距离)，立体3D图像对(立体对)是通过数学运算将2D图像(例如，图1中的10和20)的各像素转移或投影到立体图像对(例如，第一图像上的12和22，以及第二图像上的13和23)上的适当位置而生成的。两个预定的视点(50和60)的位置是基于人两只眼的基线距离(正常约为65mm)、从眼到3D显示器的正常观看距离(正常地为用于计算机显示器的臂长)、期望3D方位(诸如北朝上)以及2D图像的标度来确定的。在转移中使用的数学运算依赖于例如摄影测量领域的技术人员所公知的共享条件原理。在本发明的该实施方案中，当地面上2D图像像素的3D位置(例如，11)、在一个立体图像对上的像素的对应位置(例如，12)和用语该立体图像的对应视点(例如，50)位于同一直线上时，满足共线条件。
为图示说明的目的，图1示出了2D图像(10和20)中的两个像素，它们在3D模型(11和21)中的对应位置及其在第一立体图像(12和22)以及在第二立体图像(13和23)中的投影像素位置。2D图像包括多个像素，并且2D图像或2D图像的子集中的每一个像素通过如下过程被投影到其在立体对上的对应位置：(1)找到其在3D模型中的3D位置，以及(ii)根据共线条件和两个视点(50和60)的位置来计算其在立体对中的位置。然后，能够产生连续的立体图像对。
两个预定的视点(50和60)的位置和从眼睛到3D显示器的观看距离能够改变以实现不同深度效果。
基于该原理，可以采用不同的变化形式来简化立体图像生成过程。例如，原2D图像能够用作立体对的两个图像中的一个。仅立体对中的另一图像需要根据原2D图像的各像素、其在3D模型中的高度以及两个预定的视点来生成。
参考图2，提供2D图像和3D模型。2D图像与3D模型数学重叠。根据两个预定视点的位置(立体图像对的每个图像各一个)、2D图像的各像素的2D位置以及3D模型的对应像素的高度(第三维)信息，立体3D图像对通过数学运算将2D图像的各像素的灰度值信息转移到立体图像对上的适当位置来生成。在转移时使用的数学运算依赖于共线条件原理。在本发明的该实施方案中，当地面上2D图像的像素的3D位置、在立体图像对中的一个上的像素的对应位置以及该立体图像的对应视点位于同一直线上时，满足该共线条件。立体3D图像对显示在3D显示器上。根据3D显示器的可视化原理，立体图像对能够可替代地显示在屏幕上以允许每只一次仅看到一个图像，或者同时显示在屏幕上，但是具有视差障碍物而允许每只眼仅看到一个图像。一旦显示，当某人以充分正常的双目视觉用双眼观看立体3D图像对时，可以觉察到三维深度的幻影。
实施例的可用DEM包括通常可免费获得或者从美国GeologicalSurvey数据库和加拿大GeoBase数据库收费获得的中级分辨率DEM。
在根据本发明的方法的一些实施方案中，用于这些DEM的数据集能够用作3D模型，包括结合图1和图2所描述的方法。当例如不能从现有数据库获得更佳的DEM或DSM时，DEM、DSM和3D模型还能够直接利用立体图像对或离最低点图像对或者来自不同视角的多于两个图像来生成。
2D卫星图像的实施例包括来自卫星的全球可用中级分辨率2D卫星图像，诸如Landsat和SPOT图像。在根据本发明的一些实施方案中，这种2D卫星图像可用作2D图像，包括结合图1和图2所描述的方法。还可以使用其它卫星图像和空间照片。
可用的2D地图、2D路线图、2D地图特征、2D图形符号和2D文本标签的实施例包括来自美国GeologicalSurvey数据库、加拿大GeoBase数据库以及其它政府或私有源的向量和栅格数据。在根据本发明的方法中，这种2D地图、2D路线图、2D地图特征、2D图形符号和2D文本标签以及它们各自的元素可以处理为2D图像。
在本发明的一些实施方案中，通过使用可用的2D图像、2D路线图、2D地图标签以及关联的DEM，可利用根据本发明的方法来生成立体图像对、立体路线图对和立体地图标签。
在本发明的一些实施方案中，同一地理区域的卫星或空间图像的立体对、路线图立体对和地图标签对可利用结合图1和图2所描述的方法而生成为各个层。
在本发明的一些实施方案中，对应的立体图像对、立体路线图和地图标签可以逐层显示在立体显示器或自动立体显示器上。
在3D模型对于给定地理区域不可用或者不足时，可利用图3所描绘的现有技术方法来生成3D模型。提供用于给定地理区域的立体图像对或两个离最低点图像。计算机辅助处理用于由图像对生成3D点(或3D点云)。然后，基于3D点云来生成数字3D模型。应理解的是可利用从不同视点取得的多于两个图像来生成3D点云。还应理解的是3D点云是另一种形式的3D模型。
当前，诸如IKONOS、QuickBird、GeoEye-1和WorldView-2的高分辨率卫星能够从不同视角取得图像。从不同视角取得的适合的图像对可以形成一对立体图像。从飞机拍摄的常规摄影测量图像通常在两个相邻照片之间具有多于60％的重叠并且还可以形成立体图像对。使用立体图像对，可以觉察到立体3D。使用相同的立体图像对，可以提取出3D点和/或3D模型形式的3D信息。这可用于生成用语通常高分辨率3D模型不可获得的地理区域的高分辨率3D模型。
用语大规模3D可视化的分辨率卫星图像对或空间图像对的直接使用可以形成用于在线3D映射的两个主要难题。一个难题是由于两个图像之间的过大视角差而导致的3D深度的夸大。这不仅扭曲了高度感觉，而且导致观看3D的不适。另一难题是立体图像对的方位。正常地，在线映射系统中的图像以北朝上来定向(即，北定向)。但是，直接由来自不同视角的两个图像组合的立体图像对经常不是北定向，导致3D可视化以及与3D路线图重叠方面的难题。
使用根据本发明的一些实施方案的方法，根据两个预定的视点，能够重构具有适当的视角差和北方位的新的一对高分辨率卫星图像。重构过程包括以下步骤：使用提供的图像对来生成数字3D模型(例如，参见图3)；根据两个预定的视点(例如，参见图1和图2)使用生成的3D模型和提供的图像对中的一个提供的图像来将提供图像映射到一对立体图像。3D模型可进一步用于将2D路线图和2D地图标签映射到路线图立体对和地图标签立体对。
在图4中示出了生成大规模立体图像对、具有适当的3D深度和北方位的线对或标签对的实施例，其包括以下步骤：
1.使用从不同视角取得的图像，例如图4中的图像(1)和(2)，以生成3D模型(使用来自不同视角的更多图像可以生成更精确的3D模型；图4中未示出)；
2.使用所生成的3D模型和一个图像，诸如图4中的图像(2)，来生成新的图像(3)，其中图像(2)与图像(3)之间的基准距离是基于人眼的基准距离和从眼睛到显示屏的正常观看距离来预定义的，使得现实深度感觉将北可视化，并且图像(2)和(3)的基准在东西方向上延伸而使得立体对北定向。
3.3D模型可以进一步用于将2D路线图和2D地图标签投影到路线图立体对和地图标签立体对上；以及
4.生成的3D模型可以是虚拟3D模型，但是不一定需要生成为数字模块，只要每个2D像素、2D线或2D标签的3D信息能够由图像(1)和(2)运算出而将2D像素、2D线或2D标签重新投影到新的立体对上即可。
生成大规模立体图像对、具有适当的3D深度而不具有北方位的线对和标签对的实施例显示在图5中，这包括以下步骤：
1.使用从不同视角取得的图像，例如图5中的图像(1)和(2)，生成3D模型(使用来自不同视角的更多图像可以生成更精确的3D模型；图5中未示出)；
2.使用生成的3D模型和图像(2)来生成新的图像(3)，其中图像(2)与图像(3)之间的基准距离是基于人眼的基准和从眼睛到显示屏的正常观看距离来预定义的，使得现实深度感觉将北可视化，并且图像(2)与图像(3)之间的基准沿与原立体对相同的方向延伸；
3.3D模型可进一步用于将2D路线图和2D地图标签投影到路线图立体对和地图标签立体对；以及
4.在图像基准和眼睛基准平行于显示器的水平像素线的情况下旋转立体图像对(2)和(3)。
如果能够找到具有适当3D深度的一对图像，则它们能够直接用于3D可视化。它们还能够用于生成用于产生立体路线图和立体标签的3D模型。
当前，大规模2D路线图存在于世界的许多地方。使用由高分辨率卫星图像对或空间图像对生成的2D路线图和3D点或3D模型，可以利用根据本发明的一些实施方案的方法来生成大规模立体路线图和对应的立体地图标签，包括结合图1和图2所描述的方法。如果高分辨率3D模型能从诸如LiDAR数据的现有数据源得到，则它们可使用，而不是由高分辨率图像来生成它们。得到的高分辨率立体图像和大规模立体路线图和地图标签可显示在3D数字显示器上，用于大规模3D可视化。
使用根据本发明的包括如上文结合图1和图2所描述的方法的一些实施方案的方法，通过在3D显示器上绘制也能够获得立体路线图和地图标签。以3D图像场景作为背景，观看者可以在觉察的3D图像场景上绘制线。立体线随后可基于其在3D模型上的对应位置而形成。如果3D模型不可用，则观看者可以通过使用计算机鼠标或其它装置手动调节线的觉察高度直至线位于觉察到的3D地域的表面上来形成立体线。同样的原理可应用于形成一对立体标签。
本领域技术人员将理解的是，立体3D图像对可以在其生成时或另一时间显示。例如，立体3D图像对可以生成，随后存储在存储器且在后来显示。
根据本发明的方法是计算过程并且可以实现在通用计算机或其它适合的计算装置上，当编程时，这些计算装置能够形成根据本发明实施方案的系统。
图6是根据本发明的方法可实现的系统的实施例的计算环境700的高级框图。
环境700包括用于执行上述方法的处理器720。诸如2D图像数据和3D图像对数据以及3D模型数据的图像数据可存储在数据库740中以及在需要时存储在存储器730中。处理器720可用于执行用于处理上述方法中的步骤的指令。数据和图像可经由网络710发送到处理器720以及发自处理器720。用户760可以直接或经由网络710访问环境700(诸如用于云计算应用)。
虽然已经在上文根据具体实施方案描述了本发明，应当理解的是本发明不限于这些公开的实施方案。本发明的许多变型例和其它实施例对于本发明所属领域的技术人员将是显而易见的，并且意在由本公开和随附权利要求来涵盖。事实上，目的是本发明的范围应当由本领域技术人员根据该说明书和附图中的公开内容所理解的随附权利要求及其法律等同内容的恰当解释和构造来确定。

Claims (24)

1.方法，包括：
提供2D图像，
提供3D模型，
通过相对于所述3D模型将所述2D图像计算地投影到立体图像对中来生成立体图像对，其中计算地投影的步骤包括，
根据利用共线条件原理的两个预定视点的位置，将所述2D图像的各个像素转移到立体图像对上的适当的对应位置。
2.如权利要求1所述的方法，其中所述2D图像是路线图，并且所述立体图像对是路线图图像对。
3.如权利要求1所述的方法，其中所述2D图像是地图标签，并且所述立体图像对是地图标签图像对。
4.如权利要求1所述的方法，进一步包括将所述立体图像对单独地或者逐层地显示而使得观看者能够觉察到立体3D的步骤。
5.方法，包括：
提供从不同视点取得的两个2D图像，
从所述2D图像获得3D模型，
基于所述两个2D图像和所述3D模型中的一个来生成立体图像对。
6.如权利要求5所述的方法，进一步包括：
提供2D路线图，
并且其中生成路线图的立体图像对的步骤基于所述3D模型和所述2D路线图。
7.如权利要求5所述的方法，进一步包括：
提供2D地图标签，
并且其中生成地图标签的立体图像对的步骤进一步基于所述3D模型和所述2D标签图像。
8.方法，包括：
提供从由卫星图像对和空间图像对构成的组中选出的图像对，
由所述图像对生成数字3D模型，以及
利用所述3D模型和一个所述图像，根据两个预定的视点将所述图像投影到一对立体图像上。
9.如权利要求8所述的方法，进一步包括：使用所述3D模型来将2D路线图和2D地图标签投影到所述立体对上以生成路线图立体对和地图标签立体对。
10.方法，包括：
提供来自由卫星图像对和空间图像对构成的组的立体图像对，
将所述立体图像对显示在3D显示器上，以及
通过在3D显示器上绘制来生成立体路线图。
11.方法，包括：
提供来自由卫星图像对和空间图像对构成的组的立体图像对，
将所述立体图像对显示在3D显示器上，以及
通过在3D显示器上绘制来生成立体地图标签。
12.方法，包括：
提供2D图像，
提供3D模型，
通过相对于所述3D模型将所述2D图像计算地投影到立体图像对上来生成立体图像对，其中计算地投影的步骤包括：
使用所述2D图像作为所述立体图像对的第一图像，以及使用所述2D图像的视点作为两个预定视点中的第一视点，
根据使用共线条件原理的两个预定视点中的第二视点的位置，将所述2D图像的各个像素转移到第二图像上的对应位置。
13.如权利要求12所述的方法，其中所述2D图像是路线图，并且所述立体图像对是路线图图像对。
14.如权利要求12所述的方法，其中所述2D图像是地图标签，并且所述立体图像对是地图标签图像对。
15.如权利要求12所述的方法，进一步包括单独地或者逐层地显示所述立体图像对而使得能够觉察到立体3D的步骤。
16.计算机实现方法，包括：
提供从不同视点取得的多于两个2D图像，
从所述2D图像获得3D模型，
基于所述两个2D图像中的一个和所述3D模型来生成立体图像对。
17.如权利要求16所述的方法，进一步包括：
提供2D路线图，
并且其中生成路线图立体图像对的步骤基于所述3D模型和所述2D路线图。
18.如权利要求16所述的方法，进一步包括：
提供2D地图标签，
并且其中生成地图标签立体图像对的步骤进一步基于所述3D模型和所述2D标签图像。
19.系统，包括：
包含处理器的计算机系统，以及
立体图像对生成器，其在所述处理器上执行，用于相对于3D模型将2D图像计算地投影到立体图像对上，其中计算地投影的步骤包括，
根据使用共线条件原理的两个预定视点的位置，将所述2D图像的各个像素转移到立体图像对上的适当的对应位置。
20.如权利要求19所述的系统，进一步包括显示器，所述显示器与所述处理器通信以显示由所述立体图像对生成器所生成的立体图像对。
21.如权利要求19或20所述的系统，进一步包括用于存储2D图像和3D模型数据的存储部件。
22.如权利要求19至21中的任一项所述的系统，进一步包括用于存储所述立体图像对的存储部件。
23.如权利要求19至22中的任一项所述的系统，进一步包括用于存储加瓦片立体图像对的存储部件，用于经由因特网将所述立体图像对的部分高效地转移到远程用户，以及将所转移的立体图像对的部分显示在用户的显示装置上。
24.存储权利要求1至18中任一项的指令的非暂态计算机可读介质。
CN201480049074.2A 2013-07-04 2014-07-04 用于生成和显示地理区域的立体图像对的系统和方法 Pending CN105793895A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CA2,820,305 2013-07-04
CA2820305A CA2820305A1 (en) 2013-07-04 2013-07-04 Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
PCT/CA2014/000540 WO2015000060A1 (en) 2013-07-04 2014-07-04 Systems and methods for generating and displaying stereoscopic image pairs of geographical areas

Publications (1)

Publication Number Publication Date
CN105793895A true CN105793895A (zh) 2016-07-20

Family

ID=52142957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480049074.2A Pending CN105793895A (zh) 2013-07-04 2014-07-04 用于生成和显示地理区域的立体图像对的系统和方法

Country Status (5)

Country Link
US (1) US10609353B2 (zh)
EP (1) EP3044764A4 (zh)
CN (1) CN105793895A (zh)
CA (1) CA2820305A1 (zh)
WO (1) WO2015000060A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294696A (zh) * 2016-08-08 2017-01-04 吴成贵 一种双模小区块映射电子地图
CN109769110A (zh) * 2019-01-22 2019-05-17 深圳岚锋创视网络科技有限公司 一种3d小行星动态图的生成方法、装置及便携式终端

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3028988B1 (fr) * 2014-11-20 2018-01-19 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
US10086955B2 (en) * 2015-10-23 2018-10-02 The Boeing Company Pattern-based camera pose estimation system
US10264238B2 (en) * 2015-11-12 2019-04-16 Bitanimate, Inc. Stereoscopic mapping
WO2017131838A2 (en) * 2015-11-13 2017-08-03 Flir Systems, Inc. Sonar sensor fusion and model based virtual and augmented reality systems and methods
US10325370B1 (en) 2016-05-31 2019-06-18 University Of New Brunswick Method and system of coregistration of remote sensing images
CN106933006B (zh) * 2017-05-03 2019-08-23 苏州和氏设计营造股份有限公司 数字展陈字幕扩展装置
CN117934749B (zh) * 2024-03-25 2024-05-24 成都陆拓信息技术有限公司 一种植被固碳价值量的三维可视化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142153A (zh) * 2010-01-28 2011-08-03 香港科技大学 基于图像的三维模型的重建模方法
CN102930601A (zh) * 2012-10-10 2013-02-13 中国人民解放军信息工程大学 一种双模三维地形立体环境的构建方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169553B1 (en) 1997-07-02 2001-01-02 Ati Technologies, Inc. Method and apparatus for rendering a three-dimensional scene having shadowing
US7039630B2 (en) * 2000-07-27 2006-05-02 Nec Corporation Information search/presentation system
US6757445B1 (en) 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
US7509241B2 (en) 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
US20030137673A1 (en) 2002-12-13 2003-07-24 Cox Cary B. Systems, and methods of use, employing distorted patterns to ascertain the shape of a surface, for road or runway profiling, or as input to control pro-active suspension systems
GB0328420D0 (en) 2003-12-08 2004-01-14 Pty Ltd Modelling system
CA2455359C (en) * 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
WO2005104039A2 (en) 2004-03-23 2005-11-03 Google, Inc. A digital mapping system
US7751651B2 (en) * 2004-04-02 2010-07-06 The Boeing Company Processing architecture for automatic image registration
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
WO2008002630A2 (en) 2006-06-26 2008-01-03 University Of Southern California Seamless image integration into 3d models
EP2067123B1 (en) 2006-09-19 2018-04-25 Telecom Italia S.p.A. Method of deriving digital terrain models from digital surface models
US20090322860A1 (en) * 2006-11-17 2009-12-31 Dong-Qing Zhang System and method for model fitting and registration of objects for 2d-to-3d conversion
US8749585B2 (en) 2007-03-29 2014-06-10 Microsoft Corporation Adding custom content to mapping applications
US20080310757A1 (en) 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US8504945B2 (en) * 2008-02-01 2013-08-06 Gabriel Jakobson Method and system for associating content with map zoom function
US8284190B2 (en) 2008-06-25 2012-10-09 Microsoft Corporation Registration of street-level imagery to 3D building models
US8482654B2 (en) 2008-10-24 2013-07-09 Reald Inc. Stereoscopic image format with depth information
US20120105439A1 (en) 2008-12-18 2012-05-03 3D Fusion Inc. System and Method For Adaptive Scalable Dynamic Conversion, Quality and Processing Optimization, Enhancement, Correction, Mastering, And Other Advantageous Processing of Three Dimensional Media Content
US20100182316A1 (en) 2009-01-22 2010-07-22 Harris Corporation Geospatial modeling system for 3d clutter data and related methods
IL202460A (en) 2009-12-01 2013-08-29 Rafael Advanced Defense Sys Method and system for creating a 3D view of real arena for military planning and operations
US8963943B2 (en) 2009-12-18 2015-02-24 Electronics And Telecommunications Research Institute Three-dimensional urban modeling apparatus and method
US8472746B2 (en) 2010-02-04 2013-06-25 Sony Corporation Fast depth map generation for 2D to 3D conversion
US8831273B2 (en) 2010-09-10 2014-09-09 Reald Inc. Methods and systems for pre-processing two-dimensional image files to be converted to three-dimensional image files
US20120188334A1 (en) 2010-09-22 2012-07-26 Berfort Management Inc. Generating 3D stereoscopic content from monoscopic video content
US20120105581A1 (en) 2010-10-29 2012-05-03 Sony Corporation 2d to 3d image and video conversion using gps and dsm
TWI476729B (zh) 2010-11-26 2015-03-11 Inst Information Industry Dimensional image and three - dimensional model of the combination of the system and its computer program products
EP2628303A1 (en) 2011-01-23 2013-08-21 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
US8687018B1 (en) 2011-09-23 2014-04-01 Google Inc. Collection and confirmation of place metadata and graphic representations of fixed objects displayed in a mapping system
US20130321389A1 (en) 2012-05-29 2013-12-05 General Electric Company System and method for 3d imaging
TWI521940B (zh) 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142153A (zh) * 2010-01-28 2011-08-03 香港科技大学 基于图像的三维模型的重建模方法
CN102930601A (zh) * 2012-10-10 2013-02-13 中国人民解放军信息工程大学 一种双模三维地形立体环境的构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HOWOOK CHANG等: "Stereo-mate generation of high-resolution satellite imagery using a parallel projection model", 《CANADIAN JOURNAL OF REMOTE SENSING》 *
LUCIO AZZARI等: "Comparative Analysis of Occlusion-Filling Techniques in Depth Image-Based Rendering for 3D Videos", 《PROCEEDING MOVID 10 PROCEEDINGS OF THE 3RD WORKSHOP ON MOBILE VIDEO DELIVERY》 *
PINGPING XIE: "A web-based 3D visualization prototype system for high-resolution satellite colour stereo images", 《TECHNICAL REPORT NO.223》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294696A (zh) * 2016-08-08 2017-01-04 吴成贵 一种双模小区块映射电子地图
CN109769110A (zh) * 2019-01-22 2019-05-17 深圳岚锋创视网络科技有限公司 一种3d小行星动态图的生成方法、装置及便携式终端
US11995793B2 (en) 2019-01-22 2024-05-28 Arashi Vision Inc. Generation method for 3D asteroid dynamic map and portable terminal

Also Published As

Publication number Publication date
US20160173850A1 (en) 2016-06-16
EP3044764A1 (en) 2016-07-20
WO2015000060A1 (en) 2015-01-08
US10609353B2 (en) 2020-03-31
CA2820305A1 (en) 2015-01-04
EP3044764A4 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
CN105793895A (zh) 用于生成和显示地理区域的立体图像对的系统和方法
US9544576B2 (en) 3D photo creation system and method
WO2018164852A1 (en) Image reconstruction for virtual 3d
US10237539B2 (en) 3D display apparatus and control method thereof
US20150042678A1 (en) Method for visually augmenting a real object with a computer-generated image
US8094148B2 (en) Texture processing apparatus, method and program
CN107193372A (zh) 从多个任意位置矩形平面到可变投影中心的投影方法
US20120044241A1 (en) Three-dimensional on-screen display imaging system and method
US9667947B2 (en) Stereoscopic 3-D presentation for air traffic control digital radar displays
CN108076208B (zh) 一种显示处理方法及装置、终端
US10805601B2 (en) Multiview image display device and control method therefor
US9918066B2 (en) Methods and systems for producing a magnified 3D image
US20130321409A1 (en) Method and system for rendering a stereoscopic view
KR20130075253A (ko) 픽셀 매핑을 이용한 입체영상 디스플레이 방법 및 그 장치
JP2006254240A (ja) 立体画像表示装置、その方法及びプログラム
JP6168597B2 (ja) 情報端末装置
Xie et al. Depth-tunable three-dimensional display with interactive light field control
Xing et al. Multi-projector three-dimensional display for 3D Geographic Information System
US20200036960A1 (en) System & method for generating a stereo pair of images of virtual objects
Rhee et al. Stereo image synthesis by view morphing with stereo consistency
JP2012032304A (ja) 地物の３次元データ生成方法及び地物の３次元データ生成システム
JP2011180779A (ja) 立体画像データ生成装置、立体画像データ生成方法、および立体画像データ生成プログラム
KR20090013925A (ko) 실시간 입체영상 생성방법
KR20170121805A (ko) 회전된 렌티큘러시트를 부착한 디스플레이에 표시되는 요소영상콘텐츠 생성 방법
CN102387379A (zh) 三维屏幕显示成像系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720