CN114757996A - 使用数字孪生与城市模型交互的系统和方法 - Google Patents

使用数字孪生与城市模型交互的系统和方法 Download PDF

Info

Publication number
CN114757996A
CN114757996A CN202210013733.3A CN202210013733A CN114757996A CN 114757996 A CN114757996 A CN 114757996A CN 202210013733 A CN202210013733 A CN 202210013733A CN 114757996 A CN114757996 A CN 114757996A
Authority
CN
China
Prior art keywords
model
dimensional digital
image
camera
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210013733.3A
Other languages
English (en)
Inventor
陈一凡
阙山吉
约翰·文森特
陈康宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN114757996A publication Critical patent/CN114757996A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/04—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of buildings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G09B29/106—Map spot or coordinate position indicators; Map reading aids using electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/12—Relief maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

本公开提供了“使用数字孪生与城市模型交互的系统和方法”。本文提供了与桌面模型交互的系统和方法。显示系统包括桌面模型，所述桌面模型包括被配置为显示二维数字地图的水平显示器和被配置为覆盖所述二维数字地图的三维物理模型。所述显示系统包括移动装置，所述移动装置包括被配置为生成相机图像的相机。所述移动装置呈现所述三维数字模型的模型图像并用所述模型图像覆盖所述桌面模型的相机图像。所述移动装置基于所述模型图像上的触摸位置来确定对象的选择。

Description

使用数字孪生与城市模型交互的系统和方法
技术领域
本公开涉及使用数字孪生与城市模型交互的系统和方法。
背景技术
桌面模型，诸如运输操作系统(TOS)的模型，允许用户探索模型的特征和对象。然而，例如，在对象超出用户的物理触及范围的情况下，与桌面模型交互可能是困难的。
发明内容
在本发明的实施例中，公开了一种显示系统，所述显示系统包括桌面模型，所述桌面模型包括：水平显示器，所述水平显示器被配置为显示二维数字地图，所述二维数字地图包括标记物位置处的标记物；和三维物理模型，所述三维物理模型被配置为覆盖所述二维数字地图；以及移动装置，所述移动装置包括：相机，所述相机被配置为生成相机图像；处理器；和存储器，所述存储器包括计算机可执行指令，所述计算机可执行指令在由所述处理器执行时使所述处理器：读取所述相机图像中的所述标记物的图案以确定所述标记物位置；确定所述标记物在所述相机图像中的图像位置；并且基于所述标记物位置和所述图像位置确定所述相机的位置和取向；基于所述相机的所述位置和取向来呈现三维数字模型的模型图像；用所述模型图像覆盖所述桌面模型的相机图像；并且基于所述模型图像上的触摸位置确定对象的选择。
附图说明
参考附图阐述具体实施方式。使用相同的附图标记物可以指示类似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，单数和复数术语可以可互换地使用。
图1描绘了根据本公开的包括桌面模型和移动装置的显示系统。
图2描绘了根据本公开的二维数字地图、三维物理模型和三维数字模型。
图3描绘了根据本公开的射线与三维数字模型的对象的交点。
图4描绘了根据本公开的与桌面模型的对象交互的方法。
具体实施方式
概述
参考图1，显示系统100包括桌面模型102和移动装置104。桌面模型102和移动装置104可以通过网络106彼此通信。桌面模型102包括显示计算机110、水平显示器112(例如，桌面显示器)和竖直显示器114。水平显示器112包括第一坐标系116。
计算机110包括存储器120和处理器122。存储器120包括地理空间数据124。地理空间数据124包括诸如事件数据126和对象数据128等特征数据。显示计算机110被配置为编译和格式化地理空间数据124以生成地理区域的二维数字地图144(例如，规划器表示)的地图图像。显示计算机110在水平显示器112上显示二维数字地图144。
对象数据128包括对象位置130和属性信息132。在选择对象后，属性信息132可以显示在竖直显示器114上。
对象数据128包括与二维数字地图144一起使用的二维数字对象134。二维数字对象134位于二维数字地图144上的相关联的对象位置130处。
参考图1和图2，三维物理模型148覆盖二维数字地图144。三维物理模型148包括三维物理对象138。
二维数字地图144还包括标记物位置152处的标记物150。二维数字地图144上的每个标记物位置152是坐标系116的坐标，使得标记物位置152以及标记物150之间的距离和空间关系是已知的。
每个标记物150包括被配置为通过图像处理、图案识别和/或其他计算机视觉技术来检测的独特图案154和其他标记物特性。图案154可以被编码并读取为n位代码以访问相关联的标记物信息156。标记物信息156可以包括标记物150的名称、标记物位置152以及与其他标记物150的空间关系(例如，距离、方向)。
移动装置104是或包括移动装置计算机170、触摸屏显示器172和相机174。移动装置计算机170包括存储器176和处理器178。概括地说，移动装置104被配置为与桌面模型102的对象交互。
相机174被配置为捕获桌面模型102的相机图像180(例如，图像数据)，所述相机图像包括三维物理模型148的三维物理对象138和二维数字地图144的标记物150。
移动装置104被配置为确定相机图像180中的每个标记物150(和/或每个顶点158)在屏幕坐标系184上的图像位置182。
移动装置104包括计算机视觉应用程序，所述计算机视觉应用程序被配置为执行图像处理、图案识别和/或其他计算机视觉技术以读取相机图像180中的标记物150的图案154并从相关联的标记物信息156获得每个标记物150的标记物位置152。
移动装置104确定使相机图像180中的标记物150的图像位置182和标记物150的标记物位置152相关的变换矩阵(例如，相机模型)。变换矩阵反映相机174的姿态，包括相机174的位置和取向。
由于标记物150的图像位置182是已知的(例如，根据相机图像180确定)并且标记物150的标记物位置152是已知的(例如，从标记物信息156访问标记物位置152)，因此可以例如使用迭代优化方法来确定变换矩阵的元素。相机174的姿态，其包括相机174的取向和位置，可以根据变换矩阵的元素来确定。
移动装置104包括惯性测量单元(IMU)186，所述惯性测量单元包括测量力、角速率、取向、方向等的一个或多个传感器。传感器可以包括例如加速度计、陀螺仪和磁力计。可以用来自IMU 186的惯性测量结果来确定相机174的校准姿态的变化，以实时地估计相机174的当前姿态。
移动装置104被配置为用三维数字模型190的模型图像194覆盖桌面模型102的相机图像180。暂时参考图2，三维数字模型190可以是三维物理模型148的三维数字表示。
三维数字模型190包括三维数字对象192。三维数字对象192可以是三维物理对象138的三维数字表示。三维数字对象192具有与相关联的二维数字对象134相同的对象位置130。
三维数字模型190的位置、比例和旋转可以根据理论或虚拟相机的给定位置和取向来计算。因此，移动装置104可以以一定比例、位置和视角呈现三维数字模型190的模型图像194以通过将虚拟相机的姿态与相机174的姿态对准(例如，如上所确定)来覆盖相机图像180。
移动装置104将三维数字模型190的模型图像194覆盖在从相机174获得的三维物理模型148的相机图像180上，使其在触摸屏172上看起来就像三维数字模型190是桌面模型102的一部分。
一旦将三维数字模型190的模型图像194定位成覆盖在从相机174获得的三维物理模型148的相机图像180，就可以使用移动装置104选择桌面模型102的对象。为了选择对象，可以在三维数字对象192的模型图像194上的触摸位置196处触摸移动装置的触摸屏显示器172。当三维数字对象192的模型图像194覆盖三维物理模型148的相机图像180时，触摸位置196也在三维物理对象138的相机图像180上。
在选择对象后，可以访问相关联的属性信息132并将其显示在竖直显示器114上。
说明性实施例
参考图1，显示系统100包括桌面模型102和移动装置104。桌面模型102和移动装置104可以通过网络106彼此通信。
网络106可包括诸如有线网络、互联网、无线网络和其他专用和/或公共网络等多种不同类型的网络中的任一者或其组合。在一些情况下，网络106可以包括蜂窝网络、Wi-Fi或Wi-Fi直连。
本文公开的功能可以由桌面模型102、移动装置104和/或服务器108执行。服务器108可以通过网络106与桌面模型102和/或移动装置104通信。例如，显示系统100的功能可以集中或分散在显示系统100的元件之间。
桌面模型102包括显示计算机110、水平显示器112(例如，桌面显示器)和竖直显示器114。图1包括水平显示器112和竖直显示器114的透视图。水平显示器112包括第一坐标系116。
水平显示器112可以是在运输操作系统(TOS)模型中使用的发光二极管(LED)桌面显示器。例如，水平显示器112可以提供城市街道或地理区域的地图。
计算机110包括存储器120和处理器122。存储器120存储由处理器122执行以执行本文公开的方法的各方面的指令。当提及由显示计算机110执行的操作时，应理解，这可以包括由处理器122执行指令。
存储器120包括地理空间数据124。地理空间数据124包括诸如事件数据126和对象数据128等特征数据。显示计算机110被配置为编译和格式化地理空间数据124以生成地理区域的二维数字地图144(例如，规划器表示)的地图图像。显示计算机110在水平显示器112上显示二维数字地图144。
事件数据126可以包括交通信息、环境信息(例如，来自气象站)、时间信息(例如，事件存在的时间段)等。
对象可以包括道路、建筑物、地区、社区、水体、公园、车辆、行人、公共交通系统等。出于说明的目的，下面进一步详细讨论建筑物作为示例性对象。
对象数据128包括对象位置130和属性信息132。例如，对象位置130是水平显示器112的第一坐标系116上的x、y、z坐标。属性信息132(例如，对象的特性)可以包括与对象相关联的描述、统计、图形和其他信息。在选择对象后，属性信息132可以显示在竖直显示器114上。
对象数据128包括与二维数字地图144一起使用的二维数字对象134。二维数字对象134位于二维数字地图144上的相关联的对象位置130处。二维数字对象134可以是覆盖区、图形表示或二维数字多边形横截面区域。二维数字对象134可以限定连通的街道的区域或建筑物的覆盖区。
可以控制水平显示器112以更改二维数字对象134的色度、强度、色彩、亮度和/或其他类似属性。例如，在选择对象之后，显示计算机110可以改变相关联的二维数字对象134的光的色彩或强度以突出显示所述对象。
参考图1和图2，三维物理模型148覆盖二维数字地图144。三维物理模型148包括三维物理对象138。
选择二维数字地图144的比例和三维物理模型148的比例，并且将三维物理模型148定位在二维数字地图144上，使得三维物理模型对象138具有对应的二维数字对象134的对象位置130(例如，如图2所示彼此竖直对准)。三维物理对象138覆盖对应的二维数字对象134。
三维物理模型148可以用诸如聚合物或玻璃的半透明材料打印或制造。如上所述，显示计算机110被配置为改变二维数字对象134的色彩、亮度等，例如，以经由二维数字地图144突出显示选定的对象。当二维数字对象134被突出显示时，来自二维数字对象134的光透射通过对准的三维物理对象138以照亮和突出显示三维物理对象138。
继续参考图1，二维数字地图144还包括标记物位置152处的标记物150。例如，标记物位置152是道路网络的交叉口。二维数字地图144上的每个标记物位置152是坐标系116的坐标，使得标记物位置152以及标记物150之间的距离和空间关系是已知的。
每个标记物150包括被配置为通过图像处理、图案识别和/或其他计算机视觉技术来检测的独特图案154和其他标记物特性。图案154可以被编码并读取为n位代码以访问相关联的标记物信息156。标记物信息156可以包括标记物150的名称、标记物位置152以及与其他标记物150的空间关系(例如，距离、方向)。
标记物特性可以包括标记物150的一个或多个区域、图案154上的顶点158以及顶点158之间的空间关系(例如，线或轮廓和顶点158之间的距离)。就标记物位置152来说，每个顶点位置160是坐标系116的坐标，使得顶点位置160以及顶点158之间的距离和空间关系是已知的。
移动装置104包括移动装置计算机170、触摸屏显示器172和相机174。移动装置计算机170包括存储器176和处理器178。概括地说，移动装置104被配置为与桌面模型102的对象交互。
相机174被配置为捕获桌面模型102的相机图像180(例如，图像数据)，所述相机图像包括三维物理模型148的三维物理对象138和二维数字地图144的标记物150。可以选择标记物150的数量和布置以将标记物150靠近三维物理对象138放置，使得三维物理对象138和标记物150被捕获在相机图像180中。
移动装置104被配置为确定相机图像180中的每个标记物150(和/或每个顶点158)在屏幕坐标系184上的图像位置182。
移动装置104包括计算机视觉应用程序，所述计算机视觉应用程序被配置为执行图像处理、图案识别和/或其他计算机视觉技术以读取相机图像180中的标记物150的图案154并从相关联的标记物信息156获得每个标记物150的标记物位置152。
移动装置104确定使相机图像180中的标记物150的图像位置182和标记物150的标记物位置152相关的变换矩阵(例如，相机模型)。变换矩阵反映相机174的姿态，包括相机174的位置和取向。
相机174的取向可以表示为旋转矩阵(例如，表示为旋转角度)。相机174的位置可以由平移向量表示。变换矩阵还可以包括相机特定的调整，诸如针对焦距、图像传感器取向和大小。
由于标记物150的图像位置182是已知的(例如，根据相机图像180确定)并且标记物150的标记物位置152是已知的(例如，从标记物信息156访问标记物位置152)，因此可以例如使用迭代优化方法来确定变换矩阵的元素。相机174的姿态，其包括相机174的取向和位置，可以根据变换矩阵的元素来确定。
移动装置104包括惯性测量单元(IMU)186，所述惯性测量单元包括测量力、角速率、取向、方向等的一个或多个传感器。传感器可以包括例如加速度计、陀螺仪和磁力计。可以用来自IMU 186的惯性测量结果来确定相机174的校准姿态的变化，以实时地估计相机174的当前姿态。例如，可以使用视觉惯性测距(VIO)或当前测距和映射(OCM)。
移动装置104被配置为用三维数字模型190的模型图像194覆盖桌面模型102的相机图像180。暂时参考图2，三维数字模型190可以是三维物理模型148的三维数字表示。例如，三维数字模型190是从三维物理模型148的扫描而生成，或者是城市或地理区域的计算机辅助设计(CAD)模型。
三维数字模型190包括三维数字对象192。每一个都可以至少包括对象的基本尺寸(例如，矩形棱柱可以对建筑物进行建模)。然而，也可以使用更复杂的三维模型。
三维数字对象192可以是三维物理对象138的三维数字表示。三维数字对象192具有与相关联的二维数字对象134相同的对象位置130。三维数字模型190还可以包括具有标记物位置152的虚拟标记物。
继续参考图1，三维数字模型190的位置、比例和旋转可以根据理论或虚拟相机的给定位置和取向来计算。因此，移动装置104可以以一定比例、位置和视角呈现三维数字模型190的模型图像194以通过将虚拟相机的姿态与相机174的姿态对准(例如，如上所确定)来覆盖相机图像180。
移动装置104将三维数字模型190的模型图像194覆盖在从相机174获得的三维物理模型148的相机图像180上，使其在触摸屏172上看起来就像三维数字模型190是桌面模型102的一部分。
模型图像194可以制成透明的或半透明的，使得三维物理模型148的相机图像180通过模型图像194至少部分可见。类似地，模型图像194的至少一些部分(例如，对应于三维数字对象192的部分或可以被选择来提供附加信息的其他特征)可以具有色彩、色调或色度。
一旦将三维数字模型190的模型图像194定位成覆盖在从相机174获得的三维物理模型148的相机图像180，就可以使用移动装置104选择桌面模型102的对象。为了选择对象，可以在三维数字对象192的模型图像194上的触摸位置196处触摸移动装置的触摸屏显示器172。当三维数字对象192的模型图像194覆盖三维物理模型148的相机图像180时，触摸位置196也在三维物理对象138的相机图像180上。
在选择对象后，可以访问相关联的属性信息132并将其显示在竖直显示器114上。
三维数字模型190包括多边形(例如，多边形网格)。一个或多个多边形限定对象的表面并且与所述对象相关联。例如，参考图3，三维数字对象192由三角形200、202限定。
参考图3，射线210由触摸位置196和相机174的取向限定。触摸位置196限定射线210的原点212。射线210的方向基于相机174的取向。
移动装置104例如使用射线-多边形模型相交法来识别射线210与三维数字模型190的三角形200、202之间的交点220、222。
作为示例，三角形200具有三个顶点230、232、234。为了获得射线210与三角形200的交点220，移动装置104首先确定射线210与三角形200所在的平面的交点220。交点220可以在数学上定义为p＝O+td，其中p是交点220，O是射线210的原点212，t是从原点212到交点220的距离，并且d是射线210的方向。这里，可以通过求解射线210与三角形200的平面之间的交点发生的距离t来确定点p。
一旦确定了平面的交点220，移动装置104就确定交点220是否在三角形200中。例如，可以使用参数平面方程。
如果顶点230、232、234被标记物为a、b和c，则平面上的任何点p可以由a+β(b-a)+γ(c-a)给出，其中β是是从点a到点b的向量的乘数，并且γ是从点a到点c的向量的乘数。如果p＝a+β(b-a)+γ(c-a)有解，其中0≤β，0≤γ，并且β+γ≤1，则点p在三角形200中。
也可以使用矩阵形式的一组三个线性方程同时对交点220和用于确定交点220是否在三角形200中的乘数求解。
如果有一个以上的具有交点220、222的三角形200、202，则选择具有最接近射线210的原点212(例如，最小距离t)的交点220的三角形200。包括选定三角形200的三维数字对象192是选定的三维数字对象192。
可以收集选定的三维数字对象192的属性信息132并将其显示在例如竖直显示器114上。
图4是本公开的示例性方法300的流程图。方法300可以由桌面模型102和移动装置104执行。
根据第一步骤310，移动装置104确定相机174的位置和取向。第一步骤310包括从桌面模型102的相机图像180读取标记物150的图案154并访问包括标记物位置152的标记物信息156。第一步骤310还包括确定相机图像180中的标记物150的图像位置182。第一步骤310还包括基于标记物位置152和标记物150的图像位置182来确定相机174的位置和取向。
根据第二步骤320，移动装置104利用基于相机174的位置和取向的位置、比例和旋转来呈现三维数字模型190的模型图像194。第二步骤320包括用三维数字模型190的模型图像194覆盖桌面模型102的相机图像180。
根据第三步骤330，移动装置104基于模型图像194上的触摸位置196以及相机174的位置和取向来确定对象的选择。
根据第四步骤340，显示系统100响应于所述选择而执行动作。所述动作可以包括在第二显示器上显示与选定对象相关的属性信息132以及在桌面模型102的水平显示器上突出显示二维数字对象。
在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但每个实施例可不一定包括所述特定特征、结构或特性。另外，此类短语不一定是指同一实施例。另外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
本文公开的系统、设备、装置和方法的实现方式可包括或利用专用或通用计算机，所述专用或通用计算机包括计算机硬件，例如像如本文所讨论的一个或多个处理器和系统存储器。在本公开的范围内的实现方式还可包括用于携载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可为可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(SSD)(例如，基于RAM)、快闪存储器、相变存储器(PCM)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁性存储装置或可用于存储呈计算机可执行指令或数据结构形式的期望程序代码装置并且可由通用或专用计算机访问的任何其他介质。
本文公开的装置、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传送或提供信息时，所述计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路，所述网络和/或数据链路可以用于携载呈计算机可执行指令或数据结构的形式的所期望的程序代码手段并可以由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行某个功能或某组功能的指令和数据。计算机可执行指令可以是例如二进制代码、中间格式指令(诸如汇编语言)或甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附权利要求中限定的主题不必限于上面描述的所述特征或动作。而是，所描述的特征和动作被公开作为实施权利要求的示例形式。
本领域技术人员将了解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
此外，在适当的情况下，本文中描述的功能可在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可被编程为执行本文中描述的系统和程序中的一个或多个。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域技术人员将理解，部件可以通过不同的名称来指代。本文件不意图区分名称不同但功能相同的部件。
应注意，上文论述的传感器实施例可以包括计算机硬件、软件、固件或其任何组合，以执行它们的至少一部分功能。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文中出于说明目的而提供，而不意图进行限制。如相关领域的技术人员所知晓，本公开的实施例可以在其他类型的装置中实施。
本公开的至少一些实施例已经涉及计算机程序产品，所述计算机程序产品包括(例如，以软件的形式)存储在任何计算机可用介质上的这种逻辑。这种软件当在一个或多个数据处理装置中被执行时致使装置如本文所描述那样进行操作。
尽管上文已描述了本公开的各种实施例，但应理解，仅通过示例而非限制的方式呈现这些实施例。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可以作出形式和细节上的各种变化。因此，本公开的广度和范围不应受以上描述的示例性实施例中的任一者的限制，而应仅根据以下权利要求及其等效物来限定。已经出于说明和描述的目的而呈现了前述描述。前述描述并不意图是详尽的或将本公开限制于所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应注意，前述可选实现方式中的任一者或全部可按任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的功能中的任一者可以由另一个装置或部件执行。另外，尽管已经描述了具体装置特性，但本公开的实施例可能涉及许多其他装置特性。另外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的特定特征或动作。相反，将具体特征和动作公开为实现实施例的说明性形式。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可以包括某些特征、元件和/或步骤，而其他实施例可以不包括某些特征、元件和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、要素和/或步骤。
根据本发明的实施例，所述模型图像包括具有色彩、色调或色度的至少一个部分，其中所述至少一个部分包括三维数字对象。
根据本发明的实施例，所述模型图像是至少部分透明的。
根据本发明的实施例，所述三维数字模型的虚拟相机与所述相机的所述位置和取向对准。
根据本发明，一种方法包括：确定移动装置的相机的位置和取向，包括：从桌面模型的相机图像读取标记物的图案，并且访问包括标记物位置的相关联的标记物信息；和确定所述标记物在所述相机图像中的图像位置；基于所述相机的所述位置和取向来呈现三维数字模型的模型图像；用所述模型图像覆盖所述桌面模型的相机图像；以及基于所述模型图像上的触摸位置来确定对象的选择。
根据实施例，上述发明的特征还在于在所述桌面模型的水平显示器上突出显示二维数字对象，其中所述二维数字对象与所述选定对象相关联。

Claims (15)

1.一种显示系统，其包括：
桌面模型，其包括：
水平显示器，所述水平显示器被配置为显示二维数字地图，所述二维数字地图包括标记物位置处的标记物；和
三维物理模型，所述三维物理模型被配置为覆盖所述二维数字地图；和
移动装置，所述移动装置包括：
相机，所述相机被配置为生成相机图像；
处理器；以及
存储器，所述存储器包括计算机可执行指令，所述计算机可执行指令在由所述处理器执行时使所述处理器：
读取所述相机图像中的所述标记物的图案以确定所述标记物位置；
确定所述标记物在所述相机图像中的图像位置；并且
基于所述标记物位置和所述图像位置来确定所述相机的位置和取向；
基于所述相机的所述位置和取向来呈现三维数字模型的模型图像；
用所述模型图像覆盖所述桌面模型的相机图像；以及
基于所述模型图像上的触摸位置来确定对象的选择。
2.如权利要求1所述的显示系统，其中所述二维数字地图包括二维数字对象。
3.如权利要求2所述的显示系统，其中所述对象是建筑物，并且所述二维数字对象是所述建筑物的覆盖区。
4.如权利要求2所述的显示系统，其中所述二维数字对象的属性被配置为响应于所述对象的所述选择而改变。
5.如权利要求2所述的显示系统，其中所述三维物理模型包括三维物理对象。
6.如权利要求5所述的显示系统，其中所述三维物理对象与所述二维数字对象对准。
7.如权利要求5所述的显示系统，其中所述三维物理模型是透明的或半透明的。
8.如权利要求1所述的显示系统，其中所述标记物位置在所述二维数字地图的道路网络的交叉口处。
9.如权利要求1所述的显示系统，其中所述图案与所述标记物位置相关联。
10.如权利要求1所述的显示系统，其中变换矩阵使所述标记物位置和所述图像位置相关。
11.如权利要求1所述的显示系统，其中所述移动装置包括惯性测量单元，并且所述相机的所述位置和取向基于来自所述惯性测量单元的测量结果来确定。
12.如权利要求1所述的显示系统，其中所述三维数字模型是所述三维物理模型的数字表示。
13.如权利要求1所述的显示系统，其中所述三维数字模型包括三维数字对象。
14.如权利要求13所述的显示系统，其中所述三维数字对象包括至少一个多边形。
15.如权利要求14所述的显示系统，其中所述触摸位置和所述相机的所述取向限定射线，并且所述对象的所述选择包括确定所述射线与所述多边形的交点。
CN202210013733.3A 2021-01-08 2022-01-06 使用数字孪生与城市模型交互的系统和方法 Pending CN114757996A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/144,310 2021-01-08
US17/144,310 US11561669B2 (en) 2021-01-08 2021-01-08 Systems and methods of using a digital twin for interacting with a city model

Publications (1)

Publication Number Publication Date
CN114757996A true CN114757996A (zh) 2022-07-15

Family

ID=82116645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210013733.3A Pending CN114757996A (zh) 2021-01-08 2022-01-06 使用数字孪生与城市模型交互的系统和方法

Country Status (3)

Country Link
US (1) US11561669B2 (zh)
CN (1) CN114757996A (zh)
DE (1) DE102022100301A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2533630B (en) * 2014-12-24 2019-09-04 Ge Aviat Systems Ltd System and method of integrity checking digitally displayed data
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US20170023911A1 (en) 2015-07-20 2017-01-26 Steve Russell Themed Holographic Theater
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments

Also Published As

Publication number Publication date
US11561669B2 (en) 2023-01-24
US20220221975A1 (en) 2022-07-14
DE102022100301A1 (de) 2022-07-14

Similar Documents

Publication Publication Date Title
US10235787B2 (en) Path side image in map overlay
US9116011B2 (en) Three dimensional routing
US9542770B1 (en) Automatic method for photo texturing geolocated 3D models from geolocated imagery
US8928657B2 (en) Progressive disclosure of indoor maps
EP2798309B1 (en) Path side imagery
US9047688B2 (en) Depth cursor and depth measurement in images
CN109416258B (zh) 用于在数字地图接口中的自适应性场地缩放的方法、设备和计算机程序产品
TWI661210B (zh) 座標系統制定方法、裝置及資料結構產品
CN105659295A (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
CN106980633A (zh) 室内地图数据的生成方法及装置
US11361490B2 (en) Attention guidance for ground control labeling in street view imagery
US20220058825A1 (en) Attention guidance for correspondence labeling in street view image pairs
KR100514944B1 (ko) 인터넷을 이용한 지리정보 데이터의 주문검색 서비스 방법
CN108364348A (zh) 一种城市设计的控规验证方法、系统及平台
US11561669B2 (en) Systems and methods of using a digital twin for interacting with a city model
JP2022501751A (ja) ３ｄ幾何抽出のために画像の複数から相補的画像を選択するシステムおよび方法
CN114445579A (zh) 物体标注信息呈现方法、装置、电子设备及存储介质
CN114764303A (zh) 使用混合现实与显示系统交互的系统和方法
US20220236855A1 (en) Systems And Methods For Interacting With A Tabletop Model Using A Mobile Device
JP5679415B2 (ja) デザイン製作に用いられる記憶装置
CN117473632A (zh) 对建筑信息模型的处理方法、装置、设备及存储介质
Radburn A mobile augmented reality demonstrator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination