CN101595417B - 用于轮廓形成系统的头戴式显示装置 - Google Patents

用于轮廓形成系统的头戴式显示装置 Download PDF

Info

Publication number
CN101595417B
CN101595417B CN2007800494245A CN200780049424A CN101595417B CN 101595417 B CN101595417 B CN 101595417B CN 2007800494245 A CN2007800494245 A CN 2007800494245A CN 200780049424 A CN200780049424 A CN 200780049424A CN 101595417 B CN101595417 B CN 101595417B
Authority
CN
China
Prior art keywords
image
eye
medium under
characterizes
medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800494245A
Other languages
English (en)
Other versions
CN101595417A (zh
Inventor
D·里奥克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MICROMENTIS Inc
Original Assignee
MICROMENTIS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MICROMENTIS Inc filed Critical MICROMENTIS Inc
Publication of CN101595417A publication Critical patent/CN101595417A/zh
Application granted granted Critical
Publication of CN101595417B publication Critical patent/CN101595417B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/02—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors
    • G02B23/10—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices involving prisms or mirrors reflecting into the field of view additional indications, e.g. from collimator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种头戴式显示器，用以通过显示由轮廓形成系统提供的并且在用户的真实环境中参考定位的表征表面以下介质的图像来透过表面将介质可视化。与用户的真实环境叠加，在佩戴头戴式显示器的个人的一只眼睛或者双眼前投影表面以下介质的图像。头戴式显示器包括用于确定它在真实环境中的位置和定向的定位传感器，比如惯性定位传感器。当用户在介质周围移动时，更新介质的图像以显示介质，就如同可以透过表面看见它一样。在本发明的一个实施例中，在立体视觉中显示表面以下介质的图像，用户由此在三维中将介质可视化。

Description

用于轮廓形成系统的头戴式显示装置
技术领域
本发明涉及位于表面以下的介质的非侵入式测试的领域。具体而言，本发明涉及表面以下介质的表征的显示。
背景技术
例如在地球物理勘探领域中，已经寻求和开发非侵入式技术作为包括钻探的常规原位测试技术的补充或者替代，因为这些技术无破坏性。在钻探例如在粒状土壤中不可行的一些情况下，这样的非侵入式技术是勘探地下的唯一方式。另外，它们一般更为成本有效。
非侵入式技术也在各种其他领域中用于勘探位于表面以下的介质，例如用于评估道路、桥梁、建筑物中的钢条接合、混凝土墙壁等的结构状况，或者用于在采矿或者军事应用中检测表面下特征，比如空隙、隐藏的下部结构和承载能力。
通常，在计算机监视器上显示被表征介质的断片的二维或者三维轮廓或者被表征介质的分析数据。显示的数据可能不便于非专家用户理解和解释显示的数据以供它的实际表征使用。
因此，尽管在该领域中进行了诸多努力，但是仍然需要一种允许表面以下介质的轮廓形成并且便于显示表征数据的系统。
发明内容
在评估道路、桥梁、建筑物中的钢条接合、混凝土墙壁等的结构状况时，或者在采矿或者军事应用中检测表面下特征时，以三维形式将表面以下介质可视化将是便利的。与真实世界的表面叠加将表面以下介质可视化，就如同用户可以透过表面看见的一样，从而用户可以将表面下特征在真实环境中的位置可视化，这将甚至更为便利。根据本发明的一个方面，用户佩戴与虚拟现实目镜相似的头戴式显示器，以便优选地在立体视觉中显示在真实环境中参考定位(reference)的表面以下介质的图像。图像与用户的真实环境叠加，从而用户可以在表面内行走或者移动并且在三维中将表面以下介质可视化，就如同他可以透过表面看见的一样。
因而，本发明提供一种头戴式显示器，用以通过显示由轮廓形成(profiling)系统提供的并且在用户的真实环境中参考定位的表面以下介质的表征的图像来透过表面将介质可视化。与用户的真实环境叠加，在佩戴头戴式显示器的个人的一只眼睛或者双眼前投影表面以下介质的图像。头戴式显示器包括用于确定它在真实环境中的位置和定向的定位传感器，比如惯性定位传感器。当用户在介质周围移动时，更新介质的图像以显示介质，就如同可以透过表面看见它一样。在本发明的一个实施例中，在立体视觉中显示表面以下介质的图像，用户由此在三维中将介质可视化。
例如，这样的头戴式显示器可以有利地在挖掘项目中由重型设备如反铲的操作者使用。使用头戴式显示器，操作者将表面视为半透明材料，并且可以看见表面以下管线或者障碍物，因而调整他的操作。另一例子是在下部结构检查中使用头戴式显示器。头戴式显示器提供表面以下密度不同地带的可视化。检查者然后可以透过表面检查下部结构。另外，在钻井应用中，可以通过将地下和钻杆柱可视化来优化爆破装药的数量和放置。
本发明的一个方面提供一种用于由用户用来将表面下介质的表征可视化的头戴式显示装置。该显示装置包括输入、定位传感器、处理单元和第一显示系统。该输入用于接收在参考系中用三维表示来表征表面下介质的模型。该模型使用轮廓形成系统来提供。该定位传感器用于感测用户的第一只眼睛在参考系中的位置和定向。该处理单元用于利用第一位置和定向来将模型透视地投影于位于第一只眼睛前的第一表面上，以提供表征表面下介质的第一图像。该第一显示系统用于在第一表面上与第一只眼睛前的真实环境的第一图像叠加显示表征表面下介质的第一图像。
本发明的另一方面提供一种用于由用户用来将表面下介质的表征可视化的系统。该系统包括：轮廓形成系统，用于提供表面下介质的表征；三维模型处理器，用于处理表面下介质的表征，以提供在参考系中用三维图形表示来表征表面下介质的模型；以及头戴式显示设备。该头戴式显示设备具有：输入，用于接收该模型；定位传感器，用于感测用户的第一只眼睛在参考系中的位置和定向；处理单元，用于利用位置和定向将模型透视地投影于位于第一只眼睛前的第一表面上，以提供表征表面下介质的第一图像；以及第一显示系统，用于在第一表面上与第一只眼睛前的真实环境的图像叠加显示表征表面下介质的第一图像。
本发明的另一方面提供一种用于用户将表面下介质的表征可视化的方法。该方法包括：提供表面下介质的表征；处理表面下介质的表征以提供在参考系中用三维图形表示来表征表面下介质的模型；感测用户的第一只眼睛在参考系中的第一位置和定向；限定位于第一只眼睛前的第一表面；将模型透视地投影于位于第一只眼睛前的第一表面上，以提供表征表面下介质的第一图像；提供第一只眼睛前的真实环境的图像；以及在第一表面上与第一只眼睛前的真实环境的图像叠加显示表征表面下介质的第一图像。
本发明的另一方面提供一种用于由用户用来将表面下介质的表征可视化的头戴式显示装置。该显示装置包括输入、定位传感器、处理单元和第一显示系统。该输入接收在参考系中用三维表示来表征表面下介质的模型。该定位传感器感测用户的第一只眼睛在参考系中的位置和定向。该处理单元利用第一位置和定向将模型透视地投影于位于第一只眼睛前的第一表面上，以提供表征表面下介质的第一图像。该第一显示系统在第一表面上与第一只眼睛前的真实环境的第一图像叠加显示表征表面下介质的第一图像。
本发明的另一方面提供一种用于在全局参考系中对头戴式显示设备进行参考定位的方法。该方法包括：提供设置于全局参考系中并且限定目标平面的三个目标点；向头戴式显示设备的第一只眼睛显示第一标线而向第二只眼睛显示第二标线；将第一和第二标线相互对准；将标线与第一目标点对准，并且读取头戴式显示设备在设备参考系中的第一位置和定向；将标线与第二目标点对准，并且读取头戴式显示设备在设备参考系中的第二位置和定向；将标线与第三目标点对准，并且读取头戴式显示设备在设备参考系中的第三位置和定向；使用第一、第二以及第三位置和定向来计算在全局参考系与设备参考系之间的平移矩阵；以及在存储器中保存计算的平移矩阵。
本发明的另一方面提供一种用于由用户用来将表面下介质的表征可视化的头戴式显示装置。该显示装置包括输入、存储器、定位传感器、处理单元和一对显示系统。该输入从模型处理器接收在参考系中用三维图形表示来表征表面下介质的模型。该存储器保存模型以便在保存模型之后将该输入从所述模型处理器断开。该定位传感器感测头戴式显示装置在参考系中的位置和定向。处理单元根据模型以及位置和定向来提供表征表面下介质的一对立体视觉图像。该立体视觉显示系统在用户的眼睛前与真实环境的一对图像叠加显示表征表面下介质的一对立体视觉图像。
附图说明
本发明的更多特征和优点将根据与以下附图结合的下文具体描述变得清楚，附图中：
图1是根据本发明一个示例实施例的将在用于透过表面将介质可视化的显示设备中使用的头戴式显示器的前视图，其中头戴式显示器具有各眼前的透视显示屏；
图2是根据本发明另一示例实施例的将在用于透过表面将介质可视化的显示设备中使用的头戴式显示器的透视图，其中头戴式显示器具有各眼前的摄像机；
图3是图示了将三维模型投影到单个表面上的示意图；
图4是图示了将三维模型投影到两个表面(一个表面用于相应各眼)上的示意图；
图5是图示了根据本发明一个示例实施例的显示设备的框图；
图6是图示了在参考系中对头戴式显示器进行参考定位的示意图；以及
图7是图示了用于在参考系中对头戴式显示器进行参考定位的方法的流程图。
将注意在附图中通篇地采用相似参考标号标识相似特征。
具体实施方式
现在参照附图，图1示出了将用于透过表面将介质可视化的头戴式显示器100的例子。头戴式显示器100适合于佩戴于用户的眼睛前，并且具有两个透视屏110a、110b，这些透视屏透射光，从而用户可以透过透视屏110a、110b直接地看见他的/她的眼睛前的真实环境。在各透视屏110a、110b上投影表面以下介质的图像。在右眼和左眼上提供的图像对应于介质的表征模型在立体视觉中的图形表示，从而介质的表征在三维中呈现给用户。在用户在表征的介质周围移动时图像实时更新，从而用户将介质的表征可视化就如同他/她可以透过表面看见的一样。透视屏110a、110b可以使用透视有机发光二极管器件(参见来自Liteye Systems公司的LE-750a系列)。
图2示出了将用于透过表面将介质可视化的头戴式显示器200的另一例子。与图1的头戴式显示器100一样，图2的头戴式显示器适合于佩戴于用户的眼睛前，但是具有摄像机210a、210b，这些摄像机设置于各眼前，以便采集用户前的真实环境的图像就如同在他/她没有佩戴头戴式显示器200时他/她可以看见它一样。使用两个显示系统在用户的眼睛前实时显示由摄像机210a、210b捕获的图像。例如，各显示系统可以使用液晶二极管器件或者有机发光二极管器件。实时更新真实环境的图像，从而用户可以在立体视觉中看见世界就如同在他/她没有佩戴头戴式显示器200时他/她可以看见的世界一样。然而，表征表面以下介质的图像在立体视觉中与真实环境的图像叠加。图2的头戴式显示器的结果大体上类似于图1的头戴式显示器的结果。图2的头戴式显示器200可以使用对红外线辐射敏感的摄像机210a、210b，这些红外线辐射被转变成使用显示系统显示的图像。这样的头戴式显示器200特别地可用于在夜视中或者在低光度环境中使用。
也设想其他头戴式显示器。单眼头戴式显示器使用仅一个显示系统用于向仅一只眼睛显示表面下介质的图像。单眼配置有利地让第二只眼睛没有更改它的视觉，但是仅在二维中表示介质。
图3图示了表面下介质的三维(3D)表征模型312到在这一情况下为平面的单个表面314上以提供表征表面下介质的图像的透视投影。以参考系310为参考来提供表征表面下介质的3D模型312。图示的情况对应于如下头戴式显示器，其中仅在用户的双眼之一前提供表征介质的图像(单眼配置)或者其中在单视觉中向双眼提供相同图像。例如，在单视觉中，可以在头戴式显示器上提供单个摄像机以提供真实环境的图像。将向双眼显示相同图像。
注意，如果图像被投影到其上的屏幕是弯曲的，则可以在弯曲表面上进行投影。
从在2006年7月11日授权的美国专利第7,073,405号中描述的轮廓形成系统获得表征表面下介质的断层扫描(tomography)。该轮廓形成系统使用设置于表面上的传感器并且借助于由脉冲生成器生成的激励，来对试验中的表面下介质中诱发的剪切波的加速度进行检测来提供表面下介质的表征。可以设置传感器以覆盖试验中的整个表面，或者可以在表征过程期间重新定位它们以覆盖更大表面或者提供更佳的表征分辨率。用户计算接口处理从传感器接收的加速度信号以提供表征介质的断层扫描。断层扫描包括介质的物理和机械特性或者其他分析数据。
为了提供3D表征模型312，将断层扫描提供给3D模型处理器，该处理器使用三维分析和基于地质学的算法来进行断层扫描的并置(juxtaposition)和内插。提供的3D表征模型312是介质的表征在三维中的图形表示。在一个实施例中，3D模型处理器使用尤其针对地理技术应用而设计的软件，比如由Mira Geoscience公司提供并且在GOCAD软件上运行的3D-GIS模块。提供的3D表征模型312包括诸如剪切速度、密度、泊松比、机械阻抗、剪切模量、杨氏模量等特性。更多处理可以提供诸如液化因子、岩石深度、基层深度等各种数据。
以参考系310为参考来提供所提供的3D表征模型312。如下文将讨论的那样，在用户移动或者转动他的/她的头部以查看介质的不同区域时，实时感测和更新在头戴式显示器100或者200与参考系之间的相对位置和定向。这通过使用位于头戴式显示器中的定位传感器来完成。当用户在介质周围移动时，更新用户的眼睛前显示的图像以提供介质的特性的图形表示就如同可以透过表面看见它一样。因而，在参考系中限定位于用户的一只眼睛前的表面314(在头戴式显示器中)。它对应于图像将显示到其上的屏幕在真实环境中的位置。如图3中所示，处理单元然后根据感测的眼睛位置和定向将3D表征模型透视地投影于投影表面314上，以提供表征介质的图像。这一图像显示于用户的眼睛前。显示的图像是介质的相关特性的图形表示，并且表示的特征位于图像上进行仿真，就如同表面充分地透明以让用户透过表面看见特征的图形表示一样。表征介质的图像与用户的眼睛前的真实环境的图像叠加显示，真实环境的图像对应于在用户没有佩戴头戴式显示器时他/她将看见的图像。真实环境的图像通过使用透视屏(见图1)(图像简单地透射透过屏幕)或者通过使用设置于眼睛前的摄像机(见图2)(使用图像处理算法将来自摄像机的图像与表征介质的图像进行数值叠加)来提供。图3的投影方案在具有单个显示系统的头戴式显示器中用于仅向眼睛之一显示表面下介质的图像。它也使用于具有两个显示系统(一个显示系统用于相应各眼)的单视觉头戴式显示设备中。
图4图示了3D模型312到两个表面314a、314b(一个表面用于相应各眼)上以在立体视觉中提供介质的可视化的透视投影。与图3的图示的唯一差别在于图4图示了如下情况，其中头戴式显示器向用户提供用于各眼的表征介质的不同图像，从而提供3D感知。根据图3的以上描述来提供右眼和左眼前显示的图像。然而，根据头戴式显示器在参考系中的感测位置和定向在右眼和左眼前限定两个投影表面，即右表面314a和左表面314b，并且根据各眼的相应位置和定向来进行3D表征模型的不同投影。由此提供表面以下介质的图形表示的3D透视图。
图5图示了显示设备500的各种功能块，该显示设备包括：头戴式显示器200，将由用户佩戴以将表面下介质的表征可视化；以及控制单元512，由用户在他/她相对于表面移动时携带并且处理数据以便生成将向用户显示的图像。控制单元512如前文所述从3D模型处理器562接收3D表征模型。3D模型处理器562通过处理由轮廓形成系统560(如在2006年7月11日授权的美国专利第7,073,405号中描述的轮廓形成系统一样)所提供的表征表面以下介质的断层扫描来提供3D表征模型。
头戴式显示器200和控制单元512使用任何有线协议如通用串行总线协议或者火线协议或者任何无线链路协议如射频或者红外线链路来通信。在图示的实施例中，头戴式显示器200和控制单元512为有线连接，但是在一个替代实施例中，两个单元具有无线通信接口以相互通信并且各单元具有它的自有电源。
摄影机520a、520b分别设置于右眼和左眼前以采集右眼和左眼前的真实环境的图像。摄影机持续地提供视频信号，从而真实环境的图像在用户相对于表面移动时持续地更新。在提供给控制单元512之前使用A/D转换器526a和526b将视频信号转换成数字信号。
头戴式显示器200具有用于各眼的显示系统522a、522b，以在立体视觉中将表面以下介质可视化。显示系统522a、522b分别由视频控制器528a、528b控制。视频信号由控制单元512提供给视频控制器528a、528b。
在头戴式显示器200中提供定位传感器524，即基于加速度计的惯性定位传感器，用于确定它在真实环境中的位置和定向。当用户在介质周围移动时，感测头戴式显示器的位置和定向，并且在使用信号调节器530将其进行放大和信号调节之后提供给控制单元512。信号控制器530包括自动增益模拟放大器和防混叠滤波器。定位传感器524包括平移三轴加速度计定位传感器和旋转三轴加速度计定位传感器以提供头戴式显示器的位置和定向两者。本说明书假设先前已经在3D表征模型的参考系中对头戴式显示器200进行了参考定位。下文将描述一种用于在参考系中对头戴式显示器进行参考定位的方法。使用头戴式显示器在参考系中的位置和定向，控制单元512使用校准参数来确定各眼的位置和定向。模拟定位信号提供给具有用于定位信号的数字转换的A/D转换器548的控制单元512。
数字定位信号和数字视频图像提供给处理单元540。处理单元也从通信接口542接收3D表征模型并且在存储器546中存储它。因而，在轮廓形成系统560完成表面以下介质的表征并且3D模型处理器562将所得表征转换成3D表征模型之后，将3D模型传输到并且保存于显示设备500中以供头戴式显示器使用。当完成传输时，3D模型处理器562可以断开，并且用户在携带显示设备500之时相对于介质自由移动。处理单元也从用户接口544接收将在参考定位过程期间使用的命令，用于控制头戴式显示器中的显示等。用户输入544包括按钮和滚轮或者用于输入命令的其他装置。另外，控制单元512也具有电源552和用于控制单元512从故障状况恢复的监视计时器550。
处理单元540接收3D表征模型以及头戴式显示器200的感测位置和定向。使用预定校准(双眼以传感器为参考的位置和定向)和头戴式显示器200的参考定位参数(传感器在参考系中的位置和定向)，处理单元进行适当计算和图像处理，以提供将在立体视觉显示系统522a、522b上显示的表征介质的图像。
另外，可以使用用户输入544来选择适合于特定应用的图形表示参数。可以寄存多个图形表示轮廓，并且用户可以简单地加载适合于他的应用的表示轮廓。可以控制的参数例子是表面下介质和真实环境表面的图形表示的不透明度/透明度、调色板、将用图形表示的介质的深度、将从图形表示中去除的介质的深度、关于机械结构的具体数据的显示、关于介质内部和外部的信息数据的显示、给定特性在介质中的存在/不存在的显示。例如，可以用图形表示仅与具体矿石对应的介质区域。使用矿石的密度和剪切波速度来标识它的存在。也可以选择用图形表示与表面下的水或者其他特性对应的区域。
处理单元540具有用于回应请求、进行头戴式显示器200在3D模型的参考系中的参考定位、用于在显示系统522a、522b上提供各种信息显示以及按照用户的选择使显示器适应立体视觉或者单视觉的其他实用程序。
在图示的实施例中，头戴式显示器200使用摄像机520a、520b来提供真实环境的图像，但是在一个替代实施例中使用比如图1中所示头戴式显示器这样的头戴式显示器100，并且无需摄像机520a、520b。因而也去除A/D转换器526a、526b。单个显示系统522a也可以使用于单眼头戴式显示器中。
取而代之，可以使用其他惯性制导系统如基于陀螺仪的系统、全球定位系统或者技术组合而代替惯性定位传感器524。
参照图6和图7，现在描述一种用于在3D模型的参考系(Xref，Yref，Zref)中对头戴式显示器进行参考定位并且因而对各眼的位置(Xo，Yo，Zo)和定向(θx，θy，θz)进行参考定位的方法。该方法假设使用立体视觉头戴式显示器。该参考定位方位在710中开始，提供设置于介质的表面上的三个目标点((X1，Y1，Z1)；(X2，Y2，Z2)；(X3，Y3，Z3))。三个目标点限定目标平面，并且三个目标点之间的距离d1，2、d2，3、d3，1已知。因而，3D模型包含三个目标点在它的参考系中的位置。目标点通常是由轮廓形成系统用于表征介质的三个轮廓形成传感器的位置。由于相对于传感器的位置来限定3D模型，所以可以根据这些位置推断参考系(Xref，Yref，Zref)。因而，尽管可以去除其他轮廓形成传感器，但是至少三个参考传感器应当在轮廓形成过程之后保留在原位用于在参考定位过程中使用。
根据步骤712，在头戴式显示器的两个显示系统上，即在双眼前，显示标线，即十字线。在714中，用户使用用户输入从双眼对准十字线，从而十字线由用户视为单个十字线。在716中，用户将十字线对准到第一目标点(X1，Y1，Z1)。通常，应当用作目标点的传感器具有不同颜色或者具有用于用户识别它们的区别要素。在718中，用户按动用户按钮或者使用任何其他输入装置(用户输入544)向控制单元输入该目标被对准，接着控制单元读取由位置传感器提供的头戴式显示器的位置和定向(未图示)。相对于头戴式显示器的系统给出读取的位置和定向(如在头戴式显示器的初始化过程期间限定的那样)。保持读取的位置和定向用于进一步计算。
然后在步骤720中，用户将十字线对准到第二目标点(X2，Y2，Z2)。在722中，用户向控制单元输入该目标被对准，因而控制单元读取由位置传感器提供的头戴式显示器的位置和定向(未图示)。也保持这些读取的位置和定向用于进一步计算。
在步骤724中，用户将十字线对准到第三目标点(X3，Y3，Z3)。在726中，用户向控制单元输入该目标被对准，因而控制单元读取由位置传感器提供的头戴式显示器的位置和定向(未图示)。也保持这些读取的位置和定向用于进一步计算。
在728中，控制单元使用读取的位置和定向来计算在参考系(Xref，Yref，Zref)与头戴式显示器的系统之间的平移矩阵。因而相对于参考系(Xref，Yref，Zref)对头戴式显示器的位置(Xo，Yo，Zo)进行参考定位。
注意在参考定位过程中，控制单元可以使用显示系统来显示发给用户的指令。
仍然留有关于头戴式显示器定向的不明确性，并且需要对定向进行参考定位。在730中，根据计算的平移矩阵，在头戴式显示器中在立体视觉中显示与由三个目标点((X1，Y1，Z1)；(X2，Y2，Z2)；(X3，Y3，Z3))限定的目标平面对应的虚拟平面。在732中，用户通过使用用户输入将虚拟平面与目标平面叠加来对准它，并且按动用户按钮以确认对准。为求最好结果，应当以最佳可能精确度完成这一步骤。在734中，控制单元读取由位置传感器提供的头戴式显示器的位置和定向(未图示)。在736中，控制单元使用头戴式显示器的已知平移矩阵以及位置和定向来计算在参考系(Xref，Yref，Zref)与头戴式显示器的系统之间的旋转矩阵，以便恰当对准到目标平面。因而相对于参考系(Xref，Yref，Zref)对头戴式显示器的定向(θx，θy，θz)进行参考定位。也验证平移矩阵。在738中，保存经计算的平移和旋转矩阵用于由头戴式显示器来将表面下介质可视化。因而，当头戴式显示器在空间中移动时，可以实时计算它们在参考系(Xref，Yref，Zref)中的位置(Xob，Yob，Zob)和定向(θxb，θyb，θyb)。
注意类似参考定位方法可以用来对单视觉头戴式显示器进行参考定位。取而代之，可以通过使用图像识别方法来进行对使用摄像机的立体视觉头戴式显示器200的参考定位。可以在由摄像机提供的两个图像上识别相同三个目标点((X1，Y1，Z1)；(X2，Y2，Z2)；(X3，Y3，Z3))，并且可以使用摄像机的已知相对位置和目标点在两个图像上的位置来计算头戴式显示器在参考系中的位置和定向。
取而代之，尤其是如果将挖掘或者以别的方式破坏表面，则可以使用设置于介质的紧邻环境中的目标点而代替传感器。
此外，当回到已经表征的表面下介质时可能需要重复参考定位方法，并且可能要求去除目标点传感器。可能需要在表面的环境中重新安置目标点。因而，在任何其他结构上、在墙壁上设置三个新目标点。在参考系中对新目标点进行参考定位。这使用已经参考定位的头戴式显示器来完成。用户以与上述参考定位方法相似的方式将十字线对准到各新目标并且对准新目标平面。将新目标点的位置然后保存于模型中用于头戴式显示器的以后参考定位，并且可以在物理上从表面去除旧目标点。
在描述的例子中，通过使用轮廓形成系统表征表面以下介质来获得断层扫描。将理解，如果3D表征可用，则这一表征可以由3D模型处理器用来提供介质的3D图形表示模型。另外，向用户显示的图像可以表示断层扫描而不是完整3D模型，用户在该断层扫描周围或者之上在空间中移动。3D模型处理器然后仅将表征介质以及由轮廓形成系统提供的断层扫描转换成断层扫描的适当3D图形表示。
尽管在框图中图示为经由不同数据信号连接来相互通信的成组分立部件，但是本领域技术人员将理解，可以通过硬件和软件部件的组合来提供优选实施例，其中通过硬件或者软件系统的给定功能或者操作来实施一些部件，并且通过计算机应用或者操作系统内的数据通信来实施所示许多数据路径。因此提供所示结构是为了有效教导本优选实施例。
上述本发明实施例仅旨在于举例。本发明的范围因此旨在于仅由所附权利要求的范围限制。

Claims (22)

1.一种用于由用户用来将表面下介质的表征可视化的头戴式显示装置，所述显示装置包括：
输入，用于接收在参考系中用三维表示来表征所述表面下介质的模型，所述模型使用提供所述介质的物理和机械特性的轮廓形成系统来提供；
定位传感器，用于感测所述用户的第一只眼睛在所述参考系中的位置和定向；
处理单元，用于利用所述位置和定向将所述模型透视地投影于位于所述第一只眼睛前的第一表面上，以提供表征所述表面下介质的第一图像；以及
第一显示系统，用于在所述第一表面上与所述第一只眼睛前的真实环境的图像叠加而来显示表征所述表面下介质的所述第一图像。
2.如权利要求1所述的头戴式显示装置，还包括：第二显示系统，用于在位于所述用户的第二只眼睛前的第二表面上，与所述第二只眼睛前的真实环境的图像叠加而来显示表征所述表面下介质的第二图像，所述处理单元还用于将所述模型透视地投影于所述第二表面上以提供表征所述表面下介质的所述第二图像，所述表征由此在立体视觉中可视化。
3.如权利要求2所述的头戴式显示装置，还包括第一和第二摄像机，第一摄像机设置于所述第一表面前并且第二摄像机设置于所述第二表面前，用于提供所述第一和第二只眼睛前的真实环境的所述图像，所述处理单元还用于叠加表征所述表面下介质的所述图像与所述眼睛前的真实环境的所述图像。
4.如权利要求1所述的头戴式显示装置，其中所述第一显示系统包括透射真实环境的所述图像的透视屏，表征所述表面下介质的所述第一图像显示到所述透视屏上。
5.如权利要求1至4中的任一权利要求所述的头戴式显示装置，其中所述表面下介质的所述表征包括断层扫描。
6.如权利要求1至4中的任一权利要求所述的头戴式显示装置，其中所述定位传感器包括：三轴加速度计平移传感器，用于对所述第一只眼睛在所述参考系中的位置进行参考定位；以及三轴加速度计旋转传感器，用于对所述第一只眼睛在所述参考系中的定向进行参考定位。
7.一种用于由用户用来将表面下介质的表征可视化的系统，所述系统包括：
轮廓形成系统，用于提供所述表面下介质的物理和机械特性；
三维模型处理器，用于处理所述表面下介质的所述物理和机械特性，以提供在参考系中用三维图形表示来表征所述表面下介质的模型；以及
头戴式显示设备，具有：
输入，用于接收所述模型；
定位传感器，用于感测所述用户的第一只眼睛在所述参考系中的位置和定向；
处理单元，用于利用所述位置和定向将所述模型透视地投影于位于所述第一只眼睛前的第一表面上，以提供表征所述表面下介质的第一图像；以及
第一显示系统，用于在所述第一表面上与所述第一只眼睛前的真实环境的图像叠加而来显示表征所述表面下介质的所述第一图像。
8.如权利要求7所述的系统，其中所述头戴式显示设备还具有：第二显示系统，用于在位于所述用户的第二只眼睛前的第二表面上与所述第二只眼睛前的真实环境的图像叠加而来显示表征所述表面下介质的第二图像，所述处理单元还用于将所述模型透视地投影于所述第二表面上以提供表征所述表面下介质的所述第二图像，所述表征由此在立体视觉中可视化。
9.如权利要求8所述的系统，还包括第一和第二摄像机，第一摄像机设置于所述第一表面前并且第二摄像机设置于所述第二表面前，用于提供所述第一和第二只眼睛前的真实环境的所述图像，所述处理单元还用于叠加表征所述表面下介质的所述图像与所述眼睛前的真实环境的所述图像。
10.如权利要求7所述的系统，其中所述第一显示系统包括透射真实环境的所述图像的透视屏，表征所述表面下介质的所述第一图像显示到所述透视屏上。
11.如权利要求7至10中的任一权利要求所述的系统，其中所述表面下介质的所述表征包括断层扫描。
12.如权利要求7至10中的任一权利要求所述的系统，其中所述三维模型处理器包括基于地理技术的三维建模软件。
13.如权利要求7至10中的任一权利要求所述的系统，其中所述定位传感器包括：三轴加速度计平移传感器，用于对所述第一只眼睛在所述参考系中的位置进行参考定位；以及三轴加速度计旋转传感器，用于对所述第一只眼睛在所述参考系中的定向进行参考定位。
14.一种用于用户将表面下介质的表征可视化的方法，所述方法包括：
提供所述表面下介质的物理和机械特性；
处理所述表面下介质的所述物理和机械特性以提供在参考系中用三维图形表示来表征所述表面下介质的模型；
感测所述用户的第一只眼睛在所述参考系中的第一位置和定向；
限定位于所述第一只眼睛前的第一表面；
将所述模型透视地投影于位于所述第一只眼睛前的第一表面上，以提供表征所述表面下介质的第一图像；
提供所述第一只眼睛前的真实环境的图像；以及
在所述第一表面上与所述第一只眼睛前的真实环境的所述图像叠加而来显示表征所述表面下介质的所述第一图像。
15.如权利要求14所述的方法，还包括：
利用感测的所述第一位置和定向来确定所述用户的第二只眼睛在所述参考系中的第二位置和定向；
利用所述第二位置和定向来限定位于所述第二只眼睛前的第二表面；
将所述模型透视地投影于所述第二表面上，以提供表征所述表面下介质的第二图像；
提供所述第二只眼睛前的真实环境的图像；以及
在所述第二表面上与所述第二只眼睛前的真实环境的所述图像叠加而来显示表征所述表面下介质的所述第二图像，所述表征由此在立体视觉中可视化。
16.如权利要求15所述的方法，还包括：
采集所述第一只眼睛前的真实环境的所述图像；以及
采集所述第二只眼睛前的真实环境的所述图像。
17.如权利要求14所述的方法，还包括：透过透视屏透射真实环境的所述图像，所述显示包括在所述透视屏上显示表征所述表面下介质的所述第一图像。
18.如权利要求14至17中的任一权利要求所述的方法，其中所述表面下介质的所述表征包括断层扫描。
19.如权利要求14至17中的任一权利要求所述的方法，其中所述处理包括使用基于地理技术的建模算法。
20.如权利要求14至17中的任一权利要求所述的方法，其中所述透视地投影包括：
选择具有给定特性的所述表面下介质的区域，
用图形表示所述区域以提供三维图形表示，以及
将所述图形表示透视地投影于所述第一表面上，以提供表征所述表面下介质的所述第一图像。
21.一种用于由用户用来将表面下介质的表征可视化的头戴式显示装置，所述显示装置包括：
输入，用于接收在参考系中用三维表示来表征所述表面下介质的物理和机械特性的模型；
定位传感器，用于感测所述用户的第一只眼睛在所述参考系中的位置和定向；
处理单元，用于利用所述位置和定向将所述模型透视地投影于位于所述第一只眼睛前的第一表面上，以提供表征所述表面下介质的第一图像；以及
第一显示系统，用于在所述第一表面上与所述第一只眼睛前的真实环境的图像叠加而来显示表征所述表面下介质的所述第一图像。
22.一种用于由用户用来将表面下介质的表征可视化的便携头戴式显示装置，所述显示装置包括：
输入，用于从模型处理器接收在参考系中用三维图形表示来表征所述表面下介质的物理和机械特性的模型；
存储器，用于存储所述模型，所述输入在保存所述模型之后将从所述模型处理器断开；
定位传感器，用于感测所述头戴式显示装置在所述参考系中的位置和定向；
处理单元，用于使用所述模型以及所述位置和定向来确定表征所述表面下介质的一对立体视觉图像；以及
立体视觉显示系统，用于在所述用户的眼睛前与真实环境的一对图像叠加而来显示表征所述表面下介质的所述一对立体视觉图像。
CN2007800494245A 2007-01-31 2007-01-31 用于轮廓形成系统的头戴式显示装置 Expired - Fee Related CN101595417B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CA2007/000138 WO2008092230A1 (en) 2007-01-31 2007-01-31 Head-mounted display apparatus for profiling system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210032348XA Division CN102566053A (zh) 2007-01-31 2007-01-31 用于轮廓形成系统的头戴式显示装置

Publications (2)

Publication Number Publication Date
CN101595417A CN101595417A (zh) 2009-12-02
CN101595417B true CN101595417B (zh) 2012-11-28

Family

ID=39673589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800494245A Expired - Fee Related CN101595417B (zh) 2007-01-31 2007-01-31 用于轮廓形成系统的头戴式显示装置

Country Status (7)

Country Link
EP (1) EP2108135A4 (zh)
JP (1) JP5118152B2 (zh)
CN (1) CN101595417B (zh)
AU (1) AU2007345525B2 (zh)
CA (1) CA2668776C (zh)
MX (1) MX2009007256A (zh)
WO (1) WO2008092230A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484033A (zh) * 2014-11-21 2015-04-01 上海同筑信息科技有限公司 基于bim的虚拟现实展示方法和系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8417325B2 (en) * 2007-10-12 2013-04-09 Cardiac Pacemakers, Inc. Differentiating decompensation detection based on co-morbidities in heart failure
JP4852062B2 (ja) * 2008-03-28 2012-01-11 株式会社東芝 単眼用画像表示装置及び単眼用画像表示方法
EP2478492B1 (en) * 2009-09-16 2019-03-20 Sydac Pty Ltd Visual presentation system
JP5977922B2 (ja) * 2011-02-24 2016-08-24 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法、透過型頭部装着型表示装置
DE102011115739A1 (de) * 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
JP5884576B2 (ja) * 2012-03-16 2016-03-15 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN105247861B (zh) 2013-03-22 2017-11-10 精工爱普生株式会社 红外视频显示眼镜
CN103605209A (zh) * 2013-11-05 2014-02-26 中国科学技术大学 一种透射式立体显示眼镜装置
CN104581128A (zh) * 2014-12-29 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示装置及在该装置中显示外部图像信息的方法
CN104795017B (zh) * 2015-04-24 2019-07-19 深圳市虚拟现实科技有限公司 显示控制方法和头戴式显示设备
US9442575B1 (en) * 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094625A (en) * 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
US6222675B1 (en) * 1998-12-01 2001-04-24 Kaiser Electro-Optics, Inc. Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
US6522474B2 (en) * 2001-06-11 2003-02-18 Eastman Kodak Company Head-mounted optical apparatus for stereoscopic display
US6735888B2 (en) * 2001-05-18 2004-05-18 Witten Technologies Inc. Virtual camera on the bucket of an excavator displaying 3D images of buried pipes
CN1698357A (zh) * 2003-04-11 2005-11-16 三菱电机株式会社 在物体上显示输出图像的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653196B2 (ja) * 1998-06-30 2005-05-25 飛島建設株式会社 仮想現実感を利用した施工支援情報システム。
US6536553B1 (en) * 2000-04-25 2003-03-25 The United States Of America As Represented By The Secretary Of The Army Method and apparatus using acoustic sensor for sub-surface object detection and visualization
CA2366030A1 (en) * 2001-12-20 2003-06-20 Global E Bang Inc. Profiling system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094625A (en) * 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
US6222675B1 (en) * 1998-12-01 2001-04-24 Kaiser Electro-Optics, Inc. Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
US6735888B2 (en) * 2001-05-18 2004-05-18 Witten Technologies Inc. Virtual camera on the bucket of an excavator displaying 3D images of buried pipes
US6522474B2 (en) * 2001-06-11 2003-02-18 Eastman Kodak Company Head-mounted optical apparatus for stereoscopic display
CN1698357A (zh) * 2003-04-11 2005-11-16 三菱电机株式会社 在物体上显示输出图像的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484033A (zh) * 2014-11-21 2015-04-01 上海同筑信息科技有限公司 基于bim的虚拟现实展示方法和系统
CN104484033B (zh) * 2014-11-21 2017-10-03 上海同筑信息科技有限公司 基于bim的虚拟现实展示方法和系统

Also Published As

Publication number Publication date
EP2108135A4 (en) 2013-02-20
AU2007345525A1 (en) 2008-08-07
JP5118152B2 (ja) 2013-01-16
JP2010517187A (ja) 2010-05-20
CA2668776A1 (en) 2008-08-07
CN101595417A (zh) 2009-12-02
WO2008092230A1 (en) 2008-08-07
EP2108135A1 (en) 2009-10-14
MX2009007256A (es) 2009-09-09
AU2007345525B2 (en) 2012-03-08
CA2668776C (en) 2010-05-04

Similar Documents

Publication Publication Date Title
CN101595417B (zh) 用于轮廓形成系统的头戴式显示装置
US20090290450A1 (en) Head-mounted display apparatus for profiling system
Behzadan et al. Augmented reality visualization: A review of civil infrastructure system applications
Behzadan et al. Georeferenced registration of construction graphics in mobile outdoor augmented reality
KR100473331B1 (ko) 이동식 매핑시스템 및 그 영상처리방법
KR100997084B1 (ko) 지하시설물의 실시간 정보제공 방법 및 시스템, 이를 위한 서버 및 그 정보제공방법, 기록매체
US20190387219A1 (en) Display system, display method, and remote operation system
CA2490153A1 (en) Stereoscopic x-ray imaging apparatus for obtaining three-dimensional coordinates
KR20180032138A (ko) Vr과 증강현실을 이용한 광산 측량 및 현장 감시 방법
CN102713978A (zh) 视觉呈现系统
CN102566053A (zh) 用于轮廓形成系统的头戴式显示装置
Wursthorn et al. Applications for mixed reality
Behzadan et al. Animation of construction activities in outdoor augmented reality
Vogt et al. New technology for improving entry examination, thereby managing the rockfall risk in south african gold and platinum mines
JPH08134958A (ja) 遠隔施工の作業支援画像システム
JP2022034322A (ja) 施工管理システム
JPH03212610A (ja) 走行検査装置
Ballantyne et al. A virtual environment display for teleoperated excavation
WO2000033253A8 (en) Viewer for optical flow through a 3d time sequence
Flangas et al. Merging live video feeds for remote monitoring of a mining machine
KR200286650Y1 (ko) 이동식 매핑시스템 및 그 영상처리방법
Shinohara et al. Teleoperability evaluation test platform for future construction machineries
Hou Perceptual localization of surface normal
JP2001101252A (ja) 建設予定地に構造物が建設された状態の景観を疑似体験するための方法及び装置
Green CSIR centre for mining innovation and the mine safety platform robot

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1138913

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20140131

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1138913

Country of ref document: HK