CN111854661A - 可视化设备和存储介质 - Google Patents

可视化设备和存储介质 Download PDF

Info

Publication number
CN111854661A
CN111854661A CN202010333003.2A CN202010333003A CN111854661A CN 111854661 A CN111854661 A CN 111854661A CN 202010333003 A CN202010333003 A CN 202010333003A CN 111854661 A CN111854661 A CN 111854661A
Authority
CN
China
Prior art keywords
target object
display
probe
dimensional model
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010333003.2A
Other languages
English (en)
Inventor
阿部信策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020040292A external-priority patent/JP7474076B2/ja
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN111854661A publication Critical patent/CN111854661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G01B5/008—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本发明涉及可视化设备和存储介质。可视化设备包括：显示器，用于通过使预定信息叠加在三维空间中来使预定信息能够可视化；三维传感器，用于检测在显示器的显示范围内的三维空间中存在的物体的坐标信息；拟合单元，用于依次获取三维传感器所检测到的各物体的坐标信息，针对各获取将该物体的坐标信息与预先准备的对象物体的三维模型进行匹配以从物体中指定对象物体，并且依次将三维模型拟合到所指定的对象物体；以及显示控制单元，用于通过将与从注视方向上的前方观看的形状相对应的三维模型叠加并显示在对象物体上，来使显示器显示三维传感器所检测到的对象物体的相对于注视方向上的前方的背面形状。

Description

可视化设备和存储介质
技术领域
本发明涉及一种用于使对象物体的背面可视化的可视化设备，并且更具体地涉及一种使三维测量仪器的测量高效的设备。
背景技术
作为测量物品三维形状的一个方法，存在使用三维测量仪器的方法(例如，参看JP-A-2000-65561)。图1A示出典型三维测量仪器。将三维测量仪器10粗略地分为主体10a和尖端具有触针的探测器10b。将测量的对象物体W放置在主体10a上，并且将探测器10b安装至主体10a使得通过主体10a中所设置的驱动机构可以使该探测器10b在三维方向上移动。
三维测量仪器10通过使探测器的尖端与对象物体W的表面接触来测量接触位置的三维坐标值。除了接触型之外，还存在通过从任意三维空间位置对对象物体W的表面进行拍摄来测量表面位置的诸如光学型等的非接触型探测器。
发明内容
发明要解决的问题
例如，如图1B所示，当三维测量仪器10测量从操作者观看时的对象物体W的正面上的凹陷D时，从操作者的角度可以可视地识别凹陷D。此外，还可以可视地识别从操作者观看时的对象物体W的前方的探测器10b的尖端10bt。因此，可以使尖端10bt与凹陷D适当地相接触。然而，如图1C所示，当在不改变对象物体W的布置的情况下测量对象物体W的背面形状时，从操作者的角度不能可视地识别背面形状。此外，由于需要将探测器10b布置在对象物体W的后方，因此不能可视地识别尖端10bt。因此，当测量背面时，通常改变(例如，反转)对象物体W的布置，以使得可以测量背面。
然而，当改变对象物体的布置时，必须重置坐标系以使得位置改变之后的物体上的测量坐标与位置改变之前的相同位置处的测量坐标一致。这会导致诸如测量时间长等的问题。
本发明的目的是提供一种可视化设备和程序，该可视化设备和程序使得能够将相对于操作者的注视方向的前方的对象物体的背面形状可视化为从注视方向的前方观看时的形状。
解决问题的手段
本发明的可视化设备，包括：显示器，用于显示叠加在三维空间上的预定信息，以使所述预定信息可见；三维传感器，用于检测在通过所述显示器的视场内的所述三维空间中存在的物体的坐标信息；拟合单元，用于依次获取所述三维传感器所检测到的各物体的坐标信息，针对各获取将该物体的坐标信息与预先准备的对象物体的三维模型进行匹配以从物体中指定所述对象物体，并且依次将所述三维模型拟合到所指定的对象物体；以及显示控制单元，用于使所述显示器以叠加在所述对象物体的预定注视区域上的方式显示所述三维模型中的透视区域。所述透视区域与在通过所述显示器的视场内存在的所述对象物体的表面的所述预定注视区域相对应。在从所述三维传感器朝向所述预定注视区域的近似中心的注视方向上，所述透视区域从叠加在所述对象物体上的所述三维模型的表面区域被透视。所述显示控制单元通过使叠加在所述对象物体上的所述三维模型中的所述透视区域之外的区域透明，来使所述显示器显示叠加在所述对象物体的预定注视区域上的所述透视区域。所述预定注视区域可以是例如所述对象物体的表面的在所述显示器中的预定区域中观看的区域。所述预定注视区域可以是所述对象物体的表面的以从所述显示器上的预定位置朝向所述注视方向的线与所述对象物体的表面的交点为中心的预定区域。这里，“显示器的预定位置”可以是例如显示器的中心。“注视方向”可以是例如与显示器的屏幕垂直的方向、视线的方向或探测器的尖端所存在的方向等。
结果，通过经由显示器观看对象物体的表面，可以以模拟方式来透视对象物体的背面的形状。显示器可以是使得能够通过显示屏观看三维空间的透射显示器，或者是使得能够通过显示由照相机拍摄的三维空间的图像来观看三维空间的非透射显示器。
可视化设备还可以包括：测量仪器信息获取单元，用于通过预定方法获取与预定测量仪器的探测器的三维模型和尖端坐标有关的信息，其中在该预定测量仪器中，将测量坐标系设置为与所述三维传感器的检测坐标系相同；以及探测器部分指定单元，用于在所述对象物体后方的在所述注视方向上扫过所述对象物体的所述预定注视区域的坐标范围中包括所述探测器的尖端坐标的情况下，基于所述探测器的尖端坐标和三维模型，来指定所述探测器的被包括在所述坐标范围中的部分和该部分的存在位置。然后所述显示控制单元可以将所述探测器的三维模型的部分叠加在所述对象物体的预定注视区域上，以使得在所述透视区域后方的与所述探测器的由所述探测器部分指定单元所指定的部分的存在位置相对应的位置处，可视地识别所述探测器的三维模型的与所述探测器的该部分相对应的部分。在这种情况下，所述预定注视区域可以是例如所述对象物体的表面的以将所述显示器上的预定位置和所述探测器的尖端连接的线与所述对象物体的表面之间的交点为中心的预定区域。
结果，在以模拟方式透视对象物体后方的探测器的位置和对象物体的背面形状的情况下，可以从正面侧进行通过测量仪器的对象物体的背面的测量。
根据本发明的另一实施例的可视化设备，包括：显示器，用于通过使预定信息叠加在三维空间中来使所述预定信息能够可视化；三维传感器，用于检测在所述显示器的显示范围内的所述三维空间中存在的物体的坐标信息；拟合单元，用于依次获取所述三维传感器所检测到的各物体的坐标信息，针对各获取将该物体的坐标信息与预先准备的对象物体的三维模型进行匹配以从物体中指定所述对象物体，并且依次将所述三维模型拟合到所指定的对象物体；以及显示控制单元，用于通过将与从注视方向上的前方观看的形状相对应的三维模型叠加并显示在所述对象物体上，来使所述显示器显示所述三维传感器所检测到的所述对象物体的相对于所述注视方向上的前方的背面形状。
由此，通过经由显示器观看对象物体的正面，可以以模拟方式透视对象物体的背面的形状。显示器可以是使得能够通过显示屏观看三维空间的透射显示器，或者是使得能够通过显示由照相机拍摄的三维空间的图像来观看三维空间的非透射显示器。
在本发明中，可视化设备还可以包括：坐标测量仪器信息获取单元，用于根据预定方法获取预定测量仪器中的探测器的尖端坐标的信息，其中在该预定测量仪器中，将测量坐标系设置为与所述三维传感器的检测坐标系相同；以及探测器部分指定单元，用于在所述探测器存在于叠加在所述对象物体上的作为从所述注视方向上的前方观看的所述对象物体的背面形状的三维模型后方的情况下，指定所述探测器的与所述背面形状的三维模型重叠的部分。所述拟合单元可以将所述探测器的三维模型拟合到所述探测器的由所述探测器部分指定单元所指定的部分。此外，所述显示控制单元可以使与从所述注视方向上的前方观看的所述对象物体的背面形状相对应的三维模型和被拟合到所述探测器的存在于该三维模型后方的部分的三维模型被可视地区分开。
在本发明中，在与从注视方向上的前方看见的形状相对应的三维模型被叠加在对象物体上的情况下，显示控制单元可以不显示注视方向上的特定范围之外的区域的叠加显示。
这里，作为“可视地区分”的具体示例，可以以灰度显示颜色或线框格式的形式来显示背面形状，而可以以真色显示颜色或以向三维模型的表面给予纹理的纹理图格式来显示探测器的部分。由此，可以将背面形状和探测器的部分叠加以使得能够清楚地区分它们。
可以通过在程序中描述并由计算机执行，来实现本发明的可视化设备的各个单元的功能。
附图说明
图1A、图1B和图1C是示出传统三维测量中的问题的图。
图2是本发明的可视化设备100的功能块图。
图3A至3D是示出用于指定在透射显示器的视场中的对象物体、拟合三维模型并且指定注视区域的处理的图。
图4是示出透视区域的图。
图5A至5D是示出以模拟方式使物体的背面形状能够被透视的原理的图。
图6是示出以模拟方式被透视的物体的背面形状的示例的图。
图7是本发明的可视化设备200的功能块图。
图8是示出以模拟方式使对象物体的背面形状和对象物体后方的探测器的一部分能够被透视的原理图。
图9是示出以模拟方式使对象物体的背面形状和对象物体后方的探测器的一部分能够被透视的示例的图。
图10是示出本发明的可视化设备100或可视化设备200的典型结构的图，该可视化设备100或可视化设备200通过由CPU执行描述各个单元的功能的程序来实现各个单元的功能。
图11A至11C是示出将本发明的可视化设备应用于采用铰接臂系统和非接触型探测器的三维测量仪器的示例的图。
具体实施方式
以下将参考附图描述本发明的实施例。在以下描述中，由相同附图标记表示相同部分，并且根据需要省略曾经描述过的部分的描述。
<第一实施例>
图2是本发明的可视化设备100的功能块图。可视化设备100包括透射显示器110、三维传感器120、拟合单元130和显示控制单元140。
透射显示器110是如下任何类型的显示装置，在该显示装置中，在其自身后方的三维空间中叠加并显示预定信息，以使得穿戴者可以可视地识别该信息。
三维传感器120是用于检测存在于通过透射显示器110的三维空间的视场中的物体的坐标信息的任何类型的检测装置。检测各物体的坐标信息，作为表征物体形状的多个特征点的各特征点的三维坐标。
拟合单元130依次获取由三维传感器120检测到的各物体的坐标信息。然后，每当获取到坐标信息时，通过与预先存储在例如存储单元101等中的对象物体W的三维模型进行匹配来从物体中指定对象物体W，并且依次将三维模型拟合到所指定的对象物体W。对象物体W的三维模型包括表征对象物体W的形状的多个特征点信息。
在三维传感器120中，仅可以获得与在对象物体W的存在位置处可以被检测到的表面部分有关的特征点信息。然而，通过使用所获得的特征点信息作为线索而将对象物体W的三维模型应用于对象物体W的存在位置，可以补充不能通过三维传感器120检测到的部分的特征点信息。因此，可以在对象物体W的存在位置处获得整个对象物体W的特征点信息。在本发明中，该处理被称为拟合。由于这样的拟合的本质，没有必要一定可视地进行三维模型到对象物体W的拟合，并且对象物体W可以保持处于对象物体W以其呈现的方式被看到的状态，只要三维传感器120没有检测到坐标的部分的坐标关于指定了坐标的部分被相对指定即可。
显示控制单元140通过将与从注视方向上的前方观看的形状相对应的三维模型叠加并显示在对象物体上，使显示器显示相对于注视方向上的前方的由三维传感器所检测到的对象物体的背面形状。此外，显示控制单元140可以使注视方向上的特定范围之外的区域的叠加显示隐藏。作为具体处理，显示控制单元140可以通过将三维模型中的透视区域叠加在对象物体W的预定注视区域上，来使透射显示器110显示该透视区域。这里，三维模型中的透视区域是指与在通过透射显示器110的视场内存在的对象物体W的表面的预定注视区域相对应的区域。该区域是在从三维传感器朝向预定注视区域的近似中心的注视方向上从叠加在对象物体上的三维模型的表面区域被透视的。预定注视区域例如是对象物体W的表面的要在透射显示器110中的预定区域中被可视地识别出的区域。
将参考图3A至3D和图4来描述具体示例。
如图3A所示，当在通过透射显示器110的视场FV中拍摄物体U的一部分或全部时，三维传感器120获取指示物体U的形状的坐标信息，并且将该坐标信息与对象物体W的三维模型WM进行对照。
当通过对照将特定物体U识别为对象物体W(图3B)时，如图3C所示，拟合单元130将三维模型WM拟合到对象物体W。在图3C中，以叠加方式将三维模型WM可视地拟合在对象物体W上，但是如上所述，可能没有可视地进行该拟合。
随后，通过改变透射显示器110等的取向，如图3D所示，在透射显示器110的中心部分中设置的活动区域Ta中拍摄对象物体W的表面。在下文中，将在活动区域Ta中拍摄的对象物体W的表面范围称为注视区域Ga，并且将从三维传感器120的存在位置PV朝向注视区域Ga内的预定位置(例如，大致中心Gc)的方向称为注视方向VD。
在将物体U指定为对象物体W时不一定进行三维模型WM到对象物体W的拟合，并且可以例如在透射显示器110的活动区域Ta中拍摄对象物体W的表面时进行该拟合。
通过三维传感器120连续地检测通过透射显示器110的视场FV的坐标范围的信息，并且还预先指定视场FV中的活动区域Ta的位置。为此，可以指定通过活动区域Ta(例如，物体W上的注视区域Ga)进行拍摄的视场FV内的部分的坐标范围。此外，由于三维传感器120的存在位置PV在三维传感器120中是已知的，并且还在注视区域Ga的坐标范围内指定了注视区域Ga的近似中心Gc，因此还可以指定注视方向VD。
显示控制单元140通过将拟合到对象物体W的三维模型的透视区域FD叠加在物体W上，来使透射显示器110显示该透视区域FD，其中，该透视区域FD是从与注视区域Ga相对应的表面区域Gam在注视方向VD上被透视的。
如图4所示，透视区域FD被定义为当使三维模型WM的与注视区域Ga相对应的表面区域Gam在三维模型WM中沿注视方向VD扫过时所经过的柱状区域。例如，如果表面区域Gam是圆形，则透视区域FD具有圆柱形状。
如上所述，指定注视区域Ga(表面区域Gam)的坐标范围和注视方向VD，并且还通过利用三维传感器120对特征点的检测和三维模型WM的拟合，来指定对象物体W(和三维模型WM)的存在坐标范围。因此，可以基于这些信息来指定透视区域FD的坐标范围。
用于将透视区域FD叠加在对象物体W上并且在透射显示器110上显示该透视区域FD的具体方法是任意的。例如，针对通过拟合而叠加并显示在对象物体W上的三维模型WM，通过使从表面区域Gam起的透视区域FD之外的区域透明，可以在对象物体W的注视区域Ga上仅叠加并显示从表面区域Gam起的透视区域FD。此外，可以针对拟合到对象物体W上但并未被显示的三维模型WM，在对象物体W的注视区域Ga上仅叠加相对于表面区域Gam的透视区域FD。
由于如上所述所配置的本发明的可视化设备100，通过经由透射显示器110从正面观看对象物体W，可以根据以下原理以模拟方式来透视对象物体W的背面形状。
图5A是示出当从背面看图4所示的对象物体W时的对象物体W的背面Wb的示例的图。图5A中所示的背面区域Gb是当使注视区域Ga沿注视方向VD扫过时在背面Wb产生的区域，并且是同与作为柱状区域的透视区域FD的一个底面相对应的表面区域Gam(注视区域Ga)成对的另一底面。
背面区域Gb中存在两个凹陷D1和D2。因此，在对象物体W的三维模型WM的背面上也存在与凹陷D1和D2相对应的凹陷。
当对象物体W是填充有内容物的三维物体时，从正面侧不能可视地观察到存在于背面区域Gb中的凹陷D1和D2以及背面区域Gb。因此，在假设可以从表面侧观察的情况下，在对应于背面Wb的虚拟表面Wbb上的与背面区域Gb相对应的虚拟区域Gbb中的位置(图5B中所示)处，观察到与凹陷D1和D2相对应的投影P1和P2。
当以线框表现形式将三维模型WM显示在通过透射显示器110的视场FV中检测到的对象物体W的存在位置处时，可以观察到如图5C所示的虚拟表面Wbb上的投影P1和P2。然而，当透射显示器110的穿戴者进行某些作业时，通常假设穿戴者使用视场FV的大致中心部分，并且假设注视于对象物体W的在中心部分中进行拍摄的部分。
因此，关注于此，如图5D所示，仅在从对象物体W上所指定的注视区域Ga起向着注视方向VD的透视区域FD中，将三维模型WM可视化并叠加在对象物体W上。结果，当透射显示器110的穿戴者将他/她的注视指向对象物体W时，如图6所示，穿戴者可以观察对象物体W内的虚拟表面Wbb，就像他/她沿注视方向VD从注视区域Ga正在透视一样。
<第二实施例>
图7示出本发明的可视化设备200的功能块图。可视化设备200适用于在对象物体W被放置在包括主体10a、探测器10b和控制单元10c的三维测量仪器10的主体10a上的状态下所进行的测量。假设通过任意方法将三维测量仪器10的测量坐标系设置为与三维传感器120的检测坐标系相同。尽管作为示例将描述测量仪器是三维测量仪器的情况，但是本发明可以以相同方式应用于使用通过有线或无线连接的探测器的其它测量仪器。
当探测器10b的一部分(特别地，尖端)被隐藏在放置在三维测量设备10上的对象物体W的后方并且不能被看到时，可视化设备200以模拟方式至少使探测器10b的尖端可视，并且以模拟方式使对象物体W的背面形状可视。在此之中，通过可视化设备200中所包括的与第一实施例的可视化设备100相对应的功能单元来实现对象物体W的背面形状的以模拟方式的可视化。
可视化设备200包括透射显示器110、三维传感器120、拟合单元130、显示控制单元240、测量仪器信息获取单元250和探测器部分指定单元260。
测量仪器信息获取单元250获取三维测量仪器10的探测器10b的三维模型和坐标信息。从预先存储有三维模型的任意存储部件(例如，存储单元101)中获取三维模型。从三维测量仪器10中获取坐标信息。从任意存储部件和三维测量仪器10中获取三维模型和坐标信息的方法是任意的。当从三维测量仪器10中获取信息时，可以例如经由控制单元10c通过任何类型的无线通信或有线通信来获取信息。
当探测器存在于被叠加并显示为从注视方向上的前方观看的对象物体W的背面形状的三维模型的后方时，探测器部分指定单元260指定探测器的与具有该背面形状的三维模型重叠的部分。作为具体处理，当探测器10b的尖端的坐标被包括在对象物体W后方的通过使对象物体W的注视区域沿注视方向扫过所经过的坐标范围中时，探测器部分指定单元260可以基于尖端的坐标和探测器10b的三维模型，来指定探测器10b的被包括在对象物体W后方的坐标范围中的部分以及该部分的存在位置。
除具有显示控制器单元140的功能之外，显示控制单元240还具有以下功能。显示控制单元240将探测器10b的三维模型的部分叠加并显示在对象物体W的预定注视区域上，以使得在透视区域后方的与探测器10b的由探测器部分指定单元260所指定的部分所存在的位置相对应的位置处，可视地识别三维模型的与探测器10b的该部分相对应的部分。例如，可以以灰度显示颜色或线框格式来显示背面形状，并且可以以真色显示颜色或以向三维模型的表面给予纹理的纹理映射格式来显示探测器的该部分。由此，可以将背面形状和探测器的该部分叠加以使得能够清楚地区分它们。
将参考图8描述具体示例。
探测器部分指定单元260判断在对象物体W后方的通过使注视区域Ga沿注视方向VD扫过所经过的坐标范围BD中(或在透视区域FD后方的坐标范围BD中)是否包括探测器10b的尖端10bt的坐标。然后，在判断为坐标范围BD中包括这些坐标时，探测器部分指定单元260基于尖端10bt的坐标和探测器10b的三维模型PM来指定被包括在对象物体W后方的坐标范围BD中的探测器10b的部分10bp和该部分10bp的存在位置。
这里，可以基于注视区域Ga、对象物体W的坐标范围和注视方向VD来指定对象物体W后方的坐标范围BD，其中该注视区域Ga、对象物体W的坐标范围和注视方向VD是在对象物体W的透明化处理中已被指定的。此外，由于指定了在三维测量仪器10的测量坐标系中的探测器10b的取向和可移动范围，因此可以基于通过测量仪器信息获取单元250所获取到的探测器10b的尖端10bt的坐标和探测器10b的三维模型来指定探测器10b的存在坐标范围。因此，可以将探测器10b的部分10bp和该部分10bp的存在位置指定为探测器10b的存在坐标范围与对象物体W后方的坐标范围BD重叠的部分和该部分的存在位置。
然后，显示控制单元240将探测器10b的三维模型PM的部分叠加并显示在对象物体W的注视区域Ga上，以使得在观看区域FD后方的与探测器10b的部分10bp的存在位置相对应的位置处，可视地识别与探测器10b的部分10bp相对应的探测器10b的三维模型PM的部分。
根据如上所述的本发明的可视化设备200，当透射显示器110的穿戴者将他/她的注视指向对象物体W时，如图9所示，可以观察到对象物体W内的虚拟表面Wbb和虚拟表面Wbb后方的探测器10b的部分10bp，就像它们从注视区域Ga沿注视方向VD正在被透视一样。因此，可以在检查探测器10b的位置和对象物体W的背面形状期间，从正面侧进行通过三维测量仪器10对于对象物体W的背面的测量。
在第二实施例的可视化设备200中，注视区域Ga可以是例如对象物体W的表面的以用于将透射显示器的预定位置(例如，显示器的中心)和探测器10b的尖端10bt相连接的线与对象物体W的表面的交点为中心的预定范围。结果，注视区域Ga可以根据探测器10b或透射显示器110的穿戴者的移动而变化。
<第三实施例>
可以通过在程序中描述并由计算机执行，来实现可视化设备100或可视化设备200的各单元的功能。
图10示出当在程序中写入并由计算机执行各个部件的功能时的可视化设备100或可视化设备200的典型结构。
可视化设备100或可视化设备200包括例如存储单元101、CPU 102、通信单元103、透射显示器110和三维传感器120。
CPU 102执行存储在存储单元101中的程序，并实现可视化设备100或可视化设备200的功能。在程序中描述各个单元的功能。存储单元101是用于存储三维模型或程序的任意存储单元，并且除诸如HDD和闪速存储器等的存储介质之外，还可以采用例如非易失存储器或易失性存储器等。代替被设置在可视化设备100或可视化设备200中，可以通过采用经由通信单元103连接的云存储器来实现存储单元101。通信单元103是用于连接至无线网络或有线网络的接口，并且根据由CPU 102执行的程序的控制，相对于连接至网络或云存储器等的三维测量仪器10的控制单元10c发送/接收信息。透射显示器110和三维传感器120在由CPU 102执行的程序的控制下，分别地显示信息和检测物体。
本发明不限于以上实施例。各实施例是示例性的，并且具有与本发明的权利要求书中描述的技术思想大致相同的构成的并且呈现相同操作和效果的任何实施例均被包括在本发明的技术范围中。即，可以在本发明所表达的技术思想的范围内对本发明进行适当变型，并且添加了这些变型和改进的形式也被包括在本发明的技术范围内。
例如，在如上所述的各实施例中，虽然通过采取形状为门型并且探测器为接触型的示例描述了三维测量仪器的形状和探测器的方法，但是本发明可以被应用于其它形状和其它类型。
例如，即使在如图11A所示的多关节臂型的三维测量仪器10和非接触型的探测器的情况下，也可以以与上述各实施例中的方式大致相同的方式来实现如下的结构，其中当测量对象物体W的表面时，如图11B所示，在可视地识别表面的情况下进行测量，并且当测量背面时，如图11C所示，以模拟方式透视探测器10b的尖端10bt的附近。
在上述各实施例中，描述了采用能够通过透过显示屏可视地识别三维空间的透射显示器作为显示器的示例的情况，但是显示器可以是非透射显示器。在这种情况下，可以通过显示由照相机拍摄的三维空间的图像能够可视地识别三维空间。作为采用非透射显示器的具体结构示例，可以在能够增强现实(AR)显示的诸如智能手机等的装置或者能够通过将头戴显示器和照相机进行组合实现所谓的视频透视的虚拟现实(VR)装置中的三维空间中叠加并显示预定信息。
确定注视区域的方法不限于上述实施例中所示的方法。例如，预定注视区域可以是对象物体的表面的以从显示器上的预定位置朝向注视方向的线与对象物体的表面的交点为中心的预定区域。这里，“显示器上的预定位置”可以是例如显示器的中心。“注视方向”可以是例如与显示器的屏幕垂直的方向、视线的方向和探测器的尖端所存在的方向等。当注视方向是所注视的方向时，可视化装置可以设置有用于检测穿戴者的视线的方向的传感器，并且由传感器检测到的视线的方向可以是“注视方向”。

Claims (11)

1.一种可视化设备，包括：
显示器，用于显示叠加在三维空间上的预定信息，以使所述预定信息可见；
三维传感器，用于检测在通过所述显示器的视场内的所述三维空间中存在的物体的坐标信息；
拟合单元，用于依次获取所述三维传感器所检测到的各物体的坐标信息，针对各获取将该物体的坐标信息与预先准备的对象物体的三维模型进行匹配以从物体中指定所述对象物体，并且依次将所述三维模型拟合到所指定的对象物体；以及
显示控制单元，用于使所述显示器以叠加在所述对象物体的预定注视区域上的方式显示所述三维模型中的透视区域，所述透视区域与在通过所述显示器的视场内存在的所述对象物体的表面的所述预定注视区域相对应，以及在从所述三维传感器朝向所述预定注视区域的近似中心的注视方向上，所述透视区域从叠加在所述对象物体上的所述三维模型的表面区域被透视。
2.根据权利要求1所述的可视化设备，其中，所述显示控制单元通过使叠加在所述对象物体上的所述三维模型中的所述透视区域之外的区域透明，来使所述显示器显示叠加在所述对象物体的预定注视区域上的所述透视区域。
3.根据权利要求1所述的可视化设备，其中，所述预定注视区域是所述对象物体的表面的在所述显示器中的预定区域中观看的区域。
4.根据权利要求3所述的可视化设备，其中，所述预定注视区域是所述对象物体的表面的以从所述显示器上的预定位置朝向所述注视方向的线与所述对象物体的表面的交点为中心的预定区域。
5.根据权利要求1所述的可视化设备，还包括：
测量仪器信息获取单元，用于通过预定方法获取与预定测量仪器的探测器的三维模型和尖端坐标有关的信息，其中在该预定测量仪器中，将测量坐标系设置为与所述三维传感器的检测坐标系相同；以及
探测器部分指定单元，用于在所述对象物体后方的在所述注视方向上扫过所述对象物体的所述预定注视区域的坐标范围中包括所述探测器的尖端坐标的情况下，基于所述探测器的尖端坐标和三维模型，来指定所述探测器的被包括在所述坐标范围中的部分和该部分的存在位置，
其中，所述显示控制单元将所述探测器的三维模型的部分叠加并显示在所述对象物体的预定注视区域上，以使得在所述透视区域后方的与所述探测器的由所述探测器部分指定单元所指定的部分的存在位置相对应的位置处，可视地识别所述探测器的三维模型的与所述探测器的该部分相对应的部分。
6.根据权利要求5所述的可视化设备，其中，所述预定注视区域是所述对象物体的表面的以将所述显示器上的预定位置和所述探测器的尖端连接的线与所述对象物体的表面之间的交点为中心的预定区域。
7.一种非暂时性计算机可读存储介质，其存储有能够被执行的指令，所述指令在由计算机的处理器执行的情况下控制所述计算机以作为构成根据权利要求1所述的可视化设备的各单元来工作。
8.一种可视化设备，包括：
显示器，用于通过使预定信息叠加在三维空间中来使所述预定信息能够可视化；
三维传感器，用于检测在所述显示器的显示范围内的所述三维空间中存在的物体的坐标信息；
拟合单元，用于依次获取所述三维传感器所检测到的各物体的坐标信息，针对各获取将该物体的坐标信息与预先准备的对象物体的三维模型进行匹配以从物体中指定所述对象物体，并且依次将所述三维模型拟合到所指定的对象物体；以及
显示控制单元，用于通过将与从注视方向上的前方观看的形状相对应的三维模型叠加并显示在所述对象物体上，来使所述显示器显示所述三维传感器所检测到的所述对象物体的相对于所述注视方向上的前方的背面形状。
9.根据权利要求8所述的可视化设备，还包括：
坐标测量仪器信息获取单元，用于根据预定方法获取预定测量仪器中的探测器的尖端坐标的信息，其中在该预定测量仪器中，将测量坐标系设置为与所述三维传感器的检测坐标系相同；以及
探测器部分指定单元，用于在所述探测器存在于叠加在所述对象物体上的作为从所述注视方向上的前方观看的所述对象物体的背面形状的三维模型后方的情况下，指定所述探测器的与所述背面形状的三维模型重叠的部分，
其中，所述拟合单元将所述探测器的三维模型拟合到所述探测器的由所述探测器部分指定单元所指定的部分，以及
所述显示控制单元使与从所述注视方向上的前方观看的所述对象物体的背面形状相对应的三维模型和被拟合到所述探测器的存在于该三维模型后方的部分的三维模型被可视地区分开。
10.根据权利要求8所述的可视化设备，其中，在与从所述注视方向上的前方观看的形状相对应的三维模型被叠加在所述对象物体上的情况下，所述显示控制单元将所述注视方向上的特定范围之外的区域的叠加显示隐藏。
11.一种非暂时性计算机可读存储介质，其存储有能够被执行的指令，所述指令在由计算机的处理器执行的情况下控制所述计算机作为构成根据权利要求8所述的可视化设备的各单元来工作。
CN202010333003.2A 2019-04-26 2020-04-24 可视化设备和存储介质 Pending CN111854661A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019086439 2019-04-26
JP2019-086439 2019-04-26
JP2020-040292 2020-03-09
JP2020040292A JP7474076B2 (ja) 2019-04-26 2020-03-09 可視化装置及びプログラム

Publications (1)

Publication Number Publication Date
CN111854661A true CN111854661A (zh) 2020-10-30

Family

ID=72916800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333003.2A Pending CN111854661A (zh) 2019-04-26 2020-04-24 可视化设备和存储介质

Country Status (3)

Country Link
US (1) US11222481B2 (zh)
CN (1) CN111854661A (zh)
DE (1) DE102020001882A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016100308A1 (de) * 2016-01-11 2017-07-13 Datron Ag Verfahren zur Bestimmung von einer Referenzkoordinate eines Werkstücks und Bearbeitungsmaschine
US11606529B2 (en) * 2020-10-16 2023-03-14 Google Llc Channel layering of video content for augmented reality (AR) or control-based separation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000065561A (ja) 1998-08-20 2000-03-03 Mitsutoyo Corp 三次元測定機
JP3593302B2 (ja) * 1999-06-15 2004-11-24 株式会社ミツトヨ 画像測定装置及び方法
JP3596753B2 (ja) * 2000-05-10 2004-12-02 株式会社ミツトヨ 画像測定装置用パートプログラム生成装置及び方法
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
US11263823B2 (en) * 2012-02-24 2022-03-01 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
CN104813267A (zh) * 2012-10-16 2015-07-29 田载雄 用于生成群组动画的方法和系统以及计算机可读记录介质
US9996636B2 (en) * 2014-05-13 2018-06-12 Atheer, Inc. Method for forming walls to align 3D objects in 2D environment
US10509865B2 (en) * 2014-09-18 2019-12-17 Google Llc Dress form for three-dimensional drawing inside virtual reality environment
JP6464358B2 (ja) * 2014-10-30 2019-02-06 パナソニックＩｐマネジメント株式会社 作業者支援システム、及び作業者支援方法、並びに部品実装装置
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data

Also Published As

Publication number Publication date
DE102020001882A1 (de) 2020-11-12
US20200342685A1 (en) 2020-10-29
US11222481B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
CN108292448B (zh) 信息处理装置、信息处理方法和程序
US10007351B2 (en) Three-dimensional user interface device and three-dimensional operation processing method
CN105144249B (zh) 零件安装作业支持系统及零件安装方法
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
US20150161762A1 (en) Information processing apparatus, information processing method, and program
US20170083104A1 (en) Information processing apparatus information processing method and storage medium
CN105190705B (zh) 工件加工作业支持系统及工件加工方法
US10091489B2 (en) Image capturing device, image processing method, and recording medium
KR101973917B1 (ko) 3차원 계측 장치 및 그 계측 지원 처리 방법
JP6239186B2 (ja) 表示制御装置及び表示制御方法及び表示制御プログラム
JP7005224B2 (ja) 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
JP6380685B2 (ja) 寸法計測装置
CN111854661A (zh) 可视化设备和存储介质
US20200242335A1 (en) Information processing apparatus, information processing method, and recording medium
CN109085603A (zh) 光学三维成像系统和彩色三维图像成像方法
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
US10645363B2 (en) Image-based edge measurement
US20220357157A1 (en) Image-processing method, image-processing device, and recording medium
JP7474076B2 (ja) 可視化装置及びプログラム
JP2019185475A (ja) 特定プログラム、特定方法及び情報処理装置
US10068375B2 (en) Information processing apparatus, information processing method, and recording medium
JP6929037B2 (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination