CN109213078B - 虚拟对象显示系统 - Google Patents

虚拟对象显示系统 Download PDF

Info

Publication number
CN109213078B
CN109213078B CN201810663304.4A CN201810663304A CN109213078B CN 109213078 B CN109213078 B CN 109213078B CN 201810663304 A CN201810663304 A CN 201810663304A CN 109213078 B CN109213078 B CN 109213078B
Authority
CN
China
Prior art keywords
node
information
virtual object
unit
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810663304.4A
Other languages
English (en)
Other versions
CN109213078A (zh
Inventor
大西庸士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN109213078A publication Critical patent/CN109213078A/zh
Application granted granted Critical
Publication of CN109213078B publication Critical patent/CN109213078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31261—Coordination control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Numerical Control (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种虚拟对象显示系统，其通过简单的方法显示虚拟对象。图表生成部，生成将控制对象的机器结构作为包含标记的构成要素的节点的图表，节点选择部选择要显示虚拟对象的节点，选择节点通知部将要显示虚拟对象的节点通知给机器结构管理装置，变换信息计算部计算如下的变换信息：将从标记节点向显示对象的节点的图表中的路径上的控制轴节点的坐标值作为变量而包含，且用于基于图表来计算标记节点的坐标系中的显示对象的节点的位置和/或姿势的变换信息，变换信息通知部将变换信息通知给增强信息控制装置，坐标信息变换部将所通知的各控制轴的坐标值变换为标记节点的坐标系中的显示对象的各节点的位置和/或姿势。

Description

虚拟对象显示系统
技术领域
本发明涉及一种使用增强现实(AR(Augmented Reality))、混合现实(MR(MixedReality))的技术来进行模拟的虚拟对象显示系统。
背景技术
以往，在由数值控制装置控制的机床领域中，通过CAD(computer-aided design(计算机辅助设计))等设计工件、夹具。此外，使用所设计的夹具来制作用于加工工件的加工程序。
并且，数值控制装置根据加工程序控制机床来实现工件的加工。
在此，将所设计的夹具、工件和加工程序实际运用于生产线前，通常为了确认这些是否适当而进行加工模拟。
在通过实际的机器的动作确认进行该加工模拟的情况下，在实物的夹具完成前不进行加工模拟是理所当然的。因此，产生在夹具完成前工程停滞的问题。
此外，在夹具完成后的动作确认时发现干扰等问题而需要变更夹具的设计的情况下，工程进一步延迟。此外，还发生用于变更夹具的设计的费用。假定不变更夹具的设计的情况下，需要变更加工程序，但在该情况下加工所需的周期时间有可能比当初延长。
考虑这些问题，存在如下技术：不是通过实际的机器进行动作确认，而是通过个人计算等的运算处理虚拟地进行加工模拟。
例如，在专利文献1公开的技术中，将机床的构造全部虚拟对象化来进行加工模拟。
然而，在专利文献1所公开的技术中，不仅需要制作工件、夹具的虚拟对象，还需要针对多个种类的机床分别制作机器整体的虚拟对象。此外，为了再现实际的机床的动作，需要对机床的可动部分的虚拟对象安装动作处理。也就是说，虚拟对象的制作并非是容易的。
并且，即使这样制作了虚拟对象，在虚拟对象的再现度较低的情况下，存在产生与现实的差异的问题。
专利文献2公开了鉴于这样的与虚拟对象相关的问题的技术。在专利文献2所公开的技术中，通过摄像机图像取得机床内部，并且作为特征点而提取事先登记的工具保持部或工件保持部。并且，根据特征点的位置使事先登记的工具或工件的虚拟对象重叠显示于实际拍摄的机床的图像上。这样，不需要制作机床的虚拟对象。
然而，在专利文献2所公开的技术中，需要将摄像机的拍摄方向固定于预先设计好的方向，因此存在无法变更用于确认加工模拟情况的视点的问题。
另一方面，在近年来的图像处理技术领域中，一般利用AR、MR这样的用于使虚拟的对象对于实际存在于现实空间的对象重叠显示等的增强现实技术。以下，将通过这样的增强现实技术显示的信息称为“增强信息”。
若利用这样的增强现实技术，则可以提取由摄像机拍摄的图像的特定的特征点(例如标记)，而将虚拟对象等的增强信息进行重叠显示。此外，不仅如此，也可以任意变更摄像机的拍摄方向。因此，若适当地利用这样的增强现实技术，则能够消除上述的专利文献2所公开的技术的问题点。
在非专利文献1中公开了AR、MR这样的增强现实技术的基础技术。在非专利文献1所公开的技术中，将透视型HMD(Head Mounted Display：头戴式显示器)作为显示装置，从安装在HMD上的小型摄像机获得的图像信息检测出成为虚拟物体显示的基准坐标的标记的三维位置。然后，可通过提示对用户的双眼给予视差的虚拟物体影像，在透过HMD屏幕观察的实际三维空间中显示虚拟对象作为三维物体。
具体地，在非专利文献1所公开的技术中，如图27所示那样对多个坐标系进行处理。关于该点，在以特征点为原点的坐标系即标记坐标系上表现虚拟对象。然后，进行求出从标记坐标系向摄像机坐标系的坐标变换矩阵的处理。
然后，使用通过该处理得到的坐标变换矩阵，而能够在HMD的左右屏幕的适当的位置绘制虚拟对象。
若利用这样的非专利文献1等所公开的增强现实技术，则能够在实际的机床内部显示虚拟对象，并进行加工模拟。
例如，如图28所示那样，将特征点设为预先登记的标记的情况下，与标记的移动对应地虚拟对象也移动。即，虚拟对象跟踪标记。
利用这些，通过在实际的机床的可动部上配置标记，能够使虚拟对象与工作台的实际移动对应地移动。例如，如图29左侧的(29A)所示那样，在实际的机床的可动部即可动工作台上配置标记。并且，在图29中央的(29B)所示那样，以标记为原点显示虚拟对象。并且，如图29右侧的(29C)所示那样，使可动工作台例如沿X轴移动时，虚拟对象跟踪标记。
这样，不需要将机床整体设为虚拟对象，并且，不需要再现机床的可动部分，就能够进行加工模拟。
然而，如图29所示那样，在实际的机床的可动部上配置标记的情况下，存在图30所示那样的多个课题。
例如，图30左侧的(30A)所示那样存在无法判别标记的课题。这是因为为了绘制增强信息，需要通过摄像机捕捉标记，但随着设置有标记的可动部的移动、旋转而无法判别标记。关于该点，若利用专利文献4所公开的技术，则即使无法判别标记后，也可继续显示增强信息。然而，在专利文献4所公开的技术中，之后，无法检测出配置于可动部的标记的移动，因此无法判别标记后，显示的增强信息不移动。因此，即使利用专利文献4所公开的技术，在无法判别标记的情况下，也无法进行适当的加工模拟。
此外，如图30中央的(30B)所示那样，存在如下课题：可动部的移动速度较快，标记的识别处理无法跟上的情况。
此外，如图30右侧的(30C)所示那样，存在最初就无法在可动部上配置标记的情况的问题。无法在可动部上配置标记的情况下，是例如将可动部其本身以虚拟对象实现的情况。
此外，除此之外还考虑在一个标记上显示多个虚拟对象的情况。例如，图31左侧的(31A)所示那样考虑将工件和夹具、工具以虚拟对象显示的情况。此外，如图31左侧的(31B)所示那样考虑将工件和夹具、工作台以虚拟对象显示的情况。
在该情况下，若将标记配置于可动部上，则存在不需要移动的虚拟对象也一起移动的课题。
考虑这些课题，在机床上进行加工模拟的情况，希望标记本身不移动，而能够将标记固定设置于预定位置。
然而，在固定设置标记的情况下，将标记显示为原点的虚拟对象也不移动。这导致无法进行加工模拟。
因此，在固定设置标记的情况下，需要与机床的可动部的移动对应地，使虚拟对象在标记坐标系上移动/旋转。
而现实的机床的可动部因数值控制装置控制的控制轴的动作而移动/旋转。该控制轴的坐标系(以下，也表述为“控制轴坐标系”)由数值控制装置管理，对每个机床是特有的。
也就是说，标记坐标系和控制轴坐标系是不同的，无法仅通过控制轴的移动量正确地进行加工模拟。
作为解决这些的技术，例如考虑使标记坐标系上的位置信息和控制轴坐标系上的位置信息协动的第1方法。然而，在该方法中，需要设定用于将控制轴坐标系的移动量变换为标记坐标系的移动量的关系信息。
作为不需要关系信息的设定的技术，例如考虑如下的第2方法：取得多个拍摄固定于可从摄像机观察的位置的标记、随着控制轴的移动而移动的工具等的位置而得的拍摄数据，根据从取得的拍摄数据计算的标记坐标系中的工具的位置、控制轴坐标系中的坐标值，推定用于将控制轴坐标系的移动量变换为标记坐标系的移动量的关系信息。
然而，在第2方法中，需要预先对每个机器结构以包含未确定数的形式登记变换式，仅能够使用预先准备的机器结构。此外，与标记的识别不同，需要用于识别工具等的位置的图像识别技术。
并且，在第1方法和第2方法这两者中，针对每个虚拟对象需要变换式，并且该变换式仅是移动量的变换式，因此需要识别初始位置的方法。为了识别初始位置，需要对配置虚拟对象的对象设置初始位置检测用标记，或对对象进行图像识别，若虚拟对象的个数增加，则需要对每个虚拟对象的识别手段。
现有技术文献
专利文献
专利文献1：日本专利4083554号说明书
专利文献2：日本专利5384178号说明书
专利文献3：日本特开2012-58968号公报
专利文献4：日本专利5872923号说明书
非专利文献
非专利文献1：「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション(基于标记追踪的增强现实感系统及其校准)」、[在线(online)]、[平成28年11月27日检索]、网络〈URL：http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdf〉
发明内容
因此，本发明的目的在于，提供一种可通过简单的方法显示虚拟对象的虚拟对象显示系统。
(1)本发明的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)具备机器结构管理装置(例如，后述的机器结构管理装置100)和增强信息控制装置(例如，后述的增强信息控制装置200)，所述机器结构管理装置具备图表生成部(例如，后述的图表生成部111)、控制点坐标系插入部(例如，后述的控制点坐标系插入部113)、节点信息通知部(例如，后述的节点信息通知部114)、变换信息计算部(例如，后述的变换信息计算部115)、变换信息通知部(例如，后述的变换信息通知部116)，所述增强信息控制装置具备节点选择部(例如，后述的节点选择部211)、选择节点通知部(例如，后述的选择节点通知部212)、坐标信息变换部(例如，后述的坐标信息变换部213)，所述图表生成部生成将控制对象的机器结构作为包含标记的构成要素的节点的图表，所述控制点坐标系插入部向所述图表插入控制点和坐标系，所述节点信息通知部将可显示的节点信息通知给所述增强信息控制装置，所述节点选择部选择要显示虚拟对象的节点，所述选择节点通知部将要显示虚拟对象的节点通知给所述机器结构管理装置，所述变换信息计算部计算变换信息，该变换信息将从标记节点向显示对象的节点的所述图表中的路径上的控制轴节点的坐标值作为变量而包含，且该变换信息用于基于所述图表，计算标记节点的坐标系中的显示对象的节点的位置和/或姿势的变换信息，所述变换信息通知部将所述变换信息通知给所述增强信息控制装置，所述坐标信息变换部使用所述变换信息，将所通知的各控制轴的坐标值变换为标记节点的坐标系中的显示对象的各节点的位置和/或姿势。
(2)在(1)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)还具备显示装置(例如，后述的头戴式显示器300或平板)，所述增强信息控制装置(例如，后述的增强信息控制装置200)还具备：增强信息显示用数据计算部(例如，后述的增强信息显示用数据计算部214)，其根据由所述坐标信息变换部(例如，后述的坐标信息变换部213)变换后的、标记节点的坐标系中的显示对象的各节点的位置和/或姿势，计算用于通过所述显示装置计算虚拟对象作为增强信息的增强信息显示用数据；以及增强信息显示用数据通知部(例如，后述的增强信息显示用数据通知部215)，其将所述增强信息显示用数据通知给所述显示装置。
(3)在(1)或(2)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，所述坐标信息变换部(例如，后述的坐标信息变换部213)将从数值控制装置(例如，后述的数值控制装置150)接受的坐标值变换为标记节点的坐标系中的、显示对象的各节点的位置和/或姿势作为所述各控制轴的坐标值。
(4)在(1)～(3)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，所述图表生成部(例如，后述的图表生成部111)向所述图表追加多个标记节点，所述变换信息计算部(例如，后述的变换信息计算部115)从多个标记节点的坐标系计算用于计算各节点的位置和/或姿势的变换信息，所述变换信息通知部(例如，后述的变换信息通知部116)将所述变换信息通知给所述增强信息控制装置。
(5)在(1)～(3)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，所述图表生成部(例如，后述的图表生成部111)追加基准标记节点，所述变换信息计算部(例如，后述的变换信息计算部115)将以所述基准标记节点的坐标系为基准的变换信息、所述基准标记节点的坐标系与各标记节点的坐标系间的变换信息通知给所述增强信息控制装置。
(6)在(1)～(5)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，所述增强信息控制装置(例如，后述的增强信息控制装置200)还具备具有所述图表的数据的存储部(例如，后述的存储部220)。
(7)(1)～(6)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)还具备存储所述图表的数据的服务器。
(8)在(1)～(7)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，所述机器结构管理装置(例如，后述的机器结构管理装置100)和机床(例如，后述的机床400)的数值控制装置(例如，后述的数值控制装置150)被一体化。
(9)在(1)～(7)所记载的虚拟对象显示系统(例如，后述的虚拟对象显示系统10)中，所述机器结构管理装置(例如，后述的机器结构管理装置100)存在于云上。
根据本发明，可通过简单的方法显示虚拟对象。
附图说明
图1是表示本发明的实施方式整体的基本结构的框图。
图2是本发明的实施方式涉及的机器结构管理装置100的功能框图。
图3是本发明的实施方式涉及的数值控制装置150的功能框图。
图4是本发明的实施方式涉及的增强信息控制装置200的功能框图。
图5是本发明的实施方式中的机器结构树的生成方法的说明图。
图6是本发明的实施方式中的机器结构树的生成方法的说明图。
图7是本发明的实施方式中的机器结构树的生成方法的说明图。
图8是表示本发明的实施方式中的机器结构树的生成方法的流程图。
图9A是本发明的实施方式中的机器的构成要素的母子关系的说明图。
图9B是本发明的实施方式中的机器的构成要素的母子关系的说明图。
图10A是将单元插入到机器结构树的方法的说明图。
图10B是将单元插入到机器结构树的方法的说明图。
图10C是将单元插入到机器结构树的方法的说明图。
图11是表示本发明的实施方式涉及的机器结构的例子的图。
图12A是表示成为机器结构树的生成对象的机器的例子的图。
图12B是表示成为机器结构树的生成对象的机器所对应的机器结构树的例子的图。
图13是表示在本发明的实施方式中，向机器的各节点插入了坐标系和控制点的例子的图。
图14是表示在本发明的实施方式中插入了坐标系和控制点的机器结构树的例子的图。
图15A是表示在本发明的实施方式中，向各节点插入偏移(offset)和姿势矩阵的机器的例子的图。
图15B是表示在本发明的实施方式中，向机器的各节点插入了偏移和姿势矩阵的例子的图。
图16是表示在本发明的实施方式中，向机器结构树插入控制点的动作流程的图。
图17是表示在本发明的实施方式中插入了坐标系和控制点的机器结构树的例子的图。
图18是表示在本发明的实施方式中，生成变换信息时所使用的信息的例子的图。
图19是表示在本发明的实施方式中，生成变换信息时所使用的信息的例子的图。
图20是表示本发明的实施方式涉及的虚拟对象显示方法的动作流程的图。
图21A是表示本发明的实施方式的实施例的图。
图21B是表示本发明的实施方式的实施例的图。
图22是表示标记坐标系以及摄像机坐标系与变换信息的关系的图。
图23A是表示本发明的实施方式的实施例的图。
图23B是表示本发明的实施方式的实施例的图。
图24A是表示本发明的实施方式的实施例的图。
图24B是表示本发明的实施方式的实施例的图。
图25A是表示本发明的实施方式的实施例的图。
图25B是表示本发明的实施方式的实施例的图。
图26是表示具有多个标记坐标系时的标记坐标系以及摄像机坐标系与变换信息的关系的图。
图27是对标记坐标系进行表示的图。
图28是对虚拟对象的显示进行表示的图。
图29是对将标记设置于可动部的情况进行表示的图。
图30是对将标记设置于可动部时的课题进行表示的图。
图31是对使标记与多个虚拟对象相对应的情况进行表示的图。
符号说明
10 虚拟对象显示系统；
100 机器结构管理装置；
110 控制部；
111 图表生成部；
112 节点追加部；
113 控制点坐标系插入部；
114 节点信息通知部；
115 变换信息计算部；
116 变换信息通知部；
120 存储部；
150 数值控制装置；
160 控制部；
161 坐标信息通知部；
162 伺服电动机控制部；
200 增强信息控制装置；
211 节点选择部；
212 选择节点通知部；
213 坐标信息变换部；
214 增强信息显示用数据计算部；
215 增强信息显示用数据通知部；
220 存储部；
250 无线通信装置；
300 头戴式显示器；
400 机床。
具体实施方式
＜1.虚拟对象显示系统的结构＞
接着，参照附图对本发明的实施方式进行详细的说明。首先，参照图1对本实施方式整体的结构进行说明。
本实施方式的虚拟对象显示系统10具备机器结构管理装置100、数值控制装置150、增强信息控制装置200、无线通信装置250、头戴式显示器300和机床400。
机器结构管理装置100是本实施方式特有的装置，制作将机床400的各构成要素设为节点的图表(以下，也被表述为机器结构树)，并根据该图表对机器结构进行管理，从而后述的增强信息控制装置200可进行利用了基于该机器结构树的机器结构的数据的控制。
更具体地，机器结构管理装置100根据后述的＜5.机器结构树的生成＞所记载的方法，生成表现机床400的结构的机器结构树，并且，将标记作为机器结构树的节点进行追加登记，或者，在标记被贴在已有的节点的情况下，将该节点识别为标记节点。机器结构树具有各节点彼此的位置信息关系，因此在机器结构树上包含标记作为节点，从而在后述的增强信息控制装置200中，对于机器结构树上的全部节点，可知与标记的位置/姿势的关系。
对于机器结构管理装置100的详细结构，后面参照图2进行描述。
数值控制装置150是具备作为一般的数值控制装置的功能和进行与机器结构管理装置100的通信的功能的装置。数值控制装置150和机床400可通信地连接。并且，数值控制装置150根据基于组入到数值控制装置150自身的加工程序输出的各控制轴的移动量来控制机床400，对工件进行加工。
此外，数值控制装置150还对增强信息控制装置200输出基于加工程序输出的各控制轴的移动量。
这样，数值控制装置150对机器结构管理装置100和机床400这两者输出移动量。对于这一点，从数值控制装置150对机器结构管理装置100的移动量的输出既可以与从数值控制装置150对机床400的移动量的输出同步地进行，也可以与数值控制装置150对机床400的移动量的输出不同步地被发送。
对于数值控制装置150的详细结构，后面参照图3进行描述。
增强信息控制装置200是本实施方式特有的装置，通过增强现实技术，算出虚拟对象的显示位置和显示角度，从而进行用于适当地显示虚拟对象的控制。
对于增强信息控制装置200的详细结构，后面参照图4进行描述。
无线通信装置250与增强信息控制装置200可通信地连接，而取得增强信息控制装置200输出的虚拟对象及其显示位置和显示角度。这些增强信息控制装置200输出的信息也与摄像机坐标系对应。并且，以Wi-Fi等无线通信标准为基准，将这些增强信息控制装置200输出的信息发送给头戴式显示器300。
此外，无线通信装置250通过无线通信从头戴式显示器300接收由头戴式显示器300中包含的摄像机拍摄而取得的信息。然后，无线通信装置250将该接收到的信息输出至增强信息控制装置200。
头戴式显示器300为一般的头戴式显示器(以下，适当表述为“HMD”)，经由无线通信装置250取得由增强信息控制装置200输出的虚拟对象及其显示位置和显示角度。并且，根据该取得的信息，在头戴式显示器300自身所具备的显示器上显示虚拟对象。如上所述，该取得的信息对应于摄像机坐标系。此外，头戴式显示器300将由头戴式显示器300自身所包含的摄像机拍摄而取得的信息经由无线通信装置250输出至增强信息控制装置200。
机床400为一般的机床，使各控制轴根据从数值控制装置150输出的各控制轴的移动量进行移动/旋转。
在本实施方式中，根据这样的结构，用户在头戴式显示器300的显示器上参照与标记坐标系对应地显示的虚拟对象，并且在显示器上参照可与各控制轴的移动量对应地移动的机床400的实际的构造。由此，用户能够观察加工模拟的情况。
另外，图1所示的结构仅为一例。例如，也可以通过平板型终端来实现头戴式显示器300而不是通过HMD来实现。此外，也可以将机器结构管理装置100的功能的一部分或全部搭载于数值控制装置150。此外，也可以将增强信息控制装置200的功能的一部分或全部搭载于头戴式显示器300、数值控制装置150。此外，增强信息控制装置200可以通过单独的装置来实现，但也可以通过多个装置的组合来实现。此外，增强信息控制装置200也可以通过设置于数值控制装置150、机床400的近旁的装置来实现，但还可以通过经由网络与数值控制装置150、机床400远距离设置的服务器装置等来实现。并且，各通信连接既可以是有线连接也可以是无线连接。例如，在图中，对于机器结构管理装置100、数值控制装置150和增强信息控制装置200的通信连接，记载了以以太网(注册商标)(Ethernet)为基准，通过有线连接进行的例子，但该连接也可以是无线连接。
＜2.机器结构管理装置的结构＞
图2是机器结构管理装置100的功能框图。
机器结构管理装置100具备控制部110和存储部120，控制部110具备图表生成部111、控制点坐标系插入部113、节点信息通知部114、变换信息计算部115和变换信息通知部116，图表生成部111具备节点追加部112。
控制部110是对机器结构管理装置100进行整体控制的处理器。该控制部110经由总线读出存储于ROM(未图示)的系统程序以及应用程序，并按照该系统程序以及应用程序实现控制部110所具备的图表生成部111、节点追加部112、控制点坐标系插入部113、节点信息通知部114、变换信息计算部115、变换信息通知部116的功能.
图表生成部111以图表形式生成包含标记的机床400的机器结构。并且，图表生成部111所具有的节点追加部112向生成的图表追加节点。对于他们的详细动作，在以下的“5.机器结构树的生成”中详述。
控制点坐标系插入部113对机器结构的图表插入控制点和坐标系。对于他们的详细动作，在以下的“6.控制点和坐标值的自动插入”中详述。
节点信息通知部114对后述的增强信息控制装置200通知可显示的节点的信息。
如后述，变换信息计算部115从增强信息控制装置200的选择节点通知部212接收到要显示虚拟对象的节点的通知后，计算变换信息，该变换信息将从标记节点向显示对象的节点的路径上的控制轴节点的坐标值作为变量而包含，且该变换信息用于基于上述的标记，计算标记节点坐标系中的各显示对象的节点的位置和/或姿势。
另外，上述的变换信息既可以是矩阵形式，也可以是向量形式，还可以是翻滚(roll)/俯仰(pitch)/偏航(yaw)形式。对于他们的详细动作，在以下的“7.变换信息的计算”中详述。
变换信息通知部116将变换信息计算部115计算出的变换信息通知给增强信息控制装置200的坐标信息变换部213。
存储部120存储图表生成部111生成的与机器结构树有关的信息。
另外，对于图表生成部111、节点信息通知部114、变换信息计算部115、变换信息通知部116、存储部120的详细动作，在以下的“8.虚拟对象的显示方法”中详述。
＜3.数值控制装置的结构＞
图3是数值控制装置150的功能框图。
数值控制装置150具备控制部160，控制部160具备坐标信息通知部161和伺服电动机控制部162。
控制部160是对数值控制装置150进行整体控制的处理器。该控制部160经由总线读出存储于ROM(未图示)的系统程序以及应用程序，并按照该系统程序以及应用程序实现控制部160所具备的坐标信息通知部161和伺服电动机控制部162的功能。
坐标信息通知部161将运行中的机床400的坐标信息通知给增强信息控制装置200的坐标信息变换部213。
伺服电动机控制部162接受来自控制部160的各轴的移动指令量，并将各轴的指令输出至伺服电动机(未图示)。
另外，数值控制装置150为了对机床400进行数值控制而具备通常的数值控制装置所具备的其他构成要素，但省略其说明。
＜4.增强信息控制装置的结构＞
图4是增强信息控制装置200的功能框图。
增强信息控制装置200具备控制部210和存储部220，控制部210具备节点选择部211、选择节点通知部212、坐标信息变换部213、增强信息显示用数据计算部214和增强信息显示用数据通知部215。
控制部210是对增强信息控制装置200进行整体控制的处理器。该控制部210经由总线读出存储于ROM(未图示)的系统程序以及应用程序，并按照该系统程序以及应用程序实现控制部210所具备的节点选择部211、选择节点通知部212、坐标信息变换部213、增强信息显示用数据计算部214和增强信息显示用数据通知部215的功能。
节点选择部211选择想要显示虚拟对象的节点。
选择节点通知部212将节点选择部211选择的节点通知给机器结构管理装置100的变换信息计算部115。
坐标信息变换部213基于从机器结构管理装置100接受的变换信息，根据从数值控制装置150定期接受的各控制轴的坐标值计算出虚拟对象在标记坐标系中的位置和/或姿势。
增强信息显示用数据计算部214根据AR、MR等技术，计算用于显示虚拟对象等的增强信息的增强信息显示用数据。更具体地，增强信息显示用数据计算部214首先使用来自头戴式显示器300的信息，将虚拟对象在标记坐标系中的位置和/或姿势变换为摄像机坐标系中的位置和/或姿势。并且，增强信息显示用数据计算部214将该位置和/或姿势变换为屏幕坐标系中的位置和/或姿势。
增强信息显示用数据通知部215将增强信息显示用数据计算部214计算出的增强信息显示用数据经由无线通信装置250发送给头戴式显示器300。该增强信息显示用数据中包含虚拟对象的形状等、该虚拟对象的变换为屏幕坐标系的坐标值后的显示位置和显示角度等。
存储部220存储由机器结构管理装置100的图表生成部111生成的图表有关的信息。
另外，对于节点选择部211、选择节点通知部212、坐标信息变换部213、增强信息显示用数据计算部214、增强信息显示用数据通知部215和存储部220的详细动作，在以下的“8.虚拟对象的显示方法”中详述。
＜5.机器结构树的生成＞
最初，本发明的实施方式涉及的机器结构管理装置100生成表示机器结构的图表。作为图表的一例，参照图5～图11详述生成机器结构树的生成方法。
作为一例，对图5所示的表现机器结构的机器结构树的生成方法进行说明。在图5的机器中，假定相对于Z轴垂直地设定X轴，在X轴上设置有工具1，在Z轴上设置有工具2。另一方面，假定在Y轴上设定有B轴，在B轴上设定有C轴，在C轴上设置有工件1和工件2。将该机器结构表现为机器结构树的方法如以下所示。
首先，如图6所示，仅配置原点201和节点202A～202I。在该阶段，不具有原点201和节点202、以及节点202间的联系，也未设定原点及各个节点的名称。
接着，设定各轴的轴名称(轴型)、各工具的名称、各工件的名称、各原点的名称、各轴的物理轴编号(轴型)。接着，设定各轴的母节点(轴型)、各工具的母节点、各工件的母节点。最后，设定各轴的交叉偏移(轴型)、各工具的交叉偏移、各工件的交叉偏移。其结果是，生成图7所示的机器结构树。
另外，机器结构树的各节点并不限定于上述各信息，例如，也可以具有或不具有标识符(名称)、自身的母节点的标识符、将自身作为母的全部子节点的标识符、相对于母节点的相对偏移(交叉偏移)、相对于母节点的相对坐标值、相对于母节点的相对移动方向(单位向量)、节点种类(直线轴/旋转轴/单元(后述)/控制点/坐标系/原点等)、物理轴编号、与直交坐标系和物理坐标系的变换式有关的信息。
通过这样对各节点设定值，在机器结构管理装置100内生成具有机器结构树状的数据构造。进而，即使在追加其他的机器(或机器人)的情况下，也可以追加原点，并且追加节点。
图8表示将上述的机器结构树生成方法，尤其是各值向各节点的设定方法一般化的流程图。
在步骤S11中，图表生成部111接受对节点设定的参数的值。
在步骤S12中，在所设定的参数的项目为“自身的母节点”的情况下(S12：“是”)，处理向步骤S13转移。在不是“自身的母节点”的情况下(S12：“否”)，处理向步骤S17转移。
在步骤S13中，在对设定有参数的节点已设定有母节点的情况下(S13：“是”)，处理向步骤S14转移。在没有设定母节点的情况下(S13：“否”)，处理向步骤S15转移。
在步骤S14中，图表生成部111从设定有参数的节点的、当前的母节点所具有的“子节点”项目中删除自身的标识符，更新机器结构树。
在步骤S15中，图表生成部111对设定参数的节点的相应项目设定值。
在步骤S16中，对于母节点，图表生成部111对“子节点”的项目追加自身的标识符，更新机器结构树后，结束流程。
在步骤S17中，图表生成部111对设定参数的节点的相应项目设定值后，结束流程。
通过使用具有上述的机器结构树状的数据构造的数据的生成方法，可设定机器的构成要素之间的母子关系。
这里的母子关系是指，例如如图9A所示，具有2个旋转轴节点504、505时，是一方的节点504的坐标值的变化对另一方的节点505的几何状态(典型的是位置/姿势)产生单方的影响的关系。在该情况下，认为节点504、505具有母子关系，将节点504称为母，将节点505称为子。
然而，例如如图9B所示那样，存在如下机构：在由2个直线轴节点502、503和4个自由结合部501构成的机器结构中，因节点502、503一方的坐标值(长度)变化，不仅另一方的几何状态发生变化，自身的几何状态也发生变化的相互产生影响的机构。在这样的情况下，可视为互为母子，即母子关系为双向。
这样，对于某节点的变化对其他节点彼此产生影响的机构，从便利性的观点出发，捕捉为一个单元，通过将该单元插入到机器结构树来生成整体的机器结构树。如图10A所示单元具有两个连接点510和连接点520，如图10B所示单元被插入到机器结构树的情况下，如图10C所示，母节点连接于连接点520，此外，子节点连接于连接点510。此外，单元具有从连接点520向连接点510的变换矩阵。通过包含在单元中的各节点的坐标值来表示该变换矩阵。例如为图11所示的机器结构的情况下，将表示连接点520的位置/姿势的齐次矩阵设为MA，将表示连接点510的位置/姿势的齐次矩阵设为MB时，使用单元所包含的各直线轴节点的坐标值x1、x2将这些矩阵间的变换式如下地表示。
【式1】
Figure BDA0001706996690000171
设为
Figure BDA0001706996690000172
时，
MB＝TMA，其中，
Figure BDA0001706996690000173
表示该机器结构的单元具有上述【式1】的公式中T那样的齐次变换矩阵。齐次矩阵是指，如以下的【式2】的公式那样可汇总表现位置/姿势的4×4矩阵。
Figure BDA0001706996690000174
此外，即使彼此不是母子关系的情况下，为了使计算处理、设定简单化，也可以定义将某多个节点预先汇总为一个的单元，并构成于机器结构树中。
如上所述，在本实施方式中，机器结构的图表可包括将多个轴汇总为1个的单元作为构成要素。
＜6.控制点和坐标值的自动插入＞
将机器结构上的各个位置指定为控制点，并且设定机器结构上的各个部位的坐标系，因此使用通过上述的“5.机器结构树的生成”生成的机器结构树来实施以下的方法。
例如，在图12A所示的旋转索引机器(rotary index machine)350中，相对于Z1轴垂直地设定X1轴，在X1轴上设置有工具1。此外，相对于Z2轴垂直地设定X2轴，在X2轴上设置有工具2。并且，在工作台上，在C轴上上并列地设定有C1轴和C2轴，在C1轴和C2轴上分别设定有工件1和工件2。将该机器结构用机器结构树表示时，成为图12B所示的机器结构树。
以从各工件连接至机器原点的一连串的节点为例子时，如图13所示的机器结构那样，向机器原点、C轴、C1轴、C2轴、工件1、工件2分别自动插入坐标系和控制点。不仅对工作台实施这些，还对从各工具连接至机器原点的一连串的节点、即X1轴、X2轴、Z1轴、Z2轴、工具1、工具2实施这些。其结果是，如图14所示那样，对构成机器结构树的所有节点，自动插入各自所对应的控制点和坐标系。通常，在进行加工的情况下，对工件指定坐标系，将工具指定为控制点。由此，例如也能够对应于如下的各种情况：为了使工件自身移动至预定位置而想要对工件指定控制点的情况、或为了通过某工具对其他工具进行研磨而想要对工具自身设定坐标系的情况。
此外，如图15A所示的机器结构那样，各控制点和坐标系具有偏移。因此，可将远离节点中心的点设为控制点、坐标系原点。并且，各控制点和坐标系具有姿势矩阵。该姿势矩阵是控制点的姿势矩阵的情况下，表示控制点的姿势(方向、倾角)，该姿势矩阵是坐标系的姿势矩阵的情况下，表示坐标系的姿势。在图15B所示的机器结构树中，偏移和姿势矩阵以与各自所对应的节点相联系的形式来表现。各控制点和坐标系具有是否考虑存在于机器结构树的根为止的路径上的节点的“移动”以及“交叉偏差”的信息，并对这些进行设定。
图16表示将上述的控制点的自动插入方法一般化的流程图。详细而言，该流程图包括流程图A和流程图B，如后所述，在流程图A中途执行流程图B。
首先，对流程图A进行说明。
在步骤S21中，图表生成部111设定机器结构树。
在步骤S22中，执行流程图B，结束流程图A的流程。
接着，对流程图B进行说明。
在流程图B的步骤S31中，已对节点插入了控制点/坐标系的情况下(S31：“是”)，结束流程。在未对节点插入控制点/坐标系的情况下(S31：“否”)，处理向步骤S32转移。
在步骤S32中，控制点坐标系插入部113向节点插入控制点/坐标系，使变量n进栈(stack)一个。此外，设为n＝1。
在步骤S33中，在节点中存在第n个子节点的情况下(S33：“是”)，处理向步骤S34转移。在节点中不存在第n个子节点的情况下(S33：“否”)，处理向步骤S36转移。
在步骤S34中，对于第n个子节点，递归地执行图B自身。
在步骤S35中，使n仅增加1。即，设为n＝n+1，处理返回到步骤S33。
在步骤S36中，使变量n出栈一个，结束表B的流程。
通过上述的方法，控制点坐标系插入部113对机器结构的图表的各节点插入控制点和坐标系作为节点。另外，在上述中示出了将控制点和坐标系作为节点而追加时的实施例，但如图17所示那样，控制点坐标系插入部113使机器结构的图表的各节点持有控制点和坐标系作为信息的实施方式也同样是可能的。
＜7.变换信息的计算＞
如上所述，变换信息计算部115计算将控制轴的坐标值变换为虚拟对象在标记坐标系中的位置/和姿势的变换信息。参照图18～图19对该变换信息的计算方法进行详述。
例如，如图18所示那样，在轴x1上设定轴x2，在轴x2上设定轴x3，以下同样地N个节点连接，将其末端设为轴xN。并且，在轴xN上的控制点显示虚拟对象。同样地，在轴y1上设定轴y2，在轴y2上设定轴y3，以下同样地L个节点连接，将其末端设为轴yL。并且，在轴yL上设置有标记。在此，xi、yj为节点名称，但同时还表示各节点的坐标值。
并且。对各节点中赋予图18所示的偏移、节点种类(直线/旋转/单元/控制点/坐标系)、轴方向、姿势矩阵、坐标值。
此时，如图19所示那样，用以下的公式求出表示针对根(机器原点)的控制点上的虚拟对象的当前位置/姿势的齐次矩阵Mobj。
【式3】
Figure BDA0001706996690000191
其中
Figure BDA0001706996690000192
其中，符号的意思如以下所示。
Sxi：各节点的齐次变换矩阵；
N：从机器结构树的根连接至控制点的一连串的节点个数；
Mctrl：是相对于控制点的母节点的相对偏移/姿势的齐次矩阵，由对控制点定义的偏移向量/姿势矩阵，按照上述的【式2】定义。
齐次变换矩阵Sxi根据节点的种类而变化，例如在直线轴的情况下被表示为如下。
【式4】
Figure BDA0001706996690000201
其中，符号的意思如以下所示。
xi：节点xi的坐标值；
ofsxi：相对于节点xi的母节点的相对偏移向量；
vxi：节点xi的移动方向向量。
此外，旋转轴的情况下被表示为如下。
【式5】
Figure BDA0001706996690000202
Figure BDA0001706996690000203
其中，符号的意思如以下所示。
v1：节点xi的旋转轴方向向量的第1分量；
v2：节点xi的旋转轴方向向量的第2分量；
v3：节点xi的旋转轴方向向量的第3分量。
此时，使用Mobj通过以下的公式求出表示标记坐标系上的、控制点上的虚拟对象的当前位置/姿势的齐次矩阵Xm。
【式6】
Figure BDA0001706996690000211
其中，
Figure BDA0001706996690000212
其中，符号的意思如以下所示。
L：从机器结构树的根连接至坐标系的一连串的节点个数
Mcoord：是相对于标记的母节点的相对偏移/姿势的齐次矩阵，根据在坐标系中定义的偏移向量/姿势矩阵，按照上述的【式2】的公式被定义。
＜8.虚拟对象的显示方法＞
图20表示显示虚拟对象时的动作流程。首先，针对各步骤的概要进行叙述。
在步骤S41中，机器结构管理装置100向机器结构树追加标记节点作为母节点。由此，例如在机床400的结构为图21A所示那样的结构的情况下，如图21B所示那样，向表示机床400的结构的机器结构树追加标记节点。
在步骤S42中，增强信息控制装置200从机器结构管理装置100取得可显示的节点。
在步骤S43中，增强信息控制装置200选择显示虚拟对象等的增强信息的节点，并通知给机器结构管理装置100。
在步骤S44中，机器结构管理装置100导出用于求出请求显示的节点在标记坐标系中的位置/姿势的公式，并通知给增强信息控制装置200。
在步骤S45中，增强信息控制装置200从数值控制装置150取得各控制轴的坐标值。
在步骤S46中，增强信息控制装置200使用所取得的坐标值和求出标记坐标系中的位置/姿势的公式，来求出显示虚拟对象等的增强信息的节点在标记坐标系中的位置/姿势。
在步骤S47中，增强信息控制装置200根据标记坐标系中的位置/姿势，通过坐标系的变换来求出摄像机坐标系中的位置/姿势。
在步骤S48中，增强信息控制装置200根据摄像机坐标系中的位置/姿势，通过坐标系的变换来求出屏幕坐标系中的位置/姿势。
在步骤S49中，增强信息控制装置200生成虚拟对象等的增强信息的显示用数据即增强信息显示用数据，并输出至头戴式显示器300。
在步骤S50中，头戴式显示器300显示虚拟对象等的增强信息。之后，处理返回到步骤S45。
另外，也可以通过机器结构管理装置100求出显示虚拟对象等的增强信息的节点在标记坐标系中的位置/姿势，并将表示位置/姿势其本身的值通知给增强信息控制装置200。
在上述的步骤S47和S48中，增强信息控制装置200使用非专利文献1所记载的方法等公知的方法，根据标记坐标系中的位置/姿势求出摄像机坐标系中的位置/姿势，根据摄像机坐标系中的位置/姿势求出屏幕坐标系中的位置/姿势。更具体地，从由安装在头戴式显示器300上的小型摄像机获得的图像信息检测出成为虚拟对象显示的基准坐标的标记的三维位置，并进行求出从标记坐标系向摄像机坐标系的变换信息的处理。根据该变换信息，将虚拟对象的位置/姿势从标记坐标系变换为摄像机坐标系的值。进而，进行求出从摄像机坐标系向屏幕坐标系的变换信息的处理，并根据该变换信息，将虚拟对象的位置/姿势从摄像机坐标系变换为屏幕坐标系的值。增强信息显示用数据除了在此求出的摄像机坐标系以及屏幕坐标系的位置/姿势外，还包括虚拟对象的形状等的数据。增强信息显示用数据被输出至头戴式显示器300，通过使用所输出的数据，头戴式显示器300可在左右屏幕的适当位置描绘虚拟对象。
另外，如图22所示那样，将标记坐标系中的位置姿势矩阵设为Xm，将摄像机坐标系中的位置姿势矩阵设为XC，将从标记坐标系向摄像机坐标系的变换矩阵设为Mmc时，成为：
【式7】
Xc＝MmcXm。
根据上述的方法，能够求出摄像机坐标系中的虚拟对象的位置姿势矩阵XC，因此在显示器上可对任意的节点显示虚拟对象。如图23A的记载所示，作为虚拟对象例如也可以配置工件、工具的3D模型，用于加工模拟。或者，也可以显示各主轴的转速这样的与节点相关联的数据。并且，也配置加速度传感器、温度传感器，如图23B所记载的那样，通过向机器结构树追加传感器用节点以视觉来确认各位置的加速度、温度。
由此，机床400的操作员在模拟作业中，可确认与节点相关联的数据、传感器的数值。
＜9.本实施方式的效果＞
根据本实施方式，只通过摄像机确认标记，可对登记于图表上的全部节点配置虚拟对象。尤其是通过标记节点的追加，可在任意的位置追加虚拟对象，不需要另外登记移动量的变换式或另外识别特别点。此外，也不需要初始位置的识别。
＜10.变形例＞
关于上述的标记，考虑根据视点的位置可见或不可见的情况。因此，为了防止标记不可见的情况，如图24A所示那样，对机床400设定多个标记，并且在如图24B所示的机器结构树中，也可以在图表中设定多个标记节点。在该情况下，以多个标记中的、任一个可利用的标记为基准，计算虚拟对象的位置/姿势。
此外，可同时使用多个标记，利用各个标记的位置/姿势的平均值，来计算虚拟对象的位置/姿势。或者，例如也可以根据距视点的距离，对各个标记的位置/姿势进行加权，来计算出虚拟对象的位置/姿势。
并且，如图25A和图25B所示那样，在图25B的机器结构树中，可以在任意决定的位置设定基准标记节点，并将各标记节点登记为基准标记节点的子节点。在该情况下，机器结构管理装置100对增强信息控制装置200发送以基准标记为原点的基准标记坐标系中的各虚拟对象的变换信息、从各标记坐标系向基准标记坐标系的变换信息。
前者的变换信息在使用哪个标记的情况下均不会变化。增强信息控制装置200按照识别出的标记，使用后者的变换信息根据各标记的位置/姿势求出基准标记的位置/姿势，并且，求出从基准标记坐标系向摄像机坐标系的变换信息。
在此，如图26所示那样，将摄像机坐标系中的位置姿势矩阵设为XC，将标记坐标系1中的位置姿势矩阵设为Xm1，将标记坐标系2中的位置姿势矩阵设为Xm2，将基准标记坐标系中的位置姿势矩阵设为Xmb。此外，将从基准标记坐标系向摄像机坐标系的变换矩阵设为Mmcb，将从标记坐标系1向摄像机坐标系的变换矩阵设为Mmc1，将从标记坐标系2向摄像机坐标系的变换矩阵设为Mmc2，将从标记坐标系1向基准标记坐标系的变换矩阵设为Mmb1，将从标记坐标系2向基准标记坐标系的变换矩阵设为Mmb2。
在该情况下，以下的公式成立。
【式8】
Xc＝MmcbXmb
Mmcb＝kMmc1Mmb1 -1+(1-k)Mmc2Mmb2 -1
Xmb＝kMmb1Xm1+(1-k)Mmb2Xm2
另外，k为决定标记的权重的系数，例如使用双方的标记的情况下取0.5，仅使用标记1的情况下取1，仅适用标记2的情况下取0值。
涉及多个标记的处理集成为求出基准标记节点的位置/姿势的处理和求出从基准标记节点坐标系向摄像机坐标系的变换信息的处理，除此以外，成为与使用单一标记的情况相同的处理，从而容易进行多个标记的处理。
此外，虽然部分地重复，但图表数据也可以存储于机器结构管理装置100，但并不限定于此。例如，既可以存储于增强信息控制装置200，也可以存储于经由网络与虚拟对象显示系统10连接的服务器上。可将机器结构树数据存储于增强信息控制装置200、服务器上，从而对旧机床，也可以应用本发明。另外，在该情况下，不执行到上述的步骤S43为止的处理，在增强信息控制装置200侧执行步骤S44。
此外，机器结构管理装置100也可以被组入到数值控制装置150而被一体化。或者，机器结构管理装置100也可以存在于云上。
另外，上述的机器结构管理装置、数值控制装置、增强信息控制装置和机床可通过硬件、软件、或他们的组合来实现。此外，通过上述的机器结构管理装置、数值控制装置、增强信息控制装置和机床的协作进行的模拟方法也可以通过硬件、软件、或他们的组合来实现。在此，通过软件来实现表示计算机读入并执行程序来实现。
程序可被各种类型的非临时性计算机可读介质(non-transitory computerreadable medium)存储，而被提供给计算机。非临时性计算机可读介质包括各种类型的具有实体的记录介质(tangible storage medium)。非临时性计算机可读介质的例子包括磁记录介质(例如，软盘、磁带、硬盘驱动器)、磁光记录介质(例如，磁光盘)、CD-ROM(ReadOnly Memory：只读存储器)、CD-R、CD-R/W、半导体存储器(例如，掩模ROM、PROM(可编程ROM)，EPROM(可擦除PROM)，闪存ROM，RAM(随机存取存储器))。此外，程序也可以通过各种类型的临时性的计算机可读介质提供给计算机。临时性的计算机可读介质的示例包括电信号、光信号和电磁波。临时性的计算机可读介质可以经由电线和光纤等有线通信路或无线通信路将程序提供给计算机。

Claims (9)

1.一种虚拟对象显示系统，该虚拟对象显示系统具备机器结构管理装置和增强信息控制装置，所述机器结构管理装置具备图表生成部、控制点坐标系插入部、节点信息通知部、变换信息计算部和变换信息通知部，所述增强信息控制装置具备节点选择部、选择节点通知部和坐标信息变换部，该虚拟对象显示系统的特征在于，
所述图表生成部生成将控制对象的机器结构作为包含标记的构成要素的节点的图表，
所述控制点坐标系插入部向所述图表插入控制点和坐标系，
所述节点信息通知部将可显示的节点信息通知给所述增强信息控制装置，
所述节点选择部选择要显示虚拟对象的节点，
所述选择节点通知部将要显示虚拟对象的节点通知给所述机器结构管理装置，
所述变换信息计算部计算变换信息，该变换信息将从标记节点向显示对象的节点的所述图表中的路径上的控制轴节点的坐标值作为变量而包含，且该变换信息用于基于所述图表来计算标记节点的坐标系中的显示对象的节点的位置和/或姿势，
所述变换信息通知部将所述变换信息通知给所述增强信息控制装置，
所述坐标信息变换部使用所述变换信息，将所通知的各控制轴的坐标值变换为标记节点的坐标系中的显示对象的各节点的位置和/或姿势。
2.根据权利要求1所述的虚拟对象显示系统，其特征在于，
该虚拟对象显示系统还具备显示装置，
所述增强信息控制装置还具备：增强信息显示用数据计算部，其根据由所述坐标信息变换部变换后的、标记节点的坐标系中的显示对象的各节点的位置和/或姿势，计算用于通过所述显示装置将虚拟对象计算为增强信息的增强信息显示用数据；以及增强信息显示用数据通知部，其将所述增强信息显示用数据通知给所述显示装置。
3.根据权利要求1或2所述的虚拟对象显示系统，其特征在于，
所述坐标信息变换部将从数值控制装置接受的坐标值变换为标记节点的坐标系中的、显示对象的各节点的位置和/或姿势作为所述各控制轴的坐标值。
4.根据权利要求1或2所述的虚拟对象显示系统，其特征在于，
所述图表生成部向所述图表追加多个标记节点，
所述变换信息计算部从多个标记节点的坐标系计算用于计算各节点的位置和/或姿势的变换信息，
所述变换信息通知部将所述变换信息通知给所述增强信息控制装置。
5.根据权利要求1或2所述的虚拟对象显示系统，其特征在于，
所述图表生成部追加基准标记节点，
所述变换信息通知部将以所述基准标记节点的坐标系为基准的变换信息、所述基准标记节点的坐标系与各标记节点的坐标系间的变换信息通知给所述增强信息控制装置。
6.根据权利要求1或2所述的虚拟对象显示系统，其特征在于，
所述增强信息控制装置还具备具有所述图表的数据的存储部。
7.根据权利要求1或2所述的虚拟对象显示系统，其特征在于，
该虚拟对象显示系统还具备存储所述图表的数据的服务器。
8.根据权利要求1或2所述的虚拟对象显示系统，其特征在于，
所述机器结构管理装置和机床的数值控制装置被一体化。
9.根据权利要求1或2所述的虚拟对象显示系统，其特征在于，
所述机器结构管理装置存在于云上。
CN201810663304.4A 2017-06-29 2018-06-25 虚拟对象显示系统 Active CN109213078B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017127692A JP6585665B2 (ja) 2017-06-29 2017-06-29 仮想オブジェクト表示システム
JP2017-127692 2017-06-29

Publications (2)

Publication Number Publication Date
CN109213078A CN109213078A (zh) 2019-01-15
CN109213078B true CN109213078B (zh) 2020-05-12

Family

ID=64661806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810663304.4A Active CN109213078B (zh) 2017-06-29 2018-06-25 虚拟对象显示系统

Country Status (4)

Country Link
US (1) US20190005725A1 (zh)
JP (1) JP6585665B2 (zh)
CN (1) CN109213078B (zh)
DE (1) DE102018210261A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6806736B2 (ja) * 2018-06-05 2021-01-06 ファナック株式会社 位置情報表示システム
DE102019105605A1 (de) * 2018-07-11 2020-01-16 Felder Kg Anordnung umfassend ein CNC-Bearbeitungszentrum
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN112805750B (zh) 2018-08-13 2024-09-27 奇跃公司 跨现实系统
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
JP6912505B2 (ja) 2019-03-04 2021-08-04 ファナック株式会社 制御システム
JP7160183B2 (ja) 2019-03-28 2022-10-25 日本電気株式会社 情報処理装置、表示システム、表示方法、及びプログラム
CN112424838B (zh) * 2019-04-25 2023-11-21 株式会社Ntt都科摩 示出夹具的配置的影像处理系统
EP4046401A4 (en) 2019-10-15 2023-11-01 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH WIRELESS FINGERPRINTS
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
EP4046139A4 (en) 2019-10-15 2023-11-22 Magic Leap, Inc. EXTENDED REALITY SYSTEM WITH LOCATION SERVICE
WO2021087065A1 (en) 2019-10-31 2021-05-06 Magic Leap, Inc. Cross reality system with quality information about persistent coordinate frames
US11386627B2 (en) 2019-11-12 2022-07-12 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
JP7505877B2 (ja) * 2019-12-02 2024-06-25 ファナック株式会社 制御システム
CN114762008A (zh) 2019-12-09 2022-07-15 奇跃公司 简化的虚拟内容编程的交叉现实系统
DE112021000864T5 (de) * 2020-02-04 2022-11-17 Fanuc Corporation Steuervorrichtung
WO2021163295A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
JP2023514205A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド 正確な共有マップを伴うクロスリアリティシステム
EP4104001A4 (en) 2020-02-13 2024-03-13 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS
EP4111425A4 (en) 2020-02-26 2024-03-13 Magic Leap, Inc. MIXED REALITY SYSTEM WITH QUICK LOCATION
CN115803788A (zh) 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实系统
WO2022024464A1 (ja) * 2020-07-29 2022-02-03 富士通株式会社 検査プログラム、情報処理装置及び検査方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266221A (ja) * 2008-04-21 2009-11-12 Mori Seiki Co Ltd 加工シミュレーション方法及び加工シミュレーション装置
CN103867205A (zh) * 2014-03-11 2014-06-18 西安科技大学 一种掘进机远程控制系统及方法
CN104700403A (zh) * 2015-02-11 2015-06-10 中国矿业大学 一种基于kinect的手势控制液压支架的虚拟示教系统及方法
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4255636A (en) 1976-12-30 1981-03-10 Westinghouse Electric Corp. Circuit breaker with current carrying conductor system utilizing eddy current repulsion
JPS5872923A (ja) 1981-10-28 1983-05-02 Hitachi Ltd 液晶表示素子
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
JP4083554B2 (ja) 2002-11-29 2008-04-30 株式会社森精機製作所 ３次元モデルデータ生成装置
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP5847610B2 (ja) * 2012-02-22 2016-01-27 株式会社マイクロネット Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
JP6524706B2 (ja) * 2015-02-27 2019-06-05 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266221A (ja) * 2008-04-21 2009-11-12 Mori Seiki Co Ltd 加工シミュレーション方法及び加工シミュレーション装置
CN103867205A (zh) * 2014-03-11 2014-06-18 西安科技大学 一种掘进机远程控制系统及方法
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
CN104700403A (zh) * 2015-02-11 2015-06-10 中国矿业大学 一种基于kinect的手势控制液压支架的虚拟示教系统及方法

Also Published As

Publication number Publication date
CN109213078A (zh) 2019-01-15
JP6585665B2 (ja) 2019-10-02
JP2019012342A (ja) 2019-01-24
US20190005725A1 (en) 2019-01-03
DE102018210261A1 (de) 2019-01-03

Similar Documents

Publication Publication Date Title
CN109213078B (zh) 虚拟对象显示系统
JP6434476B2 (ja) 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
KR102110123B1 (ko) 증강 현실을 위한 자동화된 참조 프레임 캘리브레이션
EP3166081A2 (en) Method and system for positioning a virtual object in a virtual simulation environment
CN110568819B (zh) 位置信息显示系统
CN107015530A (zh) 模拟装置以及模拟方法
CN108398921B (zh) 坐标信息变换装置以及计算机可读介质
CN110568818B (zh) 虚拟对象显示系统
CN103729887A (zh) 三维模型动态显示方法及装置
CN110111389A (zh) 一种基于slam的移动增强现实跟踪注册方法和系统
JP2015087846A (ja) 三次元モデル作成システム
KR20140062647A (ko) 실내 공간 지도 작성 방법 및 그 장치
CN112036442A (zh) 多帧3d点云数据中物体追踪标注的方法和装置、存储介质
CN112987650A (zh) 控制系统
JP2021013947A (ja) 自動溶接システム、自動溶接方法、学習装置、推定装置、及びプログラム
CN112506347B (zh) 面向加工过程监控的混合现实交互方法
US12002162B2 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
EP4430490A1 (en) Method and system for creating 3d model for digital twin from point cloud
Brecher et al. Environment sensing for the creation of work cell models
KR20220115742A (ko) 기계 학습 훈련을 위한 데이터 생성방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant