CN112242006A - 增强现实眼镜装置以及显示程序 - Google Patents

增强现实眼镜装置以及显示程序 Download PDF

Info

Publication number
CN112242006A
CN112242006A CN202010669141.8A CN202010669141A CN112242006A CN 112242006 A CN112242006 A CN 112242006A CN 202010669141 A CN202010669141 A CN 202010669141A CN 112242006 A CN112242006 A CN 112242006A
Authority
CN
China
Prior art keywords
tool
trajectory
unit
augmented reality
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010669141.8A
Other languages
English (en)
Inventor
三好高史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN112242006A publication Critical patent/CN112242006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Numerical Control (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Tool Sensing Apparatuses (AREA)

Abstract

本发明提供一种能直观地显示出工具的前端在工件坐标系中的位置的增强现实眼镜装置以及显示程序。增强现实眼镜装置(1)具有透过型的显示部(11)，能将机床(100)中的工具(101)的轨迹显示在显示部(11)中，上述增强现实眼镜装置具备：程序块获取部(12)，其获取用于使工具(101)进行移动动作的程序块；轨迹确定部(13)，其基于获取的在时间序列上连续的多个程序块，确定工具(101)在工件坐标系中的轨迹和移动方向；以及显示控制部(14)，其使所确定的工具(101)的轨迹和移动方向立体地显示在显示部(11)中。

Description

增强现实眼镜装置以及显示程序
技术领域
本发明涉及增强现实眼镜装置以及显示程序。
背景技术
以往，已知一种在控制机床的数值控制装置的画面上显示出工具的移动轨迹的装置。在这样的装置中，能够使用工具的移动轨迹确认工件的加工情况。另外，已知一种能够在调试加工程序时反复进行各个加工程序的执行和停止的装置。
在这样的装置中，通过显示出在各个加工程序中工具的移动轨迹，能够一边分别确认加工程序的动作，一边执行加工程序。与此相对地，如果能够不只显示动作对象的移动轨迹，还能显示移动方向就更好了。因此，提出了一种也能显示作为动作对象的机器人的移动方向的装置(例如参见专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2014-180707号公报
发明内容
发明所要解决的课题
然而，在机床中，存在不只工具的前端，载置工件的工作台也发生移动，从而使加工位置移动的情况。例如，在由X轴、Y轴及Z轴表示的正交坐标系中，可能存在工具的前端仅在Z轴方向上移动的情况。此时，可能存在工作台在X轴和Y轴方向上移动的情况。即使在这种多个动作对象相对移动的情况下，只要能够直观地显示出工具的前端在工件坐标系中的相对位置即可。
用于解决课题的手段
(1)本发明的一个方面涉及一种增强现实眼镜装置，具有透过型的显示部，能将机床中的工具的轨迹显示在上述显示部中，上述增强现实眼镜装置具备：程序块获取部，其获取使上述工具进行移动动作的程序块；轨迹确定部，其基于获取的在时间序列上连续的多个上述程序块，确定上述工具在工件坐标系中的轨迹和移动方向；以及显示控制部，其使所确定的上述工具的轨迹和移动方向立体地显示在上述显示部中。
(2)另外，本发明的一个方面涉及一种显示程序，其使计算机作为增强现实眼镜装置而发挥作用，该增强现实眼镜装置具有透过型的显示部，能将机床中的工具的轨迹显示在上述显示部中，上述显示程序用于使上述计算机作为下述部件而发挥作用：程序块获取部，其获取使上述工具进行移动动作的程序块；轨迹确定部，其基于在时间序列上连续的多个上述程序块，确定上述工具在工件坐标系中的轨迹和移动方向；以及显示控制部，其使所确定的上述工具的轨迹和移动方向立体地显示在上述显示部中。
发明的效果
根据本发明，能够提供一种能直观地显示出工具的前端在工件坐标系中的位置的增强现实眼镜装置以及显示程序。
附图说明
图1是表示第1实施方式所涉及的增强现实眼镜装置以及显示程序的整体构成的概略构成图。
图2是表示第1实施方式所涉及的增强现实眼镜装置的构成的框图。
图3是表示在第1实施方式所涉及的增强现实眼镜装置以及显示程序中显示于显示部的工具的前端的轨迹以及移动方向的示意图。
图4是表示第1实施方式所涉及的增强现实眼镜装置以及显示程序中的处理的流程的流程图。
图5是表示第1实施方式所涉及的增强现实眼镜装置以及显示程序中的处理的流程的流程图。
图6是表示在第1实施方式所涉及的增强现实眼镜装置以及显示程序中显示于显示部的叠加于工具的前端及工作台的轨迹以及移动方向的示意图。
图7是表示在第1实施方式所涉及的增强现实眼镜装置以及显示程序中显示于显示部的叠加于工具的前端及工作台的轨迹以及移动方向的示意图。
图8是表示第2实施方式所涉及的增强现实眼镜装置的构成的框图。
图9是表示第2实施方式所涉及的增强现实眼镜装置以及显示程序中的处理的流程的流程图。
图10是表示在第2实施方式所涉及的增强现实眼镜装置以及显示程序中显示于显示部的叠加于工具的前端及工作台的轨迹以及移动方向的示意图。
图11是表示在变形例所涉及的增强现实眼镜装置中显示于显示部的工具的前端的轨迹以及移动方向的示意图。
图12是表示在变形例所涉及的增强现实眼镜装置中显示于显示部的工具的前端的轨迹以及移动方向的示意图。
附图标记说明
1增强现实眼镜装置；11显示部；12程序块获取部；13轨迹确定部；14显示控制部；15获取个数限制部；16拍摄部；17位置识别部；18手动动作识别部；19移动方向获取部；20使用信息获取部；100机床；101工具；102工作台；200数值控制装置；W工件。
具体实施方式
下面，参照图1至图12对本发明的各实施方式所涉及的增强现实眼镜装置1以及显示程序进行说明。
首先，在对各实施方式的增强现实眼镜装置1以及显示程序进行说明之前，对与增强现实眼镜装置1相关联的机床100以及数值控制装置200进行说明。此外，在以下的说明中，“工件坐标系”例如是通过机床的手动控制而决定的坐标系，是将作为加工对象的工件作为基准的坐标系。
如图1所示，机床100例如是与数值控制装置200连接的加工装置。机床100基于从数值控制装置200输出的动作信号而动作。机床100具备：用于设置工件W的工作台102和配置于工作台102的上方的工具101。机床100例如基于动作信号使工作台102及工具101两者动作，从而对工件W进行加工。另外，机床100基于根据数值控制装置200的指令进行的自动控制和使用了手动脉冲发生器(未图示)的手动控制中的任一种而进行动作。关于自动控制，例如在使用工具101实际切削工件W时使用。关于手动控制，例如在调试、检测工件W等时使用。
数值控制装置200是能够根据预先设定的加工程序的程序块向机床100输出动作信号的装置。在本实施方式中，数值控制装置200相对于1个机床100成组设置。数值控制装置200通过依次执行加工程序中包含的一系列程序块，从而基于一系列动作信号来控制机床100的动作。
根据以上的机床100及数值控制装置200，在对机床100进行手动控制之后，对机床100进行自动控制。首先，机床100例如通过使用脉冲发生器进行手动控制，使工具101的前端或者工作台102分别在XYZ轴的指定的各轴方向上移动。另外，通过代替工具101而安装的测量探针(未图示)的前端，来掌握工件W的位置、大小等。
接着，通过执行数值控制装置200中的程序块，对机床100进行自动控制。机床100例如使用切削液(未图示)并通过工具101来实际地切削工件W。
(第1实施方式)
下面，参照图1至图7对第1实施方式所涉及的增强现实眼镜装置1以及显示程序进行说明。
本实施方式所涉及的增强现实眼镜装置1例如是用于显示工具101的前端在工件坐标系中的轨迹和移动方向的装置。具体地，增强现实眼镜装置1是能够确认机床100中的加工的情况的眼镜型的显示设备。增强现实眼镜装置1是被对数值控制装置200及加工装置进行管理的作业员H戴上而使用的。另外，增强现实眼镜装置1例如与1组数值控制装置200及机床100组合。增强现实眼镜装置1以能无线通信的方式与数值控制装置200连接。如图2所示，增强现实眼镜装置1具备：显示部11、程序块获取部12、轨迹确定部13、显示控制部14、获取个数限制部15、拍摄部16、位置识别部17、手动动作识别部18以及移动方向获取部19。
显示部11例如是透过型显示器。显示部11与作业员H的眼睛的位置相配地配置成一对。显示部11配置为能够根据透过的图像显示各种信息。显示部11例如透过机床100的工具101、工作台102的图像，并且在工具101、工作台102上叠加各种信息并进行显示。
关于程序块获取部12，例如通过CPU进行动作来实现。程序块获取部12获取用于使工具101进行移动动作的程序块。程序块获取部12例如关于数值控制装置200中预先设定的加工程序，获取执行中或者执行前读入的程序块。具体地，程序块获取部12关于加工程序获取预定数量的工具101的动作中使用的正在用的或者之前的一系列程序块。在本实施方式中，程序块获取部12从数值控制装置200获取预定数量的正在执行中或者接下来要执行的程序块和之后连续执行的程序块。另外，程序块获取部12例如从数值控制装置200获取用于确定正在执行中的程序的信息和表示工具101在工件坐标系中的位置的信息。
关于轨迹确定部13，例如通过CPU进行动作来实现。轨迹确定部13基于在时间序列上连续的多个程序块确定工具101在工件坐标系中的轨迹和移动方向。具体地，轨迹确定部13基于一系列的程序块中的正在执行中或者接下来要执行的程序块和将来要继续执行的程序块，确定移动的轨迹和移动方向。另外，轨迹确定部13基于获取到的表示工具101在工件坐标系中的位置的信息和用于确定正在执行中的程序块的信息，确定正在执行中的程序块及工具101的位置。
关于显示控制部14，例如通过CPU进行动作来实现。显示控制部14将所确定的工具101的轨迹和移动方向立体地显示在显示部11中。如图3所示，显示控制部14例如使左右一对显示部11分别显示表示工具101的前端在工件坐标系中的轨迹和移动方向的视差图像。即，显示控制部14使关于当前的动作及将来的动作的、工具101的前端的轨迹和移动方向作为立体图像显示在显示部11中。由此，显示控制部14对作业员H提供立体图像(3D图像)。另外，显示控制部14将用于识别程序块的记号(图3中为N10、N11、N12)与轨迹和移动方向一起显示。此外，在本实施方式中，如图3所示，显示控制部14使工具101的轨迹和移动方向与工件坐标系的坐标轴一起显示在显示部11中。另外，显示控制部14使所确定的正在执行中的程序块和工具101的位置显示在显示部11中。
关于获取个数限制部15，例如通过CPU进行动作来实现。获取个数限制部15基于获取的程序块的个数的指定或者基于通过执行程序块而移动的工具101的移动距离来限制由程序块获取部12获取的程序块的个数。获取个数限制部15例如将由程序块获取部12获取的程序块的个数限制为3个。由此，获取个数限制部15对于由轨迹确定部13确定的工具101的前端的轨迹和移动方向，限制为跨过3个一系列程序块的轨迹和移动方向。另外，获取个数限制部15例如通过限制工具101的移动距离，来限制由程序块获取部12获取的程序块的个数。由此，获取个数限制部15限制轨迹确定部13的确定中所用的一系列程序块的个数，以便将通过一系列程序块而移动的工具101的移动距离收敛于预定的范围内。具体地，获取个数限制部15基于正在执行中或者接下来要执行的程序块，对一系列程序块中的工具101的移动距离进行合计。获取个数限制部15将获取个数限制为使工具101的移动距离不超过预定距离且成为最大距离的程序块的个数。
拍摄部16例如是用于拍摄图像的装置。拍摄部16是能获取透过显示部11且包含工具101的图像来作为拍摄图像的结构。换言之，拍摄部16是能将经由显示部11而被作业员H看到的机床100的工具101的图像作为拍摄图像获取的结构。拍摄部16例如关于左右一对的显示部11，分别获取拍摄图像。另外，拍摄部16拍摄包含工作台102的拍摄图像。拍摄部16例如拍摄包含工具101的前端和工作台102的拍摄图像。
关于位置识别部17，例如通过CPU进行动作来实现。位置识别部17识别拍摄图像中包含的工具101的前端的位置。位置识别部17例如通过在拍摄图像中识别安装于工具101的前端的位置检测用标记来识别工具101的前端在工件坐标系中的相对位置。另外，位置识别部17识别拍摄图像中包含的工作台102的位置。
关于手动动作识别部18，例如通过CPU进行动作来实现。手动动作识别部18识别机床100从自动动作向手动动作的切换。手动动作识别部18识别例如从由数值控制装置200控制机床的模式(自动控制)向机床通过脉冲发生器而动作的模式(手动控制)的切换。
关于移动方向获取部19，例如通过CPU进行动作来实现。当识别到向手动动作的切换时，移动方向获取部19关于工具101和工作台102中的至少一方，获取通过手动而指定的移动方向。移动方向获取部19例如从数值控制装置200获取根据由脉冲发生器确定的轴的移动指令而动作的工具101和工作台102中的至少一方的移动方向。
下面，关于使用了增强现实眼镜装置1的动作，使用图4的流程图进行说明。在本流程中，说明的是对于机床100进行手动控制之后执行自动控制的示例。
(手动控制)
首先，手动动作识别部18关于机床100的动作，识别是否是手动控制(步骤S1)。手动动作识别部18例如通过从数值控制装置200获取动作模式来识别是否是手动控制。当是手动控制时(步骤S1：是)，处理进入步骤S2。当是自动控制时(步骤S2：否)，处理进入图5的步骤S11。
在步骤S2中，拍摄部16获取拍摄图像。拍摄部16例如获取分别透过一对显示部11的图像作为拍摄图像。
接着，位置识别部17识别拍摄图像中包含的工具101的前端位置和工作台102的位置(步骤S3)。位置识别部17例如使用安装于工具101的前端和工作台102上的标记来识别工具101的前端位置和工作台102的位置。
接着，移动方向获取部19获取使用了脉冲发生器的各轴的移动方向(步骤S4)。移动方向获取部19例如经由数值控制装置200获取由脉冲发生器指定的轴(动作轴)的信息。另外，移动方向获取部19获取工具101、工作台102通过脉冲发生器而实际动作的动作方向。移动方向获取部19例如通过获取拨号式脉冲发生器的旋转方向，来获取动作轴的移动方向(正向或负向)的信息。
接着，显示控制部14使获取的动作轴和移动方向显示在显示部11中(步骤S5)。显示控制部14在工具101的前端位置或者工作台102上叠加动作轴和移动方向并显示在显示部11中。如图6所示，显示控制部14例如以动作轴作为X轴，以移动方向作为正向，在拍摄图像中包含的工作台102的位置上叠加工作台102进行动作这一情况并显示在显示部11中。再者，如图7所示，显示控制部14例如以动作轴作为Z轴，以移动方向作为正向，在拍摄图像中包含的工具101的前端的位置上叠加工具101的前端进行动作这一情况并显示在显示部11中。显示部控制部14例如也可以将在显示部11中叠加而成的图像作为立体图像显示。
然后，判断接下来是否存在使用了脉冲发生器的移动(步骤S6)。当接下来存在使用了脉冲发生器的移动时(步骤S6：是)，处理返回步骤S4。另一方面，当不存在使用了脉冲发生器的移动时(步骤S6：否)，处理进入步骤S7。
在步骤S7中，手动动作识别部18判断从手动动作向自动动作的动作模式的切换。当执行了切换时(步骤S7：是)，处理进入图5的步骤S11。另一方面，当没有执行切换时(步骤S7：否)，本流程结束。
(自动控制)
如图5所示，获取个数限制部15限制从数值控制装置200获取的程序块的个数(步骤S11)。接着，程序块获取部12从数值控制装置200获取被限制的个数的程序块(步骤S12)。
轨迹确定部13根据所获取的程序块，确定工具101的前端在工件坐标系中的相对轨迹和移动方向(步骤S13)。另外，轨迹确定部13确定正在执行中的程序块和工具101的位置。如图3所示，显示控制部14使所确定的轨迹和移动方向作为立体图像显示在显示部11中(步骤S14)。另外，显示控制部14使所确定的正在执行中的程序块和工具101的位置显示在显示部11中。
接着，判断是否存在下一程序块(步骤S15)。当存在下一程序块时(步骤S15：是)，处理返回步骤S11。另一方面，当不存在下一程序块时(步骤S15：否)，本流程中的处理结束。
下面，对本实施方式所涉及的显示程序进行说明。
关于增强现实眼镜装置1中包含的各构成，可以分别由硬件、软件或它们的组合实现。这里，由软件实现是通过计算机读入并执行显示程序来实现。
关于显示程序，可以使用各种类型的非暂时性计算机可读介质(non-transitorycomputer readable medium)进行存储，并提供给计算机。非暂时性计算机可读介质包括各种类型的有形记录介质(tangible storage medium)。非暂时性计算机可读介质的示例包括：磁记录介质(例如软盘、磁带、硬盘驱动器)、磁光记录介质(例如磁光盘)、CD-ROM(ReadOnly Memory；只读存储器)、CD-R、CD-R/W、半导体存储器(例如掩码ROM、PROM(Programmable ROM；可编程ROM)、EPROM(Erasable PROM；可擦除PROM)、闪存ROM、RAM(random access memory；随机存取存储器))。另外，关于显示程序，也可以通过各种类型的暂时性计算机可读介质(transitory computer readable medium)提供给计算机。暂时性计算机可读介质的示例包括：电信号、光信号、以及电磁波。暂时性计算机可读介质可以经由电线和光纤等有线通信路径或者无线通信路径将显示程序提供给计算机。
根据以上的第1实施方式所涉及的增强现实眼镜装置1和显示程序，获得了以下的效果。
(1)一种增强现实眼镜装置1，具有透过型的显示部11，能将使用了工具101的机床100的工具101的轨迹显示在显示部11中，该增强现实眼镜装置1具备：程序块获取部12，其获取用于使工具101进行移动动作的程序块；轨迹确定部13，其基于获取的在时间序列上连续的多个程序块，确定工具101在工件坐标系中的轨迹和移动方向；以及显示控制部14，其将所确定的工具101的轨迹和移动方向立体地显示在显示部11中。由此，戴上增强现实眼镜装置的作业员H能够掌握作为立体图像(3D图像)的工具101的轨迹和移动方向。因此，能够使作业员H直观地掌握工具101的前端的相对轨迹和移动方向。
(2)显示控制部14将工具101的轨迹和移动方向与坐标轴一起显示在显示部11中。由此，能够以与坐标轴比较的方式来显示从作业员H的位置观察工件坐标系时工具101的前端的移动方向。因此，能够使作业员H直观地掌握工具101的前端的相对轨迹和移动方向。
(3)增强现实眼镜装置1还具备：获取个数限制部15，其基于获取的程序块的个数的指定或者基于通过执行程序块而移动的工具101的移动距离来限制由程序块获取部12获取的程序块的个数。由此，能够限制由增强现实眼镜装置1保持的程序块的信息量。因此，能够节约增强现实眼镜装置1中使用的存储器容量。
(4)增强现实眼镜装置1还具备：拍摄部16，其能拍摄透过显示部11且包含工具101的图像来作为拍摄图像；以及位置识别部17，其识别拍摄图像中包含的工具101的前端的位置，显示控制部14在拍摄图像中包含的工具101的前端的位置上叠加工具101的轨迹和移动方向并显示在显示部11中。由于能够在实际的工具101的前端的位置上叠加工具101的轨迹和移动方向并进行显示，因此能够提供更加直观且容易掌握工具101的前端的轨迹和移动方向的装置。另外，当无法从外部视觉识别机床100的工具101的前端位置时，用工件坐标系表示工具101的轨迹和移动方向。另一方面，当能够从外部视觉识别机床100的工具101的前端位置时，将工具101的轨迹和移动方向表示为实际的工具101的轨迹。由此，增强现实眼镜装置1是即使在无法视觉识别工具101的前端位置的情况下也能显示工具101的轨迹和移动方向的装置。而且，增强现实眼镜装置1是在能够视觉识别工具101的前端位置的情况下，通过在工具101的前端的位置上叠加轨迹和移动方向，能够实现更加直观的显示的装置。
(5)拍摄部16拍摄包含工作台102的拍摄图像，位置识别部17识别工作台102的位置，轨迹确定部13基于在时间序列上连续的多个程序块和工作台102的位置来确定工作台102在工件坐标系中的轨迹和移动方向，显示控制部14在拍摄图像16中包含的工作台102的位置上叠加工作台102的轨迹和移动方向并显示在显示部11中。由此，能够分别地显示工具101的前端及工作台102的轨迹和移动方向，因此能够使作业员H直观地掌握实际的机械动作。
(6)增强现实眼镜装置1还具备：手动动作识别部18，其识别机床100从自动动作向手动动作的切换；以及移动方向获取部19，当识别到向手动动作的切换时，该移动方向获取部19对工具101和工作台102中的至少一方，获取通过手动而指定的移动方向，显示控制部14在工具101和工作台102中的至少一方上叠加所获取的移动方向并进行显示。由此，能够在能视觉识别实际的工具101的前端的手动控制状态和加工动作中的自动控制状态下转换显示形态，因此能够提供对用户更友好的装置。
(7)一种显示程序，其使计算机作为增强现实眼镜装置1而发挥作用，该增强现实眼镜装置1具有透过型的显示部11，能将机床100中的工具101的轨迹显示在显示部11中，该显示程序使计算机作为下述部件而发挥作用：程序块获取部12，其获取使工具101进行移动动作的程序块；轨迹确定部13，其基于在时间序列上连续的多个程序块，确定工具101在工件坐标系中的轨迹和移动方向；以及显示控制部14，其将所确定的工具101的轨迹和移动方向立体地显示在显示部11中。由此，戴上增强现实眼镜装置的作业员H能够掌握作为立体图像(3D图像)的工具101的轨迹和移动方向。因此，能够使作业员H直观地掌握工具101的前端的相对轨迹和移动方向。
(第2实施方式)
下面，参照图8至图10对第2实施方式所涉及的增强现实眼镜装置1以及显示程序进行说明。
如图8所示，第2实施方式所涉及的增强现实眼镜装置1以及显示程序还具备获取机床100中有无使用切削液来作为使用信息的使用信息获取部20，在这一点上与第1实施方式不同。另外，在第2实施方式所涉及的增强现实眼镜装置1以及显示程序中，当通过使用信息表示为不使用切削液时，显示控制部14在拍摄图像中包含的工具101的前端的位置上叠加工具101的轨迹和移动方向并显示在显示部11中，在这一点上与第1实施方式不同。
关于使用信息获取部20，例如通过CPU进行动作来实现。使用信息获取部20获取机床100中有无使用切削液来作为使用信息。即，使用信息获取部20获取工具101的前端是否因使用切削液而隐藏来为使用信息。
下面，参照图9对本实施方式所涉及的增强现实眼镜装置1的动作进行说明。此外，本流程构成为图5的步骤S14的子例程。
如图9所示，使用信息获取部20从数值控制装置200获取使用信息(步骤S21)。接着，判断是否不使用切削液(步骤S22)。当不使用切削液时(步骤S22：是)，处理进入步骤S23。另一方面，当为正在使用切削液时(步骤S22：否)，如图3所示，显示控制部14例如使左右一对显示部11分别显示表示工具101的前端在工件坐标系中的轨迹和移动方向的立体图像(步骤S24)。由此，本流程结束。
在步骤S23中，显示控制部14在拍摄图像中包含的实际的工具101的前端的位置上叠加工具101的前端的轨迹和移动方向并显示在显示部11中。如图10所示，显示控制部14例如将工具101的移动和工作台102的移动分别显示在显示部11中。由此，本流程结束。
根据以上的第2实施方式所涉及的增强现实眼镜装置1和显示程序，获得了以下的效果。
(8)增强现实眼镜装置1还具备：使用信息获取部20，其获取机床100中有无使用切削液来作为使用信息，当使用信息表示不使用切削液时，显示控制部14在拍摄图像中包含的工具101的前端的位置上叠加工具101的轨迹和移动方向并显示在显示部11中。由此，在调试中等不需要切削液的情况下，可以在实际的工具101的前端的位置上表示出工具101的前端在工件坐标系中的位置的相对轨迹和移动方向。因此，能够更加直观地对作业员H表示出工具101的轨迹和移动方向。
以上，关于本发明的增强现实眼镜装置以及显示程序的优选的各实施方式进行了说明，但本发明并不局限于上述实施方式，可以适当地进行变更。
例如，在上述实施方式中，可以通过变更显示部11相对于工具101的前端位置的角度，根据角度的变化来变更轨迹的角度。例如，增强现实眼镜装置1还可以具备位移获取部(未图示)，该位移获取部用于获取角度相对于工具101的实际位置的位移。显示控制部14根据由位移获取部获取的角度的位移来变更显示在显示部11中的工件坐标系的角度。例如，显示控制部14可以根据如图11所示那样的XYZ轴固定的图像来变更如图12所示那样的显示在显示部11中的工具101的前端的轨迹和移动方向的角度并进行显示。另外，显示控制部14可以从输入部(未图示)接收成为角度位移基准的位置的输入，并根据基于从基准位置的位移来变更显示。显示控制部14例如可以将从预定角度绘制的轨迹和移动方向作为基准位置接收输入，并且绘制根据从基准位置的位移而变更了角度的轨迹和移动方向。
另外，在上述第2实施方式中，设定为通过使用信息获取部20获取使用信息来判断有无使用切削液，但并不局限于此。例如，也可以根据位置识别部17是否能识别由拍摄部16拍摄的拍摄图像中包含的工具101的前端的位置的图像(标记)来判断有无使用切削液。当位置识别部17能识别工具101的前端的位置的图像(标记)时，显示控制部14可以使工具101的前端的移动方向和实际的工具101的前端的位置叠加。另外，显示控制部14可以使工作台102的移动方向和实际的工作台102的位置进行叠加。
另外，在上述实施方式中，显示控制部14还可以使各轴的坐标显示在显示部11中。另外，显示控制部14还可以使通过执行正在执行中的程序块之后的程序块得到的工具101的移动距离(剩余移动距离)显示。该情况下，获取个数限制部15可以算出通过执行数值控制装置200中设定的程序块中剩余的程序块而移动的工具101的移动距离。
另外，在上述实施方式中，设定为：获取个数限制部15基于程序块的个数的指定或者基于通过执行程序块而移动的工具101的移动距离来限制获取的程序块的个数，但并不局限于此。获取个数限制部15例如也可以基于增强现实眼镜装置1所具备的存储器的容量、预先通过手动输入而指定的程序块的个数来限制要获取的程序块的个数。
另外，在上述实施方式中，设定为：程序块获取部12获取工具101在工件坐标系中的位置的信息，但并不局限于此。程序块获取部12例如也可以仅针对具有比预定长的程序块长度的程序块，获取工具101的位置的信息。该情况下，轨迹确定部13可以仅确定正在执行中的程序块来代替工具101的位置。
另外，在上述实施方式中，设定为：轨迹确定部13根据所获取的表示工具在工件坐标系中的位置的信息和用于确定正在执行中的程序块的信息来确定正在执行中的程序块以及工具的位置，但并不局限于此。例如，轨迹确定部13也可以对从数值控制装置200向程序块获取部12的通信延迟的发生进行判断，从而确定工具的位置。该情况下，轨迹确定部13可以基于表示工具101的位置的信息和考虑了延迟量而算出的工具101的偏离量来确定工具101的位置。
另外，在上述实施方式中，当数值控制装置200和增强现实眼镜装置1之间的通信速度存在限制时，程序块获取部12可以不获取表示工具101的位置的信息。该情况下，轨迹确定部13可以不确定工具101的位置。显示控制部14可以通过使正在执行中的程序块高亮显示在显示部11中，而使存在工具101的轨迹作为工具101的位置显示在显示部11中。

Claims (8)

1.一种增强现实眼镜装置，具有透过型的显示部，能将机床中的工具的轨迹显示在上述显示部中，其特征在于，
该增强现实眼镜装置具备：
程序块获取部，其获取用于使上述工具进行移动动作的程序块；
轨迹确定部，其基于获取的在时间序列上连续的多个上述程序块，确定上述工具在工件坐标系中的轨迹和移动方向；以及
显示控制部，其使所确定的上述工具的轨迹和移动方向立体地显示在上述显示部中。
2.根据权利要求1所述的增强现实眼镜装置，其特征在于，
上述显示控制部将上述工具的轨迹和移动方向与坐标轴一起显示在上述显示部中。
3.根据权利要求1或2所述的增强现实眼镜装置，其特征在于，
该增强现实眼镜装置还具备：获取个数限制部，其基于上述获取的程序块的个数的指定或者基于通过执行上述程序块而移动的上述工具的移动距离来限制由上述程序块获取部获取的上述程序块的个数。
4.根据权利要求1至3中任一项所述的增强现实眼镜装置，其特征在于，
该增强现实眼镜装置还具备：
拍摄部，其能拍摄透过上述显示部且包含上述工具的图像来作为拍摄图像；以及
位置识别部，其识别上述拍摄图像中包含的上述工具的前端的位置，
上述显示控制部在上述拍摄图像中包含的上述工具的前端的位置上叠加上述工具的轨迹和移动方向并显示在上述显示部中。
5.根据权利要求4所述的增强现实眼镜装置，其特征在于，
上述拍摄部拍摄包含上述机床的工件设置用的工作台的拍摄图像，
上述位置识别部识别上述工作台的位置，
上述轨迹确定部基于在时间序列上连续的多个上述程序块和上述工作台的位置来确定上述工作台在上述工件坐标系中的轨迹和移动方向，
上述显示控制部在上述拍摄图像中包含的上述工作台的位置上叠加上述工作台的轨迹和移动方向并显示在上述显示部中。
6.根据权利要求5所述的增强现实眼镜装置，其特征在于，
该增强现实眼镜装置还具备：使用信息获取部，其获取上述机床中有无使用切削液来作为使用信息，
当使用信息表示不使用切削液时，上述显示控制部在上述拍摄图像中包含的上述工具的前端的位置上叠加上述工具的轨迹和移动方向并显示在上述显示部中。
7.根据权利要求5或6所述的增强现实眼镜装置，其特征在于，
该增强现实眼镜装置还具备：
手动动作识别部，其识别上述机床从自动动作向手动动作的切换；以及
移动方向获取部，当识别到向上述手动动作的切换时，该移动方向获取部针对上述工具和上述工作台中的至少一个获取通过手动指定的移动方向，
上述显示控制部在上述工具和上述工作台中的至少一个上叠加所获取的移动方向并进行显示。
8.一种记录有显示程序的非暂时性记录介质，该显示程序使计算机作为增强现实眼镜装置而发挥作用，该增强现实眼镜装置具有透过型的显示部且能将机床中的工具轨迹显示在上述显示部中，
上述非暂时性记录介质的特征在于，
上述显示程序使上述计算机作为下述部件而发挥作用：
程序块获取部，其获取使上述工具进行移动动作的程序块；
轨迹确定部，其基于在时间序列上连续的多个上述程序块，确定上述工具在工件坐标系中的轨迹和移动方向；以及
显示控制部，其使所确定的上述工具的轨迹和移动方向立体地显示在上述显示部中。
CN202010669141.8A 2019-07-18 2020-07-13 增强现实眼镜装置以及显示程序 Pending CN112242006A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-133094 2019-07-18
JP2019133094A JP7260428B2 (ja) 2019-07-18 2019-07-18 拡張現実グラス装置及び表示プログラム

Publications (1)

Publication Number Publication Date
CN112242006A true CN112242006A (zh) 2021-01-19

Family

ID=74093919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010669141.8A Pending CN112242006A (zh) 2019-07-18 2020-07-13 增强现实眼镜装置以及显示程序

Country Status (4)

Country Link
US (1) US11722651B2 (zh)
JP (1) JP7260428B2 (zh)
CN (1) CN112242006A (zh)
DE (1) DE102020003992A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12036663B2 (en) * 2019-03-25 2024-07-16 Abb Schweiz Ag Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
JP7359633B2 (ja) * 2019-10-17 2023-10-11 ファナック株式会社 ロボットシステム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
US20040233194A1 (en) * 2003-05-19 2004-11-25 Raytheon Company Automated translation of high order complex geometry from a CAD model into a surface based combinatorial geometry format
US20050194535A1 (en) * 2004-03-08 2005-09-08 Ebara Corporation Sample surface inspection method and inspection system
US20120257276A1 (en) * 2011-04-11 2012-10-11 Fanuc Corporation Tool path display apparatus for machine tool
CN104057453A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人装置以及被加工物的制造方法
US20160314623A1 (en) * 2015-04-24 2016-10-27 Jpw Industries Inc. Wearable display for use with tool
CN106537909A (zh) * 2014-07-17 2017-03-22 索尼互动娱乐股份有限公司 立体图像呈现装置、立体图像呈现方法和头戴式显示器
CN108057946A (zh) * 2016-11-07 2018-05-22 林肯环球股份有限公司 用于校准焊工训练机的系统和方法
CN108153240A (zh) * 2016-12-06 2018-06-12 发那科株式会社 增强现实模拟装置以及计算机可读介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7733339B2 (en) * 2004-05-04 2010-06-08 Raytheon Company System and method for partitioning CAD models of parts into simpler sub-parts for analysis of physical characteristics of the parts
JP5399824B2 (ja) 2008-09-05 2014-01-29 株式会社森精機製作所 加工状況監視方法及び加工状況監視装置
JP5819812B2 (ja) * 2012-12-25 2015-11-24 ファナック株式会社 工作機械の負荷表示装置
JP6376558B2 (ja) 2013-09-13 2018-08-22 株式会社ソディック 加工データ演算装置および加工データ演算プログラム
JP6670161B2 (ja) * 2016-04-27 2020-03-18 株式会社キーエンス 光学式三次元座標測定器及びその計測方法
JP6385627B1 (ja) 2017-11-07 2018-09-05 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP6717875B2 (ja) * 2018-04-26 2020-07-08 ファナック株式会社 数値制御装置
US10715784B2 (en) * 2018-08-24 2020-07-14 Verizon Patent And Licensing Inc. Methods and systems for preserving precision in compressed depth data representative of a scene
US11195271B2 (en) * 2019-05-20 2021-12-07 Macuject Pty Ltd. Confidence-based method and system for analyzing images of a retina

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
US20040233194A1 (en) * 2003-05-19 2004-11-25 Raytheon Company Automated translation of high order complex geometry from a CAD model into a surface based combinatorial geometry format
US20050194535A1 (en) * 2004-03-08 2005-09-08 Ebara Corporation Sample surface inspection method and inspection system
US20120257276A1 (en) * 2011-04-11 2012-10-11 Fanuc Corporation Tool path display apparatus for machine tool
CN102736555A (zh) * 2011-04-11 2012-10-17 发那科株式会社 机床的刀具轨迹显示装置
CN104057453A (zh) * 2013-03-18 2014-09-24 株式会社安川电机 机器人装置以及被加工物的制造方法
CN106537909A (zh) * 2014-07-17 2017-03-22 索尼互动娱乐股份有限公司 立体图像呈现装置、立体图像呈现方法和头戴式显示器
US20160314623A1 (en) * 2015-04-24 2016-10-27 Jpw Industries Inc. Wearable display for use with tool
CN108057946A (zh) * 2016-11-07 2018-05-22 林肯环球股份有限公司 用于校准焊工训练机的系统和方法
CN108153240A (zh) * 2016-12-06 2018-06-12 发那科株式会社 增强现实模拟装置以及计算机可读介质

Also Published As

Publication number Publication date
US20210021797A1 (en) 2021-01-21
JP7260428B2 (ja) 2023-04-18
JP2021018544A (ja) 2021-02-15
US11722651B2 (en) 2023-08-08
DE102020003992A1 (de) 2021-01-21

Similar Documents

Publication Publication Date Title
US10481590B2 (en) Control system of machine tool
US10152044B2 (en) Control device for machine tool
US8180477B2 (en) Machining status monitoring method and machining status monitoring apparatus
US9409272B2 (en) Tool path display apparatus for machine tool
CN112242006A (zh) 增强现实眼镜装置以及显示程序
JP2016093872A (ja) 工作機械の工具補正値の自動設定装置及び自動設定方法
JP2012032224A (ja) 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
US20150091898A1 (en) Display Apparatus
US20200230771A1 (en) On-machine measuring method and control device of machine tool
JPH0852638A (ja) 干渉チェック方法および加工プログラムチェック方法および加工適否チェック方法
CN109862989B (zh) 激光焊接时的基于图像的技术选择
JP7221792B2 (ja) 測定プログラム選択補助装置および測定制御装置
JP6538345B2 (ja) 工作機械のワーク計測装置
JP6709210B2 (ja) 工作機械
CN111103002A (zh) 测量数据收集装置、测量数据收集方法和存储介质
CN111522299B (zh) 机械控制装置
JP2020086759A (ja) ３次元モデル作成装置、加工シミュレーション装置、工具経路自動生成装置
CN116847958A (zh) 用于调整用于处理工件的机器人路径的方法和装置
WO2017038401A1 (ja) ワイヤハーネス製造装置、ワイヤハーネス製造方法及び被加工電線位置特定方法
CN109491327B (zh) 三维模型制作装置
WO2020065854A1 (ja) ワーク位置検出方法及び工作機械
KR20130103597A (ko) 공구 충돌방지 시스템 및 공구 충돌방지 방법
US11698434B2 (en) Machine control device
US20230386066A1 (en) Image processing device and machine tool
US20240082976A1 (en) Apparatus for measuring a tool or a complete tool, tool, processing center and method for compiling a digital image of a tool or a complete tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination