CN111752221B - 控制系统 - Google Patents

控制系统 Download PDF

Info

Publication number
CN111752221B
CN111752221B CN202010214514.2A CN202010214514A CN111752221B CN 111752221 B CN111752221 B CN 111752221B CN 202010214514 A CN202010214514 A CN 202010214514A CN 111752221 B CN111752221 B CN 111752221B
Authority
CN
China
Prior art keywords
screen
unit
glasses
display
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010214514.2A
Other languages
English (en)
Other versions
CN111752221A (zh
Inventor
三好高史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111752221A publication Critical patent/CN111752221A/zh
Application granted granted Critical
Publication of CN111752221B publication Critical patent/CN111752221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G05B19/4142—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by the use of a microprocessor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4063—Monitoring general control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35482—Eyephone, head-mounted 2-D or 3-D display, also voice and other control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35503—Eye tracking associated with head mounted display to detect eye position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)
  • General Factory Administration (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供能够变更对多个数值控制装置分别组合的眼镜型显示装置的显示的控制系统。控制系统(1)控制工业机器(100)，控制装置(10)分别具备：画面生成部(16)，其生成显示于控制装置显示部(11)的控制装置用画面(A)，并且根据控制装置用画面(A)的内部状态的变化来生成显示于眼镜型显示装置(30)的眼镜用画面(B)，眼镜型显示装置(30)具备：透射型眼镜用显示部(32)，其与佩戴者的眼睛的位置对应地配置，能够显示所生成的眼镜用画面(B)；眼镜侧收发部(31)，其取得用于确定连接中的控制装置(10)的确定信息；以及显示控制部(33)，其使眼镜用显示部(32)显示眼镜用画面(B)和确定信息。

Description

控制系统
技术领域
本发明涉及控制工业机器的控制系统。
背景技术
目前，已知包括组装了用于实施加工处理的数值控制装置(CNC computerizednumerical control计算机数控)的工业用机器人和机床的工业机器。工业机器通过数值控制装置来控制动作。有时将工业机器的动作状态、设定状况等状态信息从数值控制装置输出给外部。例如，状态信息有时被显示在配置于数值控制装置的显示部。
但是，显示部所显示的状态信息中有时包括不想使相关人员(管理人员)以外的人员看到的信息(机密信息)。因此，已知一种访问管理方法，预先认证是否是相关人员，并且只有在得到认证的情况下在显示部显示机密信息。另外，作为其他方法，已知以下方法：使数值控制装置的显示部不显示机密信息，而将机密信息从数值控制装置输出给配置在远离数值控制装置的设置场所的位置上的外部终端。
但是，在访问管理方法中，在显示部显示机密信息这点没有改变。因此，有可能会被相关人员以外的周围的人看到。对此，在将机密信息输出给外部终端的方法中，机密信息被周围的人看到的可能性变低。另一方面，相关人员不能够一边看机密信息一边操作数值控制装置。因此，一边确认机密信息一边操作数值控制装置需要花费时间。因此，提出了一种系统(例如参照专利文献1以及2)，不被周围的人看到而能够在数值控制装置的设置位置确认机密信息。
专利文献
专利文献1：日本特开2014-219448号公报
发明内容
在专利文献1中，使用平板终端、头戴式显示装置(眼镜型显示装置)。平板终端中显示非机密信息(不是机密信息的信息)。头戴式显示装置显示机密信息。使用头戴式装置阅览平板终端的画面，从而成为非机密信息以及机密信息重叠的状态。即，使平板终端中显示的非机密信息与头戴式显示器中显示的机密信息双方重叠。这样，能够重叠非机密信息与机密信息两者的影像进行阅览。因此能够不被周围的人看到而在平板终端的位置确认机密信息。
例如在适用于配置在工厂的多个数值控制装置的情况下，按照每个数值控制装置进行控制的工业机器(机种)不同。另外，相同时刻的工业机器的状态也不同。因此如果能够针对多个数值控制装置的每一个变更被组合的眼镜型显示装置的显示则是适宜的。该内容也适用于数值控制装置以外的控制装置。
(1)本公开的一个方式为控制系统，具备分别具有控制装置用显示部的多个控制装置、与多个上述控制装置的任意一个组合而连接的眼镜型显示装置，控制系统控制工业机器，上述控制装置分别具备：画面生成部，其生成显示于上述控制装置用显示部的控制装置用画面，并且根据上述控制装置用画面的内部状态的变化来生成显示于上述眼镜型显示装置的眼镜用画面，上述眼镜型显示装置具备：透射型眼镜用显示部，其与佩戴者的眼睛的位置对应地配置，能够显示所生成的上述眼镜用画面；眼镜侧收发部，其取得用于确定连接中的上述控制装置的确定信息；以及显示控制部，其使上述眼镜用显示部显示上述眼镜用画面和上述确定信息。
根据一个实施方式，能够提供一种能够针对多个控制装置的每一个变更所组合的眼镜型显示装置的显示的控制工业机器的控制系统。
附图说明
图1是表示一个实施方式的数值控制系统的多个数值控制装置与眼镜型显示装置之间的关系的概略图。
图2是表示一个实施方式的数值控制系统的控制装置用显示部的概略图。
图3是表示一个实施方式的数值控制系统的数值控制装置的框图。
图4是表示一个实施方式的数值控制系统的控制装置用画面的画面图。
图5是表示一个实施方式的与数值控制系统的控制装置用画面重叠的眼镜用画面的画面图。
图6是表示一个实施方式的数值控制系统的眼镜型显示装置的概略主视图。
图7是表示一个实施方式的数值控制系统的眼镜型显示装置的框图。
图8是表示一个实施方式的数值控制系统的状态迁移的状态迁移图。
图9是表示一个实施方式的与数值控制系统的控制装置用画面重叠的眼镜用画面的画面图。
附图标记说明
1：数值控制系统(控制系统)、10：数值控制装置(控制装置)、11：控制装置用显示部、16：画面生成部、17：输入部、18：标识部、30：眼镜型显示装置、31：眼镜侧收发部、32：眼镜用显示部、33：显示控制部、34：摄像部、100：工业机器、A：控制装置用画面、B：眼镜用画面。
具体实施方式
以下，参照图1到图9说明本公开一个实施方式的数值控制系统1。一个实施方式的数值控制系统1是本发明控制系统的一例，数值控制装置10是本发明的控制系统所具备的控制装置的一例。
本实施方式的数值控制系统1被提供给设置了多个工业机器100的工厂内。多个工业机器100中分别组装了数值控制装置10。如图1以及图2所示，多个数值控制系统1分别具备具有控制装置用显示部11的多个数值控制装置10、与多个数值控制装置10的任意一个组合而连接的眼镜型显示装置30。
工业机器包括机床、工业用机器人、其他机器(包括服务用机器人、锻造机、注射成型机等各种机器)。
多个数值控制装置10分别是控制组装目的地的工业机器100的动作的装置。多个数值控制装置10分别例如在工厂内被搭载到组装目的地的工业机器100上。如图2以及图3所示，多个数值控制装置10分别具备控制装置侧收发部12、非机密信息存储部13、机密信息存储部14、状况信息取得部15、画面生成部16、控制装置用显示部11、输入部17、标识部18、确定信息存储部19以及连接部20。
控制装置侧收发部12例如是通信用设备。控制装置侧收发部12能够与所组合的眼镜型显示装置30之间建立会话(session)而构成。另外，控制装置侧收发部12在与所组合的眼镜型显示装置30之间收发数据。
非机密信息存储部13例如是硬盘等二次存储介质。非机密信息存储部13例如存储谁都可以阅览的信息即非机密信息。即，非机密信息存储部13存储能够显示在控制装置用显示部11中的非机密信息。
机密信息存储部14例如是硬盘等二次存储介质。机密信息存储部14例如存储只有相关人员(管理人员)能够阅览的信息即机密信息。即，机密信息存储部14存储只有眼镜型显示装置30能够显示的机密信息。在本实施方式中，机密信息存储部14存储与非机密信息存储部13中存储的非机密信息关联的机密信息。即，机密信息存储部14存储与非机密信息存储部13中存储的非机密信息对应的机密信息。
状况信息取得部15例如通过CPU进行动作来实现。状况信息取得部15取得例如组装目的地的工业机器100的动作状态(可否操作)。另外，状况信息取得部15例如关于工业机器100，取得表示进行中的加工状况的加工状态、表示是否是动作中的动作状态、进行怎样的操作、是否调用用于设定数值的设定画面、是否发生故障产生等作为状况信息。
画面生成部16例如通过CPU进行动作来实现。画面生成部16例如生成图4所示的显示于控制装置用显示部11的控制装置用画面A，并且根据数值控制装置10的内部状态的变化来生成图5所示的显示于眼镜型显示装置30的眼镜用画面B。这里，“数值控制装置10的内部状态的变化”例如包括错误状态和动作状况的变化等。画面生成部16例如根据通过状况信息取得部15取得的状况信息来生成控制装置用画面A。具体地说，画面生成部16根据所取得的状况信息从非机密信息存储部13读出所对应的非机密信息。画面生成部16从非机密信息生成控制装置用画面A。画面生成部16例如显示与数值控制装置10的状态无关的虚拟(dummy)画面作为控制装置用画面A。并且，画面生成部16在所取得的状况信息发生变化时，根据变化后的状况信息来生成控制装置用画面A。
画面生成部16例如根据所取得的状况信息来生成眼镜型显示装置30中显示的眼镜用画面B。具体地说，画面生成部16根据所取得的状况信息，从机密信息存储部14读出所对应的机密信息。画面生成部16根据机密信息生成眼镜用画面B。另外，如果控制装置用画面A发生变化，则画面生成部16从机密信息存储部14取得与用于变化后的控制装置用画面A的非机密信息对应的机密信息。画面生成部16使用所取得的机密信息来生成眼镜用画面B。在本实施方式中，画面生成部16例如根据变化后的状态信息、变化后的控制装置用画面A来生成眼镜用画面B。具体地说，画面生成部16使用与用于发生变化的控制装置用画面A的非机密信息对应的多个机密信息中根据所取得的状态信息选择出的机密信息来生成眼镜用画面B。画面生成部16例如生成虚拟画面作为控制装置用画面A，并且生成用于操作数值控制装置10的画面作为眼镜用画面B。另外，画面生成部16根据数值控制装置10的状态信息来生成包括可否操作数值控制装置10的眼镜用画面B。另外，当有对后述的输入部17的输入时，画面生成部16生成反映了输入的控制装置用画面A以及眼镜用画面B。
另外，眼镜用画面B的生成不是由画面生成部16进行，而有时由显示控制部33来进行。画面生成部16输出眼镜用画面B的生成所必要的信息。这样，关于存储在数值控制装置10中的软件，即使没有根据眼镜型显示装置30变更(更新)，也能够使眼镜型显示装置30显示希望的画面(眼镜用画面B)。即，变更(更新)存储在眼镜型显示装置30中的软件，由此能够显示希望的画面(眼镜用画面B)。这样，能够抑制赋予数值控制装置10的动作的影响，同时能够变更使眼镜型显示装置30显示的画面。
控制装置用显示部11例如是监视器等显示装置。控制装置用显示部11如图2所示，构成为能够显示通过画面生成部16生成的控制装置用画面A。
输入部17例如是键盘等输入装置。输入部17如图2所示，并列设置在控制装置用显示部11上。
标识部18例如是控制装置用显示部11中表示的标记。标识部18用于使眼镜型显示装置30确定数值控制装置10的控制装置用显示部11的位置。在本实施方式中，标识部18作为控制装置用显示部11中显示的标记而构成。标识部18例如被显示在控制装置用显示部11的角部的位置。
确定信息存储部19例如是硬盘等二次存储介质。确定信息存储部19存储确定信息，该确定信息包括配置了多个数值控制装置10的工厂的生产线的地图、识别数值控制装置10的识别信息、搭载了数值控制装置10的工业机器100的机种名中的至少一个。
另外，工厂的生产线的地图、识别数值控制装置10的识别信息、搭载了数值控制装置10的工业机器100的机种名中的至少一个有时会不存储在数值控制装置10中而存储在上位的服务器(未图示)中。
连接部20例如通过CPU进行动作来实现。连接部20与配置在工厂内的眼镜型显示装置30建立会话。连接部20例如对配置在工厂内的眼镜型显示装置30请求连接，由此与眼镜型显示装置30之间建立会话。另外，连接部20构成为从确定信息存储部19读出确定信息，并能够提供给眼镜型显示装置30。
如图6以及图7所示，眼镜型显示装置30是由管理数值控制装置10的相关人员(以下也称为佩戴人员)佩戴的眼镜型设备(也称为AR眼镜、AR头戴式耳机、AR面罩(ARVisor))。眼镜型显示装置30与多个数值控制装置10的任意一个组合而实现AR功能。眼镜型显示装置30例如与一个数值控制装置10对应地连接。眼镜型显示装置30具备眼镜侧收发部31、眼镜用显示部32、显示控制部33以及摄像部34。
眼镜侧收发部31例如是通信用模块。眼镜侧收发部31与建立了会话的数值控制装置10之间收发数据。另外，眼镜侧收发部31取得用于确定被组合且连接中的数值控制装置10的确定信息。
眼镜用显示部32与佩戴人员的眼睛的位置对应地配置，是能够显示所生成的眼镜用画面B的透射型透镜设备。眼镜用显示部32例如根据佩戴人员的眼睛而设置一对。眼镜用显示部32将要显示图像与透射的图像重叠地显示给佩戴人员。
摄像部34例如是透镜等图像取得装置。摄像部34拍摄与眼镜用显示部32的外表面相对的位置。
显示控制部33例如通过CPU进行动作来实现。另外，显示控制部33使眼镜用显示部32显示眼镜用画面B和确定信息。显示控制部33例如使眼镜用显示部32显示通过已建立会话的数值控制装置10生成的眼镜用画面B，并且显示与所显示的眼镜用画面B对应的数值控制装置10的机种的信息(确定信息)。另外，显示控制部33例如使眼镜用显示部32显示工厂的地图和识别地图中的数值控制装置10的信息。
另外，显示控制部33根据通过摄像部34拍摄到的图像中包括的标识部18的位置来识别控制装置用显示部11的位置。然后，显示控制部33将眼镜用画面B与控制装置用显示部11的显示区域重叠地显示在眼镜用显示部32。显示控制部33例如根据配置在控制装置用显示部11的4个角上的标识部18的位置来识别控制装置用显示部11的显示区域。显示控制部33将眼镜用画面B重叠显示在识别出的显示区域。即，显示控制部33在从眼镜用显示部32透射的图像中将眼镜用画面B重叠显示在控制装置用显示部11的显示区域。
显示控制部33在工业机器100产生了系统警报时，例如生成图4所示的罗列了数值的控制装置用画面A。除此之外，显示控制部33例如生成图5所示的表示了对应策略的眼镜用画面B。另外，显示控制部33在工业机器100的动作转移到下一个工序时，生成包括在动作中的工程中设定的值的眼镜用画面B。另外，显示控制部33将来自输入输入部17的输入作为触发，生成反映了输入结果的眼镜用画面B。
接着，使用图8说明数值控制系统1的动作。
首先，数值控制装置10对存在于工厂内的眼镜型显示装置30请求建立会话(步骤S1)。具体地说，连接部20对眼镜型显示装置30请求建立会话。眼镜型显示装置30接受请求而建立会话(步骤S2)。具体地说，显示控制部33接受请求而建立与数值控制装置10的会话。
接着，状况信息取得部15取得状况信息(步骤S3)。画面生成部16根据所取得的状况信息来取得非机密信息以及机密信息，生成控制装置用画面A和眼镜用画面B(步骤S4)。画面生成部16例如在产生了系统警报(故障)时，生成图4所示的控制装置用画面A和图5所示的眼镜用画面B。另外，画面生成部16例如在产生了系统警报(故障)时，生成包括图9所示的警报消息的控制装置用画面A和包括警报详细画面的眼镜用画面B。即，画面生成部16生成只显示警报消息的控制装置用画面A和表示与警报消息对应的详细的眼镜用画面B。
接着，画面生成部16将控制装置用画面A显示在控制装置用显示部11中。另外，画面生成部16将眼镜用画面B发送给眼镜型显示装置30(步骤S5)。另外，连接部20将确定信息发送给眼镜型显示装置30。
显示控制部33识别通过摄像部34拍摄到的图像中包括的标识部18(步骤S6)。显示控制部33根据所识别的标识部18的位置，将眼镜用画面B与控制装置用显示部11的显示区域重叠地显示在眼镜用显示部32上(步骤S7)。此时，显示控制部33将所取得的确定信息和眼镜用画面B一起显示在眼镜用显示部32。
接着，显示控制部33根据控制装置用画面A的变化来生成变化后的眼镜用画面B(步骤S8)。显示控制部33将所生成的眼镜用画面B发送给眼镜型显示装置30。显示控制部33使发送来的眼镜用画面B显示在眼镜用显示部32(步骤S9)。
在数值控制装置10接受了来自佩戴人员的输入时，输入部17接受来自佩戴人员的输入。画面生成部16生成反映了对输入部17的输入的控制装置用画面A以及眼镜用画面B。
根据以上实施方式的数值控制系统1，达到以下的效果。
(1)数值控制系统1具备分别具有控制装置用显示部11的多个数值控制装置10、与多个数值控制装置10的任意一个组合而连接的眼镜型显示装置30，数值控制装置10分别具备：画面生成部16，其生成显示于控制装置用显示部11的控制装置用画面A，并且根据数值控制装置10的内部状态的变化来生成显示于眼睛型显示装置30的眼镜用画面B，眼镜型显示装置30具备：透射型眼镜用显示部32，其与佩戴人员的眼睛的位置对应地配置，能够显示所生成的眼镜用画面B；眼镜侧收发部31，其取得用于确定连接中的数值控制装置10的确定信息；以及显示控制部33，其使眼镜用显示部32显示眼镜用画面B和确定信息。这样，能够使所确定的数值控制装置10和与该数值控制装置10对应的眼镜用画面B对应地显示。因此，能够根据多个数值控制装置10的每一个来变更眼镜型显示装置30的显示。
(2)眼镜侧收发部31能够取得包括配置了多个数值控制装置10的工厂的生产线的地图、识别数值控制装置10的识别信息、搭载了数值控制装置10的工业机器的机种名中的至少一个的确定信息。因此，能够容易地确定与眼镜用画面B对应的数值控制装置10。
(3)数值控制装置10的每一个还具备用于使眼镜型显示装置30确定控制装置用显示部11的位置的标识部18，眼镜型显示装置还具备拍摄与眼镜用显示部32的外表面相对的位置的摄像部34，显示控制部33根据通过摄像部34拍摄到的图像中包括的标识部18的位置来识别控制装置用显示部11的位置，并且将眼镜用画面B与控制装置用显示部11的显示区域重叠地显示在显示部32。这样，能够确认控制装置用画面A的显示，同时确认眼镜用画面B，所以能够更容易地管理数值控制装置10。
(4)画面生成部16根据数值控制装置10的状态来生成包括可否操作数值控制装置10的眼镜用画面B。这样，能够容易地判断是否需要对数值控制装置10的输入，能够抑制在不可操作状态下进行输入。
(5)画面生成部16生成虚拟画面作为控制装置用画面A，生成用于操作数值控制装置10的画面作为眼镜用画面B。这样，能够在控制装置用画面A显示即使被阅览也影响少的信息，同时能够使用眼镜用画面B进行适当的操作。
(6)画面生成部16生成用户通知故障产生的控制装置用画面A，并且生成包括针对故障的对应策略的眼镜用画面B。这样，即使产生故障也能够迅速地对应。
以上，说明了本公开的控制系统的一个优选实施方式，但是本公开不限于上述实施方式，能够适当变更。
例如，在上述实施方式中，输入部17可以被重叠地配置在控制装置用显示部11的画面上。例如，数值控制装置10分别具备重叠配置在控制装置用显示部11上的触摸式输入部17。
另外，在上述实施方式中，多个数值控制装置10分别向配置在工厂内的所有眼镜型显示装置30请求建立会话，但是不限于此，例如多个数值控制装置10可以分别向配置在工厂内的眼镜型显示装置30的一部分请求建立会话。即，可以按照每个眼镜型显示装置30预先设定能够接收眼镜用画面B的数值控制装置10。
另外，在上述实施方式中，标识部18可以包括在控制装置用画面A中。标识部18例如可以通过画面生成部16在控制装置用画面A的内部生成。
另外，在上述实施方式中，显示控制部33使用标识部18中包括的固有信息并显示在眼镜用显示部32中，但不限于此。例如，数值控制装置10的识别(眼镜型显示装置30中显示的眼镜用画面B的识别)可以根据数值控制装置10的位置和眼镜型显示装置30的位置来进行。
另外，在上述实施方式中，数值控制系统1还具备存在于多个数值控制装置和眼镜型显示装置30之间的服务器(未图示)。服务器可以存储从多个数值控制装置10分别发送来的眼镜用图像。另外，服务器可以管理数值控制装置10以及眼镜型显示装置30之间的会话。服务器例如可以将建立会话的数值控制装置10的眼镜用画面发送给眼镜型显示装置30。
控制装置可以是数值控制装置以外的控制装置。

Claims (6)

1.一种控制系统，具备分别具有控制装置用显示部的多个控制装置、与多个上述控制装置的任意一个组合而连接的眼镜型显示装置，控制工业机器，该控制系统的特征在于，
上述控制装置分别具备：
连接部，其构成为向上述眼镜型显示装置请求连接，由此与上述眼镜型显示装置之间建立会话并提供确定该控制装置的确定信息；
画面生成部，其生成显示于上述控制装置用显示部的控制装置用画面，并且根据上述控制装置的内部状态的变化来生成显示于上述眼镜型显示装置的眼镜用画面；以及
标识部，其用于使上述眼镜型显示装置确定上述控制装置用显示部的显示区域，
上述眼镜型显示装置具备：
透射型眼镜用显示部，其与佩戴者的眼睛的位置对应地配置，能够显示所生成的上述眼镜用画面；
摄像部，其拍摄与上述眼镜用显示部的外表面相对的位置；
眼镜侧收发部，其取得经由上述连接部而建立会话的上述控制装置的上述确定信息；
以及
显示控制部，其使上述眼镜用显示部显示上述眼镜用画面和上述确定信息，
上述显示控制部根据通过上述摄像部拍摄到的图像中包括的上述标识部的位置来识别上述控制装置用显示部的显示区域，并且将上述眼镜用画面与从上述眼镜用显示部透射的上述控制装置用显示部的控制装置用画面的显示区域重叠地显示在上述眼镜用显示部上。
2.根据权利要求1所述的控制系统，其特征在于，
上述眼镜侧收发部取得包括配置了多个上述控制装置的工厂的生产线的地图、识别上述控制装置的识别信息、搭载了上述控制装置的工业机器的机种名中的至少一个的上述确定信息。
3.根据权利要求1或2所述的控制系统，其特征在于，
上述画面生成部根据上述控制装置的状态来生成包括可否操作上述控制装置的上述眼镜用画面。
4.根据权利要求1或2所述的控制系统，其特征在于，
上述画面生成部生成虚拟画面作为上述控制装置用画面，生成用于操作上述控制装置的画面作为上述眼镜用画面。
5.根据权利要求1或2所述的控制系统，其特征在于，
上述控制装置的每一个还具备与上述控制装置用显示部重叠配置的触摸式输入部。
6.根据权利要求1或2所述的控制系统，其特征在于，
上述画面生成部生成通知故障产生的上述控制装置用画面，并且生成包括针对故障的对应策略的上述眼镜用画面。
CN202010214514.2A 2019-03-28 2020-03-24 控制系统 Active CN111752221B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019063999A JP6997129B2 (ja) 2019-03-28 2019-03-28 制御システム
JP2019-063999 2019-03-28

Publications (2)

Publication Number Publication Date
CN111752221A CN111752221A (zh) 2020-10-09
CN111752221B true CN111752221B (zh) 2024-02-20

Family

ID=72605770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010214514.2A Active CN111752221B (zh) 2019-03-28 2020-03-24 控制系统

Country Status (4)

Country Link
US (1) US11480940B2 (zh)
JP (1) JP6997129B2 (zh)
CN (1) CN111752221B (zh)
DE (1) DE102020001864A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419666B (zh) * 2020-10-19 2022-06-14 钱继华 一种基于升降控制的智能居住服务方法及其系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346336A (ja) * 1998-06-01 1999-12-14 Fuji Electric Co Ltd 眼鏡型ヘッドマウントディスプレイ
US6346929B1 (en) * 1994-04-22 2002-02-12 Canon Kabushiki Kaisha Display apparatus which detects an observer body part motion in correspondence to a displayed element used to input operation instructions to start a process
JP2012173476A (ja) * 2011-02-21 2012-09-10 Nec Casio Mobile Communications Ltd 表示システム、端末装置、端末装置の制御方法、および、プログラム
CN102809821A (zh) * 2011-06-01 2012-12-05 索尼公司 显示设备
CN103561254A (zh) * 2010-05-20 2014-02-05 夏普株式会社 显示方法
CN104345456A (zh) * 2013-08-02 2015-02-11 精工爱普生株式会社 显示装置、显示系统以及显示装置的控制方法
CN105009124A (zh) * 2013-02-06 2015-10-28 Hoya株式会社 仿真系统、仿真装置以及商品说明辅助方法
CN106331407A (zh) * 2015-06-30 2017-01-11 京瓷办公信息系统株式会社 操作系统
CN106384459A (zh) * 2016-09-23 2017-02-08 京东方科技集团股份有限公司 防偷窥显示装置及其工作方法
CN106808496A (zh) * 2015-11-25 2017-06-09 电装波动株式会社 机器人安全系统
CN107797531A (zh) * 2016-09-07 2018-03-13 发那科株式会社 用于识别机械的个体识别信息的服务器、方法
CN207781047U (zh) * 2017-11-06 2018-08-28 华北电力大学（保定） 基于vr技术的车工安全教学系统
JP2018151742A (ja) * 2017-03-10 2018-09-27 株式会社デンソーウェーブ 情報表示システム
CN108732756A (zh) * 2017-04-21 2018-11-02 发那科株式会社 工厂设备的维护辅助装置以及维护辅助系统
CN109074048A (zh) * 2016-04-26 2018-12-21 克朗斯股份公司 用于食品工业的机器的操作系统
CN109387943A (zh) * 2017-08-04 2019-02-26 株式会社迪思科 加工装置的信息传递机构

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9354447B2 (en) * 2010-01-18 2016-05-31 Intel Corporation Head mounted information systems and related methods
KR101677251B1 (ko) * 2010-04-13 2016-11-17 삼성전자주식회사 3ｄ 디스플레이 장치 및 그의 ｇｕｉ 설정 방법, 그리고 3ｄ 안경
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
KR102171444B1 (ko) * 2013-04-22 2020-10-29 엘지전자 주식회사 스마트 워치 및 제어 방법
JP2014219448A (ja) 2013-05-01 2014-11-20 コニカミノルタ株式会社 表示システム、表示方法、表示端末および表示プログラム
EP2996016B1 (en) * 2013-05-09 2020-02-12 Sony Interactive Entertainment Inc. Information processing device and application execution method
KR20150050825A (ko) * 2013-11-01 2015-05-11 삼성전자주식회사 보안 정보를 포함하는 컨텐츠의 표시 방법 및 시스템
KR102135365B1 (ko) * 2014-01-15 2020-07-17 엘지전자 주식회사 안경형 단말기 및 안경형 단말기와 사이니지를 포함하는 시스템
WO2016153628A2 (en) * 2015-02-25 2016-09-29 Brian Mullins Augmented reality content creation
US10338392B2 (en) * 2016-06-13 2019-07-02 Microsoft Technology Licensing, Llc Identification of augmented reality image display position

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6346929B1 (en) * 1994-04-22 2002-02-12 Canon Kabushiki Kaisha Display apparatus which detects an observer body part motion in correspondence to a displayed element used to input operation instructions to start a process
JPH11346336A (ja) * 1998-06-01 1999-12-14 Fuji Electric Co Ltd 眼鏡型ヘッドマウントディスプレイ
CN103561254A (zh) * 2010-05-20 2014-02-05 夏普株式会社 显示方法
JP2012173476A (ja) * 2011-02-21 2012-09-10 Nec Casio Mobile Communications Ltd 表示システム、端末装置、端末装置の制御方法、および、プログラム
CN102809821A (zh) * 2011-06-01 2012-12-05 索尼公司 显示设备
CN105009124A (zh) * 2013-02-06 2015-10-28 Hoya株式会社 仿真系统、仿真装置以及商品说明辅助方法
CN104345456A (zh) * 2013-08-02 2015-02-11 精工爱普生株式会社 显示装置、显示系统以及显示装置的控制方法
CN106331407A (zh) * 2015-06-30 2017-01-11 京瓷办公信息系统株式会社 操作系统
CN106808496A (zh) * 2015-11-25 2017-06-09 电装波动株式会社 机器人安全系统
CN109074048A (zh) * 2016-04-26 2018-12-21 克朗斯股份公司 用于食品工业的机器的操作系统
CN107797531A (zh) * 2016-09-07 2018-03-13 发那科株式会社 用于识别机械的个体识别信息的服务器、方法
CN106384459A (zh) * 2016-09-23 2017-02-08 京东方科技集团股份有限公司 防偷窥显示装置及其工作方法
JP2018151742A (ja) * 2017-03-10 2018-09-27 株式会社デンソーウェーブ 情報表示システム
CN108732756A (zh) * 2017-04-21 2018-11-02 发那科株式会社 工厂设备的维护辅助装置以及维护辅助系统
CN109387943A (zh) * 2017-08-04 2019-02-26 株式会社迪思科 加工装置的信息传递机构
CN207781047U (zh) * 2017-11-06 2018-08-28 华北电力大学（保定） 基于vr技术的车工安全教学系统

Also Published As

Publication number Publication date
JP2020166040A (ja) 2020-10-08
DE102020001864A1 (de) 2020-10-01
JP6997129B2 (ja) 2022-01-17
CN111752221A (zh) 2020-10-09
US11480940B2 (en) 2022-10-25
US20200310384A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US20210054601A1 (en) Method and device for maintaining and/or repairing a construction machine
US20160124501A1 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
US20200033560A1 (en) Electronic Device System With Supplemental Lenses
US10409268B2 (en) Field device management system
JP2013016020A (ja) 作業支援システム、装置、方法及びプログラム
US11785184B2 (en) Maintenance support system, maintenance support method, and program
WO2015060393A1 (ja) 遠隔行動誘導システム及びその処理方法
US20060020826A1 (en) Secure operation indicator
CN111913569A (zh) 呈现关于装置的视觉信息
KR102581421B1 (ko) 알림을 제공하기 위한 방법 및 이를 지원하는 전자 장치
CN111752221B (zh) 控制系统
JP2017182487A (ja) システム、情報処理装置、ヘッドマウント装置、及び方法
JP2007320715A (ja) 作業関連情報提供システム、及び作業関連情報提供方法
JP2023123557A (ja) ヘッドマウントディスプレイおよび画像表示システム
US20210302945A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
JP7245274B2 (ja) 保守対象装置の履歴管理システム、保守対象装置の履歴管理方法
JP2022088678A (ja) 遠隔保守支援方法
US10671037B2 (en) Machine maintenance using a machine controller and a service computer
JP2017175354A (ja) システム、情報処理装置、ヘッドマウント装置、及びプログラム
JP7094759B2 (ja) システム、情報処理方法及びプログラム
KR102601819B1 (ko) 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템
JP7333971B2 (ja) 機能実行システム
JP6841332B2 (ja) 作業支援装置、作業支援方法、プログラム
JP2020131361A (ja) 産業用機械の保守・診断システム
JPWO2020194777A1 (ja) 保守支援システム、保守支援方法、プログラム及び加工画像の生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant