CN115087948A - 工业机械的操作系统 - Google Patents
工业机械的操作系统 Download PDFInfo
- Publication number
- CN115087948A CN115087948A CN202180014890.XA CN202180014890A CN115087948A CN 115087948 A CN115087948 A CN 115087948A CN 202180014890 A CN202180014890 A CN 202180014890A CN 115087948 A CN115087948 A CN 115087948A
- Authority
- CN
- China
- Prior art keywords
- unit
- industrial machine
- user
- model
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims description 4
- 239000002131 composite material Substances 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003754 machining Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 238000003801 milling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manufacturing & Machinery (AREA)
- Numerical Control (AREA)
Abstract
提供一种利用复合现实使工业机械直观且安全地进行动作的工业机械的操作系统。工业机械的操作系统(1)具有：信息取得部(20)，其取得与工业机械(3)对应的机械确定信息；机械确定部(21)，其根据取得的机械确定信息来确定工业机械(3)；模型投影部(22)，其将与确定出的工业机械(3)对应的模型投影到虚拟空间中；距离方向计算部(23)，其计算观察所投影的模型的利用者相对于该模型的距离和方向；手势观测部(24)，其观测利用者的手势作为针对确定出的工业机械(3)的来自利用者的指示；指示判定部(28)，其根据计算出的利用者的距离和方向以及观测到的利用者的手势，判定能否进行利用者的指示；动作指示部(29)，其在判定结果为能够的情况下，根据观测到的利用者的手势，使确定出的工业机械(3)进行动作。
Description
技术领域
本公开涉及工业机械的操作系统。
背景技术
近年来，融合现实世界和虚拟世界，现实的物体和虚拟的物体相互影响的复合现实(MR)的技术受到关注。该复合现实的技术在工业领域中也被利用(例如，参照专利文献1)。在佩戴本技术的头戴式显示器设备，目视确认存在于现实空间的工业机械的情况下，能够向虚拟空间投影该工业机械的3D模型。该情况下，头戴式显示器设备的佩戴者也能够目视确认自己的手脚，因此，期待实现工业机械的直观的操作。
现有技术文献
专利文献
专利文献1：日本特开2019-008473号公报
发明内容
发明要解决的课题
然而，在现状下，在操作工业机械的情况下，必须一边查看操作盘、面板一边进行操作，无法一边同时目视确认工业机械的状态一边直观地进行操作。另外，在将复合现实的技术仅应用于工业机械时，虽然能够使现实的状态与虚拟的空间的信息同步，但并不确保操作的安全性。
因此，期望提供一种利用复合现实使工业机械直观且安全地进行动作的工业机械的操作系统。
用于解决课题的手段
本公开的一方式是一种工业机械的操作系统，具有：信息取得部，其取得与工业机械对应的机械确定信息；机械确定部，其根据由所述信息取得部取得的所述机械确定信息，确定所述工业机械；模型投影部，其将与由所述机械确定部确定出的所述工业机械对应的模型投影到虚拟空间；距离方向计算部，其对观察由所述模型投影部投影的所述模型的利用者相对于该模型的距离和方向；手势观测部，其观测所述利用者的手势作为针对由所述机械确定部确定出的所述工业机械的来自所述利用者的指示；指示判定部，其根据由所述距离方向计算部计算出的所述利用者的距离和方向、以及由所述手势观测部观测到的所述利用者的手势，判定能否进行所述利用者的指示；以及动作指示部，其在所述指示判定部的判定结果为能够的情况下，根据由所述手势观测部观测到的所述利用者的手势，使由所述机械确定部确定出的所述工业机械进行动作。
发明效果
根据本公开的一方式，能够利用复合现实使工业机械直观且安全地进行动作。
附图说明
图1是一实施方式的工业机械的操作系统的概略图。
图2是图1所示的工业机械的操作系统具有的MR设备的功能框图。
图3是对投影到虚拟空间的模型的放大、缩小以及旋转的操作进行说明的概念图。
图4是对MR设备相对于投影到虚拟空间的模型的距离和方向进行说明的概念图。
图5A是投影到虚拟空间的模型的主视图，是表示确定进行动作的对象之前的状态的图。
图5B是投影到虚拟空间的模型的主视图，是表示通过利用者的手势确定进行动作的对象之后的状态的图。
图6是投影到虚拟空间的模型的主视图，是表示根据利用者的手势使工业机械进行动作的状态的图。
图7是投影到虚拟空间的模型的俯视图，是表示投影了利用者的指示为能够的利用者的距离和方向的范围的状态的图。
图8是对投影到虚拟空间的模型的状态进行说明的概念图，是表示根据利用者的手势使工业机械进行动作的状态的图。
具体实施方式
以下，参照附图，对一实施方式的工业机械的操作系统1进行说明。
首先，使用图1和图2对工业机械的操作系统1的结构进行说明。图1是工业机械的操作系统1的概略图。图2是工业机械的操作系统1具有的MR设备2的功能框图。
图1所示的工业机械的操作系统1是使用采用了复合现实(MR)的技术的MR设备2来操作工业机械3的系统。即，工业机械的操作系统1具有MR设备2。
作为工业机械3，没有特别限定，例如能够使用图1所示的加工中心。由加工中心构成的工业机械3具有转塔作为自动工具更换装置，由该转塔进行的工具的自动切换，能够进行打眼加工、铣削加工、铣磨加工、钻孔加工等各种加工。
MR设备2是操作工业机械3的利用者佩戴的头戴式显示器设备。具体而言，MR设备2具有均未图示的照相机等输入单元、显示复合现实的图像的输出单元、与工业机械3进行通信的通信单元、CPU(Central Processing Unit：中央处理器)等运算处理单元、储存各种程序的HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等辅助存储单元、以及储存运算处理单元执行程序时暂时所需的数据的RAM(Random Access Memory：随机存取存储器)等主存储单元。
如图2所示，MR设备2具有的CPU通过执行各种程序，实现信息取得部20、机械确定部21、模型投影部22、距离方向计算部23、手势观测部24、操作部25、对象确定部26、状态取得部27、指示判定部28、动作指示部29等的各种功能。
信息取得部20取得与工业机械3对应的机械确定信息。例如，信息取得部20利用照相机等输入单元，取得设置于该工业机械3的QR码(注册商标)、基于该工业机械3的模式识别的特征点，作为与工业机械3对应的机械确定信息。
机械确定部21根据由信息取得部20取得的机械确定信息来确定工业机械3。具体而言，机械确定部21根据由信息取得部20取得的机械确定信息、以及与预先登记且与该机械确定信息对应关联起来的工业机械相关的数据，确定现实的工业机械3是什么。由此，例如在本实施方式中，机械确定部21能够确定工业机械3是图1所示的加工中心。
模型投影部22将与由机械确定部21确定出的工业机械3对应的模型投影到虚拟空间。具体而言，模型投影部22利用能够显示复合现实图像的头戴式显示器等输出单元，将与由机械确定部21确定出的工业机械3对应的3D的模型M(参照后述的图4等)以能够放大、缩小以及旋转的方式投影到虚拟空间。此时，由模型投影部22投影到虚拟空间的模型M的状态始终与现实空间中的现实的工业机械3链接。此外，由机械确定部21确定出的工业机械3和与其对应的模型M包含在上述预先登记且与该机械确定信息对应关联起来的工业机械相关的数据中。
另外，模型投影部22以强调由后述的对象确定部26确定出的对象的方式，将模型M投影到虚拟空间。具体而言，模型投影部22例如用红色显示由后述的对象确定部26确定出的动作对象等来进行强调显示。由此，利用者能够识别动作对象。
此外，模型投影部22也可以根据由设置于各处的照相机取得的图像来制作工业机械3的模型，将制作出的模型召唤至虚拟空间。此时，由信息取得部20取得照相机的图像作为机械确定信息，由机械确定部21确定现实的工业机械是什么。
距离方向计算部23对观察由模型投影部22投影的模型M的利用者相对于该模型M的距离和方向。在此，在头戴式显示器中，针对将模型M投影到虚拟空间时的与利用者的距离和方向，设定某个设定值。即，通过设定值决定将模型M投影到虚拟空间时的与利用者的距离和方向，距离方向计算部23取得该设定值。另外，距离方向计算部23在通过后述的操作部25进行了模型M的放大、缩小、旋转的情况下，根据上述设定值和基于操作部25的操作量，计算操作后的模型M与利用者的距离以及方向。
手势观测部24观测利用者的手势作为针对由机械确定部21确定出的工业机械3的来自利用者的指示。具体而言，手势观测部24利用照相机等输入单元，观测规定的利用者的手势作为针对由机械确定部21确定出的工业机械3的来自利用者的指示。预先登记规定的利用者的手势。
操作部25根据由手势观测部24观测到的利用者的手势，进行包含由模型投影部22投影的模型M的放大、缩小以及旋转中的至少1个的操作。用于操作部25进行操作的手势被预先设定为信息并登记该信息。
对象确定部26确定通过后述的动作指示部29来进行动作的对象。具体而言，对象确定部26根据照相机等输入单元的输入，例如由手势观测部24观测到的利用者的手势，确定通过动作指示部29来进行动作的对象。用于对象确定部26确定对象的手势被预先设定为信息并被登记。或者，对象确定部26根据由设置于头戴式显示器的未图示的CCD照相机等检测的利用者的视点，确定通过动作指示部29来进行动作的对象。并且，对象确定部26也可以在进行基于手势观测部24的利用者的手势观测时，在存在与利用者的手重叠的模型M的对象目标部的情况下，确定为使该对象目标部动作的对象。对此在后面进行详细叙述。
状态取得部27取得通过机械确定部21确定出的工业机械3的状态。具体而言，状态取得部27利用照相机等输入单元，取得通过机械确定部21确定出的工业机械3的现实的状态。作为工业机械3的现实的状态，例如列举出警报显示的有无、转塔的位置、安装于转塔的工具的种类、主轴的位置等。
指示判定部28根据通过距离方向计算部23计算出的利用者的距离和方向、以及通过手势观测部24观测到的利用者的手势，判定能否进行利用者的指示。在需要考虑工业机械3的状态的情况下，指示判定部28根据通过距离方向计算部23计算出的利用者的距离和方向、通过手势观测部24观测到的利用者的手势、以及通过状态取得部27取得的工业机械3的状态，判定能否进行利用者的指示。
指示判定部28的判定结果为能够时的利用者的距离和方向的条件被预先设定为信息并登记该信息。同样地，指示判定部28判断为利用者的指示的手势的条件被预先设定为信息并登记该信息。关于这些各条件，在后面进行详细叙述。另外，关于指示判定部28的判定结果为能够时的工业机械3的状态，也被预先设定为信息并登记该信息。
动作指示部29在指示判定部28的判定结果为能够时的情况下，根据通过手势观测部24观测到的利用者的手势，使通过机械确定部21确定出的工业机械3进行动作。与利用者的手势对应的工业机械3的动作内容被预先设定为信息并登记该信息。虚拟空间中的模型M的状态和现实空间中的工业机械3的状态经由上述的通信单元始终链接，由此，能够使现实的工业机械3进行动作。
接着，使用图3，对投影到虚拟空间的模型M的放大、缩小以及旋转的操作进行说明。图3是对投影到虚拟空间的模型M的放大、缩小以及旋转的操作进行说明的概念图。
如图3所示，根据利用者的手势，进行包含投影到虚拟空间的模型M的放大、缩小以及旋转中的至少1个的操作。如图3所示，例如利用者扩大或缩小双手的间隔，由此，放大、缩小显示模型M。另外，例如利用者使双手在规定方向上旋转，由此，在规定方向上旋转显示模型M。即，利用者能够自由地操作虚拟空间中的模型M并进行显示。由此，对于投影为与实际的大小不同的任意的大小的模型M，能够在从与实际目视确认的方向不同的任意的方向目视确认的状态下进行作业。
接下来，使用图4，对利用者相对于投影到虚拟空间的模型M的距离和方向进行说明。图4是对利用者相对于投影到虚拟空间的模型M的距离和方向进行说明的概念图。在图4中，作为投影到虚拟空间的模型M示出了工业机械3的转塔，示出了该转塔与利用者(在图4中为MR设备2)的距离和方向。
在此，在针对转塔的动作，例如工具更换动作中，利用者相对于作为模型M的转塔的距离和方向收敛于规定的范围内的情况成为用于使工业机械3进行动作的条件(特定位置条件)。该情况下，若相对于工业机械3的实际的大小以等倍(100％)的大小投影模型M，则收敛于规定的范围的距离优选为1m以上且1.5m以下，收敛于规定的范围的方向相对于模型M的正面方向的倾斜角度优选为15度以下。如果相对于工业机械3的实际的大小以放大或缩小后的大小投影模型M，则收敛于规定的范围的距离优选为(1×缩放倍率％)m以上且(1.5×缩放倍率％)m以下。
接下来，使用图5A以及图5B，对确定动作的对象的方法进行说明。图5A是投影到虚拟空间的模型M的主视图，是表示确定进行动作的对象之前的状态的图。图5B是投影到虚拟空间的模型M的主视图，是表示通过利用者的手势确定了进行动作的对象之后的状态的图。此外，在图5A以及图5B中，作为投影到虚拟空间的模型M而示出了工业机械3的转塔。
如图5A以及图5B所示，在模型M投影到虚拟空间的情况下，利用者进行规定的输入，由此，通过上述的对象确定部26确定进行动作的对象，如图5B所示，对确定出的对象进行强调显示。作为规定的输入，除了图5B所示那样的针对对象的手指指向等手势以外，还列举将视点持续对准对象规定时间等。
此外，也可以不事先确定进行动作的对象，而在进行基于利用者的手势的指示时，将利用者的手触碰的部件，即与利用者的手重叠的对象目标部件确定为进行动作的对象。该方法在从利用者的观点来看存在多个动作对象部件的情况下是有效的。
接着，使用图6，对根据利用者的手势使工业机械3动作的方法进行说明。图6是投影到虚拟空间的模型M的主视图，是表示根据利用者的手势使工业机械3进行动作的状态的图。此外，在图6中，作为投影到虚拟空间的模型M，示出了工业机械3的转塔。
如图6所示，在模型M投影到虚拟空间的情况下，利用者做出规定的手势成为用于使工业机械3进行动作的条件(特定动作条件)。作为进行工业机械3的工具更换的规定的手势，预先设定如转动船的舵轮那样的手势等。
这样，在满足上述的特定位置条件(利用者相对于模型M的距离和方向收敛于规定的范围)以及特定动作条件(利用者做出规定的手势)双方的情况下，指示判定部28的判定为能够，从而能够通过动作指示部29进行工业机械3的工具更换。即，在利用者相对于模型M的距离远的情况下，假设即使在利用者做出了规定的手势时，也无法进行工业机械3的工具更换。这是因为从远的位置无法判别工具的种类，是危险的。由此，利用复合现实能够直观且安全地进行工具更换作业。
接下来，使用图7以及图8，对根据利用者的手势使工业机械3进行动作的方法进行说明。图7是投影到虚拟空间的模型M的俯视图，是表示投影了利用者的指示为能够时的利用者的距离和方向的范围的状态的图。图8是对投影到虚拟空间的模型M的状态进行说明的概念图，是表示根据利用者的手势使工业机械3进行动作的状态的图。在图7和图8中，作为投影到虚拟空间的模型M，示出了工件W和工业机械3的主轴A。
在此，在工业机械3的加工程序运转开始动作中，除了满足上述的特定位置条件以及特定动作条件之外，在通过状态取得部27取得的工业机械3的状态满足特定状态条件的情况下，指示判定部28的判定为能够，通过动作指示部29开始工业机械3的加工程序运转。
如图8所示，在工业机械3的加工程序运转开始动作的情况下，作为特定位置条件，优选为从作为模型M的主轴A以及工件W的直线上倾斜角度为5度以上且20度以下的范围的位置。由此，能够目视确认主轴A和工件W双方。
另外，作为该情况下的特定动作条件，作为利用者做出的手势，例如如图8所示，设定扭转手臂整体而使其旋转的动作。
并且，作为该情况下的特定状态条件，例如优选在工业机械3中未发出警报显示、主轴A的位置处于能够开始加工的位置等。主轴A的能够开始加工的范围例如如图7所示，可以通过标记K投影到虚拟空间。
这样，工业机械的操作系统1具有：信息取得部20，其取得与工业机械3对应的机械确定信息；机械确定部21，其根据由信息取得部20取得的机械确定信息，确定工业机械3；模型投影部22，其将与由机械确定部21确定出的工业机械3对应的模型M投影到虚拟空间；距离方向计算部23，其对观察由模型投影部22投影的模型M的利用者相对于该模型M的距离和方向进行计算；手势观测部24，其观测利用者的手势作为针对由机械确定部21确定出的工业机械3的来自利用者的指示；指示判定部28，其根据由距离方向计算部23计算出的利用者的距离和方向、以及由手势观测部24观测到的利用者的手势，判定能否进行利用者的指示；以及动作指示部29，其在指示判定部28的判定结果为能够的情况下，根据由手势观测部24观测到的利用者的手势，使由机械确定部21确定出的工业机械3进行动作。
由此，将现实的工业机械3作为模型M显示于虚拟空间，通过虚拟空间上的利用者的操作，能够使现实的工业机械3进行动作。更详细而言，在由距离方向计算部23计算出的利用者的距离和方向满足预先设定的特定位置条件、且由手势观测部24观测到的利用者的手势满足预先设定的特定动作条件的情况下，将利用者的动作指示判定为能够，从而能够使工业机械3进行动作。具体而言，例如对工业机械3的工具更换动作有效。因此，根据工业机械的操作系统1，通过利用复合现实，能够使工业机械3直观且安全地进行动作。
另外，工业机械的操作系统1也可以构成为具有：操作部25，其根据由手势观测部24观测到的利用者的手势，进行包含由模型投影部22投影的模型M的放大、缩小以及旋转中的至少1个的操作。
由此，能够通过操作部25自由地操作虚拟空间中的模型M，因此，能够使状态始终与模型M链接的现实的工业机械3进行各种动作。
另外，工业机械的操作系统1也可以构成为具有：状态取得部27，其取得由机械确定部21确定出的工业机械3的状态，指示判定部28根据由状态取得部27取得的工业机械3的状态来判定能否进行利用者的指示。
由此，除了满足上述的特定位置条件以及特定动作条件之外，在由状态取得部27取得的工业机械3的状态满足特定状态条件的情况下，指示判定部28的判定为能够，从而能够通过动作指示部29使工业机械3动作。具体而言，例如对工业机械3的加工程序运转开始动作有效。
另外，工业机械的操作系统1也可以构成为具有：对象确定部26，其确定通过动作指示部29来进行动作的对象。
由此，能够可靠地确定进行动作的对象，因此，能够更可靠地发挥上述效果。
另外，在工业机械的操作系统1中，模型投影部22也可以构成为以强调由对象确定部26确定出的对象的方式投影模型M。
由此，利用者能够在视觉上可靠地识别动作对象，因此，能够更可靠地发挥上述的效果。
此外，本公开并不限定于上述实施方式，能够达成本公开的目的的范围内的变形、改良也包含于本公开。
例如，在上述实施方式中，作为工业机械列举加工中心为例进行了说明，但并不限定于此。能够将本公开的操作系统应用于其他机床、机器人等。
附图标记说明
1 工业机械操作系统
2 MR设备
20 信息取得部
21 机械确定部
22 模型投影部
23 距离方向计算部
24 手势观测部
25 操作部
26 对象确定部
27 状态取得部
28 指示判定部
29 动作指示部
3 工业机械
M 模型
K 标记
A 主轴
W 工件
Claims (5)
1.一种工业机械的操作系统，其特征在于，所述操作系统具有：
信息取得部，其取得与工业机械对应的机械确定信息；
机械确定部，其根据由所述信息取得部取得的所述机械确定信息来确定所述工业机械；
模型投影部，其将与由所述机械确定部确定出的所述工业机械对应的模型投影到虚拟空间；
距离方向计算部，其对观察由所述模型投影部投影的所述模型的利用者相对于该模型的距离和方向进行计算；
手势观测部，其观测所述利用者的手势作为针对由所述机械确定部确定出的所述工业机械的来自所述利用者的指示；
指示判定部，其根据由所述距离方向计算部计算出的所述利用者的距离和方向、以及由所述手势观测部观测到的所述利用者的手势，判定能否进行所述利用者的指示；
动作指示部，其在所述指示判定部的判定结果为能够的情况下，根据由所述手势观测部观测到的所述利用者的手势，使由所述机械确定部确定出的所述工业机械进行动作。
2.根据权利要求1所述的工业机械的操作系统，其特征在于，
所述操作系统具有：操作部，其根据由所述手势观测部观测到的所述利用者的手势，进行包含由所述模型投影部投影的所述模型的放大、缩小以及旋转中的至少1个的操作。
3.根据权利要求1或2所述的工业机械的操作系统，其特征在于，
所述操作系统具有：状态取得部，其取得由所述机械确定部确定出的所述工业机械的状态，
所述指示判定部根据由所述状态取得部取得的所述工业机械的状态，来判定能否进行所述利用者的指示。
4.根据权利要求1～3中任一项所述的工业机械的操作系统，其特征在于，
所述操作系统具有：对象确定部，其确定通过所述动作指示部来进行动作的对象。
5.根据权利要求4所述的工业机械的操作系统，其特征在于，
所述模型投影部以强调由所述对象确定部确定出的所述对象的方式投影所述模型。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-025897 | 2020-02-19 | ||
| JP2020025897 | 2020-02-19 | ||
| PCT/JP2021/005982 WO2021166973A1 (ja) | 2020-02-19 | 2021-02-17 | 産業機械の操作システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115087948A true CN115087948A (zh) | 2022-09-20 |
Family
ID=77391280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180014890.XA Pending CN115087948A (zh) | 2020-02-19 | 2021-02-17 | 工业机械的操作系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11989841B2 (zh) |
| JP (1) | JP7425178B2 (zh) |
| CN (1) | CN115087948A (zh) |
| DE (1) | DE112021001071T5 (zh) |
| WO (1) | WO2021166973A1 (zh) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4883774B2 (ja) | 2006-08-07 | 2012-02-22 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
| JP5871345B2 (ja) | 2012-07-27 | 2016-03-01 | Ｎｅｃソリューションイノベータ株式会社 | ３次元ユーザインタフェース装置及び３次元操作方法 |
| JP5877824B2 (ja) | 2013-09-20 | 2016-03-08 | ヤフー株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
| US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
| DE202017104928U1 (de) | 2016-08-23 | 2017-11-24 | Google Inc. | Manipulation virtueller Objekte anhand von Controllern mit sechs Freiheitsgraden in erweiterten bzw. virtuellen Realitätsumgebungen |
| EP3547267A4 (en) | 2016-11-24 | 2020-11-25 | Kyoto University | ROBOT CONTROL SYSTEM, MACHINE CONTROL SYSTEM, ROBOT CONTROL METHOD, MACHINE CONTROL METHOD, AND RECORDING MEDIUM |
| JP6538760B2 (ja) | 2017-06-22 | 2019-07-03 | ファナック株式会社 | 複合現実シミュレーション装置及び複合現実シミュレーションプログラム |
| WO2019068196A1 (en) * | 2017-10-06 | 2019-04-11 | Raven Telemetry Inc. | INCREASED INDUSTRIAL MANAGEMENT |
| JP2023500378A (ja) * | 2019-11-05 | 2023-01-05 | ストロング フォース ヴィーシーエヌ ポートフォリオ ２０１９，エルエルシー | バリューチェーンネットワークのためのコントロールタワーおよびエンタープライズマネジメントプラットフォーム |
| JP2024500818A (ja) * | 2020-12-18 | 2024-01-10 | ストロング フォース ヴィーシーエヌ ポートフォリオ ２０１９，エルエルシー | バリューチェーンネットワークのためのロボットフリート管理及び付加製造 |
-
2021
- 2021-02-17 CN CN202180014890.XA patent/CN115087948A/zh active Pending
- 2021-02-17 WO PCT/JP2021/005982 patent/WO2021166973A1/ja active Application Filing
- 2021-02-17 US US17/799,715 patent/US11989841B2/en active Active
- 2021-02-17 JP JP2022501944A patent/JP7425178B2/ja active Active
- 2021-02-17 DE DE112021001071.9T patent/DE112021001071T5/de active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021166973A1 (ja) | 2021-08-26 |
| DE112021001071T5 (de) | 2022-12-15 |
| US11989841B2 (en) | 2024-05-21 |
| JP7425178B2 (ja) | 2024-01-30 |
| JPWO2021166973A1 (zh) | 2021-08-26 |
| US20230062991A1 (en) | 2023-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11724388B2 (en) | Robot controller and display device using augmented reality and mixed reality | |
| EP2122597B1 (en) | Augmented reality-based system and method providing status and control of unmanned vehicles | |
| JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP6159323B2 (ja) | 情報処理方法及び情報処理装置 | |
| US7834893B2 (en) | Mixed-reality presentation system and control method therefor | |
| US11173601B2 (en) | Teaching device for performing robot teaching operations and teaching method | |
| US20040046711A1 (en) | User-controlled linkage of information within an augmented reality system | |
| CN107015637B (zh) | 虚拟现实场景下的输入方法和装置 | |
| WO2017145423A1 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
| JP2007506165A (ja) | バーチャルリアリティ・グラフィックシステムの機能選択による制御のための三次元空間ユーザインタフェース | |
| US20180165853A1 (en) | Head-mounted display apparatus and virtual object display system | |
| KR101708455B1 (ko) | 핸드 플로트 입체 메뉴 시스템 | |
| JP2018200278A (ja) | 位置計測装置の操作方法 | |
| CN115087948A (zh) | 工业机械的操作系统 | |
| KR102147378B1 (ko) | 3차원 데이터 표시 장치, 3차원 데이터 표시 방법, 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| JP6470323B2 (ja) | 情報表示システム | |
| CN111448502B (zh) | 可靠的眼镜式设备和方法 | |
| TWI570530B (zh) | Numerical control system and numerical control data generation method | |
| JP7476128B2 (ja) | 表示システムおよび表示装置 | |
| CN115427201A (zh) | 工业机械的显示装置 | |
| JP6812647B2 (ja) | 工作機械用管理システム | |
| CN111373350A (zh) | 用于对虚拟现实视频内容进行颜色分级的方法和系统 | |
| WO2023095519A1 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
| US20240100688A1 (en) | Information processing apparatus, information processing method, robot system, manufacturing method for article using robot system, program, and recording medium | |
| CN111857364B (zh) | 交互装置、虚拟内容的处理方法、装置以及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |