CN110351517A - 视觉指导装置、视觉指导系统、以及视觉指导方法 - Google Patents

视觉指导装置、视觉指导系统、以及视觉指导方法 Download PDF

Info

Publication number
CN110351517A
CN110351517A CN201910253190.0A CN201910253190A CN110351517A CN 110351517 A CN110351517 A CN 110351517A CN 201910253190 A CN201910253190 A CN 201910253190A CN 110351517 A CN110351517 A CN 110351517A
Authority
CN
China
Prior art keywords
image data
machinery
specified position
visual guide
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910253190.0A
Other languages
English (en)
Other versions
CN110351517B (zh
Inventor
上口贤男
川上正一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN110351517A publication Critical patent/CN110351517A/zh
Application granted granted Critical
Publication of CN110351517B publication Critical patent/CN110351517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明提供引导从规定位置向与上述规定位置不同的其他位置的移动的视觉指导装置。视觉指导装置具备:图像数据取得部(111),取得从规定位置观察机械(30)的图像数据、和从与该规定位置不同的其他位置观察机械(30)的图像数据;图像变换部(112),制作通过一个以上的纵横比变换了由图像数据取得部(111)取得的从规定位置观察机械(30)的图像数据而得的一个以上的图像数据;和指导显示控制部(113),使显示部(20)依次显示从规定位置观察机械(30)的图像数据、由图像变换部(112)制作的一个以上的图像数据、以及从与该规定位置不同的其他位置观察机械(30)的图像数据,由此引导从规定位置到与该规定位置不同的其他位置的移动。

Description

视觉指导装置、视觉指导系统、以及视觉指导方法
技术领域
本发明涉及视觉指导装置、视觉指导系统、以及视觉指导方法,该视觉指导装置、视觉指导系统、以及视觉指导方法基于从规定位置观察机械的图像数据以及从与上述规定位置不同的其他位置观察上述机械的图像数据,根据从上述规定位置向与上述规定位置不同的其他位置的移动方向,生成动态的图像并显示于显示装置,由此引导从上述规定位置向与上述规定位置不同的其他位置的移动。
背景技术
以往,在构造复杂的机械中,即便在产生报警,确定了故障部件的情况下,也难以确定故障部件的安装位置。该点,在专利文献1中,记载了为了确定车的故障位置,而显示与用户所具有的车辆相同的车辆的附图,边利用指导边确定故障位置的技术。
另外,在专利文献2中,例如,记载了当在传真装置产生了障碍时向PC通知障碍码,由此在PC中基于从传真装置通知的障碍码,执行与障碍码对应的预先存储的动画文件,从而显示用于引导障碍的修复操作的动画进行的操作指导的技术。
专利文献1:日本特开2001-137757号公报
专利文献2:日本特开平11-041388号公报
根据若为通常驾驶车的人则当然知晓的内部构造来说明在引用文献1的技术中被引用的图。但是,在构造因生产商不同而大幅变化且构造复杂的机床等机械的情况下,实际操作的操作人员熟知在通常时操作的机械的场所,但常常对机械的侧面、背面的构造感到陌生。因此,存在即使确定出故障部件、包含故障部件的单元,在这些部件、单元位于侧面、背面的情况下,也难以掌握部件、单元的安装位置的课题。
另外,在专利文献2的技术中,例如,为了通过动态的图示从某确定的场所引导至障碍产生位置,需要预先制作从确定的场所至障碍产生位置的动画文件。在该方法中,存在需要用于制作动画文件的特别的机器材料、设备从而进一步需要时间的课题。
发明内容
本发明是鉴于上述课题而完成的,目的在于提供一种视觉指导装置、视觉指导系统、以及视觉指导方法,该视觉指导装置、视觉指导系统、以及视觉指导方法基于从规定位置观察机械的图像数据以及从与上述规定位置不同的其他位置观察上述机械的图像数据,根据从上述规定位置向与上述规定位置不同的其他位置的移动方向,生成动态的图像并显示于显示装置,由此引导从上述规定位置向与上述规定位置不同的其他位置的移动。
(1)根据本发明,提供一种视觉指导装置(例如,后述的“视觉指导装置10”),其具备控制部(例如,后述的“控制部11”),上述控制部具备:图像数据取得部(例如,后述的“图像数据取得部111”),取得从规定位置观察机械(例如,后述的“机械30”)的图像数据、和从与上述规定位置不同的其他位置观察上述机械的图像数据;图像变换部(例如,后述的“图像变换部112”),制作通过一个以上的纵横比变换了由上述图像数据取得部取得的从上述规定位置观察上述机械的图像数据而得的一个以上的图像数据;和指导显示控制部(例如,后述的“指导显示控制部113”),使显示装置(例如,后述的“显示部20”)依次显示从上述规定位置观察上述机械的图像数据、由上述图像变换部制作的一个以上的图像数据、以及从与上述规定位置不同的其他位置观察上述机械的图像数据,由此引导从上述规定位置到与上述规定位置不同的其他位置的移动。
(2)在(1)所记载的视觉指导装置(例如,后述的“视觉指导装置10”)中,优选从与上述规定位置不同的其他位置观察上述机械的图像数据针对每个构成上述机械的部件包含表示上述部件的安装位置的图像数据,上述指导显示控制部(例如,后述的“指导显示控制部113”)使上述显示装置(例如,后述的“显示部20”)依次显示从上述规定位置观察上述机械的图像数据、由上述图像变换部(例如,后述的“图像变换部112”)制作的一个以上的图像数据、以及表示上述部件的安装位置的图像数据,由此引导从上述规定位置到上述部件的安装位置的移动。
(3)在(2)所记载的视觉指导装置(例如,后述的“视觉指导装置10”)中,优选上述指导显示控制部(例如,后述的“指导显示控制部113”)进一步在上述机械输出了报警的情况下,基于上述报警与上述部件的对应关系,使上述显示装置(例如,后述的“显示部20”)依次显示从上述规定位置观察上述机械的图像数据、由上述图像变换部(例如,后述的“图像变换部112”)制作的一个以上的图像数据、以及表示与上述报警对应的上述部件的安装位置的图像数据,由此引导从上述规定位置到与上述报警对应的上述部件的安装位置的移动。
(4)在(3)所记载的视觉指导装置(例如,后述的“视觉指导装置10”)中,优选上述指导显示控制部(例如,后述的“指导显示控制部113”)在依次显示从上述规定位置观察上述机械的图像数据、由上述图像变换部制作的一个以上的图像数据、以及表示与上述报警对应的上述部件的安装位置的图像数据时,附带评语地显示于上述显示装置(例如,后述的“显示部20”)。
(5)在(3)或(4)所记载的视觉指导装置(例如,后述的“视觉指导装置10”)中,优选上述指导显示控制部(例如,后述的“指导显示控制部113”)在依次显示从上述规定位置观察上述机械的图像数据、由上述图像变换部制作的一个以上的图像数据、以及表示与上述报警对应的上述部件的安装位置的图像数据时,附带声音地显示于上述显示装置(例如,后述的“显示部20”)。
(6)在(1)~(5)中任一项所记载的视觉指导装置(例如,后述的“视觉指导装置10”)中,优选从上述规定位置观察的上述机械的图像数据是从观察上述机械的操作面板的地点观察上述机械的外形图。
(7)在(1)~(6)中任一项所记载的视觉指导装置(例如,后述的“视觉指导装置10”)中,优选上述图像数据取得部(例如,后述的“图像数据取得部111”)从存储上述图像数据的存储装置(例如,后述的“存储部14”)取得上述图像数据。
(8)在(1)~(7)中任一项所记载的视觉指导装置(例如,后述的“视觉指导装置10”)中,上述指导显示控制部(例如,后述的“指导显示控制部113”)也可以连接为能够通信。
(9)根据本发明,提供一种机械(例如,后述的“机械30”),其具备(1)~(8)中任一项所记载的视觉指导装置(例如,后述的“视觉指导装置10”)。
(10)根据本发明,提供一种视觉指导系统(例如,后述的“视觉指导系统1”),其具备(1)~(8)中任一项所记载的视觉指导装置(例如,后述的“视觉指导装置10”)、和连接为能够通信的一个以上的上述机械(例如,后述的“机械30”)。
(11)根据本发明,提供一种视觉指导方法,其通过一个以上的计算机执行、:图像数据取得工序,取得从规定位置观察机械(例如,后述的“机械30”)的图像数据、和从与上述规定位置不同的其他位置观察上述机械的图像数据;图像变换工序,制作根据旋转动作的方向,通过一个以上的纵横比变换了由上述图像数据取得工序取得的从上述规定位置观察上述机械的图像数据而得的一个以上的图像数据;和指导显示控制工序,使显示装置(例如,后述的“显示部20”)依次显示从上述规定位置观察上述机械的图像数据、由上述图像变换工序制作的一个以上的图像数据、以及从与上述规定位置不同的其他位置观察上述机械的图像数据,由此引导从上述规定位置到与上述规定位置不同的其他位置的移动。
根据本发明,能够提供视觉指导装置、视觉指导系统、以及视觉指导方法,该视觉指导装置、视觉指导系统、以及视觉指导方法无需预先制作连续的显示图或制作动画文件,基于从规定位置观察机械的图像数据以及从与上述规定位置不同的其他位置观察上述机械的图像数据,根据从上述规定位置向与上述规定位置不同的其他位置的移动方向,生成动态的图像并显示于显示装置,由此引导从上述规定位置向与上述规定位置不同的其他位置的移动。
附图说明
图1是本发明的第1实施方式的视觉指导系统的整体构成图。
图2是本发明的第1实施方式的视觉指导装置的整体构成图。
图3A是本发明的第1实施方式的位置顺序数据所含的位置顺序表的例子。
图3B是表示本发明的第1实施方式的位置信息与图像数据的对应关系的位置图像对应表的例子。
图3C是表示本发明的第1实施方式的报警与部件的对应关系的报警部件对应表的例子。
图4A是本发明的第1实施方式的图像文件所含的正面图像的例子。
图4B是本发明的第1实施方式的图像文件所含的右侧面图像的例子。
图4C是本发明的第1实施方式的图像文件所含的左侧面图像的例子。
图4D是本发明的第1实施方式的图像文件所含的背面图像的例子。
图4E是本发明的第1实施方式的图像文件所含的背面箱图像的例子。
图4F是表示本发明的第1实施方式的图像文件所含的位置“R1”的图像的例子。
图4G是表示本发明的第1实施方式的图像文件所含的位置“L1”的图像的例子。
图4H是表示本发明的第1实施方式的图像文件所含的位置“BI1”的图像的例子。
图4I是表示本发明的第1实施方式的图像文件所含的位置“BB1”~“BB5”的图像的例子。
图5A是根据本发明的第1实施方式的视觉指导装置,通过一个以上的纵横比变换正面图像而生成的图像数据的例子。
图5B是由本发明的第1实施方式的视觉指导装置实施的指导中的画面迁移的例子。
图6是表示本发明的第1实施方式的视觉指导装置的动作的流程图。
图7是包含本发明的第2实施方式的视觉指导装置的机械的整体构成图。
图8是本发明的第3实施方式的视觉指导系统的整体构成图。
图中:
1、1A-视觉指导系统;10-视觉指导装置;11-控制部;110-位置顺序数据取得部;111-图像数据取得部;112-图像变换部;113-指导显示控制部;14-存储部;141-位置顺序表;142-位置图像对应表;143-报警部件对应表;145-图像文件;19-输入部;20-显示部;30、40-机械;41-控制装置;42-存储装置;43-显示装置;44-控制面板;45-驱动装置;50-网络。
具体实施方式
〔第1实施方式〕
以下,参照图1~图6,详述本发明的第1实施方式。
图1是本实施方式的视觉指导系统1的整体构成图。视觉指导系统1例如具备视觉指导装置10与机械30。视觉指导装置10与机械30形成1对1的组,连接为能够通信。视觉指导装置10与机械30可以经由连接接口直接连接,另外,也可以经由LAN(Local Area Network,局域网)等网络进行连接。
视觉指导装置10是生成根据旋转动作的方向通过一个以上的纵横比变换了从规定位置观察机械30的图像数据而得的一个以上的图像数据,依次显示从规定位置观察机械30的图像数据、通过一个以上的纵横比变换而得的一个以上的图像数据以及表示构成机械30的部件的安装位置的图像数据,由此从机械30的规定位置动态地引导至该部件的安装位置的装置。
机械30是设置于工厂内的工业用机器人、机床等的装置。机械30具备运算处理装置、存储装置、操作人员进行的输入输出装置等,能够通过软件进行控制。此外,在图1中,由一个功能模块表示机械30,但机械30也可以是工业用机器人或者机床与控制这些的数值控制装置的组合的多个装置的组合。此外,作为机床,例如能够列举车床、铣床、放电加工机、磨床、加工中心、激光加工机等。
图2是视觉指导装置10的整体构成图。视觉指导装置10具备控制部11、存储部14、输入部19、显示部20。
控制部11是控制视觉指导装置10的整体的部分,从ROM、RAM、闪存或者硬盘(HDD)等的存储区域适当地读出并执行各种程序,由此实现本实施方式的各种功能。控制部11也可以为CPU。控制部11具备位置顺序数据取得部110、图像数据取得部111、图像变换部112、和指导显示控制部113。后述这些的功能的详细。
另外,控制部11除此以外,还具备用于控制视觉指导装置10的整体的功能模块、用于进行通信的功能模块的通常的功能模块。但是,由于这些通常的功能模块被本领域技术人员广泛知晓,因此省略图示以及说明。
存储部14存储位置顺序表141、位置图像对应表142、报警部件对应表143、图像文件144作为位置顺序数据。以下,参照图3A~图3C、图4A~图4I,详述各表以及图像文件的内容。
图3A例如表示位置顺序表141,该位置顺序表141定义利用怎样的顺序的位置信息指导从作为从观察机械的操作面板的地点眺望机械的正面即规定位置到构成机械30的各部件的安装位置。具体而言,图3A的位置顺序表141针对各部件(UNIT01~UNIT05),在显示与上述的“规定位置”对应的“原始位置(home)”的图像后,按“位置1”→“位置2”→“位置3”(安装位置)的顺序,对显示表示位置n的图像的顺序进行定义。
例如,若为第1行的数据,则在利用后述的显示部20显示“UNIT01”这样的部件的安装位置时,定义最初作为“原始位置”表示“正面”的图像,第2个作为“位置1”表示“右侧面”的图像,第3个作为“位置3”(UNIT01的安装位置)表示“右侧面”的图像的中的“R1”这样的位置。
另外,例如,若为第4行的数据,则在利用显示部20显示“UNIT04”这样的部件的安装位置时,定义最初作为“原始位置”表示“正面”的图像,第2个作为“位置1”表示“背面”的图像,第3个作为“位置2”表示“背面箱(BOX)”的图像,第4个作为“位置3”(UNIT04的安装位置)表示“BB1”的图像。
图3B表示定义图3A的位置顺序表141所记载的位置信息的每一个与后述的图4A~图4I所示的各图像数据的对应关系的位置图像对应表142。
例如,在图3B的位置图像对应表142中的第1行的数据中,图3A的位置顺序表141记载的“正面”的位置信息定义与后述的图4A所示的“正面图像”的图像数据对应。
另外,在图3B的位置图像对应表142中的第2行的数据中,图3A的位置顺序表141记载的“右侧面”的位置信息表示与后述的图4B所示的“右侧面图像”的图像数据对应。
另外,在图3B的位置图像对应表142中的第3行的数据中,图3A的位置顺序表141记载的“左侧面”的位置信息表示与后述的图4C所示的“左侧面图像”的图像数据对应。
另外,在图3B的位置图像对应表142中的第4行的数据中,图3A的位置顺序表141记载的“背面”的位置信息定义与后述的图4D所示的“背面图像”的图像数据对应。
另外,在图3B的位置图像对应表142中的第5行的数据中,图3A的位置顺序表141记载的“背面箱”的位置信息定义与后述的图4E所示的“背面箱图像”对应。
另外,在图3B的位置图像对应表142中的第6行的数据中,图3A的位置顺序表141记载的“R1”的位置信息表示与后述的图4F所示的“R1图像”的图像数据对应。
另外,在图3B的位置图像对应表142中的第7行的数据中,图3A的位置顺序表141记载的“L1”的位置信息表示与后述的图4G所示的“L1图像”的图像数据对应。
另外,虽未示于图3B,但图3A的位置顺序表141记载的“BB1”的位置信息定义与使用后述的图4I的图像表示的“BB1图像”对应。
此外,在位置顺序表141中,“UNIT01”~“UNIT03”的“位置2”一栏成为空白,但这是因为,由“位置3”表示的附图标记包含于与“位置1”对应的图像。例如,若为“UNIT01”,则在“位置3”一栏中,定义表示后述的图4F所示的“R1图像”,但该“R1图像”如后述的图4F所示,对与“位置1”对应的“右侧面图像”(后述的图4B)附加附图标记,无需在“位置2”一栏重新定义“右侧面图像”的显示,因此“位置2”一栏成为空白。“UNIT02”以及“UNIT03”的“位置2”一栏成为空白的理由也相同。
图3C表示定义机械30产生的各报警与构成机械30的部件的部件编号的对应关系的报警部件对应表143。例如,在图3C的报警部件对应表143中的第1行的数据中,“AL(1)”的报警定义与部件编号“UNIT03”的部件对应。
图4A~图4I表示与图像文件144所含的各位置信息对应的图像数据的例子。图4A是机械30的正面图像。图4B是机械30的右侧面图像。图4C是机械30的左侧面图像。图4D是机械30的背面图像。图4E是表示设置于机械30的背面的各箱的背面箱图像。图4F是表示位置“R1”的图像。图4G是表示位置“L1”的图像。图4H是表示位置“BI1”的图像。图4I是集中表示背面箱图像所示的各箱的附图标记的图像。具体而言,图4I表示背面箱从左按顺序,由“BB1”、“BB2”、“BB3”、“BB4”、“BB5”的附图标记表示。在实际使用图4I的图像时,作为仅表示附图标记“BB1”的“BB1图像”、仅表示附图标记“BB2”的“BB2图像”、仅表示附图标记“BB3”的“BB3图像”、仅表示附图标记“BB4”的“BB4图像”,或者仅表示附图标记“BB5”的“BB5图像”而使用。
此外,各图像数据中的与图3A的位置顺序表141的“原始位置”的位置信息对应的图像优选是从观察机械30的操作面板的地点观察机械30的外形图。
输入部19是视觉指导装置10的操作人员用于输入构成机械30的部件的部件编号的装置。
显示部20是通过来自上述的指导显示控制部113的控制,用于显示从表示机械的规定位置的图像至到达表示部件的安装位置的图像的图像的装置。
接下来,对控制部11进行说明。
位置顺序数据取得部110针对构成机械30的每个部件,为了取得将从机械的规定位置至到达该部件的安装位置的一个以上的位置信息附加顺序的位置顺序数据,而参照位置顺序表141、位置图像对应表142、报警部件对应表143以及图像文件144。更具体而言,若机械30产生报警,则位置顺序数据取得部110参照报警部件对应表143,由此确定与报警对应的部件编号,参照位置顺序表141,由此确定与部件编号对应的位置顺序,参照位置图像对应表142,由此确定与位置顺序中含有的各自的位置信息对应的图像。
图像数据取得部111作为从规定位置观察机械30的图像数据,取得作为原始位置的机械30的正面图像数据,作为从与规定位置不同的其他位置观察机械30的图像数据,取得部件的安装位置所存在的面(右侧面、左侧面、背面等)的图像数据。例如,如UNIT01那样,在部件的安装位置存在于机械30的右侧面侧的情况下,图像数据取得部111取得机械30的右侧面图像数据。另外,如UNIT02那样,在部件的安装位置存在于机械30的左侧面侧的情况下,图像数据取得部111取得机械30的左侧面图像数据。如UNIT03~UNIT05那样,在部件的安装位置存在于机械30的背面侧的情况下,图像数据取得部111取得机械30的背面图像数据。
图像变换部112制作根据旋转动作的方向通过一个以上的纵横比变换了作为从规定位置观察机械30的图像数据的机械30的正面图像数据(原始位置)而得的一个以上的图像数据。这里,旋转动作方向意味着与将用户从规定的位置(观察机械30的正面的位置,例如观察操作面板的位置)朝向部件的安装位置所存在的机械30的面引导的情况对应的旋转方向。
更具体而言,在引导用户从规定的位置(例如,观察机械30的正面的位置)朝向部件的安装位置所存在的机械30的面的移动的情况下,制作在用户所能观察的机械30例如左右方向(横)比上下方向(纵)短的情况下,变更了从规定位置观察机械30的图像数据的纵横比(以使横边的长度短于纵边的方式变更)的图像数据。据此,能够相对于用户引起从规定的位置朝向部件的安装位置所存在的机械30的面移动的错觉。
相反,在引导用户从规定的位置(例如,观察机械30的正面的位置)朝向部件的安装位置所存在的机械30的面的移动的情况下,制作在用户所能观察的机械30例如左右方向(横)比上下方向(纵)长的情况下,变更了从规定位置观察机械30的图像数据的纵横比(以使横边的长度长于纵边的方式变更)而得的图像数据。
此外,引导移动的旋转动作的方向不限定于这些。也可以根据机械的大小、形状等,例如,使其向上下方向、倾斜方向旋转(即,引导使用户朝向上下方向或者倾斜方向的移动)。
图像变换部112在规定的位置为观察机械30的正面的位置时,例如,在从机械30的侧面观察的宽度的长度短于从机械30的正面观察的宽度的长度的情况下,使机械30的正面图像数据的纵横比逐渐变更,由此例如制作一个以上的横向的长度与纵向的长度相比变短的图像数据。在该情况下,为了使动作变得顺利,优选以横向的长度逐渐缩短的方式制作多个图像数据。横向的长度也可以与从机械30的侧面观察的情况下的横向的长度匹配。
相反,在规定的位置为观察机械30的正面的位置时,在从机械30的侧面观察的宽度的长度长于从机械30的正面观察的宽度的长度的情况下,使机械30的正面图像数据的纵横比逐渐变更,由此例如制作一个以上的横向的长度与纵向的长度相比变长的图像数据。
为了对图像变换部112的动作进行说明,图5A表示由图像变换部112生成的图像数据的例子。图5A例示在从机械30的侧面观察的宽度的长度短于从机械30的正面观察的宽度的长度的情况下生成的图像数据。
如图5A所示,图像变换部112使机械30的正面图像数据的纵横比逐渐变更,由此生成一个以上的图像数据。
指导显示控制部113在显示部20显示从规定的位置(例如正面)观察机械30的正面图像数据,接着,在依次显示由图像变换部112逐渐变更正面图像数据的纵横比而制作出的图像数据后,显示部件的安装位置所存在的面(右侧面、左侧面、背面等)的图像数据。据此,凭借眼睛的错觉,能够使用户感受到被引导从机械30的正面到部件的安装位置所存在的面(右侧面、左侧面、背面等)的移动。
然后,指导显示控制部113当使显示部20显示了部件的安装位置所存在的面(右侧面、左侧面、背面等)后,使显示部20显示由位置顺序数据取得部110确定的与位置顺序所含的各自的位置信息对应的图像。
图5B例示动态地显示从机械30的正面图像到UNIT05的安装位置的情况。
若参照图5B,则指导显示控制部113在显示部20显示正面图像数据,接着依次显示由图像变换部112逐渐变更正面图像数据的纵横比而制作出的图像数据,显示背面图像。由此,凭借眼睛的错觉,能够使用户感受到被引导从机械30的正面至部件的安装位置所存在的面(背面)的移动。之后,指导显示控制部113显示背面箱图像,显示BB2图像。
此外,虽未图示,但其他的情况也相同。
例如,在UNIT01的情况下,指导显示控制部113在显示部20显示正面图像数据,接着,依次显示由图像变换部112逐渐变更正面图像数据的纵横比而制作出的图像数据,显示右侧面图像。之后,显示R1图像。
在UNIT02的情况下,指导显示控制部113在显示部20显示正面图像数据,接着,依次显示由图像变换部112逐渐变更正面图像数据的纵横比而制作出的图像数据,显示左侧面图像。之后,显示L1图像。
在UNIT03的情况下,指导显示控制部113在显示部20显示正面图像数据,接着,依次显示由图像变换部112逐渐变更正面图像数据的纵横比而制作的图像数据,显示背面图像。之后,显示BI1图像。
在UNIT04的情况下,指导显示控制部113在显示部20显示正面图像数据,接着,依次显示由图像变换部112逐渐变更正面图像数据的纵横比而制作出的图像数据,显示背面图像。之后,在显示背面箱图像后,显示BB1图像。
据此,无需预先制作从规定的位置(例如正面)至部件的安装位置所存在的面(右侧面、左侧面、背面等)的动画文件、连续的附图,能够节约用于制作动画文件、连续的附图的特别的机器材料、设备,还能够节约时间。
接下来,对视觉指导装置10的处理流程进行说明。
图6是表示视觉指导装置10的动作的流程图。
若参照图6,则在步骤S11中,在产生了报警的情况下(S11:是),处理移至步骤S12。在未产生报警的情况下(S11:否),处理返回步骤S11。
在步骤S12中,位置顺序数据取得部110从存储部14取得报警部件对应表143,参照报警部件对应表143,由此确定与报警对应的部件编号。
在步骤S13中,位置顺序数据取得部110参照存储部14的位置顺序表141,由此确定与在步骤S12中确定出的部件编号对应的位置顺序。
在步骤S14中,图像数据取得部111从存储部14取得在步骤S13中确定出的位置顺序中的与“原始位置”的位置对应的图像数据以及在步骤S12中确定出的与部件的安装位置所存在的面对应的图像数据(位置1)。
在步骤S15中,图像变换部112制作根据旋转动作的方向通过一个以上的纵横比变换了与“原始位置”的位置对应的图像数据而成的一个以上的图像数据。
在步骤S16中,指导显示控制部113在显示部20显示与“原始位置”的位置对应的图像数据,接着,在依次显示在步骤S15中制作出的图像数据后,对部件的安装位置所存在的面的图像数据(位置1)进行显示。
在步骤S17中,指导显示控制部113从存储部14取得在步骤S13中确定出的位置顺序中的与“位置2”以下的位置对应的图像数据,并依次显示于显示部20。
此外,上述的动作流程中,在步骤S16~S17中,指导显示控制部113在依次显示从“原始位置”的位置观察机械30的图像数据、由图像变换部112制作的一个以上的图像数据、以及表示部件的安装位置的图像数据时,也可以将附带评语的静止图像按顺序显示于显示部20。或者,指导显示控制部113也可以输出声音。
接下来,参照图5B,对报警为“AL(3)”的情况下的视觉指导装置10的具体的动作与显示画面的迁移进行说明。
在报警为“AL(3)”的情况下,位置顺序数据取得部110根据报警部件对应表143,确定报警“AL(3)”与部件编号“UNIT05”对应。接下来,位置顺序数据取得部110根据位置顺序表141,确定与部件编号“UNIT05”对应的位置顺序是“原始位置:正面”→“位置1:背面”→“位置2:背面箱”→“位置3:BB2”。
接下来,如图5A所示,图像变换部112逐渐变更机械30的与“原始位置”的位置对应的正面图像数据的纵横比,由此生成一个以上的图像数据。
接下来,如图5B所示,指导显示控制部113在显示部20显示正面图像数据,接着,在依次显示由图像变换部112逐渐变更正面图像数据的纵横比而制作出的图像数据后,显示部件的安装位置所存在的面的图像数据(与“位置1”对应的图像数据)。据此,通过眼睛的错觉,能够使用户感受到被从机械30的正面动态地引导至部件的安装位置所存在的面(右侧面、左侧面、背面等)。
然后,指导显示控制部113在显示部20显示与“位置1”对应的图像数据后,显示与“位置2”对应的图像数据(背面箱图像)以及与“位置3”对应的图像数据(BB2图像)。
此外,在上述的实施方式中,当在机械30产生了报警时,视觉指导装置10形成指导与报警对应的部件的安装位置的结构,但不限定于此。例如,在未产生报警的阶段中的定期维护时,在产生了修补构成机械30的部件的必要的情况下,维护人员从输入部19输入部件的部件编号,由此视觉指导装置10能够相对于维护人员引导从正面的位置至部件的安装位置的移动。
〔第1实施方式的效果〕
根据本实施方式,视觉指导装置10不预先制作连续的显示图、制作动画文件,而在依次显示逐渐变更从操作人员经常操作的机械位置观察的机械30的图像数据的纵横比而自动地制作出的图像数据后,显示例如故障位置的安装位置所存在的面的图像数据,因此操作人员能够感受到被引导从机械30的正面至故障位置的安装位置所存在的面的移动。
由此,机械30的操作人员能够从与各位置信息对应的图像更加容易地识别部件的安装位置。
另外,在机械30输出了报警的情况下,视觉指导装置10基于参照报警部件对应表143取得的该报警与部件的对应关系,在显示部20显示从表示机械30的规定位置的图像至到达与该报警对应的部件的安装位置所存在的面的图像的一个以上的位置信息的图像。
由此,当在机械30产生了故障的情况下,机械30的操作人员能够容易地识别故障部件的安装位置。
另外,从上述的机械30的规定位置观察的机械30的图像数据是从观察机械30的操作面板的地点观察上述机械的外形图。
由此,操作人员能够在短时间内确定故障部件的安装位置。
另外,指导显示控制部113在依次显示图像数据时,能够附带评语地显示于显示部20、或者输出声音。由此,机械30的操作人员能够容易地确定部件的安装位置。
〔第2实施方式〕
在本发明的第2实施方式中,第1实施方式中的机械30作为自身的一部分而具备视觉指导装置10。以下,参照图7,对本发明的第2实施方式进行说明。
图7是本发明的第2实施方式的机械40的整体构成图。机械40具备控制装置41、存储装置42、显示装置43、控制面板44、驱动装置45。
控制装置41作为其一部分,与第1实施方式的视觉指导装置10的控制部11相同地,具备位置顺序数据取得部110、图像数据取得部111、图像变换部112、指导显示控制部113。另外,在该控制装置41中,检测驱动装置45的报警。另外,控制装置41除此以外,还具备用于控制驱动装置45的功能模块、用于进行通信的功能模块、用于接受来自用户的操作的功能模块的通常的功能模块。但是,这些通常的功能模块被本领域技术人员广泛知晓,因此省略图示以及说明。
存储装置42与第1实施方式的视觉指导装置10的存储部14相同地,存储位置顺序表141、位置图像对应表142、报警部件对应表143、图像文件144。
显示装置43具有与第1实施方式的视觉指导装置10的显示部20相同的功能。具体而言,根据来自指导显示控制部113的控制,显示表示从表示机械的规定位置的图像至到达部件的安装位置存在的机械30的面的图像的一个以上的位置信息的图像。
控制面板44是用于对后述的驱动装置45的动作进行电气控制的控制面板,例如,也可以包含电磁开闭器、变频器、伺服驱动器、伺服放大器、选择开关、序列发生器等。
驱动装置45也可以是在利用机械40进行切削、加工等的作业时被驱动的装置,例如包含主轴电动机以及进给轴电动机。
在机械40中,在操作人员正实际进行切削、加工等的作业的过程中,在产生了报警的情况下,控制装置41确定与该报警对应的部件编号,使用与该部件编号对应的位置顺序数据,在显示装置43依次显示从表示机械40的规定位置的图像逐渐变更该图像数据的纵横比而自动地制作出的图像数据后,显示与报警对应的部件的安装位置所存在的面的图像数据。之后,在显示装置43顺序显示,直至到达表示故障部件的安装位置的图像。
〔第2实施方式的效果〕
在本实施方式中,机械40自身具有与第1实施方式的视觉指导装置10相同的功能。更具体而言,机械40具备包含与视觉指导装置10的控制部11相同功能的控制装置41、包含与视觉指导装置10的存储部14相同数据的存储装置42、具有与视觉指导装置10的显示部20相同功能的显示装置43。
由此,机械40的操作人员当在机械40的运转过程中产生了报警的情况下,仅通过相对于同一机械的操作,能够迅速地确定故障部件的安装位置。
〔第3实施方式〕
以下,参照图8,详述本发明的第3实施方式。第3实施方式是第1实施方式的视觉指导装置10是指导经由网络被连接的构成1台以上的机械30的部件的安装位置的系统。
图8是本实施方式的视觉指导系统1A的整体构成图。此外,使用相同的附图标记表示与第1实施方式的视觉指导系统1相同的构件,省略其功能的说明。
视觉指导系统1A具备视觉指导装置10、机械30A~30N、网络50。
在视觉指导系统1A中,在机械30A~30N的任一个中产生了故障时,产生了故障的机械经由网络50向视觉指导装置10通知报警。视觉指导装置10若通知报警,则从存储部14参照位置顺序表141、位置图像对应表142、报警部件对应表143、图像文件144,取得位置顺序数据。另外,视觉指导装置10通过与第1实施方式的图7的动作流程相同的流程,按顺序在显示部20显示表示从表示产生了故障的机械的规定位置的图像至到达表示故障部件的安装位置的图像的一个以上的位置信息的图像。
上述的视觉指导装置10经由网络与机械30A~30N连接,因此能够设置于与机械30A~30N不同的位置,例如服务中心、呼叫中心。
特别地,在利用了网络的工厂监视系统组装视觉指导系统1A,在工厂监视系统的服务中心设置视觉指导装置10,由此当在工厂的机械产生了不良情况时,无需向工厂派遣现场服务人员,或者能够安排最佳的部件而迅速地派遣最佳的现场服务人员。
此外,视觉指导装置10也可以具有作为集中管理机械30A~30N的管理装置的功能。另外,视觉指导装置10的存储部14作为与视觉指导装置10分体的存储装置,也可以设置于网络50上。
〔第3实施方式的效果〕
在本实施方式中,1台视觉指导装置10能够指导1台以上的机械30的部件的安装位置。由此,管理1台以上的机械30的操作人员仅确认视觉指导装置10的显示部20,由此能够按顺序识别1台以上的机械30的从规定位置至到达安装位置的位置信息。
〔变形例〕
以上,对本发明的实施方式进行了说明,但本发明不限定于上述的实施方式。另外,本实施方式所记载的效果只不过列举了从本发明产生的最优选的效果,本发明的效果不限定于本实施方式所记载的效果。
在上述的实施方式中,虽形成一个部件与一个报警对应的结构,但不限定于此。例如,也可以是,多个部件与一个报警对应,视觉指导装置10指导多个部件的安装位置。
在上述的实施方式中,作为从规定位置观察机械30的图像数据,例示了从观察机械30的操作面板的地点眺望机械的正面图像数据,但不限定于此。也可以将任意的地点设为规定位置。另外,作为从与规定位置不同的其他位置观察机械30的图像数据,例示了表示部件的安装位置所存在的面的图像数据,但不限定于此。例如,也可以形成想要引导用户的移动的任意的位置的图像数据。
另外,视觉指导装置10的全部、或者一部分的构件、例如控制部11可以设置于网络上,也可以设置为云上的假想服务器。
例如,也可以构成为使视觉指导装置10具备的指导显示控制部113与视觉指导装置10能够通信地连接。
视觉指导系统1或者1A的指导方法由软件实现。在由软件实现的情况下,构成该软件的程序安装于一个以上的计算机。另外,这些程序可以记录于可移动介质而向用户散发,也可以经由网络下载于用户的计算机由此被散发。

Claims (11)

1.一种视觉指导装置,其特征在于,
所述视觉指导装置具备控制部,
所述控制部具备:
图像数据取得部,其取得从规定位置观察机械的图像数据、和从与所述规定位置不同的其他位置观察所述机械的图像数据;
图像变换部,其制作通过一个以上的纵横比变换了由所述图像数据取得部取得的从所述规定位置观察所述机械的图像数据而得的一个以上的图像数据;以及
指导显示控制部,其使显示装置依次显示从所述规定位置观察所述机械的图像数据、由所述图像变换部制作的一个以上的图像数据、以及从与所述规定位置不同的其他位置观察所述机械的图像数据,由此引导从所述规定位置到与所述规定位置不同的其他位置的移动。
2.根据权利要求1所述的视觉指导装置,其特征在于,
从与所述规定位置不同的其他位置观察所述机械的图像数据针对每个构成所述机械的部件包含表示所述部件的安装位置的图像数据,
所述指导显示控制部使所述显示装置依次显示从所述规定位置观察所述机械的图像数据、由所述图像变换部制作的一个以上的图像数据、以及表示所述部件的安装位置的图像数据,由此引导从所述规定位置到所述部件的安装位置的移动。
3.根据权利要求2所述的视觉指导装置,其特征在于,
所述指导显示控制部进一步在所述机械输出了报警的情况下,基于所述报警与所述部件的对应关系,使所述显示装置依次显示从所述规定位置观察所述机械的图像数据、由所述图像变换部制作的一个以上的图像数据、以及表示与所述报警对应的所述部件的安装位置的图像数据,由此引导从所述规定位置到与所述报警对应的所述部件的安装位置的移动。
4.根据权利要求3所述的视觉指导装置,其特征在于,
所述指导显示控制部在依次显示从所述规定位置观察所述机械的图像数据、由所述图像变换部制作的一个以上的图像数据、以及表示与所述报警对应的所述部件的安装位置的图像数据时,附带评语地显示于所述显示装置。
5.根据权利要求3或4所述的视觉指导装置,其特征在于,
所述指导显示控制部在依次显示从所述规定位置观察所述机械的图像数据、由所述图像变换部制作的一个以上的图像数据、以及表示与所述报警对应的所述部件的安装位置的图像数据时,附带声音地显示于所述显示装置。
6.根据权利要求1~5中任一项所述的视觉指导装置,其特征在于,
从所述规定位置观察的所述机械的图像数据是从观察所述机械的操作面板的地点观察所述机械的外形图。
7.根据权利要求1~6中任一项所述的视觉指导装置,其特征在于,
所述图像数据取得部从存储所述图像数据的存储装置取得所述图像数据。
8.根据权利要求1~7中任一项所述的视觉指导装置,其特征在于,
所述指导显示控制部连接为能够通信。
9.一种机械,其特征在于,
所述机械具备权利要求1~8中任一项所述的视觉指导装置。
10.一种视觉指导系统,其特征在于,
所述视觉指导系统具备权利要求1~8中任一项所述的视觉指导装置和连接为能够通信的一个以上的所述机械。
11.一种视觉指导方法,其特征在于,
通过一个以上的计算机执行:
图像数据取得工序,取得从规定位置观察机械的图像数据、和从与所述规定位置不同的其他位置观察所述机械的图像数据;
图像变换工序,制作通过一个以上的纵横比变换了由所述图像数据取得工序取得的从所述规定位置观察所述机械的图像数据而得的一个以上的图像数据;以及
指导显示控制工序,使显示装置依次显示从所述规定位置观察所述机械的图像数据、由所述图像变换工序制作的一个以上的图像数据、以及从与所述规定位置不同的其他位置观察所述机械的图像数据,由此引导从所述规定位置到与所述规定位置不同的其他位置的移动。
CN201910253190.0A 2018-04-02 2019-03-29 视觉指导装置、视觉指导系统、以及视觉指导方法 Active CN110351517B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018071031A JP6748139B2 (ja) 2018-04-02 2018-04-02 ビジュアルガイダンス装置、ビジュアルガイダンスシステム、及びビジュアルガイダンス方法
JP2018-071031 2018-04-02

Publications (2)

Publication Number Publication Date
CN110351517A true CN110351517A (zh) 2019-10-18
CN110351517B CN110351517B (zh) 2021-03-12

Family

ID=67909799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910253190.0A Active CN110351517B (zh) 2018-04-02 2019-03-29 视觉指导装置、视觉指导系统、以及视觉指导方法

Country Status (4)

Country Link
US (1) US10839357B2 (zh)
JP (1) JP6748139B2 (zh)
CN (1) CN110351517B (zh)
DE (1) DE102019203891A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113498952A (zh) * 2021-06-07 2021-10-15 西安理工大学 一种具有人机交互功能的模型展示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106079317A (zh) * 2016-04-22 2016-11-09 苏州超群智能科技有限公司 一种具有视觉引导定位功能的坐标桁架式注塑机械手
US20170090436A1 (en) * 2015-09-28 2017-03-30 Fanuc Corporation Numerical control system
CN107144570A (zh) * 2017-04-28 2017-09-08 东华大学 一种基于机器视觉的簇绒机排纱错误检测方法
CN206561226U (zh) * 2016-10-12 2017-10-17 华南理工大学 一种激光视觉引导的焊接轨迹自动跟踪系统
JP2017213075A (ja) * 2016-05-30 2017-12-07 株式会社三共 遊技機

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3528495B2 (ja) * 1997-02-05 2004-05-17 富士通株式会社 操作手順案内装置
JPH1141388A (ja) 1997-07-18 1999-02-12 Ricoh Co Ltd ファクシミリ装置のガイダンスの表示システム
US6138056A (en) * 1998-03-02 2000-10-24 Therwood Corporation System and method for maintenance and repair of CNC machines
JP2001137757A (ja) 1999-11-16 2001-05-22 Dainippon Printing Co Ltd 電界吐出制御方法および電界吐出ヘッド
JP2003295915A (ja) * 2002-04-02 2003-10-17 Sodick Co Ltd 数値制御装置
US20070073306A1 (en) * 2004-03-08 2007-03-29 Ryan Lakin Cutting block for surgical navigation
US11612377B2 (en) * 2010-12-16 2023-03-28 Best Medical International, Inc. Image guided surgical methodology and system employing patient movement detection and correction
US9495783B1 (en) * 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
EP3521522A4 (en) * 2016-09-29 2020-01-29 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. SHOVEL
US10610325B2 (en) * 2017-02-16 2020-04-07 Canon U.S.A., Inc. Medical guidance apparatus
JP2020522763A (ja) * 2017-04-19 2020-07-30 ヴィドニ インコーポレイテッド モーションキャプチャされた仮想手を使用する拡張現実学習システムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170090436A1 (en) * 2015-09-28 2017-03-30 Fanuc Corporation Numerical control system
CN106079317A (zh) * 2016-04-22 2016-11-09 苏州超群智能科技有限公司 一种具有视觉引导定位功能的坐标桁架式注塑机械手
JP2017213075A (ja) * 2016-05-30 2017-12-07 株式会社三共 遊技機
CN206561226U (zh) * 2016-10-12 2017-10-17 华南理工大学 一种激光视觉引导的焊接轨迹自动跟踪系统
CN107144570A (zh) * 2017-04-28 2017-09-08 东华大学 一种基于机器视觉的簇绒机排纱错误检测方法

Also Published As

Publication number Publication date
US20190303883A1 (en) 2019-10-03
CN110351517B (zh) 2021-03-12
JP6748139B2 (ja) 2020-08-26
DE102019203891A1 (de) 2019-10-02
US10839357B2 (en) 2020-11-17
JP2019184648A (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
CN108693791A (zh) 零件安装位置引导装置、零件安装位置引导系统及方法
EP1157315B1 (de) Augmented-reality-system mit einsatz mobiler geräte
Zhao et al. Digital twin-driven cyber-physical system for autonomously controlling of micro punching system
US10286551B2 (en) Robot system that controls robot including multiple mechanical units, the mechanical units, and robot control device
CN101957610B (zh) 机床的刀具轨迹显示装置
CN113703569A (zh) 用于工业自动化的虚拟现实和增强现实的系统和方法
CN107531440B (zh) 操作纺织机的工作站的方法和操作设备
US20050002151A1 (en) Machine-tool or production machine with head-up display
CN106056263A (zh) 机床的管理系统
CN103901817A (zh) 机床的负载显示装置
CN104907700A (zh) 用于配置激光加工装置的方法
JP2016117148A (ja) ロボット保守支援装置および方法
DE102011011661A1 (de) Numerische Steuerung mit einer Werkzeugbahn-Anzeigefunktion
CN110351517A (zh) 视觉指导装置、视觉指导系统、以及视觉指导方法
US10203686B2 (en) Operation management system for directly displaying work instruction based on operation management information on machine tool
JP2009098982A (ja) 加工シミュレーション装置およびそのプログラム
CN100475413C (zh) 机器人激光加工系统
US20200401098A1 (en) Diagnosis apparatus and diagnosis method
Hanna et al. Requirements for designing and controlling autonomous collaborative robots system-an industrial case
KR20190120441A (ko) 로봇 보수 지원 장치 및 방법
IT201800001507A1 (it) Sistema per gestire e monitorare una pluralita' di macchine utensili a controllo numerico
KR101108211B1 (ko) 복합선반용 파트프로그래밍 장치 및 복합 공정간 동기화 프로그램 생성방법
US9436178B2 (en) Parameter adjustment support device having function for supporting parameter adjustment
CN108375967A (zh) 控制装置
KR20150023965A (ko) 실시간 정보통합 기반의 다품종 생산 운용 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant