CN113055562A - 输入输出信号信息显示系统 - Google Patents

输入输出信号信息显示系统 Download PDF

Info

Publication number
CN113055562A
CN113055562A CN202011548495.3A CN202011548495A CN113055562A CN 113055562 A CN113055562 A CN 113055562A CN 202011548495 A CN202011548495 A CN 202011548495A CN 113055562 A CN113055562 A CN 113055562A
Authority
CN
China
Prior art keywords
image
signal information
display
input
output signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011548495.3A
Other languages
English (en)
Inventor
长野惠典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN113055562A publication Critical patent/CN113055562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种输入输出信号信息显示系统，在监视使用了机器人的设备的情况下，将监视对象部分与输入输出信号信息自动对应并显示在显示画面内。对象物确定部(93)基于根据从摄像装置(8)供给的实拍图像数据而显示在显示装置(7)中的实拍图像的变化与输入输出信号信息的变化之间的相关性，来确定对象物，显示控制部(94)使输入输出信号信息的图像(23)以与该被确定的对象物的图像具有特定的关系的方式伴随于该被确定的对象物的图像的显示方式的增强现实图像显示在显示装置(7)中。

Description

输入输出信号信息显示系统
技术领域
本发明涉及一种输入输出信号信息显示系统。
背景技术
提出了以下一种系统，在该系统中，在将生产设备以三维图形显示在显示器中的状态下，通过用鼠标描的线包围生产设备的特定部分，能够在显示器上仅显示特定部分的I/O信息(例如，参照专利文献1)。
提出了以下一种维护支援系统，在该维护支援系统中，使用具有显示部和摄像部的头戴型显示装置，基于来自摄像部的现实图像信息判定工厂设备的异常，并且使包含引起异常的工厂设备的维护信息的AR(增强现实)图像叠加到现实图像上并显示在显示部中(例如，参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开平10-105219号公报
专利文献2：日本特开2018-181232号公报
发明内容
发明要解决的问题
在监视使用了机器人的设备的情况下，一般是显示该设备的、作为运转状况的确认对象的一个或多个监视对象部分在某个时间点收发的I/O(Input/Output：输入输出)信号信息。此外，在本说明书中，I/O信号信息是指单个或特定的一组的多个I/O信号本身、或表示这些单个或特定的一组的多个I/O信号的状态的信息。在显示这样的I/O信号信息时，期望监视对象部分与I/O信号信息在显示画面内对应地显示。然而，在上述任何专利文献中均未示出自动进行这样的对应的技术。
因此，在监视使用了机器人的设备的情况下，期望监视对象部分与I/O信号信息自动对应地显示在显示画面内。
用于解决问题的方案
本公开的I/O信号信息显示系统的一个方式构成为包括：显示装置，其显示增强现实图像；摄像装置，其将包括至少一台机器人的监视对象设备中的、包括至少任一台机器人的部分作为摄像视野来获取实拍图像；机器人确定部，其确定所述显示装置所显示的、所述摄像装置获取到的实拍图像中的机器人；I/O信号信息获取部，其获取与所述机器人确定部确定的机器人有关的I/O信号信息；对象物确定部，其基于显示在所述显示装置中的实拍图像的变化与所述I/O信号信息的变化之间的相关性，来确定作为所述I/O信号信息的对象的对象物；以及显示控制部，其使所述I/O信号信息的图像以与由所述对象物确定部确定的所述对象物的图像具有特定的关系的方式伴随于由所述对象物确定部确定的所述对象物的图像的显示方式的增强现实图像显示在所述显示装置中，使所述监视对象设备中的所述对象物与所述I/O信号信息自动对应地显示在显示装置中。
发明的效果
根据一个方式，使与包括至少一台机器人的监视对象设备内的、包括任一台机器人的部分相关联的对象物同对应于该对象物的I/O信号信息自动对应地显示在显示装置中。
附图说明
图1是示出包括本公开的I/O信号信息显示系统的监视对象设备的一部分的框图。
图2是表示图1的I/O信号信息显示系统中的AR装置内的数据处理部的功能框图。
图3是表示图1的I/O信号信息显示系统的动作的顺序图。
图4是示出图1的I/O信号信息显示系统的AR装置内的数据处理部中的处理的流程图。
图5是示出图1的I/O信号信息显示系统的显示装置中的一个显示例的图。
图6A是示出图1的I/O信号信息显示系统的显示装置中的其它显示例的一种情况的图。
图6B是示出图1的I/O信号信息显示系统的显示装置中的其它显示例的其它情况的图。
附图标记说明
1：设备；2、16、24：机器人；3：机器人机构部；4：机器人控制装置；5：示教盒；6：AR装置；7：显示装置；8：摄像装置；9：数据处理部；10：惯性传感器；11、12、13：外部生产设备；14：第一输送机；15：第二输送机；16a、24a：手；17：第一工件通过传感器；18：第二工件通过传感器；19、20、21、22：工件；23：I/O信号信息图像；25：标记；25R：“红”(显示色)；25G：“绿”(显示色)；91：机器人确定部；92：I/O信号信息获取部；93：对象物确定部；94：显示控制部。
具体实施方式
图1是示出包括本公开的I/O信号信息显示系统的监视对象设备的一部分的框图。
在图1中，设备1是构成为包括至少一台机器人2的生产设备。机器人2构成为包括机器人机构部3、机器人控制装置4以及示教盒5。机器人机构部3例如是六轴多关节型的机械臂，但是并不限定于此。机器人控制装置4基于用户操作示教盒5而示教的信息来控制机器人机构部3。
在机器人控制装置4通过无线或通过有线连接有用于监视设备1的AR装置6。
AR装置6构成为包括显示装置7、摄像装置8、数据处理部9以及惯性传感器10。显示装置7具有能够显示增强现实图像(下面，适当称作AR图像)的液晶监视器等显示部。摄像装置8将包括至少一台机器人的监视对象设备中的、包括至少任一台机器人的部分作为摄像视野来获取实拍图像。数据处理部9例如由计算机构成，如后所述执行所确定的对象物同与其对应的I/O信号之间的对应，使在对象物的实拍图像上叠加I/O信号的图像而得到的AR图像显示在显示装置7中。惯性传感器10对构成为头戴型显示器的AR装置6的位置或姿势(即，用户的头部的位置或姿势)进行检测来获取表示用户的视野范围的信息。摄像装置8根据由惯性传感器10获取到的表示用户的视野范围的信息来获得实拍图像。在显示装置7中显示与表示用户的视野范围的信息相应的视野图像。视野图像是摄像装置8拍摄的实拍图像或上述的AR图像。
在机器人控制装置4连接有多个各种方式的外部生产设备11、12、13，该多个各种方式的外部生产设备11、12、13与机器人控制装置4之间收发I/O信号。具体地说，外部生产设备11、12、13是小型加工中心、作为末端执行器的手、用于物品输送的输送机或者用于工件的定位和支承的定位器等。在小型加工中心中以I/O信号表示盖门的打开关闭。在作为末端执行器的手中以I/O信号表示手的打开关闭。在输送机中以I/O信号表示物品有无到达规定位置或有无在规定位置通过。在定位器中以I/O信号表示工件的位置或姿势。当从I/O信号侧来看时，如上所述列举出了具体例的外部生产设备11、12、13是分别对应于I/O信号的“对象物”。
接着，参照图2的功能框图来对图1的AR装置6内的数据处理部9的功能性结构进行说明。
数据处理部9在AR装置6内被输入摄像装置8拍摄的实拍图像信息，并向显示装置7输出显示图像数据。另外，数据处理部9与机器人控制装置4收发既定的控制信号和I/O信号。
数据处理部9是构成为包括机器人确定部91、I/O信号信息获取部92、对象物确定部93和显示控制部94的各功能部的计算机。这些各功能部通过计算机的硬件资源与规定的软件资源的协作来实现。
机器人确定部91基于从机器人控制装置4供给的数据，来确定显示装置7所显示的、摄像装置8获取到的实拍图像中的机器人。
I/O信号信息获取部92获取与机器人确定部91确定的机器人有关的I/O信号信息。
对象物确定部93基于在显示装置7中显示的实拍图像的变化与I/O信号信息的变化之间的相关性，来确定作为I/O信号信息的对象的对象物。
显示控制部94使I/O信号信息的图像以与由对象物确定部93确定的对象物的图像具有特定的关系的方式伴随于由对象物确定部93确定的对象物的图像的显示方式的AR图像显示在显示装置7中。
接着，参照图3的顺序图来对I/O信号信息显示系统1的动作进行说明。
示教盒5接受显示模式设定的操作(步骤S1)，该显示模式设定的操作是对AR图像的显示方式进行设定的来自操作者(用户)的操作。示教盒5生成“显示模式指示”，该“显示模式指示”是与设定的显示模式对应的指令信息。在“显示模式指示”的信息中包含表示AR图像中的机器人是哪一个机器人(例如是几号机的机器人)的信息以及指定显示方式的信息。显示方式例如是指I/O信号信息的图像与对象物的图像相邻的方式或在对象物的图像上叠加I/O信号信息的图像的方式等显示形式、或画面内的I/O信号信息的显示位置等。示教盒5向机器人控制装置4赋予“显示模式指示”。
机器人控制装置4接受“显示模式指示”，生成能够由AR装置6的数据处理部9识别的“显示模式信息”。即，“显示模式信息”包括“显示模式指示”中包含的AR图像的显示方式或用于确定机器人的信息。机器人控制装置4提取与被确定的机器人有关联的多个对象物的“I/O信号信息”。机器人控制装置4进行生成“显示模式信息”并进一步提取“I/O信号信息”的处理(步骤S2)，向数据处理部9供给“显示模式信息”和“I/O信号信息”。
摄像装置8对根据由AR装置6的惯性传感器10获取到的用户的头部的位置或姿势推断出的用户的视野范围，在需要的期间进行作为时间序列的图像的运动图像的摄像动作。在用户的视野范围中包括关注的机器人，该机器人必然与由“显示模式信息”确定的机器人一致。摄像装置8获取作为时间序列的图像数据的“实拍图像数据”(步骤S3)。摄像装置8向数据处理部9供给获取到的“实拍图像数据”。
数据处理部9基于从机器人控制装置4供给的“显示模式信息”和“I/O信号信息”以及从摄像装置8供给的“实拍图像数据”，来执行后述的显示图像数据生成处理(步骤S4)。数据处理部9通过显示图像数据生成处理生成“显示图像数据”，并将该数据向显示装置7供给，该“显示图像数据”表示要显示在显示装置7的显示部中的AR图像。
显示装置7基于从数据处理部9供给的“显示图像数据”，来在自身的显示部中显示AR图像(步骤S5)。
接着，参照图4的流程图来对数据处理部9中有效的显示图像数据生成处理进行说明。
数据处理部9从机器人控制装置4获取“显示模式信息”和“I/O信号信息”，并且从摄像装置8获取“实拍图像数据”(步骤S11)。如上所述在“显示模式信息”中包括用于确定机器人的信息，数据处理部9的机器人确定部91(图2)识别该信息来确定机器人。“I/O信号信息”的获取由数据处理部9的I/O信号信息获取部92(图2)执行。
数据处理部9基于从摄像装置8供给的“实拍图像数据”，通过对在不同时刻获取到的两个图像数据进行比较，来从位于摄像视野的对象物之中检测有动作的对象物(步骤S12)。
接着，数据处理部9基于步骤S12中检测到的对象物的动作与步骤S11中获取到的I/O信号信息中的I/O信号的变化之间的同时性等相关性，来进行对象物与I/O信号的对应(步骤S13)。例如，若作为对象物的机器人的手的打开关闭动作与I/O信号的接通关断的变化的时刻一致，则将该手与I/O信号对应。
数据处理部9的对象物确定部93(图2)执行步骤S12和步骤S13的处理。
接着，数据处理部9基于对象物数据和I/O信号数据来生成显示图像数据(步骤S14)，该对象物数据和该I/O信号数据分别表示在步骤S13的处理中确定了对应的对象物和I/O信号。该显示图像数据是表示AR图像的图像数据，该AR图像是在基于对象物数据的实拍图像上叠加基于I/O信号数据的附加图像(I/O信号波形)而得到的。数据处理部9的显示控制部94(图2)执行步骤S14的处理。
数据处理部9将通过显示控制部94中的步骤S14的处理生成的显示图像数据向显示装置7供给。显示装置7基于被供给的显示图像数据，使在对象物的实拍图像上叠加与其对应的I/O信号波形的图像而得到的AR图像显示在显示部中。
接着，参照图5来对AR装置6的显示装置7中的一个显示例进行说明。
图5表示通过示教盒5(图1、图3)设定的显示模式下的、某个时间点的显示装置7的显示部中的显示图像(AR图像)。在图5的情况下，视觉识别出用于工件输送的第一输送机14和第二输送机15以空开间隔的方式平行设置。在第一输送机14与第二输送机15之间设置有机器人16。机器人16具有作为末端执行器的手16a。视觉识别出以面对第一输送机14的方式设置有用于探测工件的通过的第一工件通过传感器17。视觉识别出以面对第二输送机15的方式设置有用于探测工件的通过的第二工件通过传感器18。在第一输送机14的输送带上输送工件19、20。在第二输送机15的输送带上输送工件21、22。机器人16在使用手16a进行将第一输送机14的输送带上的工件移动到第二输送机15的输送带上的动作时，打开关闭手16a。第一输送机14、第二输送机15、机器人16、手16a、第一工件通过传感器17、第二工件通过传感器18、工件19、20、21、22是摄像装置8(图1)拍摄的实拍图像。对该实拍图像叠加I/O信号信息图像23来作成AR图像并显示在显示装置7的显示部中，该I/O信号信息图像23是表示I/O信号的时间序列变化的波形的图像。在I/O信号信息图像23中包括表示I/O信号DI1、I/O信号DI2以及I/O信号DO1各自的时间序列变化的波形的图像，该I/O信号DI1是第一工件通过传感器17的探测信号，该I/O信号DI2是第二工件通过传感器18的探测信号，该I/O信号DO1表示手16a的打开关闭。
图5中的各部与图1中的各部分别如以下那样对应。即，图5的第一输送机14(第一工件通过传感器17)对应于图1的外部生产设备11。图5的第二输送机15(第二工件通过传感器18)对应于图1的外部生产设备12。图5的手16a对应于图1的外部生产设备13。
接着，参照图6A、图6B来对AR装置6的显示装置7中的其它显示例进行说明。
图6A和图6B表示通过示教盒5(图1、图3)设定的显示模式下的、某个时间点的显示装置7的显示部中的显示图像(AR图像)。在图6A和图6B中，机器人24及其手24a是摄像装置8(图1)拍摄的实拍图像。对该实拍图像在手24a的附近位置叠加作为圆形图案的标记25来作成AR图像，并显示在显示装置7的显示部中。
在图6A和图6B的AR图像中，通过标记25的显示色显示机器人24的手24a的打开关闭状态。在图6A的情况下，机器人24的手24a为“关闭”，与其对应的标记25的显示色为“红”25R。在图6B的情况下，机器人24的手24a为“打开”，与其对应的标记25的显示色为“绿”25G。
接着概括上面参照图1至图6B来说明的本公开的I/O信号信息显示系统的作用效果。
(1)本公开的I/O信号信息显示系统具备：显示装置7，其显示AR图像；摄像装置8，其将包括至少一台机器人2的监视对象设备1中的、包括至少任一台机器人2的部分作为摄像视野来获取实拍图像；机器人确定部91，其确定显示装置7所显示的实拍图像中的机器人2；I/O信号信息获取部92，其获取与机器人确定部91确定的机器人有关的I/O信号信息；对象物确定部93，其基于显示在显示装置7中的实拍图像的变化与I/O信号信息的变化之间的相关性，来确定作为I/O信号信息的对象的对象物；以及显示控制部94，其使I/O信号信息的图像23以与由对象物确定部93确定的对象物的图像具有特定的关系的方式伴随于由对象物确定部93确定的对象物的图像的显示方式的AR图像显示在显示装置7中。
在上述(1)的I/O信号信息显示系统中，向对象物确定部93供给实拍图像数据和I/O信号信息，该实拍图像数据表示位于摄像装置8的摄像视野中且由机器人确定部91确定的机器人的实拍图像，该I/O信号信息是I/O信号信息获取部92获取到的与该机器人有关的I/O信号信息。对象物确定部93基于根据供给的实拍图像数据而显示在显示装置7中的实拍图像的变化与I/O信号信息的变化之间的相关性，来确定对象物。显示控制部94使I/O信号信息的图像23以与该被确定的对象物的图像具有特定的关系的方式伴随于该被确定的对象物的图像的显示方式的AR图像显示在显示装置7中。即，自动地确定对象物与I/O信号之间的对应关系，在对应的对象物的图像上叠加I/O信号信息的图像23而得到的AR图像被显示在显示装置7中。因此，显示监视者能够根据显示在显示装置7中的上述显示方式的AR图像，来适当地监视对象物和I/O信号的状况。
(2)在本公开的I/O信号信息显示系统中，在其一个方式中，对象物确定部93基于所述实拍图像的变化与所述I/O信号信息的变化之间的同时性，来确定对象物。
在上述(2)的I/O信号信息显示系统中，对象物确定部93找出作为实拍图像的变化的例如机器人手16a、24a的打开关闭动作与作为I/O信号信息的变化的例如I/O信号的接通关断的变化在时间上一致的组合，来确定对象物。因此，能够比较简单地确定对象物，并且可靠地确定I/O信号信息与对象物之间的对应关系。
(3)在本公开的I/O信号信息显示系统中，在其一个方式中，显示控制部94利用以下方式中的任一个方式作为上述显示方式来在显示装置7中进行显示：I/O信号信息的图像与对象物的图像相邻的方式；在对象物的图像上叠加I/O信号信息的图像的方式；与对象物的图像一起文本显示I/O信号信息的数值的方式；与对象物的图像一起显示具有与I/O信号信息的数值相应的亮度、色调或饱和度(彩度)的图案的方式；与对象物的图像一起显示与I/O信号信息的数值相应的曲线图的方式；或者与I/O信号信息的数值相应地调制了对象物的图像的方式。
在上述(3)的I/O信号信息显示系统中，能够使对象物的图像和I/O信号信息的图像以更适于监视目的的方式显示在显示装置7中，能够确切地进行监视。
此外，本公开并不限定于已经叙述的实施方式，能够进行各种变形变更来实施。例如，在上述的实施方式中，AR装置构成为头戴型显示器，但是也能够构成为具备与头戴型显示器相同的数据处理功能和显示功能的监视盘。
另外，能够达成本公开的目的的范围内的变形、改良也被包含在本公开中。

Claims (3)

1.一种输入输出信号信息显示系统，具备：
显示装置，其显示增强现实图像；
摄像装置，其将包括至少一台机器人的监视对象设备中的、包括至少任一台机器人的部分作为摄像视野来获取实拍图像；
机器人确定部，其确定所述显示装置所显示的、所述摄像装置获取到的实拍图像中的机器人；
输入输出信号信息获取部，其获取与所述机器人确定部确定的机器人有关系的输入输出信号信息；
对象物确定部，其基于显示在所述显示装置中的实拍图像的变化与所述输入输出信号信息的变化之间的相关性，来确定作为所述输入输出信号信息的对象的对象物；以及
显示控制部，其使所述输入输出信号信息的图像以与由所述对象物确定部确定的所述对象物的图像具有特定的关系的方式伴随于由所述对象物确定部确定的所述对象物的图像的显示方式的增强现实图像显示在所述显示装置中。
2.根据权利要求1所述的输入输出信号信息显示系统，其中，
所述对象物确定部基于所述实拍图像的变化与所述输入输出信号信息的变化之间的同时性，来确定对象物。
3.根据权利要求1或2所述的输入输出信号信息显示系统，其中，
所述显示控制部利用以下方式中的任一个方式作为所述显示方式来在所述显示装置中进行显示，所述方式为：所述输入输出信号信息的图像与所述对象物的图像相邻的方式；在所述对象物的图像上叠加所述输入输出信号信息的图像的方式；与所述对象物的图像一起文本显示所述输入输出信号信息的数值的方式；与所述对象物的图像一起显示具有与所述输入输出信号信息的数值相应的亮度、色调或饱和度的图案的方式；与所述对象物的图像一起显示与所述输入输出信号信息的数值相应的曲线图的方式；以及与所述输入输出信号信息的数值相应地调制了所述对象物的图像的方式。
CN202011548495.3A 2019-12-26 2020-12-24 输入输出信号信息显示系统 Pending CN113055562A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019236354A JP7424825B2 (ja) 2019-12-26 2019-12-26 Ｉ／ｏ信号情報表示システム
JP2019-236354 2019-12-26

Publications (1)

Publication Number Publication Date
CN113055562A true CN113055562A (zh) 2021-06-29

Family

ID=76310453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011548495.3A Pending CN113055562A (zh) 2019-12-26 2020-12-24 输入输出信号信息显示系统

Country Status (4)

Country Link
US (1) US11657610B2 (zh)
JP (1) JP7424825B2 (zh)
CN (1) CN113055562A (zh)
DE (1) DE102020214960A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7424825B2 (ja) * 2019-12-26 2024-01-30 ファナック株式会社 Ｉ／ｏ信号情報表示システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160048266A (ko) * 2014-10-23 2016-05-04 (주)세이엔 이차원 영상과 삼차원 영상 혼합 디스플레이 장치 및 방법
JP2017049847A (ja) * 2015-09-02 2017-03-09 キヤノン株式会社 情報処理装置及び、情報処理方法、制御プログラム
CN106863295A (zh) * 2015-12-10 2017-06-20 发那科株式会社 机器人系统
CN108732756A (zh) * 2017-04-21 2018-11-02 发那科株式会社 工厂设备的维护辅助装置以及维护辅助系统
JP2019160171A (ja) * 2018-03-16 2019-09-19 株式会社リコー 表示装置および表示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3550571B2 (ja) 1996-09-30 2004-08-04 オムロン株式会社 表示装置
TWI506443B (zh) * 2012-12-27 2015-11-01 Mediatek Inc 處理器與週邊裝置之間的媒介週邊介面及其通信方法
JP6211808B2 (ja) 2013-06-05 2017-10-11 富士機械製造株式会社 基板生産支援システム
JP5979497B2 (ja) * 2013-09-30 2016-08-24 ヤマハ株式会社 デジタルミキサおよびデジタルミキサのパッチ設定方法
JP5824173B1 (ja) 2014-02-28 2015-11-25 ファナック株式会社 ロボットを用いて物品を整列させる物品整列装置及び物品整列方法、並びに物品整列装置を備えた物品移送システム
JP2016039496A (ja) 2014-08-07 2016-03-22 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
US10022912B2 (en) * 2015-11-13 2018-07-17 GM Global Technology Operations LLC Additive manufacturing of a unibody vehicle
US9846933B2 (en) * 2015-11-16 2017-12-19 General Electric Company Systems and methods for monitoring components
US11358337B2 (en) * 2017-05-24 2022-06-14 Divergent Technologies, Inc. Robotic assembly of transport structures using on-site additive manufacturing
EP3676656A4 (en) * 2018-01-18 2020-11-25 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ADDING CONTENT WITH EXTENDED REALITY
US10885622B2 (en) * 2018-06-29 2021-01-05 Photogauge, Inc. System and method for using images from a commodity camera for object scanning, reverse engineering, metrology, assembly, and analysis
US20210053226A1 (en) * 2019-08-23 2021-02-25 Brad C. MELLO Safe operation of machinery using potential occupancy envelopes
JP7424825B2 (ja) * 2019-12-26 2024-01-30 ファナック株式会社 Ｉ／ｏ信号情報表示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160048266A (ko) * 2014-10-23 2016-05-04 (주)세이엔 이차원 영상과 삼차원 영상 혼합 디스플레이 장치 및 방법
JP2017049847A (ja) * 2015-09-02 2017-03-09 キヤノン株式会社 情報処理装置及び、情報処理方法、制御プログラム
CN106863295A (zh) * 2015-12-10 2017-06-20 发那科株式会社 机器人系统
CN108732756A (zh) * 2017-04-21 2018-11-02 发那科株式会社 工厂设备的维护辅助装置以及维护辅助系统
JP2019160171A (ja) * 2018-03-16 2019-09-19 株式会社リコー 表示装置および表示方法

Also Published As

Publication number Publication date
DE102020214960A1 (de) 2021-07-01
JP7424825B2 (ja) 2024-01-30
US20210201033A1 (en) 2021-07-01
US11657610B2 (en) 2023-05-23
JP2021106315A (ja) 2021-07-26

Similar Documents

Publication Publication Date Title
US10528036B2 (en) Light guided assembly system and method
RU2004132941A (ru) Способ (варианты) и устройство (варианты) автоматизированного обнаружения умышленных либо случайных нарушений технологической процедуры оператором
US20180370023A1 (en) Robot system
EP2221152A1 (en) A robot system and a method for picking and placing components
CN106527239B (zh) 一种多机器人协同操作模式的方法及系统
CN106695784A (zh) 一种机器人视觉控制系统
CN113714789A (zh) 基于视觉定位的螺纹拧紧装置及控制方法
CN112828846A (zh) 使用了增强现实的模拟装置以及机器人系统
CN113055562A (zh) 输入输出信号信息显示系统
US20230219223A1 (en) Programming device
EP3936286A1 (en) Robot control device, robot control method, and robot control program
EP3214586A1 (en) Method for maintenance support and maintenance support system
Araiza-lllan et al. Dynamic regions to enhance safety in human-robot interactions
EP4249187A1 (en) Tool checking device, tool checking program, and tool checking method for robot arm
Arita et al. Maneuvering assistance of teleoperation robot based on identification of gaze movement
KR20190055446A (ko) 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법
Stankov et al. An application of deep neural networks in industrial robotics for detection of humans
Vagaš et al. Calibration of an intuitive machine vision system based on an external high-performance image processing unit
JP2020068009A (ja) 操作検出装置、操作検出方法及び操作検出システム
US20230334396A1 (en) Work instruction system
WO2023157380A1 (ja) ロボット監視システム、監視装置、監視装置の制御方法およびプログラム
US10998211B2 (en) Management system, method, and computer program for semiconductor fabrication apparatus
De Gea et al. Design and control of an intelligent dual-arm manipulator for fault-recovery in a production scenario
ГОРЯЩЕНКО et al. TECHNICAL VISION SYSTEM WITH ARTIFICIAL INTELLIGENCE FOR CAPTURING CYLINDRICAL OBJECTS BY ROBOT
Yanagihara et al. Evaluating user interface of multimodal teaching advisor implemented on a wearable personal computer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination