CN114310865A - 为机器区域配置可视化设备 - Google Patents
为机器区域配置可视化设备 Download PDFInfo
- Publication number
- CN114310865A CN114310865A CN202111088093.4A CN202111088093A CN114310865A CN 114310865 A CN114310865 A CN 114310865A CN 202111088093 A CN202111088093 A CN 202111088093A CN 114310865 A CN114310865 A CN 114310865A
- Authority
- CN
- China
- Prior art keywords
- sensor
- markers
- marker
- detected
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 32
- 239000003550 marker Substances 0.000 claims description 69
- 239000000725 suspension Substances 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0426—Programming the control sequence
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/12—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using record carriers
- G05B19/124—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using record carriers using tapes, cards or discs with optically sensed marks or codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及为机器区域配置可视化设备。给出了一种用于为机器区域(10)配置可视化设备的方法,在该机器区域中布置了至少一个传感器(18),其中将参考标记(28)附接在机器区域(10)中,并且将对象标记(24)附接在传感器(18)上,每个检测装置检测至少两个标记(24、28),并且使这两个标记(24、28)在其相邻关系上抽象地彼此链接和/或在其相互的空间位置上几何地彼此链接。
Description
本发明涉及用于为其中布置有至少一个传感器的机器区域配置可视化设备的方法,以及用于该方法的具有对象标记的模板(Schablone)。
在机器区域,例如机器人单元中,使用多个传感器来避免事故并监控和支持工作过程。在设置和维护机器人单元和传感器时,获取肉眼无法直接识别出的关于传感器的信息是非常有帮助的。原则上已知的是,这种信息在诸如智能电话的移动终端设备上可视化。相机图像与附加信息(增强现实)的叠加是特别直观的。
正确显示传感器信息的先决条件是了解传感器相对于移动终端设备的相机的准确位置。在现有技术中,存在基于3D模型识别和定位要渐显(einblenden)其信息的物理对象的方法。为此,不仅需要物理对象的3D模型作为参考,而且3D模型之间的比较也复杂且容易出错,尤其是在对象如常见的那样被部分遮蔽时。
另一方案在于,分别将光学标记附接在对象上。要为每个对象单独创建这样的标记,并且在出现故障的情况下与对象一起更换或重新创建。在例如具有附加的保护外壳的传感器安装在系统中的情况下,可访问性在附接标记期间也不能始终得到保证。尽管存在老化迹象(例如,褪色或损坏),但是标记也要可读取以便可视化,因此从移动终端设备的位置可以完全地且以足够的尺寸来识别。最终,基于这种光学标记的正确定位是尚未令人满意地解决的挑战。
因此,本发明的任务在于改进机器区域的可视化。
该任务通过根据权利要求1的用于配置可视化设备的方法和根据权利要求15的对象标记来实现。优选地,可视化设备是移动终端设备,例如平板电脑、智能电话或VR眼镜。因此在配置完成后的运行中应呈现关于机器区域中的传感器的信息。对于机器区域,首先想到的是自主交通工具(AGV,automated guided vehicle或者AGC,automated guidedcontainer)上的机器人单元或系统联合机构(Systemverbund),但是该术语可以被更广泛地理解并且表示至少有时由于机器而预计具有动态的区域,例如也是传送带或铁路交叉口。因此,至少一个传感器位于机器区域中,该传感器例如对机器进行防护,并且在有事故风险的情况下负责及时地使机器进入安全状态,或者支持机器的工作,例如监控工作过程、识别工件或工具或者检查工作结果。光电传感器特别适用于这种任务。根据本发明的方法也适用于可视化关于除传感器之外的对象的信息。
本发明基于以下基本思想:使用标记来定位要使其信息可视化的至少一个传感器和可能的其他对象,这些标记由检测装置记录、检测或扫描。优选地,检测装置也是对应于可视化设备的移动终端设备,并且可以与其相同,但不是必须如此。根据本发明,一方面设置参考标记,另一方面设置对象标记,这些标记被附接在机器区域中或传感器上,然后被检测并且使其彼此关联。
参考标记相对于可视化设备的参考系被位置固定地附接,例如附接在车间地板上或在交通工具的车架上,因此它们的位置成为参考位置。最初,什么可以是参考位置没有限制,安装人员通过附接参考标记来决定该参考位置。尽管安装人员通过巧妙的选择用从配置机器区域的关键位置可容易地看到的较少参考标记来应对,但这对于本发明来说并不重要。
另一方面,对象标记被附接在传感器上,或者如果存在更多传感器,则被附接在这些传感器的每个传感器上。这些对象标记不被称为传感器标记,因为可能存在另外的对象,例如控制器或机器零件,它们的信息也应被可视化并且可以借助于对象标记以与传感器相同的方式被加入到可视化中。
现在用检测装置分别检测至少两个标记。此时,标记是参考标记或对象标记的总称,因此检测至少两个参考标记、两个对象标记或者一个参考标记和一个对象标记。这些标记或由这些标记表示的参考位置和传感器或对象彼此相关联,具体而言是在抽象上和/或几何上彼此相关联。抽象意味着在标记之间只创建简单的关系,称为相邻关系。然而,如果两个标记根据关系是邻居,则它们不一定是临界几何意义上的邻居,例如关系“是参照测量的”。优选地,几何链接(Verknüpfung)以三个维度表示位置关系,即例如从一个标记到另一个标记的变换规则或一部分。这样就产生了链接结构,借助该链接结构相对于参考位置对传感器和对象进行定位。
本发明的优点在于,关于在机器区域及其周围环境中任何地方的传感器和对象的数据和信息都可以被可视化。因此,创建了正确的参考,使数据和信息以可靠且易于识别的方式与传感器和对象相关联。对于测量以及随后的可视化,没有特殊要求的移动终端设备(例如,平板电脑或智能电话)就足够了。机器区域或其中的机器和传感器的投入使用、维护和诊断由此得到了极大的简化。节省了时间和成本并且避免了一些故障。
优选地,检测装置自动地引导安装人员完成配置,为此该检测装置总是提示对标记进行检测并且自动地执行这些标记的链接。
优选地,标记的检测以参考标记开始。然后,可以将所有抽象和几何的链接附加到该参考标记的参考位置。当然,坐标原点稍后仍可相对于该参考位置移位。优选地,坐标系相对于机器区域定义,而不是绝对地定义,特别是在机器区域运动的情况下,例如交通工具。优选地,所有传感器和其他感兴趣的对象都设有对象标记并且附接有参考标记,使得至少一个参考标记从所有相关的观察位置或者在这些观察位置可能需要跨越更大的距离处清晰可见。
优选地,成对地检测标记并且使其彼此链接,直到检测到被附接在机器区域中的标记为止。这简化了对链接结构的处理和插入。检测成对的标记,直到所有存在的标记都被考虑至少一次。这通常是安装人员的责任。如果遗忘了一个标记,则稍后的可视化可能不完整,并且随后要改进。原则上,通过记录机器区域的概览图像并且对标记进行计数或与机器区域中的传感器联合机构进行通信,也可以想到自动检查是否检测了所有标记。
优选地,检查分别成对检测的两个标记之一是否事先已经被检测过。安装人员期望的行为是在每种情况下检测一个已知的标记,随后检测一个新的标记。通过这种方式,所有已经检测过的标记至少彼此间接链接,并且链接结构每次依次扩展一个标记。如果两个新检测的标记仍然未知,则可以拒绝处理,并且可以在检测到至少一个另外的标记之后继续进行配置。可替代地,从两个仍然未知的标记生成进一步的链接结构。如果同一标记随后出现在多个链接结构中,则这些标记就可以彼此连接。
优选地,检测装置提示首先检测一个标记,随后检测另一个标记,并且接着显示这两个标记之间生成的链接,以便对链接进行确认。优选地,显示的是几何链接而不是抽象链接,例如在两个标记之间有计算出的连接线的图像中显示。安装人员可以识别几何链接什么时候不正确。随后,可以用另一种方法重复计算,或者可以提示安装人员扫描另一个标记或附接新的参考标记。
优选地,标记的抽象链接以图形的形式实现。图形的节点是已检测过和链接的标记,或者是由它们表示的参考位置和对象或传感器。指引线(Kante)本身就是抽象的相邻关系,除这些指引线之外,还可以存储从一个节点或标记到另一个节点或标记的几何变换或几何路径。
优选地,将图形布置或重新布置成使得图形中的相邻节点在几何上也是相邻的。这在以成对的方式读入标记时就可以进行,或者可以在事后进行。不能保证安装人员每次读入在几何意义上相邻的两个标记。通过校正布置或重新布置,解决了图形中的顺序和几何顺序之间的由此而产生的差异。
优选地,通过评估检测到的标记的尺寸和/或格式来实现标记的几何链接。这是确定几何关系的相对简单的方法。对于形状和尺寸已知的标记,可以从检测到的形状和尺寸推断检测的距离和视角,从而相对于检测装置来定位标记。然而,这只是定位方法的一个示例,已知多种其他的定位方法,特别是通过3D方法或光飞行时间测量进行距离测量。
优选地,标记的几何链接通过以下方式实现,即监测检测设备在检测不同标记之间的自身运动(Eigenbewegung),同时检测至少两个标记,或者在检测设备从一个标记对准到另一个标记期间对检测进行评估。如果安装人员相继检测到两个标记,并且随后相对于检测装置对这两个标记进行定位,则检测装置在此期间的运动和旋转可能导致在推断这两个标记相对于彼此的相对布置时得出误差。该误差可以通过例如使用惯性传感器(IMU,inertial measurement unit)对检测设备的自身运动进行检测来计算得出。自身运动也可以通过在从一个标记对准到另一个标记期间的中间检测来推断,例如利用光流方法或者通过将中间图像拼接在一起。相对简单的情况是,如果在同一图像中检测到两个标记,则不会出现所讨论的误差。安装人员还可以注意尽可能少地在这两个标记之间移动检测装置,从而保持所提到的误差较小,使得不必对该误差进行校正。
优选地,使参考位置与检测到的参考标记相关联,和/或使由检测到的对象标记表示的传感器与该对象标记相关联。参考位置可以是几何位置,例如坐标形式的参考位置,但也可以仅仅是链接结构中的一个点,特别是图形中的一个节点。代替对象标记或除对象标记之外,由该对象标记表示的传感器可以抽象地和/或几何地归入到链接结构中。在此,还可以想到由安装人员进行附加的配置步骤,例如输入一个可描述名称用于稍后的可视化,例如“用于材料闸(Materialschleuse)的保护区的激光扫描仪”。
优选地,将对象标记布置在具有悬挂部的模板(Schablone)上,以附接在传感器上。在此,不像常规情况那样将对象标记直接布置在对象或传感器上,而是布置在优选可重复使用的模板上,该模板随后借助于悬挂部被附接在传感器上。这不仅提供了一种特别简单的方式来可靠地附接并再次移除对象标记。模板以定义的方式将对象标记定位在传感器上,这有助于进一步处理。
优选地,将关于传感器相对于对象标记的位置的信息编码在对象标记中。由于模板,对象标记相对于实际传感器的相对位置是确定的,并且是预先已知的,例如该对象标记的光学中心是已知的。因此,可以可靠且容易地校正对象标记与实际的传感器位置之间的偏移。相应的信息可以被直接编码成变换或相对坐标,或者随后根据对象标记的身份进行补充。
在优选的改进方案中,给出了一种利用根据本发明配置的可视化设备对机器区域进行可视化的方法,其中首先检测参考标记,随后呈现来自参考标记的周围环境中的虚拟传感器信息。用户位于机器区域中或其附近的位置,并且使可视化设备指向参考标记,可视化设备基于该参考标记进行定向并找出哪些传感器位于周围环境中。然后,在正确的位置呈现关于这些传感器的虚拟传感器信息。优选地,在配置结束的这个时间点再次移除对象标记,这些对象标记无论如何不再需要了。
优选地,仅呈现根据抽象链接是检测到的参考标记邻居的传感器的传感器信息。这是一种选择从可视化设备的当前位置大概相关且可见的传感器的方案。优选地,选择直接的邻居,但是也可以设想2跳邻居关系(2er-Nachbarschaften)等以及对最大距离的限制。
优选地,将传感器信息被呈现为与实时图像重叠。因此,虚拟信息被叠加在真实图像上,从而实现了特别直观的呈现(增强现实)。
优选地,从传感器、从连接到传感器的控制器和/或从传感器的数据库中读出待呈现的传感器信息。通过对象标记或配置输入在其读入时就已经可以检测到一些静态信息。传感器本身或传感器所连接的上级系统可以提供其他信息。可以将具有传感器数据的数据库设想成另一来源。
优选地,传感器信息包括以下信息中的至少一种:传感器的名称;传感器的地址;传感器的类型;传感器的图形模型;传感器的定向(Ausrichtung)和/或检测区域,特别是扫描平面;可见范围(FOV,Field of View);保护区或感兴趣的区域;传感器参数,例如其温度或配置;和/或任何准备处理中的传感器的测量数据作为原始数据、数字、图像、点云、由传感器检测到的对象的网格模型等等。
根据本发明的模板具有:用于根据本发明的配置方法的实施方式的对象标记;适用于传感器的悬挂部;以及编码在对象标记中的信息,利用该信息将对象标记的位置转换成传感器的位置。通过模板可以非常容易地以定义的方式将对象标记附接在传感器上。不再需要为每个对象生成单独的对象标记。相反,具有适用于传感器类型的对象标记的模板可以重复使用多次。
附图说明
下面还基于实施方式并且参考附图示例性地进一步阐述本发明的进一步的特征和优点。在附图中:
图1示出了具有多个传感器的机器人单元的概览图;
图2a示出了具有对象标记和用于附接在传感器上的悬挂部的模板;
图2b示出了类似于图2a的模板,该模板具有用于不同传感器类型的不同的对象标记和不同的悬挂部;
图3示出了根据图1的机器人单元的概览图,现在该机器人单元具有附接在该机器人单元中的参考标记和附接在传感器上的对象标记;
图4示出了用于在机器人单元的可视化配置期间检测标记的示例流程图;
图5示出了测定两个检测到的标记之间的路径以用于检查和确认路径的示例图;以及
图6示出了在根据图3的机器人单元中根据连续检测到的标记进行配置期间产生的示例图形。
图1示出了机器区域10的概览图,该机器区域10在这里示例性地被设计成机器人单元。其中除了机器人12之外还有其他元件,传送带14和开关柜16在这里作为这些元件的代表示出。多个传感器18被装配在机器区域10中,以监控机器人12、传送带14和机器区域10的其他元件,例如入口通路或供应给机器人12并且由该机器人12处理的材料。传感器18可以自主工作,但是通常相互连接和/或与标识为F1的上级控制器20连接。优选地,上级控制器20或单元控制器也与机器人12的机器人控制器连接,或者至少部分地充当这种机器人控制器。
以下的传感器18被安装在图1的机器区域10中:机器人12周围的四个激光扫描仪S1、S2、T1和T2;传送带14上的四个相机C1到C4;以及对入口进行防护的光栅L1.1-L1.2。相机C1到C4彼此都是同一传感器类型。在激光扫描仪中,两个安全激光扫描仪S1和S2被设置用于防护或避免事故,并且两个非安全激光扫描仪T1和T2被设置用于机器人12的常规监控或自动化任务。具有安全功能的光栅也是安全地设计的。安全传感器通过灰色阴影示出。安全传感器与非安全传感器之间的区别在实践中通常非常重要,但在这里只是区分传感器类型的一种可能性。总体而言,图1中传感器18的选择和布置应被理解为是纯示例性的。
本发明不涉及机器人单元的设计,或者更一般地,不涉及机器区域10的设计,也不涉及所需的传感器18的选择和装配。更确切地,本发明应对传感器18的配置进行支持,特别是在投入运行、诊断或维护的过程中进行支持,并且为此提供机器区域10(连同关于传感器18的附加信息)或者传感器18的可视化。当然,这并不排除安装人员基于可视化来确定对附加传感器18或传感器18的不同布置的需要。
图2a示出了具有对象标记24的模板22,该对象标记在这里被实施为光学2D代码。对象标记24可以通过图像处理来读取,例如被智能电话的相机读取。光学代码的具体设计以及读取方法不是本发明的主题,对此存在传统的解决方案。原则上,可以设想使用非光学的对象标记24,例如RFID标签,但是定位利用光学代码运作是最可靠的,并且普通的终端设备具有相机,而不一定具有RFID读取器。
此外,悬挂部26被设置在模板22上,该悬挂部适配于特定的传感器类型。借助于悬挂部26可以将模板22以明确且可靠的方式附接在合适的传感器类型的传感器18上,而与传感器18的可访问性和尺寸无关。由于模板22,对象标记24相对于传感器18处于已知的相对位置。从对象标记24的位置到传感器18的位置的变换被编码到对象标记24中,不管是直接地(例如,以相对坐标的形式),还是通过使数据库或类似物中的对象标记24的身份信息与相关的相对坐标链接来间接地进行。由于模板22和现在已知的由模板22引起的对象标记24与传感器18之间的偏移,传感器18随后在可视化期间被显示在正确的位置处,而不是例如在对象标记24的位置处。模板22仅在可视化配置期间才需要,因此可以多次使用。
图2b示出了具有用于另一传感器类型的另一对象标记24的模板22。在此,除了对象标记24的代码内容之外,悬挂部26也发生改变,使得模板22可以被紧固在另一传感器类型的传感器18上。因此,优选地,分别生成具有匹配的对象标记24和匹配的悬挂部26的模板22,并且这只需要为每个传感器类型而不是为每个单独的传感器18实现一次。如图1所示,如果存在传感器类型相同的多个传感器18,则仍然需要多个模板22,但优选类型相同。对于为每种传感器类型设计自己的模板22可替代地,也可以设想通用模板。这些通用模板的悬挂部是尽可能柔性的,或者这些通用模板用线材、粘合剂或类似物附接。通用模板例如借助于箭头指示对象标记24将偏移编码到的位置。如果仔细地附接模板,则在对象标记24与传感器18之间也不会存在偏移。模板22也可以被设计用于除传感器18之外的其他对象,例如机器零件,或者通用模板22可以被附接在另一对象上。因此,此类对象被包含在可视化中。
图3再次示出了图1中的机器区域10,根据该图,此时对象标记24被附接在传感器18上并且作为对另一对象的示例还被附接在控制器20上,以及参考标记28被附接在机器区域10的多个位置处,例如附接在车间地板上。
对象标记24被附接在每个待定位的对象(即,传感器18,但也有机器零件、控制器20或类似物)上。这优选地通过模板22完成,并且可替代地直接在传感器18或其他对象上完成。优选地,对象标记24不是针对传感器18单独创建的,而是针对传感器类型创建的。在图3的示例中,存在五个不同的对象标记24,用D1表示安全激光扫描仪S1、S2,用D2表示非安全激光扫描仪T1、T2,用D3表示(非安全)相机C1至C4,用D4表示(安全)光栅L1.1-L1.2,以及用D5表示控制器20的控制器类型,该控制器20作为不是传感器18的另一待可视化对象的示例。在传感器S1和T2上分别示出了两个对象标记24,这些对象标记实际上并不应双重附接,而仅仅是展示有多种可能性或方向来紧固模板22。该方向可以反映传感器18或其他对象的观察方向。另一方面,在光栅L1.1-L1.2中,监控光束在其间延伸的两个柱实际上都应设有自己的对象标记24。如结合图2a-2b已经提到的,对象标记24优选地包含以下信息:涉及哪个对象或哪个传感器18,优选地在类型、变型或系列的层面上(而不是在单个对象或传感器的层面上)的信息;以及关于从对象标记24的位置或原点到对象或传感器18的位置或原点的变换的信息。变换能够在期望的或正确的位置(而不是在对象标记24的位置)处实现可视化。
除了对象标记24之外,至少一个参考标记28被附接在机器区域10中。参考标记28可以由安装人员任意放置。这些参考标记包含唯一的编码,例如32位标识号(UUID,Universally Unique Identification),以避免与机器区域10中的其他标记混淆。参考标记28用作参考点。随后,在可视化中,基于从附近读入的参考标记28来确定可视化的原点位于何处以及哪些传感器18处于周围环境中。
图4示出了基于对象标记24和参考标记28对机器区域10的可视化进行配置的示例流程图。该流程基于成对地读入标记24、28。这是一个简单的过程,但是可替代地,每个配置步骤也可以读入多于两个的标记24、28并且使它们彼此关联。配置在移动终端设备中进行,该移动终端设备在某些情况下被称为检测装置,例如智能电话或平板电脑,该移动终端设备自动地引导安装人员完成配置。
在步骤S1中,读入第一标记24、28,因此提示安装人员使检测装置指向待读入的标记24、28,并且例如触发相机的图像记录。在配置的开始,首先读入参考标记28是有利的。该参考标记随后形成参考点或原点。然而可替代地,锚定(Verankerung)可以在检测到参考标记28之后的稍晚的时间点发生。
在步骤S2中,读入第二标记24、28。这样就读入成对的两个标记,更确切地说,根据安装人员的选择,读入由两个对象标记24组成的对、由一个对象标记24和一个参考标记28组成的对或者由两个参考标记28组成的对。如已经对步骤S1所陈述的,在第一对中,可以提示安装人员选择至少一个参考标记28,使得从一开始就有原点。在随后的迭代中,在读入另外的对时,检测设备可以要求读入的标记24、28中的相应的一个已经是已知的,以便从在配置期间读入的标记24、28连续扩展链接结构。可替代地,生成两个或甚至更多个最初分开的链接结构,一旦这些链接结构在至少一个变为已知的标记24、28中相互重叠,则这些链接结构就可以结合在一起。
在步骤S3中,自动地确定这两个读入的标记24、28之间的关系。一种抽象关系就已经存在了,即这两个标记24、28一起被读入并且现在自动地相互参照。例如,利用这种关系可以生成图形,这将在后面参考图6进行阐述。然而,还应进一步确定这两个读入的标记24、28之间的几何关系,即从一个标记24、28到另一个标记24、28的变换或路径。为此,可以使用各种图像评估方法,这些方法本身是已知的并且这里不再进一步解释。例如,仅以草图就可以从标记24、28的尺寸或其透视失真推断出彼此间的距离和位置。因此,可以找到将一个标记24、28或其代码元素或包络线转换成另一个标记24、28的变换。标记24、28的特殊设计可以支持这种图像处理。
在可选的步骤S4中,显示几何关系,以通过安装人员对其进行确认。这在图5中的两个示例性的对象标记24进行说明。显示这两个对象标记24之间的计算出的路径30,使得安装人员可以领会该路径30是否实际上将这两个对象标记24相互转换。在经安装人员确认后,存储几何关系。如果安装人员不认同路径30,则检测装置返回到S1到S3之一。因此,尝试利用读入的标记24、28重新计算几何关系,或者重新读入标记24、28中的至少一个,即优选地,首先加入至少一个另外的标记24、28。另一种补救措施是附接另外的参考标记28。
在步骤S5中,检查读入的标记24、28之一是否是对象标记24。然后,在步骤S6中使传感器18或对象与该对象标记相关联。在此,可选地也可以进行用户输入,通过用户输入,给传感器18或对象例如设有其自己的名称。可以使参考位置(例如,坐标系中的坐标)与参考标记28相关联。优选地,每个链接结构的第一个读入的参考标记28确定坐标系,其中原点仍然可以根据需要而移位。如果在标记24、28出现在两个链接结构中之后多个链接结构彼此组合,则坐标系也对齐(angleichen)。
在步骤S7中,如果所有标记24、28都被检测一次,则配置结束。否则,在步骤S1中,在另一迭代中检测新一对的标记24、28并且对其进行处理。优选地,安装人员有责任考虑所有标记24、28。然而,还可以想到的是,检测装置例如通过规范、从具有所有标记24、28的机器区域10的概观图像、或者通过与传感器18或控制器20进行通信,来了解标记24、28的总数量。
在该配置结束时,所有标记24、28之间的几何关系是已知的,因此对所有传感器18和其他对象(例如,具有对象标记24的控制器20)进行了定位。现在,可以移除对象标记24或模板22。
图6示例性地示出了在图3所示的机器区域10的配置完成之后生成的图形。节点对应于对象标记24以及参考标记28,其中传感器18和其他对象(例如,控制器20)由对象标记24表示。指引线对应于相邻关系。如果安装人员在步骤S1和S2中选择了不相邻的一对标记24、28,则可以基于几何关系来重新布置这些指引线,使得图形中的相邻相关性与实际的几何结构相一致。优选地,也存储关于指引线的几何变换。因此,例如不仅已知参考标记M1在图形中是参考标记M3的邻居,而且还知道M1如何几何转换到M3,或者M3相对于M1被定位在何处。指引线不一定仅表示参考标记28与对象标记24之间的关系,还可以表示从参考标记28到另一参考标记28的关系。这就像是没有光学连接的情况下跨越过大距离的桥。与图6中的图示不同,还可以有多个图形,而不仅仅是唯一一个相关联的图形。
在配置结束之后,现在可以对传感器18的传感器数据进行可视化。移动终端设备又用作可视化设备,该移动终端设备可以与配置的检测装置一致(但不必如此),该移动终端设备例如是智能电话、平板电脑或VR眼镜。用户扫描其附近的参考标记28。基于图形,对扫描到的参考标记28的周围环境中的传感器18和诸如控制器20的任何其他对象进行定位,特别是扫描到的参考标记28在图形中的直接或间接的邻居。必要的几何变换从图形的指引线的配置中进行存储。因此,传感器信息或对象信息可以在正确的位置可视化。优选地,该传感器信息或对象信息被相机图像重叠(Augmented Reality)。
可以设想各种各样的可视化信息。除了传感器18的名称和类型之外,还可以示出其配置,例如可以示出激光扫描仪的保护区,可以示出诸如传感器18的温度的操作参数,或者可以可视化传感器18的测量数据。在诸如控制器20的其他对象的情况下,数据被转换成通用描述并且设有相关的可视化。这可以根据可视化的类型来加载。
到目前为止,已经以机器人单元作为机器区域10的示例描述了本发明。该概念可以被转移到优选的自主交通工具上。参考标记28(诸如,传感器18)位于交通工具上,因此在交通工具的参考系中彼此具有固定的几何关系,使得交通工具相对于外部环境的运动不发挥作用,并且根据本发明的配置和可视化保持与静止的机器区域10相当。然而,机器区域10既不限于机器人单元,也不限于交通工具,而是描述了至少一个传感器18位于其中并且其中至少有时发生机器的干预的区域,为此存在无数其他的示例,例如传送带或者甚至铁路道口。
在扩展中,可以用机器区域10的CAD信息实现链接,这些CAD信息在机器人单元或交通工具的情况下通常本就存在。因此,可以更精确地定位标记24、28,或者可以规划参考标记28的最佳数量和位置。除了标记24、28之外,3D模型还可以用于定位传感器18本身。
Claims (15)
1.一种用于为机器区域(10)配置可视化设备的方法,在所述机器区域(10)中布置了至少一个传感器(18),
其特征在于,
将参考标记(28)附接在所述机器区域(10)中,并且将对象标记(24)附接在所述传感器(18)上,使得每个检测装置检测至少两个标记(24、28),并且使两个标记(24、28)在它们的相邻关系上抽象地彼此链接和/或在它们相互的空间位置上几何地彼此链接。
2.根据权利要求1所述的方法,其中,成对地检测标记(24、28)并且使所述标记彼此链接,直到检测到附接在所述机器区域(10)中的标记(24、28)为止,其中特别地检查分别成对地检测到的两个标记(24、28)之一是否事先已经被检测过。
3.根据权利要求2所述的方法,其中,所述检测装置提示首先检测一个标记(24、28),随后检测另一个标记(24、28),并且随后显示在两个标记(24、28)之间生成的链接,以对该链接进行确认。
4.根据前述权利要求中任一项所述的方法,其中,所述标记(24、28)的抽象链接以图形的形式实现,其中特别地,将所述图形布置或重新布置成使得所述图形中的相邻节点在几何上也是相邻的。
5.根据前述权利要求中任一项所述的方法,其中,通过评估检测到的标记(24、28)的尺寸和/或格式来实现所述标记(24、28)的几何链接。
6.根据前述权利要求中任一项所述的方法,其中,所述标记(24、28)的几何链接通过以下方式实现,即监测所述检测设备在检测不同的标记(24、28)之间的自身运动,同时检测至少两个标记(24、28)或者在所述检测设备从一个标记(24、28)对准向另一个标记(24、28)期间对检测进行评估。
7.根据前述权利要求中任一项所述的方法,其中,使参考位置与检测到的参考标记(28)相关联,和/或使由检测到的对象标记(24)表示的传感器(18)与检测到的对象标记相关联。
8.根据前述权利要求中任一项所述的方法,其中,将对象标记(24)布置在模板(22)上,所述模板具有用于附接在所述传感器(18)上的悬挂部(26)。
9.根据权利要求8所述的方法,其中,将关于所述传感器(18)相对于所述对象标记(24)的位置的信息编码在所述对象标记(24)中。
10.一种利用可视化设备对机器区域(10)进行可视化的方法,该可视化设备根据前述权利要求中任一项所述的进行配置,其中,首先检测参考标记(28),随后呈现来自所述参考标记(28)的周围环境的虚拟传感器信息。
11.根据权利要求10所述的方法,其中,仅呈现根据抽象链接作为检测到的参考标记(28)的邻居的传感器(18)的传感器信息。
12.根据权利要求10或11所述的方法,其中,将所述传感器信息呈现为与实时图像重叠。
13.根据权利要求10至12中任一项所述的方法,其中,从所述传感器(18)、从连接到所述传感器(18)的控制器(20)和/或从传感器(18)的数据库中读出待呈现的传感器信息。
14.根据权利要求10至13中任一项所述的方法,其中所述传感器信息包括以下信息中的至少一种:所述传感器(18)的名称;所述传感器(18)的地址;所述传感器(18)的类型;所述传感器(18)的图形模型;所述传感器(18)的定向和/或检测区域,特别是保护区或感兴趣区域;所述传感器(18)的传感器参数和/或测量数据。
15.一种用于根据前述权利要求中任一项所述的配置方法的具有对象标记(24)的模板(22),其中除了所述对象标记(24)之外,所述模板(22)还具有适用于传感器(18)的悬挂部(26)以及编码到所述对象标记(24)中的信息,利用所述信息能够将所述对象标记(24)的位置转换成所述传感器(18)的位置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20198357.4A EP3974936B1 (de) | 2020-09-25 | 2020-09-25 | Konfigurieren einer visualisierungsvorrichtung für einen maschinenbereich |
EP20198357.4 | 2020-09-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114310865A true CN114310865A (zh) | 2022-04-12 |
CN114310865B CN114310865B (zh) | 2024-03-12 |
Family
ID=72826657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111088093.4A Active CN114310865B (zh) | 2020-09-25 | 2021-09-16 | 为机器区域配置可视化设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220097238A1 (zh) |
EP (1) | EP3974936B1 (zh) |
CN (1) | CN114310865B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020127670B4 (de) | 2020-10-21 | 2022-06-30 | Sick Ag | Absichern eines beweglichen Maschinenteils |
DE102020129823B4 (de) | 2020-11-12 | 2022-07-07 | Sick Ag | Visualisieren eines Schutzfeldes |
EP4438936A1 (de) | 2023-03-28 | 2024-10-02 | Sick Ag | Validieren von schutzfeldern |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2071510A2 (de) * | 2007-12-11 | 2009-06-17 | KUKA Roboter GmbH | Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt |
CN105335260A (zh) * | 2014-08-11 | 2016-02-17 | 无锡市嘉邦电力管道厂 | 一种传感器管理方法及装置 |
CN105913759A (zh) * | 2016-06-27 | 2016-08-31 | 国网山东省电力公司济南供电公司 | 二维码识别电缆挂牌 |
CN206584676U (zh) * | 2016-09-22 | 2017-10-24 | 华润电力(海丰)有限公司 | 带二维码的标识牌 |
WO2017198331A1 (de) * | 2016-05-18 | 2017-11-23 | Kuka Roboter Gmbh | Verfahren und system zur ausrichtung eines virtuellen modells an einem realen objekt |
US20190156577A1 (en) * | 2017-11-22 | 2019-05-23 | Google Llc | Positional recognition for augmented reality environment |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7845560B2 (en) * | 2004-12-14 | 2010-12-07 | Sky-Trax Incorporated | Method and apparatus for determining position and rotational orientation of an object |
JP6126067B2 (ja) * | 2014-11-28 | 2017-05-10 | ファナック株式会社 | 工作機械及びロボットを備えた協働システム |
US9947140B2 (en) * | 2015-09-15 | 2018-04-17 | Sartorius Stedim Biotech Gmbh | Connection method, visualization system and computer program product |
WO2017137087A1 (en) * | 2016-02-12 | 2017-08-17 | Brainlab Ag | Method and system for registering a patient with a 3d image using a robot |
US10551821B2 (en) * | 2016-06-30 | 2020-02-04 | Seiko Epson Corporation | Robot, robot control apparatus and robot system |
DE102016213663A1 (de) * | 2016-07-26 | 2018-02-01 | Siemens Aktiengesellschaft | Verfahren zum Steuern eines Endelementes einer Werkzeugmaschine und eine Werkzeugmaschine |
EP3324362B1 (de) * | 2016-11-21 | 2019-07-03 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems |
JP6457469B2 (ja) * | 2016-12-08 | 2019-01-23 | ファナック株式会社 | 移動ロボットの干渉領域設定装置 |
AU2018306475A1 (en) * | 2017-07-25 | 2020-03-05 | Mbl Limited | Systems and methods for operations a robotic system and executing robotic interactions |
US11420335B2 (en) * | 2018-01-23 | 2022-08-23 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
EP3629141B1 (de) * | 2018-09-28 | 2021-04-14 | Sick Ag | Verfahren und vorrichtung zum überprüfen eines konfigurationsparameterwerts |
US11752632B2 (en) * | 2019-05-03 | 2023-09-12 | Fanuc America Corporation | Actuated mechanical machine calibration to stationary marker |
US11590650B2 (en) * | 2019-06-10 | 2023-02-28 | Preferred Networks, Inc. | Generation method for training dataset, model generation method, training data generation apparatus, inference apparatus, robotic controller, model training method and robot |
JP7183372B1 (ja) * | 2021-11-05 | 2022-12-05 | 株式会社ダイヘン | マーカ検出装置及びロボット教示システム |
-
2020
- 2020-09-25 EP EP20198357.4A patent/EP3974936B1/de active Active
-
2021
- 2021-09-16 CN CN202111088093.4A patent/CN114310865B/zh active Active
- 2021-09-23 US US17/483,782 patent/US20220097238A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2071510A2 (de) * | 2007-12-11 | 2009-06-17 | KUKA Roboter GmbH | Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt |
CN105335260A (zh) * | 2014-08-11 | 2016-02-17 | 无锡市嘉邦电力管道厂 | 一种传感器管理方法及装置 |
WO2017198331A1 (de) * | 2016-05-18 | 2017-11-23 | Kuka Roboter Gmbh | Verfahren und system zur ausrichtung eines virtuellen modells an einem realen objekt |
CN105913759A (zh) * | 2016-06-27 | 2016-08-31 | 国网山东省电力公司济南供电公司 | 二维码识别电缆挂牌 |
CN206584676U (zh) * | 2016-09-22 | 2017-10-24 | 华润电力(海丰)有限公司 | 带二维码的标识牌 |
US20190156577A1 (en) * | 2017-11-22 | 2019-05-23 | Google Llc | Positional recognition for augmented reality environment |
Also Published As
Publication number | Publication date |
---|---|
US20220097238A1 (en) | 2022-03-31 |
CN114310865B (zh) | 2024-03-12 |
EP3974936B1 (de) | 2023-06-07 |
EP3974936A1 (de) | 2022-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114310865B (zh) | 为机器区域配置可视化设备 | |
CN101346744B (zh) | 配置用于监视空间区域的监视设备的方法 | |
EP3363602A1 (en) | Monitoring system, monitoring device, and monitoring method | |
JP4785583B2 (ja) | 作業支援システム、作業支援装置及びコンピュータプログラム | |
JP4442661B2 (ja) | 3次元計測方法および3次元計測装置 | |
US11308376B2 (en) | Equipment management system | |
US20190377330A1 (en) | Augmented Reality Systems, Methods And Devices | |
CN112512757B (zh) | 机器人控制装置、模拟方法以及模拟存储介质 | |
CN113211494A (zh) | 用于检查机器人的安全区域的方法 | |
CN108089553A (zh) | 用于启动多轴系统的方法和装置 | |
JP5674933B2 (ja) | 倉庫内の物体の位置を特定するための方法及び装置 | |
JP2020194594A (ja) | コード認識装置 | |
JP6445935B2 (ja) | 作業支援装置、作業支援方法及び作業支援プログラム | |
US20240029234A1 (en) | Method for inspecting a correct execution of a processing step of components, in particular a wiring harness, data structure, and system | |
JP2008290859A (ja) | 荷役位置検出方法及びシステム | |
JP5213655B2 (ja) | 自律移動ロボット | |
CN112621741A (zh) | 机器人系统 | |
JP6065911B2 (ja) | 配置情報登録装置、配置情報登録方法および配置情報登録プログラム | |
TR201603524A2 (zh) | ||
JP5210727B2 (ja) | Idタグ群の位置検知装置及びその方法 | |
US20230296375A1 (en) | Measuring panel for vehicle measurement | |
CN115468583A (zh) | 定位标识检测方法、电子设备、存储介质及程序产品 | |
JP5854797B2 (ja) | 部材情報取得装置 | |
JPWO2018143151A1 (ja) | 測量用マーカ、及び測量システム | |
EP1914684A1 (en) | Identification label containing graphic and/or electromagnetic references for relating a tridimensional shape to a real world object, and method for use thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |