CN105473927B - 用于保障自动化工作的机器的设备和方法 - Google Patents
用于保障自动化工作的机器的设备和方法 Download PDFInfo
- Publication number
- CN105473927B CN105473927B CN201480046259.8A CN201480046259A CN105473927B CN 105473927 B CN105473927 B CN 105473927B CN 201480046259 A CN201480046259 A CN 201480046259A CN 105473927 B CN105473927 B CN 105473927B
- Authority
- CN
- China
- Prior art keywords
- foreign object
- camera
- image
- assessment unit
- welding spark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 84
- 238000003466 welding Methods 0.000 claims abstract description 171
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000001960 triggered effect Effects 0.000 claims abstract description 3
- 238000003702 image correction Methods 0.000 claims description 19
- 206010019133 Hangover Diseases 0.000 description 24
- 238000013461 design Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 7
- 238000005476 soldering Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 241000233866 Fungi Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000465 moulding Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000021760 high fever Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
- F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
- F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
- F16M11/105—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis the horizontal axis being the roll axis, e.g. for creating a landscape-portrait rotation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
- B23K37/006—Safety devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/20—Undercarriages with or without wheels
- F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
- F16M11/2014—Undercarriages with or without wheels comprising means allowing pivoting adjustment around a vertical axis
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/20—Undercarriages with or without wheels
- F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
- F16M11/2021—Undercarriages with or without wheels comprising means allowing pivoting adjustment around a horizontal axis
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
- F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
- F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
- F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
- F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
- F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Robotics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Auxiliary Devices For Machine Tools (AREA)
- Machine Tool Sensing Apparatuses (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种用于对设置有自动化工作的机器(16)的监控区域(14)进行保障的设备。所述设备(10)具有用于对所述监控区域(14)进行监控的相机系统(12)、用于限定所述监控区域(14)内部的至少一个保护区域(36)的配置单元(34)和用于触发安全相关的功能的评估单元(28)。所述相机系统(12)提供所述保护区域(36)的相机图像,并且所述评估单元(28)评估在所述保护区域(36)中是否存在外物(53)或者外物是否侵入到所述保护区域中。所述评估单元(28)此外设立用于,通过对所述相机图像的分析将存在于所述保护区域(36)中的或者侵入到所述保护区域中的外物(53)分类,以便根据一个或多个用于焊接火花(52)的特征性的特征来确定,所述外物(53)是否是焊接火花(52),其中所述评估单元(28)设立用于,当所述外物(53)不被识别为焊接火花(52)时,触发安全相关的功能。
Description
技术领域
本发明涉及一种用于对设置有自动化工作的机器的监控区域进行保障的设备,所述设备具有用于对监控区域进行监控的相机系统、用于限定监控区域内部的至少一个保护区域的配置单元和用于触发安全相关的功能的评估单元。
本发明此外涉及一种用于对设置有自动化工作的机器的监控区域进行保障的相应的方法。
背景技术
在现代的以巨大的速度运动的工业机器人中,碰撞通常不仅在机器人上而且在由其操纵的工件上导致严重的损伤。这会导致昂贵的生产中断。与自动化工作的机器人相互作用的人员的安全性也具有最高的优先级。在现代的工业机器人和具有运动的机器元件的其它机器中,因此必须通过保护装置防止在运动的器件元件和外物之间产生碰撞,其中所述机器元件的运动对于人员和其它对象而言是危险。为此在发生不期望的接触之前通常足以使机器进入停止状态。
传统上借助于呈护栏和保护门形式的机械的障碍物或者借助于挡光板、光栅和激光扫描仪保障围绕自动化工作的机器的危险区域。通常,挡光板、光栅和激光扫描仪也在与首先提到的机械的障碍物的组合中使用。一旦人员打开保护门或者光栅或挡光板被中断,那么产生关断信号,借助于关断信号停止机器的危险的工作运动,或者使机器进入更安全的状态中。而这类保护装置的安装是相当耗费的并且保护装置需要许多围绕危险的机器的空间。此外,当涉及将对危险的工作区域的保障匹配于机器的不同的运行情况时,这种保护装置的灵活性较小。
特别地,在光电子传感器如光栅、挡光板或者反射光探测器中,能够引起机器或设施的所不期望的关断。在安全方面本来毫不令人担忧的极小的部件或者干扰光尽管如此还是会触发关断信号。这通常引起机器和设施可用性的不必要的限制,因为关断也在从安全方面来看毫无问题的情况下进行。因此致力于在光栅、挡光板或者反射光探测器中滤出干扰物和干扰光。已知的技术是,光发送器发送比特编码的光信号,所述光信号由接收器解码并且与目标值比较。在反射光探测器中此外使用偏振光。由此甚至镜或者亮的对象仍被检测为辐射中断部。
从DE 202 12 769 U1中已知另一个已知的技术。DE 202 12 769 U1 示出一种光栅,所述光栅评估在出现射束轴的射束中断方面预设的数量的多个检测周期以产生对象确定信号。这用于抑制瞬时的干扰。较小的、不重要的干扰物如昆虫、花粉、锯屑和锯末应通过所谓的多次分析压制。这对应于时间滤波器,所述时间滤波器在所限定的时间内容忍保护区域或其中一部分的中断,因为假设干扰物仅暂时地出现。在此不利的是,在该时间中也未检测到“真实的”侵害,也就是说,这虚假地引起反应时间的延长从而导致较大的安全距离。更糟糕的是,干扰物不仅暂时地出现,而且除此之外也存在更长的时间。在这种情况下,时间滤波器不进行辅助,使得尽管如此光电子传感器还是可能识别到侵害从而产生关断信号。
为了避免在上文中提到的缺点,一段时间以来存在如下尝试:借助于相机系统和适当的图像处理装置实现对自动化工作的机器的危险的工作区域的保障。这种系统由申请人以名称“SafetyEYE”销售。在这种相机系统上特有的是,相对于标准的相机,即使出现故障功能,仍始终必须确保带来危险的机器或者设施的安全的状态。在使用相机系统时也有利的是,能够对体而不是对各个线或面进行保障。也就是说,这种相机系统实现从所有侧虚拟地监控三维的保护区域。由此可行的是,重新提高安全性并且无间隙地进行监控。
EP 1 543 270 B1描述了具有至少两个相机的这种系统,所述相机循环地提供危险的工作区域的图像。相机的图像借助于至少两个在算法上不同的方法来分析,其中当这两个方法中的至少一个在之前所限定的保护区域中提供外物检测时,停止机器的危险的工作运动或者使其进入更安全的状态中。这两个分析方法中的每一个产生出自相机的图像的3D 信息,使得借助于所述方法能够确定对象在所限定的保护区域中的位置。关于这些方法和设备的大的挑战在于:就机器安全性的有关标准、尤其EN ISO13849-1、IEC 61508、ENISO 13855和lEG 61496而言必须以故障安全的方式实现总归已经复杂的图像处理,由此这种设备实际上也能够用于保障危险的机器。设备本身的失灵不允许引起机器保障的丢失。因此,作为故障安全就此而言在下文中适用的是如下设备,所述设备至少实现根据lEG61508的SIL 2和/或根据EN ISO 13849的性能等级PL(d)。这能够由EP 1 543270 B1中已知的方法和相应的设备提供并且所述方法和设备在实际使用中已经被证实是可靠的。
在最后提到的基于相机的安全系统中,限定围绕机器的通常虚拟的保护区域。相机系统因此检测外物是否侵入到这个保护区域中从而随后关断机器或设施或者使其进入更安全的状态中。但是尽管如此在这些系统中还是存在如下问题:机器或设施的进入危险的运动部分地在没有明显原因的情况下停止,这引起生产设施的停止状态和生产中断。这例如能够归因于极小的部件,所述极小的部件侵入到虚拟的保护区域中,作为外物被检测到从而触发安全相关的功能。这尤其在生产周期非常短并且互联的生产线长的情况下是所不期望的,所述生产线尤其存在于汽车工业中。
DE 102 51 584 A1提出这种基于相机的安全系统和相应的方法,其中应通过优化的图像处理提高安全性。为了进行对象检测,将当前的相机图像的图像特征与所存储的参考背景的参考图像特征进行比较。所提到的参考背景在该系统中必须在系统中的学习阶段或者所谓的示教过程中引用。根据所提出的方法,有利的参考背景仅在如下情况下存在:在这两个计算机单元中检验参考背景时一致获得在参考背景内部不存在具有相同参考图像特征的相邻的区的结果。该示教过程由此能够是相对冗长和耗费的。在接下来对保护区域进行图像检测时,相机图像的图像特征被区分为安全关键的和非安全关键的对象。安全关键的对象包括操作人员、优选操作人员的手臂。非安全关键的对象例如形成设施或机器的周围环境中的静态对象、尤其还有待通过所述静态对象进行加工的部件。如果图像特征与参考背景的比较不引起一致的结果,那么由于安全原因同样使工作机构停止运行,因为在这种情况下不排除在保护区中存在安全关键的对象。也就是说,可能并不关键的、然而在参考背景中未描绘的极小的部件也可能在该系统中引起机器或设施的所不期望的关断。也就是说,在上文中所描述的机器或者设施可用性的所不期望的局限性的问题即使通过该方法也仅部分地解决。
发明内容
在此背景下本发明的目的是,提出一种开始提出类型的设备和方法,所述设备和方法相对于现有技术产生较少所不期望的关断,由此有助于提高机器和设施可用性,但是尽管如此还是确保了对于这种应用所需要的故障安全。
根据本发明的第一方面,该目的通过根据开始提到类型的设备实现,其中相机系统提供保护区域的相机图像并且评估单元评估在保护区域中是否存在外物或者外物是否侵入到该保护区域中,其中评估单元此外设立用于通过对相机图像的分析将存在于保护区域中的或者侵入到该保护区域中的外物分类,以便根据一个或多个用于焊接火花的特征性的特征来确定外物是否是焊接火花,并且其中评估单元设立用于当识别外物不为焊接火花时触发安全相关的功能。
根据本发明的另一个方面,该目的通过开始提出类型的方法实现,所述方法具有下述步骤:
-借助于相机系统对监控区域进行监控,
-限定监控区域内部的至少一个保护区域,
-评估保护区域的相机系统的相机图像,以便检测在保护区域中是否存在外物或者外物是否侵入到该保护区域中,
-通过分析相机图像将外物分类,以便根据一个或多个用于焊接火花的特征性的特征来确定外物是否是焊接火花,
-当识别外物不为焊接火花时,触发安全相关的功能。
尤其有利的是,新的方法和新的设备借助于具有程序代码的计算机程序产品来实现,所述程序代码构成用于:当在设备的控制单元中执行所述程序代码时,实施所提到的方法。与之相应地,配置单元和实施单元在该优选的实施例中以软件模块的形式实现,所述软件模块在设备的控制单元中执行。
新的设备和新的方法尤其适合于监控汽车工程中、主要是白车身构造和车身构造领域中的机器人设施。该汽车生产的领域通常是高自动化的并且特征在于,借助于相应的焊接工具由机器人执行不同的焊接作业。在所谓的点焊过程中,由于焊接工具的磨损总是反复引起火花飞溅。焊接火花从焊接部位沿着所有方向飞溅,或者作为单一的火花或者作为火花云。在上文中提到类型的基于相机的安全系统中,这些也称为瞬时干扰的焊接火花引起所不期望的关断从而引起机器的受限的可用性。然而本发明的发明人已认识到,这些焊接火花由于其特征性的特征可相对简单地检测从而能够滤出,而这不会引起系统安全性方面的限制。
在从现有技术中已知的基于相机的安全系统中通常不区分何种对象引起保护空间侵害。这在安全方面的观点下也是非常困难且令人产生疑问的,因为不能够排除错误的分类并且引起机器和设施的危险运动不被停止,尽管例如人已经位于危险区域中。但是本发明选择相反的途径,即:首先所有被识别到的对象是保护区域侵害物。也就是说,这些对象均被识别作为外物并且根据其特性来辨认其是安全相关的外物还是焊接火花。这在最坏的情况下能够引起,不阻止错误关断。前提仅仅是外物具有如下特征性的特征,所述特征与应被识别的对象(例如人)明确不同。
然而发明人已认识到,这种区别在焊接火花中是完全可行。焊接火花具有非常特征性的特征,所述特征可通过对相机图像的分析明确地被检测到。特别地,相对于人或者其它危险的机器部件或者干扰物,焊接火花具有特征性的形状和亮度及特征性的亮度曲线。焊接火花在相机图像中通常作为亮度拖尾可见,这与其高的速度和相机传感器的惯性有关。因此从这种焊接火花拖尾的形状中可得到对焊接火花的速度和对其飞溅方向的推断。由于材料的强烈加热,焊接火花在可见的波长范围中具有剧烈的辉度,所述辉度可明显地与相机图像的背景区分开来。特别地,借助于能够高动态地将其周围环境成像的相机技术,定量地评估亮度是尤其好地可行的。根据在统计上对相机照片的评估,因此可在设备的评估单元中以足够的可靠性确定被检查到的外物是否是焊接火花。根据本发明,当识别外物不为焊接火花或者不以足够的可靠性被识别为焊接火花时,评估单元设立用于在任何情况下触发安全相关的功能。当前将安全相关的功能理解为如下过程,所述过程或者引起机器的关断,或者使这些机器进入更安全的状态中。相机图像不仅能够是二维的而且能够是三维的图像数据。
也就是说,根据本发明的设备和根据本发明的方法在焊接时提高相对于干扰影响的公差,而这不损害系统的安全性。焊接火花能够通过对相机图像的分析明确地被识别和抑制。这尤其在待保障的具有相应的焊接工具的机器人中通过减小所不期望的错误关断提高机器可用性。
因此在上文中所提到的目的可完全地被实现。
在一个优选的设计方案中,所述设备此外具有图像校正单元,所述图像校正单元设立用于,当通过评估单元在相机图像中的空间区域中检测到焊接火花时,替代或者校正这些空间区域。
在二维图像数据的情况下将在上文中提到的空间区域理解为平面区域。该设计方案基于如下想法:滤出根据其特征性的特征由评估单元识别为焊接火花的外物并且将其通过如下图像数据来替代,所述图像数据在下游的处理级中不再由评估单元识别为外物的一部分并且能够引起安全相关的功能触发。也就是说,被检测到的焊接火花可以说从相机图像中抽取出来。这能够逐个像素或者对于围绕被检测到的焊接火花的整个像素区域进行。优选地,图像校正单元设立用于,已经根据所提供的相机图像的原始图像数据执行该图像校正或图像替代过程。也就是说,对于下游的、评估外物是否存在于虚拟的保护区域中的处理级而言,焊接火花甚至不再是可见的或者不再存在于相机图像中。这具有下述优点:不必再浪费宝贵的计算时间。也就是说,在下游的处理级中,使用常规的用于识别外物的检测算法,所述检测算法在这些基于相机的安全系统中使用并且不使用这种分类(焊接火花或者非焊接火花)。
然而应理解的是,也能够借助于本设备实现相反的方法途径,也就是说,评估单元设立用于,仅在下游的处理级中才将保护区域侵害分类并且随后才检测保护区域侵害是否是焊接火花。
在另一个设计方案中,图像校正单元设立用于通过在时间上在前的相机图像的图像数据来替代待替代的空间区域。
这是相对简单的可行性,所述可行性需要较少的计算耗费。一旦焊接火花在相机图像的一个中通过评估单元检测到,那么相应的图像像素由图像校正单元以在前的相机图像的图像像素替代。这也能够再次逐像素地进行,或者对于整组图像像素进行。参考图像的存储在该设计方案中不是必要的,其中所述参考图像在其它情况下用于替代相应的图像像素。通常,该设计方案具有下述优点:在通过在时间上在前的相机图像的图像像素替代相应的图像像素时附加地提高可靠性。也就是说,如果在被替代的图像像素中再次出现外物或者相同的外物,那么被识别为焊接火花的外物可能仍不是焊接火花而是安全相关的部件的概率高。在最有利的情况下,所述区域通过直接在前的图像逐个像素替代,因为不发生相机位置的空间改变。以这种方式不消除位于监控区域中的其它可见的对象。该过程优选在所有可用的相机图像中执行,使得焊接火花的测量不可行,但是不真实的错误测量也是不可行的。
在另一个设计方案中,评估单元设立用于,评估相机图像的各个像素的灰度值并且将这些灰度值与灰度值阈值比较,以便根据所述比较确定外物是否是焊接火花。
由于这些焊接火花的热量而出现的强烈的亮度在相机图像中通过高的灰度值呈现。焊接火花在相机图像中产生少量像素的具有最大灰度值的大的、亮的点。这些灰度值通常超过人体部位或者其它安全相关的部件在相机图像上产生的值。因此通过各个像素的灰度值与对于焊接火花而言典型的灰度值阈值的比较,可将焊接火花与其它对象相对精确地区分开。
根据另一个设计方案,评估单元设立用于,根据相机图像中的至少一个评估外物的速度并且将该速度与速度阈值比较,以便根据所述比较确定外物是否是焊接火花。
焊接火花的高的速度是明确的识别特征。人员或者机器部件以明显较小的速度运动并且每个拍摄周期在相机图像内仅经过少量像素。也就是说,如果被检测到的外物超过对于焊接火花而言最大的速度,那么其可相对明确地被辨别为焊接火花。
从相机图像中确定外物的速度能够以不同的方式方法进行。或者这在评估单元中通过与在时间上相继的相机图像相互比较发生。在此测量外物从一个相机图像至另一个相机图像经过何种路径。同时,这两个相机图像的拍摄之间的时间间隔是已知的,使得由此可计算外物的速度。然而这需要:外物能够在各个相机图像之间明确地被追踪或跟踪。然而这在焊接火花中已证实是成问题的。相同的焊接火花在不同时间点拍摄的相机图像中的直接配属关系是相对耗费的。这有多种原因。一方面,飞溅速度能够高至并且拍摄的时间间隔能够彼此相距为,使得焊接火花仅在一个图像中出现。另一方面,火花能够是不稳定的并且在接下来的拍摄中分解为多个对象,使得不再能实现明确的配属关系。另外,这种表现、即焊接火花仅在一个图像中可识别但是不在时间上跟随其后的图像中可识别,可作为特征性的识别特征来使用。
但是,在一个优选的设计方案中,评估单元设立用于,根据相机系统的光照时间(Beleuchtungszeit)、外物的被检测到的距离和外物在相机图像中所占据的像素的数量来确定外物的速度。
也就是说,确定外物的速度优选可根据仅一个相机图像来决定。在焊接火花中,尤其在相机图像中产生的拖尾的形状给出关于其速度的推断。特别地,在此焊接火花拖尾的长度起重要作用。在相机图像中成像的拖尾越长,焊接火花运动得就越块。同样,相机系统的光照时间对拖尾的长度有影响。另一个影响因素是焊接火花与相机系统的镜头的距离。如果这些影响因素是已知的,那么可非常好地估计焊接火花的速度。
在另一个设计方案中,评估单元设立用于,在相机图像的至少一个中确定在被检测到的外物的图像区域中的空间灰度值曲线,以便根据其确定外物是否是焊接火花。
在此将灰度值曲线理解为相机图像内的空间上的或者二维平面的灰度值曲线、即各个相邻的像素的灰度值彼此间的比较。也就是说,评估单元能够设立用于,将像素的超出在上文中提到的灰度值阈值的灰度值与相邻像素的灰度值比较。焊接火花通常在相机图像中具有特征性的亮度曲线,所述亮度曲线在焊接火花的中心中是最大的并且向外减小。该亮度曲线在如下拍摄系统中起作用,所述拍摄系统的相机示出“延迟的特性”。如优选用于当前应用的CMOS相机的像素除了多个晶体管外同样由电容器构成,所述电容器储存电荷并且在读取期间发出。该器件引起时间上的延迟效应。短暂的光效应不同时在像素上成像,而是具有延迟的特性。由于该原因,在焊接火花运动时在拍摄期间观察到拖尾。根据像素的构造,滞后效应或多或少地发生。由此所提出的方法能够转用到具有类似的临时特性的相机系统上。
相机图像中的这种拖尾因此对于焊接火花是特征性的。焊接火花在拍摄中通常具有直线的曲线。通过其与背景的亮度区别能够确定灰度值梯度和精确的校正方向。沿着拖尾可观察到亮度值的几乎呈指数形式的下降。也就是说,通过评估相邻像素的灰度值,可相对精确地确定其是否是这种特征性的灰度值梯度从而确定外物是否是焊接火花。
优选地,评估单元也设立用于,从灰度值曲线中估计外物的大小和/ 或形状。
根据灰度值可相对好地对外物的外形轮廓限界。如果评估单元确定外物是具有焊接火花的典型大小的杆状的形状,那么因此证实外物是焊接火花并且不触发安全相关的功能。
在另一个优选的设计方案中,评估单元此外设立用于,从灰度值曲线中估计外物的运动方向和/或来源地点。
出于上述考虑,这在焊接火花中根据其在相机图像中出现的拖尾是相对好可行的。焊接火花的在相机图像中出现的拖尾沿着飞溅方向观察通常在其前部的端部的区域中最亮并且从该端部起逆着其飞溅飞向下降。描绘焊接火花的拖尾的相邻的图像像素的指数形式的灰度值梯度曲线因此提供关于其飞溅方向的非常好的推断。从飞溅方向中又可估计焊接火花的起源、即其来源地点。也就是说,评估单元例如也能够设立用于,将如下外物作为焊接火花来检测,所述外物根据灰度值梯度曲线配属有特定的预先限定的来源地点。当例如可从灰度值梯度曲线中估计得出外物具有直接出自焊接工具的来源时,能够以较大的可靠性得出在此外物是焊接火花的结论。
应理解的是,评估单元在焊接火花或者其它的外物中优选根据多个或所有在上文中提到的特征性的特征执行分类。这些特征性的特征越多地列入到评估单元的评估中,就越安全地得出被检测到的外物是焊接火花或者不是焊接火花的结论。
在另一个设计方案中,评估单元设立用于,借助于骨架化根据灰度值曲线确定外物的轮廓,其方式是:在至少一个相机图像中确定具有超出灰度值阈值的灰度值的相邻像素的链。
这种骨架化尤其适合于重建因焊接火花在相机图像中产生的拖尾或者其轮廓。在此,构建具有最高的灰度值的像素的链或串。该链也称为骨架。这种用于重建焊接火花拖尾的骨架化尤其用于检测相机图像中的拖尾的形状,以便随后如在上文中所提到的那样通过参考图像的在前的图像的像素来替代由焊接火花拖尾覆盖的像素,所述参考图像的在前的图像的像素示出背景。在骨架化时,逐步地扫描在图像处理内的焊接火花拖尾。优选地,为此首先确定起始像素。作为起始像素例如能够使用具有最高的灰度值的像素,所述最高的灰度值超出在上文中提到的灰度值阈值。从该起始像素起,随后检验所有八个相邻的像素的灰度值并且再次将如下像素骨架化,所述像素在所述八个像素中具有最高的灰度值。骨架因此逐个像素迭代地组成,直至或者实现预先定义的最大长度 (第一终止准则),或者拖尾关于亮度/灰度值不再与图像背景区分。由此,从焊接火花拖尾的亮的中心产生各个像素的沿着拖尾的链(骨架)。评估单元随后能够从骨架中计算外物的长度并且根据该长度确定外物是否是焊接火花。骨架化的结果随后也能够用于确定外物或焊接火花的运动方向。
在另一个设计方案中,评估单元设立用于,将像素的灰度值组合成组以进行骨架化。
这尤其用于避免在骨架化期间畸变。为了不因灰度图中的局部的不连续性而丢失骨架的总体的曲线,必须通过鲁棒的方法找到轮廓。因此,对于逐步地构建骨架有利的不是比较各个像素的灰度值,而是将灰度值组成为像素组。由此尤其能够减小噪声的影响。优选地,评估单元为此分别将三个像素的灰度值组成为一个像素组。评估单元随后使用三像素组,所述三像素组具有最高的灰度值总和或者最高的灰度值平均值,以便围绕像素扩展骨架。这根据后面的附图进一步说明。
在另一个设计方案中,评估单元设立用于,将在时间上相继的图像相互比较。
评估单元在此优选设立用于,将被检测的相机图像的已检测到外物的区域图像区域与至少一个在时间上在前的相机图像中的相应的区域图像区域比较,以便确定外物是否也定位于在前的相机图像的相应的区域图像区域中。
如在上文中已经提到的那样,焊接火花的特征性的特性中的一个是高的速度。由此得出,对于焊接火花检测决定性的是,是否在先前的拍摄中在同一区域图像区域中已经检测到火花。如果不是这样,那么火花超出最大速度并且其不是人员或机器。然而,如果在前面的图像中已经存在类似焊接火花的对象,那么不能够排除其的确是另一种相关对象。因此对于在时间上相继的图像的比较有助于附加地提高分类可靠性,即是否是焊接火花。
在一个优选的设计方案中,相机系统是多通道冗余的多目 (multiokulares)相机系统,所述多目相机系统设立用于,确定距离值,所述距离值表示外物的空间方位,其中距离值通过运行时间测量方法和 /或通过两个同时的相机图像的立体比较确定。
这种相机系统在EP 1 543 270 B1中描述,其公开内容在此通过参引完全并入本文。这种相机系统由申请人以SafetyEYE(安全眼)的名称销售。
在运行时间测量方法中,测量信号、尤其光信号到达外物并且返回的运行时间。从信号的已知的传播速度中可确定距外物的距离。运行时间测量方法是非常成本适宜的方案,用于获得距离信息并且实现三维的图像评估。
用于确定距离信息的立体方法与人眼的功能性相似,其方式是:所述立体方法根据所谓的不一致确定距离对象的距离,所述不一致在至少两个相机图像中由于轻微不同的视角产生。应理解的是,该设计方案也包括三目镜的方法和设备,也就是说,该设计方案不受限于使用恰好两个相机或者两个相机图像。借助于立体方法对监控区域进行三维的监控尤其好地适合于所述优选的应用,因为冗余的系统关于单一错误可靠性是有利的。立体系统能够理想地使用多次存在的相机或图像记录单元。
应理解的是,在上文中提到的设计方案不仅涉及根据本发明的设备,而且也涉及所要求保护的方法。新的方法据此与新的设备具有相同的或者类似的设计方案。
同样应理解的是,当前提到的并且接下来仍将阐述的特征不仅可在相应提出的组合中使用而且可在其它的组合中或者单独使用,而不脱离本发明的范围。
附图说明
本发明的实施例在附图中示出并且在接下来的描述中详细阐述。附图示出:
图1示出根据本发明的设备的简化的视图;
图2在框图中示出根据本发明的设备的简化的视图;
图3示出用于阐述根据本发明的设备的优选的应用的简图;
图4a、图4b示出两个相机图像的示意图,所述相机图像由根据本发明的设备产生和分析;
图5从斜下方示出相机系统的立体视图,所述相机系统能够在根据本发明的设备中使用;
图6示出因焊接火花在相机图像中产生的拖尾的示例性的视图;
图7示出两个焊接火花的相机图像的灰度值评估;
图8示出用于图解说明可在根据本发明的设备内部执行的骨架化方法(Skelettierungsverfahren)的示意图;
图9示出用于阐述根据第一实施方式的根据本发明的方法的简化的流程图;以及
图10示出用于阐述根据第二实施方式的根据本发明的方法的简化的流程图。
具体实施方式
在图1和2中,新的设备的一个优选的实施例整体上由附图标记10 表示。
设备10包含至少一个相机系统12,所述相机系统构成用于监控设置有自动化工作的设施或机器、在此为机器人16的空间区域或者说监控区域14。相机系统12为此面向监控区域14。
相机系统12优选设计为多通道冗余的多目相机系统,所述多目相机系统具有至少两个图像记录单元18、20,优选还具有第三图像单元22。图像记录单元18、20、22能够是复杂的、独立地有功能性的相机。优选地,在此是如下相机,所述相机配设有CMOS或者CCD传感器。特别地,图像记录单元18、20、22是反射折射式相机,即如下相机,所述相机使用曲面镜作为成像元件,以便具有围绕位于其光学轴线的伸展部中的死角的环形的视野。
相机18、20、22提供待保障的监控区域14的两个或三个彼此轻微错开的图像。由于相机18、20、22彼此错开并且借助于三角函数关系,能够根据相机图像确定相机系统12距监控区域14中的对象的距离。这类优选的相机系统在开始提到的EP 1 543 270 B1中描述。在另外的实施例中,相机系统12能够包含运行期相机(Laufzeitkamera)。其可理解为如下相机,所述相机一方面提供待监控的区域的2D图像。除此之外,所述相机提供从运行期测量中所获得的距离信息。相机系统12同样能够构成用于,作为3D扫描仪起作用和/或使用另一种技术,所述另一种技术实现产生待保障的监控区域14的3D图像。
除此之外,在其它实施例中,多个1D和/或2D传感器能够成对地和/或作为整体形成3D传感器单元,所述3D传感器单元提供监控区域 14的所需要的3D图像。也就是说,尽管是优选的,但是不一定需要的是,将立体相机系统12用于设备10。
相机系统12与控制装置24连接。这优选经由总线26进行。替代于在空间上远离的控制装置24,替选于此也可行的是,将图像记录单元或相机18、20、22和控制装置24集成在共同的壳体中,或者使用其它模拟或数字接口。当前示出的具有在空间上分离的控制装置24的装置具有模块化系统的优点,如各个部件的小的重量、独立的可更换性等。
控制装置24优选具有评估单元28。所述评估单元28设立用于评估由相机系统12所拍摄的相机图像并且在危险情况中触发安全相关的功能、优选关断信号,所述关断信号引起机器人16的关断。控制装置24 优选还具有图像校正单元30,所述图像校正单元的功能接下来还将阐述。评估单元28和图像校正单元30或者能够作为独立的单元不仅基于软件实现而且基于硬件实现。替选于此,这两个单元28、30也能够在控制装置24内部的基于软件或基于硬件的共同的单元中实现。在图1 和2中示出的相机系统12、控制装置24和机器16之间的连接能够分别设计为电缆连接的或者无电缆的连接。在一个优选的实施例中,控制装置24是传统的计算机,在所述计算机上安装有软件,所述软件由控制单元28和图像校正单元30执行。
在图1中通过附图标记32表示光源,所述光源能够可选地设置用于给监控区域14照明。在本发明的一些实施例中,光源32能够用于产生光信号,从所述光信号的运行时间中能够确定距监控区域14中的对象的距离。然而在优选的实施例中,光源32仅用于给监控区域照明。对监控区域14的3D检测如在上文中已经提到的那样优选借助于立体的图像拍摄来进行。
此外,图1和2还示意性地示出输入模块34,所述输入模块当前也称为配置单元34。配置单元34能够用于安装和配置设备10、尤其相机系统12。所述配置单元如下文仍将详细阐述的那样尤其用于设置和配置至少一个虚拟的保护区域36(见图3)。配置单元或输入模块34能够作为专门的输入面板适应于设备10。但是,替选于此,该输入模块也能够通过传统的计算机实现,在所述计算机上安装有软件,所述软件适合于安装和配置设备10。控制装置24连同评估单元28和图像校正单元30 以及配置单元34或者能够作为两个独立的传统的计算机来实现。替选于此,控制装置24和配置单元34也能够通过计算机以组合的方式实现。
此外还应提及的是,设备10也能够包含多个控制装置24或评估单元28,所述控制装置或评估单元经由总线或者另外的通信媒介彼此连接。除此之外可行的是,相机系统12的信号和数据处理线路的一部分安装在控制装置24或评估单元28中。对象的位置的确定例如能够根据相机18、20、22的立体图像在计算机中进行,所述计算机也执行评估单元28。相机系统12的各个相机或图像记录单元18、20、22也不一定必须安装在唯一的壳体中。更确切地说,相机系统12根据本发明也能够分布在多个组件和/或壳体上,然而优选的是,尽可能紧凑地实现相机系统12。
如已经提到的那样,在评估单元28中进行各个相机图像的评估。该评估单元28尤其评估在虚拟的保护区域36中是否存在外物或者外物是否侵入到该保护区域中。如果由评估单元28识别到这种外物,那么该评估单元产生所谓的OSSD信号38(光学安全开关设备信号)。该信号优选被转发给安全控制装置40,所述安全控制装置于是关断机器16或者使其进入更安全的状态中。此外,能够将紧急关断按键42连接到该安全控制装置40上,所述紧急关断按键允许操作者通过操作该紧急关断按键42手动地关断机器16。紧急关断按键42也能够是保护门,在所述保护门打开时机器16被关断。
安全控制装置40优选包含继电器或者保护器。借助于安全控制装置 40能够以实质上已知的方式关断被监控的机器16的驱动器。安全控制装置40例如也能够以故障安全的可编程逻辑控制器(Speicher programmierbaren Steuerung)的形式实现。在这种情况下,优选的是,评估单元28或控制装置24经由安全的现场总线、例如所谓的德国Pilz (皮尔兹)有限公司的所谓的与安全控制装置40连接。安全控制装置40例如是德国Pilz有限公司的PSS 3000。
为了产生该OSSD信号,评估单元28借助于不同的图像处理方法评估由相机18、20、22提供的相机图像。为此首先在评估单元28中进行所谓的图像处理。根据应用,在此执行已知的用于处理所拍摄的相机图像的方法、例如FPN校正(Fixed Pattern Noise,固定图形噪声)。此外,所拍摄的相机图像在基本亮度方面彼此匹配。紧接着,例如借助于两个不同的场景分析法进行相机图像的真实评估,以便检测在监控区域14内部的外物。在该情景分析法内,评估单元28能够执行基于轮廓的图像分析,所述图像分析包含区域区域分割,也就是说,将相机图像划分为各个待比较的区域。优选地,因此仅评估如下图像区域,所述图像区域与参考图像显著不同。根据情景分析的结果,在评估单元28内评估是否存在保护空间侵害,即对象是否不被许可地进入到监控区域14 中。这种评估或检验不一定必须针对整个监控区域14进行。优选地,这仅针对监控区域14的子区域进行。对此,借助于配置单元或输入模块34在监控区域34内部限定至少一个虚拟的、三维的保护区域36(参见图3)。该保护区域36优选环形地围绕机器16来限定。保护区域36 的形状和大小以及保护区域36距机器16的距离可根据需要个体地设置。这优选以软件保护的方式手动地或自动地进行。显然,也可围绕机器16设立多个保护区域36。例如可附加设立另一个位于外部的报警区域(未示出)。在这种情况下,评估单元28设立用于,在报警区域中检测到外物时仅发送报警信号,由此例如产生报警声音或者视觉上的报警信号。然而,在保护区域36内检测到外物时,评估单元28随后产生关断信号,这以在上文中所限定的方式引起机器16的关断或者使机器16 进入更安全的状态中。
图5示出相机系统12的传感器单元的一个优选的实施方式,如申请人以名称SafetyEYE销售的传感器单元。如已经阐述的那样,整个系统除了相机系统12外通常还包括评估单元28以及安全控制装置40,如这在图1和2中所示出的。根据该实施方式,相机系统12具有系统本体 44,所述系统本体以尽可能平坦的板的形式设计。该板44在此具有近似菱形的基本面。在系统本体44的四个“角”中的三个中设置有三个图像记录单元18、20、22。以附图标记46表示安装部件,借助于所述安装部件能够将相机系统固定在壁、支柱等(在此未示出)上。安装部件46在此是具有多个旋转铰接件48、50的安装臂,所述旋转铰接件实现系统本体44围绕至少两个彼此正交的旋转轴线的枢转。优选地,系统本体44也可围绕与其正交的第三旋转轴线枢转。然而相应的旋转铰接件在图5的视图中被覆盖。图像记录单元18、20、22由此可相对简单地指向待监控的监控区域14。所述三个图像记录单元18、20、22在系统本体44上展开一个三角形。通过这些图像记录单元产生的相机图像由此轻微地彼此错开。图像记录单元18、20或18、22分别形成一个对,其中图像记录单元18、20彼此间的距离和图像记录单元18、22彼此间的距离在该实施例中分别是精确相同的并且是不变的。这两个距离分别形成用于立体评估图像记录单元18、20和18、22的基本宽度。原则上,除此之外也能够将图像记录单元20、22作为对用于独立的立体评估。由于这两个立体的图像记录单元对18、20和18、22不沿着同一直线设置,也可检测监控区域14中的对象,所述对象对于单个的相机对是不可见的,例如由于因其它对象引起的遮暗。此外,借助于三个图像记录单元18、20、22保证,能够确定距监控区域中任意对象的距离。当仅使用两个图像记录单元时,与平行于基本宽度伸展的、拉长的轮廓的距离可能无法确定。
根据本发明的设备尤其专注于监控焊接工具或焊接机器人。在这些焊接机器人中,根据焊接工具的磨损,产生许多焊接火花,所述焊接火花从焊接部位起沿着所有方向扩散。在迄今已知的在上文中提到类型的相机系统中,这些焊接火花被识别为外物,使得其随后引起机器16的所不期望的关断。这引起生产设施的所不期望的停止运转从而引起生产中断,这是应该避免的。根据本发明的设备10通过熟练地识别相机图像内部的焊接火花和相应地从相机图像中滤出这些焊接火花来避免所不期望的停止运转。该过程根据本发明通过评估单元28实施。评估单元28设立用于,通过对相机图像的分析将在至少一个保护区域36中存在的或者侵入到该保护区域中的外物53分类,以便根据一个或多个用于焊接火花的特征性的特征确定在此其是焊接火花还是其它类型的外物。根据这种分类,仅当被检测到的外物不被识别为焊接火花时,评估单元28才触发安全相关的功能(例如关断信号)。
已证实,焊接火花具有特征性的特征,所述特征性的特征可通过评估单元28的对象识别的方法检测。
焊接火花的特征性的特征包括:其速度、其在相机图像中的大小、其在相机图像中的造型和形状、其在相机图像中产生的亮度值或灰度值以及其在空间上在相机图像中出现的亮度值曲线或灰度值曲线。评估单元28因此优选设立用于根据这些特征中的一个或者这些用于焊接火花的特征性的特征的组合实行在上文中所提到的分类。
速度能够由评估单元28以不同的方式方法测量。一方面,这能够根据比较两个在时间上相继的相机图像来进行。在此,通过评估单元、例如通过单个像素比较来测量外物从一个相机图像起到在时间上紧随其后的相机图像经过何种路径到。精确的距离测量能够根据在上文中提到的立体评估方法来进行。因此,借助于这两个被比较的相机图像之间的已知的时间间隔,可计算外物的速度。然而,申请人的试验显示出,由于焊接火花的非常高的速度,在一系列多个相机图像上追踪各个焊接火花是相对困难的。因此,在一个优选的实施方式中,通过评估单元28 如下确定这种焊接火花的速度。由于在相机系统12中优选使用的CMOS传感器的惯性,焊接火花52在各个相机图像中显现为拖尾。
这种焊接火花52通过在相机图像中产生的拖尾54在图6中示例性地示出。这种拖尾54的外观允许推断何者能够在评估单元28中被使用以确定焊接火花52的速度。也就是说,焊接火花的形状和长度一方面与其速度相关并且另一方面与相机传感器的光照时间相关。其飞溅速度越高并且传感器的光照时间越长,拖尾54也就越长。将焊接火花和相机系统12之间的距离作为其它被认为用于确定焊接火花52的速度的因素。也就是说,评估单元28优选设立用于,根据相机系统12的光照时间、焊接火花的被检测到的距离以及焊接火花拖尾54的长度来确定焊接火花52的速度。
与根据这两个在上文中提到的方法中的哪个从相机图像中确定外物的速度无关,由此可明确确定外物是否是焊接火花52。这在评估单元 28中优选通过比较被确定的速度与速度阈值来进行。速度阈值在此优选被限定为,使得该速度阈值仅能够焊接火花52,而不是由安全相关的对象或者主体如机器部件或者人体部位超过。
替选于在上文中提到的速度确定,还可以第三种方式确定对焊接火花和其余安全相关的外物的分类。评估单元28也能够设立用于,在检测外物时将已在其中检测到外物的区域图像区域与在时间上在前的相机图像的相应的区域图像区域比较。如果在时间上在前的相机图像中的相应的区域图像区域中未识别到这种外物,那么所述外物的速度以高的概率超出所限定的速度阈值,由此能够得出,外物是焊接火花52。
在图4a、图4b中示意性地示出两个这种在时间上相继的相机图像62、62’。在图4b中示意性示出的相机图像62’在此在时间上跟随在图4a中示意性示出的相机图像62。在示意性示出的情况中,评估单元28检测第一相机图像62中的两个外物53。根据与在时间上紧随其后的相机图像62’ (见图4b)的相应的区域图像区域的比较,已证实,在被检测的部位处也可在该图像中检测到外物53。根据在上文中提到的逻辑,这些外物随后被分类为安全相关的外物58,这在图4b中通过围绕外物58的矩形60来表示。然而,相机图像62’中在图像区域中较远地在左上方出现的外物53在先前的相机图像62中未被检测到。这根据在上文中提到的逻辑说明这些对象53是超出速度阈值的焊接火花。
由于这种焊接火花52在相机图像中所产生的通常非常高的亮度或灰度值,也可以简单的方式确定所述焊接火花的大小,因为该焊接火花可非常明确地与相机图像中的背景划界。也就是说,评估单元28也能够设立用于,确定外物53的大小并且将如此确定的大小与大小阈值进行比较。如果所确定的大小低于该大小阈值,那么也能够由此得出,被检测到的外物53一定是焊接火花52。另一个特征是这种焊接火花52 的形状。如在图6中所看到的那样,焊接火花在相机图像中通常具有棒状的形状。连同已辨别的大小,这也是被检测到的外物53是焊接火花 52还是安全相关的对象58的指示器。
由于焊接火花52的高热,这些焊接火花在相机图像中具有非常高的灰度值。为了辨别焊接火花52,已被辨别的外物的灰度值、即或者逐个像素地或者以像素组的方式(例如像素组的灰度值的总和或者像素组的灰度值的算术平均值)与其余外物通常不超过的灰度值阈值比较。
另一个已证实为表示识别到焊接火花52的良好的指示器的特征,是焊接火花在相机图像中所产生的特征性的空间灰度值曲线。如在图6中所看到的那样,焊接火花52产生明显的灰度值下降,所述灰度值下降从焊接火花52的中心起与焊接火花的飞溅方向相反。在时间上来看,特定的图像区域的跨越部越宽,所产生的焊接火花拖尾54的灰度值就越接近起始背景。
图7示出对出现两个焊接火花的图像区域的空间灰度值分布的定量评估。这两个焊接火花的灰度值曲线在其中通过附图标记56及56’表示。灰度值曲线56、56’在其中显现为一种脊线(Gebirgskamm),所述脊线沿着“山脊”具有近似指数形式的灰度值下降。也就是说,评估单元28 也能够设立用于,检查在其中已检测到外物53的图像区域内部的空间灰度值曲线并且随后阻止安全相关的功能,也就是说,当检测到这种对于焊接火花52而言典型的指数形式的灰度值下降时,不触发安全相关的功能。也就是说,评估单元28换而言之设立用于,评估相邻的图像像素的灰度值梯度,以便将其与对于焊接火花52而言典型的灰度值梯度区域进行比较。根据灰度值梯度,也可相对精确地确定焊接火花52 的飞溅方向。该飞溅方向同样可以在上文中提到的对外物53的分类中使用。也就是说,可从飞溅方向估计外物53的起源。评估单元28例如能够在示教过程期间被教导:焊接火花52通常来自于所限定的位置上的起源、即焊接工具的位置。
焊接火花的轮廓和定向或飞溅方向在评估单元28内部优选根据骨架化方法来确定。这种骨架化方法的原理示意性地在图8中示出。焊接火花的拖尾54在此逐步地被扫描,以便产生所谓的骨架。从具有优选最高的灰度值的起始像素64起,在八个搜索方向上检验相邻的像素的灰度值。对此,多个像素、优选三个像素的灰度值,或者组成为总和或者组成为平均值并且与其余七个三像素组比较。该组成基本上改进了所述方法的鲁棒性,因为灰度值图像中的局部的不连续性不引起骨架化中的错误。也就是说,以这种方式产生具有最大的灰度值的并排的图像像素的链66。一旦拖尾54的通常的基本方向68是已知的,那么搜索区域能够局限到三个方向上,如这在图8的右部示意性示出的那样。使用相应的基本方向68,以便以另一个像素扩展链66,其中所述相应的基本方向的三组具有最高的灰度值总和或最高的灰度值平均值。骨架因此可以迭代的方式逐个像素地组成,直至或者达到最大长度,或者拖尾54 关于亮度不再与背景区分。
在上文中提到的骨架化不仅能够用于重建焊接火花52的形状和造型,而且其也能够在另一个方法步骤中在图像校正单元34内部用于,通过参考图像的图像数据或像素或者通过在前的相机图像的像素替代在相机图像中由焊接火花52覆盖的区域或像素。如果未发生相机位置的空间改变,那么通过前面图像的像素逐个像素地替代由焊接火花52 覆盖的像素是优选的处理方法。这种替代或者图像校正优选通过图像校正单元34实行。该图像校正单元34例如作为与相机系统12连接的计算机中的软件来执行。应理解的是,在上文中提到的骨架化也能够通过该图像校正单元34来实施。优选地,图像校正单元34不仅替代出自之前所确定的骨架的图像像素,而且也替代在空间上与骨架邻接的图像像素、即所有被照亮的邻接区域。这例如可通过所谓“Region Growing(区域增长)”法来像素精确地划界。优选地,该替代过程通过图像校正单元34在所有可用的相机图像中执行,使得最后在相机图像中的任何一个中都不再出现焊接火花52。
尤其优选的是,图像校正单元34已经使用相机图像的原始图像数据。也就是说,焊接火花换而言之已经在相对早的处理级中被滤出。在由评估单元28实施的图像处理的下游的处理级中,在其内部评估在保护区域36中是否存在外物53,也就是说,是否完全不再存在焊接火花 52。这具有下述优点:下游的评估过程不必再包含在上文中所提到的对焊接火花的考虑,从而能够节省计算时间。然而在这一点上应注意的是,这类图像校正不一定是必要的。同样可行的是,在相机图像中保留焊接火花52(也就是说不通过其它相机图像的像素来替代),其中因此评估单元28仅在下游的处理级中评估被检测到的外物53是否是焊接火花52。
也就是说,这引起根据本发明的方法的两个不同的实施方式,所述实施方式在图9和10中示意性地示出。
在根据本发明的方法的在图9中示出的第一实施方式中,在方法步骤S10中首先检测监控区域14的相机图像62。在方法步骤S12中,随后立即针对外物53分析这些相机图像(原始图像材料),以便根据一个或多个在上文中提到的对于焊接火花52特征性的特征来确定外物53是否是焊接火花52。这种分析优选在整个监控区域14中进行,以便从一开始就已经从相机图像中滤出所有焊接火花52,也就是说,不仅是存在于保护区域36中的这些焊接火花。如此被识别到的焊接火花52随后在方法步骤S14中以在上文中所提到的方式通过参考图像的或者在时间上在前的相机图像的图像数据替代,以便覆盖这些焊接火花或者从相机图像中清除这些焊接火花。在方法步骤S16中随后将监控区域14内部的至少一个保护区域36限定为虚拟的保护区域。在方法步骤S18中随后评估在保护区域36中是否存在外物53。因为分类已经在第一处理级 (方法步骤S12)中发生,所以在此不必再在安全相关的外物48和焊接火花52之间进行区分。在方法步骤S20中,当已在先前的方法步骤 S18在保护区域36中检测到外物53时,触发安全相关的功能。
替选于此,焊接火花52也能够保留在相机图像62中并且在下游的处理级中才被评估在保护区域36中被检测到的对象53是焊接火花52 还是安全相关的外物58。根据本发明的方法的该第二实施方式在图10 中示意性地示出。在此,在第一方法步骤S30中,与在第一变型形式中类似的是,产生监控区域14的相机图像。在方法步骤S32中,随后在监控区域14内部限定至少一个虚拟的保护区域36。在方法步骤S34中评估相机系统12的相机图像。在此仅评估保护区域36的图像区域就足以检测在保护区域中是否存在外物53或者外物是否侵入到该保护区域中。在方法步骤S36中,随后根据在上文中提到的用于焊接火花52的特征性的特征来对在方法步骤S34中检测到的外物53进行分类,以便确定外物53是否是焊接火花52。假如识别在保护区域36中被检测到的外物53不为焊接火花52,那么随后在方法步骤S38中触发安全相关的功能。
Claims (14)
1.一种用于对设置有自动化工作的机器(16)的监控区域(14)进行保障的设备,所述设备具有用于对所述监控区域(14)进行监控的相机系统(12)、用于限定所述监控区域(14)内部的至少一个保护区域(36)的配置单元(34)和用于触发安全相关的功能的评估单元(28),
其中所述相机系统(12)提供所述保护区域(36)的相机图像,并且所述评估单元(28)评估在所述保护区域(36)中是否存在外物(53)或者外物是否侵入到所述保护区域中,其中所述评估单元(28)此外设立用于,通过对所述相机图像的分析将存在于所述保护区域(36)中的或者侵入到所述保护区域中的外物(53)分类,以便根据一个或多个用于焊接火花(52)的特征性的特征来确定,所述外物(53)是否是焊接火花(52),并且其中所述评估单元(28)设立用于,当识别所述外物(53)不为焊接火花(52)时,触发安全相关的功能,
其中所述评估单元(28)设立用于,在所述相机图像的至少一个中确定被检测到的外物(53)的图像区域中的空间灰度值曲线(56,56’),以便根据所述空间灰度值曲线确定,所述外物(53)是否是焊接火花(52)。
2.根据权利要求1所述的设备,所述设备具有图像校正单元(30),所述图像校正单元设立用于,当在所述相机图像中的空间区域中通过所述评估单元(28)检测到焊接火花(52)时,替代或者校正所述相机图像中的所述空间区域。
3.根据权利要求2所述的设备,其中所述图像校正单元(30)设立用于,待替代的所述空间区域通过在时间上在前的相机图像的图像数据来替代。
4.根据权利要求1至3中任一项所述的设备,其中所述评估单元(28)设立用于,评估所述相机图像的各个像素的灰度值并且将所述灰度值与灰度值阈值比较,以便根据所述比较确定,所述外物(53)是否是焊接火花(52)。
5.根据权利要求1至3中任一项所述的设备,其中所述评估单元(28)设立用于,根据所述相机图像中的至少一个评估所述外物(53)的速度并且将所述速度与速度阈值比较,以便根据该比较确定,所述外物(53)是否是焊接火花(52)。
6.根据权利要求5所述的设备,其中所述评估单元(28)设立用于,根据所述相机系统(12)的光照时间、所述外物(53)的被检测到的距离和所述外物(53)在所述相机图像中所占据的像素的数量来确定所述外物(53)的速度。
7.根据权利要求1所述的设备,其中所述评估单元(28)此外设立用于,从所述灰度值曲线(56,56’)中估计所述外物(53)的大小和/或形状。
8.根据权利要求1所述的设备,其中所述评估单元(28)此外设立用于,从所述灰度值曲线(56,56’)中估计所述外物(53)的运动方向和/或来源地。
9.根据权利要求1所述的设备,其中所述评估单元(28)设立用于,借助于根据所述灰度值曲线(56,56’)的骨架化确定所述外物(53)的轮廓,其方式是,在至少一个相机图像中确定具有超出灰度值阈值的灰度值的相邻像素的链(66)。
10.根据权利要求9所述的设备,其中所述评估单元(28)设立用于,将所述像素的灰度值组合成组以进行骨架化。
11.根据权利要求1至3中任一项所述的设备,其中所述评估单元(28)设立用于,将在时间上相继的相机图像(62,62’)相互比较。
12.根据权利要求1至3中任一项所述的设备,其中所述相机系统(12)是多通道冗余的、多目的相机系统(12),所述多目的相机系统设立用于,确定距离值,所述距离值表示所述外物(53)的空间方位,其中所述距离值通过运行时间测量方法和/或通过两个同时的相机图像的立体比较确定。
13.一种用于对设置有自动化工作的机器(16)的监控区域(14)进行保障的方法,所述方法具有下述步骤:
-借助于相机系统(12)监控所述监控区域(14),
-在所述监控区域(14)内部限定至少一个保护区域(36),
-评估所述保护区域(36)的相机系统(12)的相机图像,以便检测在所述保护区域(36)中是否存在外物(53)或者外物是否侵入到所述保护区域中,
-通过对所述相机图像的分析对所述外物(53)分类,以便根据一个或多个用于焊接火花(52)的特征性的特征来确定,所述外物(53)是否是焊接火花(52),
-当识别所述外物(53)不为焊接火花(52)时,触发安全相关的功能,
其中对所述外物的分类包括:在所述相机图像的至少一个中确定被检测到的外物的图像区域中的空间灰度值曲线,以便根据所述空间灰度值曲线确定,所述外物是否是焊接火花。
14.一种数据载体,在所述数据载体上存储有程序代码,所述程序代码构成用于,当在用于根据权利要求1至12中任一项所述的设备的控制装置中执行所述程序代码时,执行具有根据权利13所述的方法步骤的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013106514.7 | 2013-06-21 | ||
DE201310106514 DE102013106514B3 (de) | 2013-06-21 | 2013-06-21 | Vorrichtung und Verfahren zum Absichern einer automatisiert arbeitenden Maschine |
PCT/EP2014/062321 WO2014202471A1 (de) | 2013-06-21 | 2014-06-13 | Vorrichtung und verfahren zum absichern einer automatisiert arbeitenden maschine |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105473927A CN105473927A (zh) | 2016-04-06 |
CN105473927B true CN105473927B (zh) | 2018-01-23 |
Family
ID=50933173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480046259.8A Active CN105473927B (zh) | 2013-06-21 | 2014-06-13 | 用于保障自动化工作的机器的设备和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9864913B2 (zh) |
EP (1) | EP3011225B1 (zh) |
JP (1) | JP6449263B2 (zh) |
CN (1) | CN105473927B (zh) |
DE (1) | DE102013106514B3 (zh) |
HK (1) | HK1224006A1 (zh) |
WO (1) | WO2014202471A1 (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6177837B2 (ja) * | 2015-06-30 | 2017-08-09 | ファナック株式会社 | 視覚センサを用いたロボットシステム |
JP6088605B1 (ja) * | 2015-08-31 | 2017-03-01 | ファナック株式会社 | 視覚センサを用いたロボットシステム |
AT517784B1 (de) * | 2015-10-01 | 2021-01-15 | B & R Ind Automation Gmbh | Verfahren zur automatisierten Steuerung einer Maschinenkomponente |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
JP6457416B2 (ja) * | 2016-03-11 | 2019-01-23 | ファナック株式会社 | ロボットシステム |
EP3466047A4 (en) | 2016-05-31 | 2020-07-08 | Theia Group, Incorporated | MACHINE TELEMETRY TRANSMISSION AND DIGITIZATION SYSTEM |
US11348429B2 (en) | 2016-06-08 | 2022-05-31 | Siemens Healthcare Diagnostics Inc. | Apparatus, systems, and methods providing remote access warning |
CN106514067A (zh) * | 2016-11-01 | 2017-03-22 | 河池学院 | 一种具有报警装置的焊接机器人的控制方法 |
JP6822069B2 (ja) * | 2016-11-01 | 2021-01-27 | オムロン株式会社 | 監視システム、監視装置、および監視方法 |
CN106425198A (zh) * | 2016-11-01 | 2017-02-22 | 河池学院 | 一种焊接机器人的控制方法 |
CN106670694A (zh) * | 2016-11-23 | 2017-05-17 | 河池学院 | 具有轨道监控功能的焊接机器人 |
JP6797738B2 (ja) * | 2017-03-31 | 2020-12-09 | 株式会社日立プラントコンストラクション | 火気監視支援システム |
US11440676B2 (en) | 2017-04-24 | 2022-09-13 | Theia Group, Incorporated | Recording and real-time transmission of in-flight condition of aircraft cockpit to ground services |
JP6416980B1 (ja) * | 2017-05-17 | 2018-10-31 | ファナック株式会社 | 監視領域を分割した空間領域を監視する監視装置 |
US11502917B1 (en) * | 2017-08-03 | 2022-11-15 | Virtustream Ip Holding Company Llc | Virtual representation of user-specific resources and interactions within cloud-based systems |
DE102017009418A1 (de) | 2017-10-11 | 2017-12-07 | Festo Ag & Co. Kg | Sicherheitssystem für die Industrieautomation, Sicherheitsverfahren und Computerprogramm |
US11301985B2 (en) * | 2017-12-06 | 2022-04-12 | Advancetrex Sensor Technologies Corp | Sensing and alert system for electrical switchgear |
EP3572971B1 (de) * | 2018-05-22 | 2021-02-24 | Sick Ag | Absichern eines überwachungsbereichs mit mindestens einer maschine |
US10589423B2 (en) * | 2018-06-18 | 2020-03-17 | Shambhu Nath Roy | Robot vision super visor for hybrid homing, positioning and workspace UFO detection enabling industrial robot use for consumer applications |
EP3611422B1 (de) * | 2018-08-15 | 2020-10-14 | Sick Ag | Sensoranordnung und verfahren zum absichern eines überwachungsbereichs |
US10624237B2 (en) * | 2018-09-19 | 2020-04-14 | TMGCore, LLC | Liquid immersion cooling vessel and components thereof |
US11890705B2 (en) * | 2018-11-13 | 2024-02-06 | Rivian Ip Holdings, Llc | Weld location detection in a battery cell pack |
EP3709106B1 (de) * | 2019-03-11 | 2021-01-06 | Sick Ag | Absichern einer maschine |
JP7326943B2 (ja) | 2019-07-08 | 2023-08-16 | 株式会社大林組 | 火の粉検知システム及び火の粉検知方法 |
DE102019127826B4 (de) * | 2019-10-15 | 2021-06-02 | Sick Ag | Sicherer optoelektronischer Sensor und Verfahren zum Absichern eines Überwachungsbereichs |
EP4131139A1 (de) * | 2021-08-03 | 2023-02-08 | Sick Ag | Sensoranordnung und verfahren zum absichern eines überwachungsbereichs |
CN115090580B (zh) * | 2022-06-08 | 2023-06-16 | 重庆电子工程职业学院 | 一种人工智能图像采集装置及其使用方法 |
EP4346222B1 (de) | 2022-09-27 | 2024-08-07 | Sick Ag | Kamera und verfahren zur erkennung von blitzen |
KR102590570B1 (ko) * | 2023-04-12 | 2023-10-17 | 박찬배 | 자동화 기계설비의 통합안전 시스템 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63216692A (ja) * | 1987-03-06 | 1988-09-08 | アイシン精機株式会社 | 危険防止装置 |
JP2924186B2 (ja) * | 1990-12-28 | 1999-07-26 | 石川島播磨重工業株式会社 | 消耗電極式溶接機の自動溶接方法 |
DE4106008A1 (de) * | 1991-02-26 | 1992-08-27 | Fraunhofer Ges Forschung | Verfahren zur on-line-ueberwachung bei der werkstueckbearbeitung mit laserstrahlung |
US5811055A (en) * | 1996-02-06 | 1998-09-22 | Geiger; Michael B. | Torch mounted gas scavaging system for manual and robotic welding and cutting torches |
ATE221232T1 (de) * | 1997-09-15 | 2002-08-15 | Rms Kleine Gmbh Vertrieb Elekt | Verfahren und vorrichtung zur optischen überwachung eines raumbereichs |
US6204469B1 (en) * | 1999-03-04 | 2001-03-20 | Honda Giken Kogyo Kabushiki Kaisha | Laser welding system |
DE10152543A1 (de) * | 2001-10-24 | 2003-05-08 | Sick Ag | Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine |
DE20212769U1 (de) * | 2002-08-21 | 2002-10-24 | Leuze lumiflex GmbH + Co., 82256 Fürstenfeldbruck | Lichtgitter |
US7729511B2 (en) * | 2002-09-24 | 2010-06-01 | Pilz Gmbh & Co. Kg | Method and device for safeguarding a hazardous area |
DE50304602D1 (de) * | 2002-09-24 | 2006-09-21 | Daimler Chrysler Ag | Verfahren und vorrichtung zum absichern eines gefahrenbereichs |
US6903357B2 (en) * | 2002-10-28 | 2005-06-07 | The Boeing Company | Solid state spark detection |
DE10251584B4 (de) * | 2002-11-06 | 2004-11-04 | Leuze Lumiflex Gmbh + Co. Kg | Verfahren und Vorrichtung zur Überwachung eines Erfassungsbereiches |
DE10360789B4 (de) * | 2003-12-23 | 2007-03-15 | Leuze Lumiflex Gmbh + Co. Kg | Vorrichtung zur Überwachung eines Erfassungsbereichs an einem Arbeitsmittel |
JP4830696B2 (ja) * | 2006-07-31 | 2011-12-07 | オムロン株式会社 | 物体認識装置、監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体 |
JP2008126274A (ja) * | 2006-11-21 | 2008-06-05 | Kobe Steel Ltd | アーク溶接におけるスパッタ認識方法及びスパッタ認識装置 |
DE102006057605A1 (de) * | 2006-11-24 | 2008-06-05 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Überwachen eines dreidimensionalen Raumbereichs |
DE102009034848B4 (de) * | 2009-07-27 | 2014-02-20 | Sick Ag | Optoelektronischer Sensor |
JP5679912B2 (ja) * | 2011-06-10 | 2015-03-04 | 株式会社神戸製鋼所 | 溶接異常検知方法及び溶接異常検知装置 |
US20140184793A1 (en) * | 2012-12-31 | 2014-07-03 | Honeywell International Inc. | Multispectral flame detector |
US10056010B2 (en) * | 2013-12-03 | 2018-08-21 | Illinois Tool Works Inc. | Systems and methods for a weld training system |
US9589481B2 (en) * | 2014-01-07 | 2017-03-07 | Illinois Tool Works Inc. | Welding software for detection and control of devices and for analysis of data |
US10307853B2 (en) * | 2014-06-27 | 2019-06-04 | Illinois Tool Works Inc. | System and method for managing welding data |
US9498013B2 (en) * | 2014-09-19 | 2016-11-22 | Motorola Solutions, Inc. | Wearable safety apparatus for, and method of, displaying heat source characteristics and/or hazards |
-
2013
- 2013-06-21 DE DE201310106514 patent/DE102013106514B3/de not_active Expired - Fee Related
-
2014
- 2014-06-13 EP EP14729669.3A patent/EP3011225B1/de active Active
- 2014-06-13 JP JP2016520391A patent/JP6449263B2/ja active Active
- 2014-06-13 WO PCT/EP2014/062321 patent/WO2014202471A1/de active Application Filing
- 2014-06-13 CN CN201480046259.8A patent/CN105473927B/zh active Active
-
2015
- 2015-12-18 US US14/974,428 patent/US9864913B2/en active Active
-
2016
- 2016-10-19 HK HK16112056.8A patent/HK1224006A1/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
US20160104046A1 (en) | 2016-04-14 |
JP6449263B2 (ja) | 2019-01-09 |
JP2016531462A (ja) | 2016-10-06 |
EP3011225B1 (de) | 2019-03-20 |
US9864913B2 (en) | 2018-01-09 |
CN105473927A (zh) | 2016-04-06 |
WO2014202471A1 (de) | 2014-12-24 |
DE102013106514B3 (de) | 2014-10-30 |
EP3011225A1 (de) | 2016-04-27 |
HK1224006A1 (zh) | 2017-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105473927B (zh) | 用于保障自动化工作的机器的设备和方法 | |
US7167575B1 (en) | Video safety detector with projected pattern | |
JP6237809B2 (ja) | 射影空間監視のための方法および装置 | |
EP2608536B1 (en) | Method for counting objects and apparatus using a plurality of sensors | |
US6829371B1 (en) | Auto-setup of a video safety curtain system | |
US11583951B2 (en) | Method for collision avoidance and laser machining tool | |
CA2934796C (en) | Surface defect detecting method and surface defect detecting apparatus | |
US6297844B1 (en) | Video safety curtain | |
US10404971B2 (en) | Optoelectronic sensor and method for safe detection of objects of a minimum size | |
US6469734B1 (en) | Video safety detector with shadow elimination | |
CN108426160A (zh) | 监控系统、监控装置及监控方法 | |
EP3388781B1 (en) | System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection | |
JP5386731B2 (ja) | 監視範囲を監視するための装置及び方法 | |
EP2553383B1 (en) | Method and apparatus for generating texture in a three-dimensional scene | |
WO2016115075A9 (en) | Structural health monitoring employing physics models | |
JP2006010392A (ja) | 貫通穴計測システム及び方法並びに貫通穴計測用プログラム | |
EP2685150B2 (en) | Monitoring system and method | |
CN113189005A (zh) | 一种便携式表面缺陷一体化检测装置及表面缺陷自动检测方法 | |
JP2008026149A (ja) | 外観検査装置 | |
JP2020153975A (ja) | 処理システム | |
JP6064942B2 (ja) | 表面欠陥検出方法及び表面欠陥検出装置 | |
US20230081003A1 (en) | Sensor arrangement and method for safeguarding a monitored zone | |
JP2017102718A (ja) | 炎検出装置および炎検出方法 | |
US11475553B1 (en) | Production-speed component inspection system and method | |
JP2024042939A (ja) | タイミングチェーン検査装置及びタイミングチェーン検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |