CN102483846B - 用于监控空间区域的方法和设备 - Google Patents

用于监控空间区域的方法和设备 Download PDF

Info

Publication number
CN102483846B
CN102483846B CN201080037739.XA CN201080037739A CN102483846B CN 102483846 B CN102483846 B CN 102483846B CN 201080037739 A CN201080037739 A CN 201080037739A CN 102483846 B CN102483846 B CN 102483846B
Authority
CN
China
Prior art keywords
image
recording unit
space
image recording
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080037739.XA
Other languages
English (en)
Other versions
CN102483846A (zh
Inventor
马丁·维特费尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pilz GmbH and Co KG
Original Assignee
Pilz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilz GmbH and Co KG filed Critical Pilz GmbH and Co KG
Publication of CN102483846A publication Critical patent/CN102483846A/zh
Application granted granted Critical
Publication of CN102483846B publication Critical patent/CN102483846B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

提供第一图像记录单元和第二图像记录单元用以监控空间区域,第一图像记录单间和第二图像记录单元设置在距彼此限定的距离处。利用第一图像记录单元记录空间区域的第一图像(401)。利用第二图像记录单元记录第二图像。基于第一图像和第二图像确定多个物体位置,其中,每个物体位置表示从物体(42,44)相对于图像记录单元的空间距离。根据物体位置,生成切换信号。根据本发明的一个方面,空间区域具有至少一个包括多个基本上平行的边缘(48a,48b)的结构(46)。在结构(46)上设置多个参考标记(56)。确定在图像记录单元与参考标记(56)之间的参考距离。基于参考距离,确定结构(46)的结构位置。

Description

用于监控空间区域的方法和设备
本发明涉及一种用于监控具有多个可移动的物体的空间区域的方法,该方法包括如下步骤:
提供第一图像记录单元和第二图像记录单元,该第一图像记录单元和第二图像记录单元设置在距彼此限定的距离处,
通过第一图像记录单元记录空间区域的第一图像并通过第二图像记录单元记录空间区域的第二图像,
基于第一图像和第二图像确定多个物体位置,其中每个物体位置表示物体相对于图像记录单元的空间距离,以及
以取决于物体位置的方式生成切换信号。
本发明还涉及一种用于监控具有多个可移动的物体的空间区域的设备,该设备包括用于记录空间区域的第一图像的第一图像记录单元和用于记录空间区域的第二图像的第二图像记录单元,其中,第一图像记录单元和第二图像记录单元设置在距彼此限定的距离处,并且该设备包括评估和控制单元,该评估和控制单元设计成基于第一图像和第二图像确定多个物体位置并且以取决于物体位置的方式生成切换信号,其中,每个物体位置表示物体相对于图像记录单元的空间距离。
从EP1543270B1已知这种方法和这种设备。
本专利说明书公开了用于防护以自动方式操作的机器的危险区域的方法和设备。该设备具有设置在距彼此限定的距离处的至少两个图像记录单元。每个图像记录单元提供机器设置于其中的空间区域的图像。通过至少两个不同的景物分析方法来评估两个图像记录单元的图像,以便获得所监控的空间区域的三维图像。换言之,基于并行地记录的图像确定空间区域中的单独的物体的位置,其中,所述位置还包括距离信息。之后,基于限定的保护区域或保护空间,例如,可以确定物体——例如,人员——是否与以自动方式操作的机器接近到存在危险的程度。如果适当,则可以关闭机器或以减小的速度操作机器。
利用这种设备,景物分析方法以及特别是物体距离的确定典型地是基于在两个记录图像的每一个中的物体和/或结构,所述物体必须被识别并且彼此认定。由于两个图形记录单元设置成彼此间隔一定距离,因此每个图像记录单元具有不同的视角。因此,相同的物体和/或结构在两个图像中相对于彼此出现偏移,其中,在两个图像中的物体的相对偏移取决于在图像记录单元之间的限定距离以及物体相对于图像记录单元的距离。因此,给定在图像记录单元之间的已知的距离,可以基于图像确定与物体的距离。功能性原理以一定的方式对应于人员的三维视觉。
申请人员利用这种类型的设备的实践经验显示:如果在所监控的空间区域内存在具有多个至少基本上平行的边缘的结构,则利用该原理的可靠且精确的距离测量将非常复杂和困难。例如,这种边缘能够是诸如楼梯、格栅栅栏或竖直的百叶窗的三维结构,或者它们能够是诸如地面或墙壁上的条状图案的二维结构。平行的边缘使得在两个记录图像中明确地认定单元更加困难。错误的认定——其中,彼此认定不同的边缘——通常导致错误的距离测量。例如,如果该设备和方法用于防护危险区域——例如,以自动方式操作的机器的危险区域,则这是特别成问题的。
DE102005063217A1描述了用于构造用以监控空间区域的现有技术设备的方法。该构造包括基于可变几何形状元件限定保护空间和/或保护区域。在一个示例性实施方式中,在待监控的空间区域的实际图像中或上方以图形方式产生几何形状元件。实际图像可包括用于限定构造平面的多个参考标记。然后相对于构造平面产生可变几何形状元件,以便提供在“虚拟”几何形状元件与实际空间区域之间的明确的关系。然而,利用已知的方法不能够避免平行边缘的错误认定以及由此造成的测量错误。
在该背景下,本发明的目的是提供在开头所提及的类型的方法和设备,该方法和设备使得能够以最简单和尽可能节省成本的方式可靠地监控空间区域,即使当在该空间区域中存在具有基本上平行的边缘的结构时也是如此。特别是,目的在于提供一种方法和设备,该方法和设备使得能够防错地防护以自动方式操作的机器的危险区域,即使在机器的附近存在具有基本上平行的边缘的结构也是如此。
根据本发明的一方面,提供了在开头所提及的类型的方法,其中,空间区域包括具有多个至少基本上平行的边缘的结构,其中,在该结构处设置多个限定的参考标记,其中,确定在图像记录单元与参考标记之间的多个参考距离,并且其中,基于参考距离确定结构的结构位置。
根据本发明的另外的方面,提供了在开头所提及的类型的设备,其中,评估和控制单元进一步设计成:基于在图像记录单元与设置于结构处的参考标记之间的多个限定的参考距离,确定具有多个基本上平行的边缘的结构的结构位置。
通过包括在前述设备的评估和控制单元中执行的程序代码的计算机程序,有利地实施创新方法和创新设备。
创新方法和创新设备使用限定的参考标记,以便选择性地标记疑难的边缘结构。参考标记设置并且优选地固定在具有多个至少基本上平行的边缘的结构处。参考标记具有带有亮的和/或暗的区域的可视表面,其区别于所述结构和其邻近区,从而使得能够在记录的图像中明确地识别并彼此认定参考标记。在优选的示例性实施方式中,参考标记是粘贴地结合于具有平行边缘的结构的周边和/或拐角的粘贴膜。通常,如果参考标记在垂直于它们的可视表面上非常扁平——即,以纸状或膜状方式实施——则是有利的,从而使得在参考标记与图像记录单元之间的参考距离相对于在参考标记的区域中的结构的相应的距离不具有或者最多具有非常小的差值。因此,参考标记是在记录的图像内人为地生成目标点,其用于标记结构以便有助于相对于结构的距离测量。通过参考标记,能够以“非直接”的方式相对简单且可靠地确定疑难的结构的位置。特别是,这包括确定结构相对于图像记录单元的距离。参考距离至少暂时性地用作用于结构的距离测量值。
能够以相对简单的方式节省成本地实现该创新方法和创新设备。而且,它们能够获得高的识别可靠性并且使得可以避免或至少减少同时在记录的图像中的错误认定。因此,该创新方法和创新设备特别适合用于防护危险区域。因此,完全实现了上述目的。
在本发明的优选的改进中,在结构处设置限定虚拟参考区域的至少三个参考标记,其中,虚拟参考区域基本上覆盖多个平行的边缘。相应地,创新设备的评估和控制单元设计成基于设置在结构处并限定平面的至少三个参考标记确定虚拟参考区域。
该改进具有如下优点:能够在不从根本上改变或隐藏结构的情况下,标记结构的大部分或甚至全部的疑难的边缘。能够通过至少三个、优选地至少四个参考标记简单地且高精确度地确定在图像中“不可视”的虚拟参考区域。此外,还能够基于并行地记录的图像简单地且高精确度地确定虚拟参考区域的位置(包括相对于图像记录单元的距离)。因此,参考区域标记了疑难的边缘区域,从而使得该区域能够以目标的方式进行单独的评估。以这种方式,能够以非常有效的方式改善创新设备和创新方法的检测可信度和可靠性。
在另外的改进中,对于平行的边缘中的至少一个,基于第一图像和第二图像并且还基于虚拟参考区域确定相对于图像记录单元的边缘距离。优选地,针对结构的多个边缘并且特别优选地针对结构的所有的边缘确定边缘距离。
由于如下事实,使得本改进产生针对疑难的边缘的精确的距离信息:除了图像信息和在图像记录单元之间的已知的距离之外,对表示参考区域的位置和距离的新获得的信息进行评估。另一方面,距离信息归因于实际的图像内容,即:图像中可视的平行的边缘。利用该改进,可以针对所有疑难的边缘获得明确的且精确的距离信息。通过该改进简化了图像的另外的评估、特别是保护区域的监控,因为能够基于明确确定的距离类似于“常规的”或非疑难的图像区域来处理疑难的边缘区域。
在另外的改进中,对于至少一个边缘,确定并永久性地存储在第一图像和/或第二图像内的边缘位置。
在该改进中,在二维图像中的至少一个边缘的位置被确定并永久性地存储。“永久性地存储”指的是至少对于未中断的操作的整个持续时间,在创新设备的存储器中提供边缘位置。优选地,边缘位置存储在设备的永久性存储器中,从而使得即使在中断电源之后也能够读出边缘位置。该改进具有如下优点:在重复地记录第一图像和第二图像的操作的监控模式期间,能够在各种情况下非常容易且快速地在记录的图像中识别疑难的边缘区域。简化了在操作的循环监控模式中的新图像对的评估,从而使得该改进有助于能够以节省成本的方式实现实时操作。
在另外的改进中,还永久性地存储针对至少一个边缘的边缘距离。
在以简单且节省成本的方式考虑疑难的边缘结构的情况下,该改进进一步有助于使得能够实现实时操作的监控模式。在每个新图像对的评估中,能够有利地利用明确确定的且存储的边缘距离,以验证当前获得的测量值和/或取代当前的测量值。
在另外的改进中,重复地记录第一图像和第二图像,并且重复地确定物体位置,其中,基于存储的边缘距离确定结构位置。如果存储的边缘距离——其特别是在单独的改进模式中进行确定——被永久性地存储且对于每个新的图像对被用作当前的边缘距离则是特别有利的。
在该改进中,一次确定的边缘距离代替随后在重复的记录的图像中的边缘距离的“测量值”。换言之,尽管进行重复的图像记录,但是边缘的距离只确定一次并且然后永久性地使用。仅在空间静止的或不运动的结构的情况下有利地采用这种改进。相反,对于空间区域中的所有其它物体——包括对于不具有平行的边缘的区域——确定当前距离。该改进具有如下优点:可以以非常有效的方式对于疑难的边缘区域得到正确的“测量值”。在监控危险机器期间,能够以简单的方式避免错误地报警以及由此造成的机器停止。另一方面,该改进有助于高的检测可靠性,因为结构的前景中的物体必须总是相对于图像记录单元具有较小的距离,并且因此能够基于不同的距离非常容易地进行验证。
在另外的改进中,参考标记中的至少一个保持永久性地附连在结构上。如果基于永久性地设置的参考标记接受存储的边缘距离则是特别优选的;特别是,仅当所述至少一个参考标记被检测处于其原始确定的位置和/或具有原始确定的参考距离时,其是可接受的。
该改进在防护机器时提供了甚至更高的失效保险,因为仅当基于已保留的所述至少一个参考标记确定结构未改变其相对于图像记录单元的距离和位置时,将存储的边缘距离用作“当前测量值”。
在另外的改进中,基于结构的结构位置验证可移动的物体的物体位置。如果存储的边缘距离在这种情况下表示结构的结构位置,从而使得基于至少一个边缘距离验证可移动的物体的物体位置,则是有利的。
在该改进中,进行合理性检查,其用以检查所检测的可移动的物体的测量的物体位置是否处于有效的空间区域内。如果边缘结构是例如在空间区域的地板处的格栅或条状图案,则距可移动的物体的物体距离必须小于边缘距离。换言之,可移动的物体位于前景中,而具有平行的边缘的结构构成背景。当监控空间区域时,这种合理性检查有助于甚至更高的失效保险,并且其有助于较低的错误报警率。
在另外的改进中,结构是空间静止的。
该改进使得可以非常简单且有效地实施创新方法,特别是如果打算使用一次确定的边缘距离代替在监控操作过程中的当前测量值则尤为如此。另一方面,该改进适于在实践中频繁出现的应用,因为具有平行的边缘的结构通常是由栅栏、背景标记和/或其它结构措施所导致。当监控如下空间区域时,即:在该区域中平行的边缘使得难以实现在并行记录的图像中的明确的认定,该改进使得能够以非常有效的方式实现高的检测可靠性。
不言而喻,在不偏离本发明的范围的情况下,上文提及的特征以及将在下面说明的特征不仅能够在各个特定的组合中使用,而且能够在其它的组合中或独自地使用。
在附图中图示出并且在下面的说明中更加详细地解释了本发明的示例性实施方式。在图中:
图1示出了创新设备的示例性实施方式的示意性图示,
图2以俯视图示出了图1的设备(局部),
图3示出了所监控的空间区域的第一图像的简化图示,
图4示出了空间区域的第二图像的简化图示,
图5示出了空间区域的另外的图像,其中,在具有平行边缘的结构处设置此处所限定的参考标记,
图6示出了具有人员的空间区域的另外的图像,
图7示出了用于说明创新方法的示例性实施方式的流程图,以及
图8示出了用于说明创新方法的示例性实施方式的另外的流程图。
在图1中,创新设备的示例性实施方式的整体以附图标记10指定。此处,设备10用于防护自动机械14的工作区域12。自动机械14是以自动方式操作并且由于其运动而对进入工作区域12的人员构成危险的机器。尽管这是优选的实施方式,但是创新设备和创新方法不限于防护机器。还能够由于其它原因而使用它们监控空间区域,例如,为了监控保险库。
设备10具有两个图像记录单元16、18,两个图像记录单元16、18以距彼此限定且已知的距离b(参见图2)设置。在优选的示例性实施方式中,设备10具有第三图像记录单元(此处未图示出),其中,两个图像记录单元分别以距彼此限定且已知的距离b设置,并且其中,三个图像记录单元以相对于彼此呈L形的方式设置。在这种情况下,三个图像记录单元形成两对图像记录单元,其中为了简化的目的,下文中仅描述包括图像记录单元16、18的其中一对。至少三个图像记录单元的L形设置确保了能够通过至少其中一对来识别和评估具有任意延伸方向的边缘。
设备10还具有评估和控制单元20,评估和控制单元20连接于图像记录单元16、18。评估和控制单元20通过图像记录单元16、18控制图像记录并且评估所记录的图像,以便以取决于图像的方式驱动自动机械14。
原则上,评估和控制单元20能够是自动机械14的操作控制器的一部分。在某些示例性实施方式中,评估和控制单元20是用于防护危险的工作区域12的单独的安全控制器。于是单独地实现自动机械14的操作控制器(此处未图示出)。评估和控制单元20能够以取决于图像记录单元16、18的图像的方式生成切换信号,通过该切换信号能够使自动机械14完全关闭或以减小的速度进行操作。附图标记22表示了线缆,评估和控制单元20经由该线缆将切换信号传送至自动机械14。切换信号可以包括关闭信号、控制信号、允许信号和/或警报信号。
附图标记24指出用于构造设备10的构造设备。在优选的示例性实施方式中,构造设备24包括PC(个人计算机)26和显示器28。其中,显示器28设计成用于显示由图像记录单元16、18记录的图像。然而,这些图像的显示主要用于构造和/或检查设备10。在操作的常规工作模式下,设备10优选地完全自动地操作,即:在图像无需在显示器28上显示的情况下,评估和控制单元20以取决于图像记录单元16、18的图像的方式生成切换信号22。PC26与评估和控制单元20经由用于传送数据和图像的双向数据链接连接,在图1由双头箭头指示所述数据链接。
附图标记32、34表示图像记录单元16、18的记录区域。如能够容易地观察到,记录区域32、34相对于彼此稍稍偏移。然而,存在共同的或交叠的记录区域33,该记录区域33限定待监控的空间区域并且工作区域12位于该记录区域33中。仅在共同的记录区域33内,评估和控制单元20能够以下文中描述的方式确定在图像记录单元16、18与物体之间的距离。
附图标记34指出警报地带并且附图标记36指出关闭地带。警报地带34和关闭地带36是至少部分地围绕自动机械14的工作区域12延伸的监控区域。监控区域34、36是能够通过构造设备24来限定的虚拟的保护栅栏。如果例如人员38的运动物体进入警报地带34和/或关闭地带36,则可经由设备10识别并且评估和控制单元20生成用于自动机械14的切换信号22。如果人员38进入报警地带34,则评估和控制单元20可生成例如如下切换信号:其具有使自动机械14以减小的速度操作的效果。而且,可以生成声音的和/或视觉的警报信号。如果人员38不顾这些措施进入关闭地带36,则评估和控制单元20可生成关闭自动机械14的另外的切换信号。
为了检测人员38或某些其它可移动的物体闯入其中一个区域34、36,评估和控制单元20以取决于图像记录单元16、18的图像的方式确定整个记录区域33的三维图像。该三维图像包括表示在图像记录单元16、18与单个物体之间的距离的距离信息以及共同记录区域33内的结构。基于三维图像内的坐标限定警报地带34和关闭地带36,从而使得仅基于来自图像记录单元16、18的图像数据便能够检测到人员38进入其中一个地带。在序言中引用的DE102005063217A1中描述了用于构造警报地带34和关闭地带36的有利的方法,所述申请的公开的全部以引入的方式纳入本文。
在下文中参照图3和4简单地解释了用于确定距离信息的优选的方法。图3通过示例并以简化的方式示出了所监控的空间区域的第一图像40,该第一图像40由第一图像记录单元16记录。此处,图像40通过示例示出了机器42和开关盒44。此外,具有多个基本上平行的边缘48的结构46图示成位于机器42的前面。结构46可以是例如包括设置在机器42的前面的地板上的亮条和暗条的条状花纹。此外,结构46可以是例如具有用于液体的流出通道的设置在机器42前面的格栅。具有平行的或者基本上平行的边缘的结构46的另外的示例可以是格栅栅栏或楼梯状的三维结构。
图4示出了由第二图像记录单元18记录的第二图像50。第二图像50示出了与第一图像40相同的空间区域。在所有优选的示例性实施方式中,相对于彼此同步地并且基本上同时地记录第一图像和第二图像。原则上,然而还可以想到,可以以时间偏移的方式记录图像40、50,只要在两个图像记录之间的时间偏移足够小,以至于在共同的记录区域33中仅发生可移动的物体的位置的较小改变。
如参照图3和4图示出,第一图像40和第二图像50共享相同的景物。然而,如由附图标记52所图示,两个图像40、50中的物体和结构42、44、46相对于彼此出现偏移。偏移量d是两个图像记录单元16、18的偏移记录区域30、32的结果。
优选地,两个图像记录单元16、18具有平行的光学轴线并且两个图像记录单元16、18至少基本上是同样的。在这种情况下,如下关系是正确的:
r=b·f/d
其中,f是图像记录单元的焦距,b是两个图像记录单元16、18之间的距离(所谓的基区宽度),r是在物体或结构边缘与图像记录单元16、18的共同参考点之间的距离,以及d是所谓的差异——即,两个图像中的偏移52。给定已知的基区宽度b和已知的焦距f,能够基于测量的差异确定物体或结构边缘相对于图像记录单元的相应的距离r。
然而,确定距离r的先决条件是两个图像40、50中的相互对应的结构或物体边缘能够被明确地识别并且被彼此认定,以便确定相应的差异d。在结构46具有多个平行的边缘48a、48b的情况下,认定相互对应的边缘比较难并且易于出错,特别是如果存在具有相同的外形的大量平行的边缘则尤为如此。错误的边缘认定导致错误的距离信息。
图5示出了第一图像40′,其中,在结构46的拐角处设置四个参考标记56a、56b、56c、56d。在优选的示例性实施方式中,参考标记56是具有限定的明暗图案的点状或圆形的膜件。此外,如果参考标记被固定——例如,粘贴地结合——至结构46则是特别有利的。
如图5中所图示,每个参考标记56形成图像中的限定的目标点,其中,为了简化的目的,此处仅图示出了第一图像40′。基于它们已知的和/或高对比度的特征,能够在记录图像中容易地识别并且彼此认定参考标记56。基于相应的差异,可以确定在图像记录单元16、18与单个参考标记56a、56b、56c、56d之间的距离r。
如图5中能够进一步看到,参考标记56a、56b、56c、56d限定虚拟参考区域58,此处该虚拟参考区域58全等地覆盖结构46。由于单个参考标记56a、56b、56c、56d的距离能够精确地确定,所以也能够基于记录的图像精确地确定虚拟参考区域58的位置和距离。在优选的示例性实施方式中,单个平行边缘48a、48b的差异和距离是基于这些数据进行确定并且认定给相应的边缘48a、48b。为了确定平行的边缘48a、48b的差异,边缘的差异在参考区域(现在已知)内成比例地改变是有利的。通过该附加信息,对于第一图像40′中的每个边缘48a、48b,能够明确地认定第二图像中的分别对应的边缘。以这种方式,能够明确地且以无错误的方式确定所有边缘48a、48b的差异和距离。
图6示出了第一图像记录单元16的另外的图像40″,其中,目前人员38正在接近机器42。人员38必须位于形成背景的结构46的前面,为了能够确定人员38的距离,必须检测平行的图像中的人员的轮廓边缘39并且将它们彼此认定,以便确定差异。如果基于关于轮廓边缘39的差异显现出人员38比边缘轮廓46更远,则明显地存在关于轮廓边缘39的错误的边缘认定。优选地,于是校正关于轮廓边缘39的边缘认定并且利用校正的边缘认定来确定差异。如果关于人员的距离现在小于关于结构46的距离,则校正的测量作为有效的测量而被接受。仅当无法进行产生有效的测量的边缘认定时,自动机械被关闭。否则,使用因近似合理而接受的距离用于另外的评估。因此,与平行的边缘无关,可以以充分的且可靠的方式确定关于轮廓边缘39的距离并且因此确定人员38在监控的空间区域内的三维位置。
图7和8基于两个流程图示出了创新方法的优选的示例性实施方式。图7示出了构造模式,通过该构造模式,在操作的实际监控模式开始之前构造设备10。在步骤62和64中,通过图像记录单元16、18——优选地,同步地——记录图像40、50。步骤66涉及搜索关于图像中的各个物体边缘和结构边缘的差异。该搜索包括识别和认定相互对应的物体边缘和结构边缘。此后,步骤68涉及识别结构,对于该结构,由于缺乏认定,仅能够困难地确定或根本不能够确定差异。在图3至6的示例中,这应用于结构46。
根据步骤70,在识别的结构处设置参考标记56。根据步骤72和74,通过图像记录单元16、18记录另外一对图像。此后,步骤76涉及识别在另外的图像中的参考标记。步骤78涉及确定参考标记的差异。通过参考标记的差异确定虚拟参考区域58。此后,步骤80涉及确定结构46的单个边缘48a、48b的差异,其中,利用参考区域58的现在已知的位置以及参考标记56的已知的差异以便获得两个图像中的分别对应的边缘48a、48b的明确的认定。步骤82涉及永久性地存储单个边缘48a、48b的差异。另外,步骤84涉及存储单个边缘48a、48b的图像位置以及参考标记56的位置。在这种情况下,“图像位置”指的是图像记录单元16、18的二维图像内的边缘和参考标记的位置。此后,根据步骤86,例如,可以构造单个保护空间,例如警报地带34或关闭地带36。优选地根据序言中引用的DE102005063217A1中描述的方法构造保护空间。于是,设备10能够进入参照图8所图示的监控模式。
根据图8中的步骤88和90,在操作的监控模式下,也通过图像记录单元16、18记录一对图像。此后,根据步骤92在记录的图像中识别参考标记56。而且,基于差异确定参考标记56的距离和位置。
步骤94涉及检查参考标记56的距离和/或位置是否相对于参考标记的储存的距离和位置信息未改变。如果不是如此,则步骤96涉及产生切换信号,在优选的示例性实施方式中,该切换信号包括用于关闭自动机械或所监控的机器的关闭信号。作为其替代,仅当在新的差异确定中没有出现近似合理的距离值时,在关闭机器的情况下,切换信号能够触发参考标记和/或边缘结构的区域中的新的差异确定。
如果与在构造模式下获得的数据相比,参考标记的位置未改变,则继续操作的监控模式。步骤98涉及基于存储的图像位置识别结构46的平行的边缘。根据步骤100,将存储的边缘差异认定给识别的边缘48a、48b。换言之,创新方法的优选的示例性实施方式省略了如下程序:其中,在操作的监控模式期间分别重复地确定平行的边缘48a、48b的差异和距离。而是,在构造模式中确定和存储的边缘差异代替当前的测量值。
此后,步骤102涉及确定针对所有另外的物体边缘的差异。步骤104然后涉及监控保护区域,即:评估人员或某些其它物体是否已经进入了其中一个限定的保护空间34、36。如果根据步骤106检测到闯入保护空间中,则步骤108涉及生成能够再次包括用于关闭所监控的机器的关闭信号的信号。如果检测到未闯入保护空间中,则该方法根据环110返回至步骤88、90中的图像记录。在监控模式下,因此循环地重复根据图8的方法。
总之,创新方法和创新设备用于通过利用限定的参考标记——例如,人为的环状图案——防止在立体地记录的图像中的平行边缘的错误认定,以便进行对于平行的边缘的差异和距离的正确确定。针对平行的边缘的差异和/或距离有利地永久性地存储在评估和控制单元的存储器中并且在随后的操作的监控模式中认定给疑难的边缘。优选地,为此目的,确定二维图像中的平行边缘的位置并将其与差异和/或距离信息存储在一起。能够通过该方法将边缘的错误的认定降低至最低。有利地,在构造模式中使用至少三个参考标记,以便确定关于平行的边缘的差异/距离。此外,优选地,在疑难的结构处永久性地保留至少一个参考标记,以便通过所述参考标记确保在构造模式中确定的差异/距离在操作的监控模式下也是有效的。因此,如果具有平行的边缘的疑难的结构是静止的并且界定所监控的空间区域则是有利的,因为在这种情况下的平行的边缘形成背景,在操作的监控模式下,可移动的物体对比该背景移动。运动的物体的相应的距离因此必须小于到背景中的平行的边缘的距离,这样使得能够进行简单的合理性检查。通过该创新方法,当确定在平行的边缘处的差异和距离时,可以显著地降低计算的复杂性。而且,能够避免因而产生的错误的认定和测量错误。

Claims (10)

1.一种用于监控具有多个可移动的物体(38)的空间区域(33)的方法,所述方法包括如下步骤:
提供第一图像记录单元(16)和第二图像记录单元(18),所述第一图像记录单元(16)和所述第二图像记录单元(18)设置在距彼此限定的距离b处并且具有共同参考点,
通过所述第一图像记录单元(16)记录所述空间区域(33)的第一图像(40)并通过所述第二图像记录单元(18)记录所述空间区域(33)的第二图像(50),
基于所述第一图像(40)和所述第二图像(50)确定多个物体位置,其中,每个物体位置表示包括所述多个可移动的物体(38)的多个物体(38,42,44)中的一个物体相对于所述图像记录单元(16,18)的所述共同参考点的空间距离,以及
以取决于所述物体位置的方式生成切换信号(22),
其特征在于,所述空间区域(33)包括具有多个至少基本上平行的边缘(48)的结构(46),其中,在所述结构(46)处设置多个限定的参考标记(56),其中,确定在所述图像记录单元(16,18)的所述共同参考点与所述多个限定的参考标记(56)中的每个之间的多个参考距离,并且其中,基于所述参考距离确定所述结构(46)的结构位置。
2.根据权利要求1所述的方法,其特征在于,在所述结构(46)处设置限定虚拟参考区域(58)的至少三个参考标记(56),其中,所述虚拟参考区域(58)基本上覆盖所述多个至少基本上平行的边缘(48)。
3.根据权利要求2所述的方法,其特征在于,对于所述多个至少基本上平行的边缘(48)中的至少一个,基于所述第一图像(40)和所述第二图像(50)并且还基于所述虚拟参考区域(58)确定相对于所述图像记录单元(16,18)的所述共同参考点的边缘距离。
4.根据权利要求3所述的方法,其特征在于,对于所述至少一个边缘(48),确定并且永久性地存储在所述第一图像(40)和/或所述第二图像(50)内的边缘位置。
5.根据权利要求3或4所述的方法,其特征在于,永久性地存储针对所述至少一个边缘(48)的所述边缘距离。
6.根据权利要求5所述的方法,其特征在于,重复地记录所述第一图像(40)和所述第二图像(50),并且重复地确定所述物体位置,其中,在每个循环中基于存储的所述边缘距离确定所述结构位置。
7.根据权利要求1至4中的任一项所述的方法,其特征在于,在所述结构(46)处永久性地保留所述参考标记(56)中的至少一个。
8.根据权利要求1至4中的任一项所述的方法,其特征在于,基于所述结构(46)的所述结构位置验证可移动的物体(38,42,44)的物体位置。
9.根据权利要求1至4中的任一项所述的方法,其特征在于,所述结构(46)是空间静止的。
10.一种用于监控具有多个可移动的物体(38)的空间区域(33)的设备,所述设备包括用于记录所述空间区域(33)的第一图像(40)的第一图像记录单元(16)和用于记录所述空间区域(33)的第二图像(50)的第二图像记录单元(18),其中,所述第一图像记录单元(16)和所述第二图像记录单元(18)设置在距彼此限定的距离b处并且具有共同参考点,并且所述设备包括评估和控制单元(20),所述评估和控制单元(20)设计成基于所述第一图像(40)和所述第二图像(50)确定多个物体位置并且以取决于所述物体位置的方式生成切换信号(22),其中,每个物体位置表示包括所述多个可移动的物体(38)的多个物体(38,42,44)中的一个物体相对于所述图像记录单元(16,18)的所述共同参考点的空间距离,其特征在于,所述评估和控制单元(20)进一步设计成基于在所述图像记录单元(16,18)的所述共同参考点与设置于具有多个基本上平行的边缘(48)的结构(46)处的多个参考标记(56)中的每个之间的多个限定的参考距离确定所述结构(46)的结构位置。
CN201080037739.XA 2009-07-24 2010-07-23 用于监控空间区域的方法和设备 Expired - Fee Related CN102483846B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009035755A DE102009035755A1 (de) 2009-07-24 2009-07-24 Verfahren und Vorrichtung zum Überwachen eines Raumbereichs
DE102009035755.6 2009-07-24
PCT/EP2010/060686 WO2011009933A1 (de) 2009-07-24 2010-07-23 Verfahren und vorrichtung zum überwachen eines raumbereichs

Publications (2)

Publication Number Publication Date
CN102483846A CN102483846A (zh) 2012-05-30
CN102483846B true CN102483846B (zh) 2015-11-25

Family

ID=42835492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080037739.XA Expired - Fee Related CN102483846B (zh) 2009-07-24 2010-07-23 用于监控空间区域的方法和设备

Country Status (7)

Country Link
US (1) US9292924B2 (zh)
EP (1) EP2457217B1 (zh)
JP (1) JP5806212B2 (zh)
CN (1) CN102483846B (zh)
DE (1) DE102009035755A1 (zh)
HK (1) HK1168682A1 (zh)
WO (1) WO2011009933A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924134B2 (ja) * 2012-05-30 2016-05-25 セイコーエプソン株式会社 侵入検出装置,ロボットシステム,侵入検出方法および侵入検出プログラム
DE102012209316A1 (de) * 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
US9855664B2 (en) * 2015-11-25 2018-01-02 Denso Wave Incorporated Robot safety system
ES2673167B2 (es) * 2016-12-20 2018-10-10 Universidad De Extremadura Vídeo cortina de seguridad para detección redundante y direccional de acceso a zona de peligro asociada a maquinaria industrial
US11014240B2 (en) * 2017-09-05 2021-05-25 Abb Schweiz Ag Robot having dynamic safety zones
KR102165967B1 (ko) * 2017-11-17 2020-10-15 미쓰비시덴키 가부시키가이샤 3차원 공간 감시 장치, 3차원 공간 감시 방법, 및 3차원 공간 감시 프로그램
EP3572971B1 (de) * 2018-05-22 2021-02-24 Sick Ag Absichern eines überwachungsbereichs mit mindestens einer maschine
DE102020108514A1 (de) * 2019-03-28 2020-10-01 Carl Zeiss Microscopy Gmbh Verfahren zum Bestimmen eines Bildaufnahmefehlers
US20220012911A1 (en) * 2020-07-13 2022-01-13 United States Postal Service System and method for analyzing an image to determine spacing between a person and an object
US11486893B2 (en) * 2020-10-06 2022-11-01 Pixart Imaging Inc. Optical sensing system and optical navigation system
SE2250812A1 (en) * 2022-06-29 2023-12-30 Flasheye Ab Information carrier for providing information to a lidar sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101346744A (zh) * 2005-12-22 2009-01-14 皮尔茨公司 配置用于监视空间区域的监视设备的方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19536297C2 (de) * 1995-09-29 2003-10-02 Daimler Chrysler Ag Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten und Vorrichtung hierzu
JP3664892B2 (ja) * 1998-09-30 2005-06-29 松下電器産業株式会社 ステレオ画像処理方法および装置と侵入物体監視システム
EP1051037A3 (en) * 1999-05-04 2001-08-29 Everest-VIT, Inc. (a New Jersey Corporation) Inspection system and method
DE10026710A1 (de) * 2000-05-30 2001-12-06 Sick Ag Optoelektronische Schutzeinrichtung
JP2001351200A (ja) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd 車載用物体検知装置
JP2002024807A (ja) * 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
US7098997B2 (en) * 2002-06-26 2006-08-29 Pentax Corporation Surveying system
EP1543270B8 (de) 2002-09-24 2013-01-23 Pilz GmbH & Co. KG Verfahren und vorrichtung zum absichern eines gefahrenbereichs
US7729511B2 (en) * 2002-09-24 2010-06-01 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous area
US7424133B2 (en) * 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
JP2004184240A (ja) * 2002-12-03 2004-07-02 Topcon Corp 画像測定装置、画像測定方法、画像処理装置
JP4394487B2 (ja) * 2004-03-05 2010-01-06 富士重工業株式会社 ステレオ画像処理装置
EP1647357A1 (en) * 2004-10-13 2006-04-19 Robosoft N.V. Method and device for observing and securing a danger zone of a machine or the like
US7564990B2 (en) * 2005-08-18 2009-07-21 Nu Skin International, Inc. Imaging system and method for physical feature analysis
WO2007085330A1 (en) * 2006-01-30 2007-08-02 Abb Ab A method and a system for supervising a work area including an industrial robot
JP2007212187A (ja) * 2006-02-07 2007-08-23 Mitsubishi Electric Corp ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム
US20070211143A1 (en) * 2006-03-10 2007-09-13 Brodie Keith J Systems and methods for prompt picture location tagging
DE102006023787B4 (de) * 2006-05-20 2009-12-10 Sick Ag Optoelektronische Schutzeinrichtung
US20080123903A1 (en) * 2006-07-03 2008-05-29 Pentax Industrial Instruments Co., Ltd. Surveying apparatus
JP4892310B2 (ja) * 2006-09-19 2012-03-07 タイワン インスツルメント カンパニー リミテッド 測量機
DE102006057605A1 (de) * 2006-11-24 2008-06-05 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Überwachen eines dreidimensionalen Raumbereichs
WO2008089353A2 (en) * 2007-01-17 2008-07-24 Nielsen Media Research, Inc. Methods and apparatus for collecting media site data
DE102007007576B4 (de) * 2007-02-15 2009-01-15 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Sichern eines Arbeitsraums
US8036452B2 (en) * 2007-08-10 2011-10-11 Leica Geosystems Ag Method and measurement system for contactless coordinate measurement on an object surface
DE102007062951A1 (de) * 2007-12-21 2009-06-25 Robert Bosch Gmbh Werkzeugmaschinenvorrichtung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101346744A (zh) * 2005-12-22 2009-01-14 皮尔茨公司 配置用于监视空间区域的监视设备的方法

Also Published As

Publication number Publication date
JP5806212B2 (ja) 2015-11-10
EP2457217A1 (de) 2012-05-30
EP2457217B1 (de) 2013-09-11
HK1168682A1 (en) 2013-01-04
DE102009035755A1 (de) 2011-01-27
JP2013500512A (ja) 2013-01-07
US9292924B2 (en) 2016-03-22
US20120182419A1 (en) 2012-07-19
CN102483846A (zh) 2012-05-30
WO2011009933A1 (de) 2011-01-27

Similar Documents

Publication Publication Date Title
CN102483846B (zh) 用于监控空间区域的方法和设备
EP2825841B1 (en) Method, device and computer programme for extracting information about a staircase
CN103630071B (zh) 检测工件的方法和系统
CN1922473B (zh) 用于设计检测路径及用于确定待检测区域的方法
US7627447B2 (en) Method and apparatus for localizing and mapping the position of a set of points on a digital model
US20150116481A1 (en) Mapping damaged regions on objects
CN105865451A (zh) 用于移动机器人室内定位的方法和设备
WO2013059160A1 (en) Acquisition of information for a construction site
KR101232639B1 (ko) 차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 표시하기 위한 시스템, 이동 단말기 및 방법
CN105548197A (zh) 一种非接触的钢轨表面伤损检测方法及其装置
WO2016065262A1 (en) Underlying wall structure finder and infrared camera
CN112240205B (zh) 控制采矿机的系统、由采矿车辆进行导航的方法和介质
CN108474653A (zh) 三维计测装置及其计测辅助处理方法
CN105659107A (zh) 光学追踪
WO2018169467A1 (en) A vehicle with a crane with object detecting device
JP6325834B2 (ja) 整備支援システムおよび整備支援方法
CN108253890A (zh) 一种地裂缝的空间状态监测方法及装置
JP2013113610A (ja) 放射線測定方法および装置
JP2021060377A (ja) ガス漏れ検知システム及び方法
KR101684098B1 (ko) 3차원 공간감지기와 영상분석을 융합한 감시시스템
WO2020067892A1 (en) Staircase measuring method and system for obtaining spatial information on a staircase and an environment of the staircase
JP2015049192A (ja) 水中移動体の位置検知装置
US11978164B2 (en) Method for determining display features of an augmented reality element
JP6720052B2 (ja) 検査システム、及び画像処理装置、並びに検査システムの画像処理方法
KR101888363B1 (ko) 물체의 3차원 형상을 센싱하기 위한 센서 테스트 베드, 물체 센싱 장치 및 물체 센싱 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20200723