CN101511550A - 用于观测工业环境中的人员的方法 - Google Patents

用于观测工业环境中的人员的方法 Download PDF

Info

Publication number
CN101511550A
CN101511550A CNA2007800332128A CN200780033212A CN101511550A CN 101511550 A CN101511550 A CN 101511550A CN A2007800332128 A CNA2007800332128 A CN A2007800332128A CN 200780033212 A CN200780033212 A CN 200780033212A CN 101511550 A CN101511550 A CN 101511550A
Authority
CN
China
Prior art keywords
personnel
mobile
data
machine
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800332128A
Other languages
English (en)
Other versions
CN101511550B (zh
Inventor
乌尔里希·克雷塞尔
拉尔斯·克吕格尔
维尔纳·普罗格沙
克里斯蒂安·韦勒
弗朗茨·库默特
约阿希姆·施密特
赖纳·奥特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pilz GmbH and Co KG
Original Assignee
Pilz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilz GmbH and Co KG filed Critical Pilz GmbH and Co KG
Publication of CN101511550A publication Critical patent/CN101511550A/zh
Application granted granted Critical
Publication of CN101511550B publication Critical patent/CN101511550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

制造过程极大地受益于人类与机器之间的紧密合作。尽管人类行动灵活并有适应性，但在重复的工作操作期间倾向于犯错误，机器运转迅速而精确，却是静态的并且不是很灵活。为了使得在安全的人机交互的情况下能够进行改进的危险防护，根据机器或机器部件以及被观测的人员的当前位置和当前移动状态，将依赖于空间和时间的可变的危险程度分配给受监控的空间区域。为此，在工业环境中，使用多摄像机系统来获取人员的图像数据以便获得可能关于人员、特别也关于其身体部分的位置和取向的最详细的信息。然后针对人员的成像来检验这些图像数据使得每当在图像数据中检测到人员，就将关节连接的虚拟的人类身体三维模型匹配到该人员假设。随后，将该虚拟的身体模型连续地匹配到在图像数据中检测到的人员的移动行为。使用虚拟的身体模型在空间中的位置和移动行为的知识来确定危险可能性。使这样确定出的危险可能性与阈值比较以便在超过该阈值的情况下对机器或机器部分的移动控制起作用。

Description

用于观测工业环境中的人员的方法
本发明涉及一种根据权利要求1和3的前序部分所述的用于观测工业环境中的人员的方法。
如今通常可以将机动车生产中的工业制造过程划分为全自动流程和全手动流程，全自动流程仅由机器执行，全手动流程仅由单独的工人或彼此合作的很多工人执行。至今，人员与机器(尤其是工业机器人)之间的紧密合作由于安全方面的原因而大大受限。需要多个复杂并且昂贵的安全系统(例如金属围栏、挡光板、激光扫描仪或组合的系统)以便使生产环境中的工人保持远离有潜在危险的机器。这些系统不能够检测人类的确切位置、身体姿势或移动行为。一旦工人接近机器人，机器人就停止，并且生产过程中断。
由于制造过程极大地受益于人类与机器的紧密合作，因此这种安全系统缺少与受监控的生产环境相关的“知识”是尤其不利的。尽管人类行动灵活并有适应性，但当执行重复的工作操作时倾向于犯错误，机器运转迅速而精确，但在此情况下是静态的并且不是很灵活。例如，在包括多个合作的机器人的全自动制造单元的情况下，当合作的机器人中的单独一个有缺陷时必须停止生产过程。此时希望由与剩余机器人合作的人类工人来暂时替代有缺陷的机器人使得可以继续进行生产。通过为了半自动化过程而进行的人类与机器的紧密合作可以极大地提升工业制造的效率、灵活性和质量。
如今在工业生产领域中的安全系统主要包括金属围栏、挡光板和/或激光扫描仪。第一方法基于图像处理来保护机器人保护区，在[1]和[2]中详细描述了第一方法。在[1]中描述的方法使用立体图像分析来检测对象是否位于机器人的保护区中，而这样做时不用提取关于对象的种类(例如人类或是对象)的或其移动行为的信息。在[2]中，仅借助于手的皮肤颜色对人员进行检测，手的皮肤颜色在不恒定光照条件(可变色温)的情况下导致关于检测可靠性的问题；当使用工作手套时，根本不能使用所描述的方法。正如在[1]中阐述的现有技术那样，这些方法不提取关于对象类型的任何信息。此外，在涉及人员的情况下，它们不检测所述人员的身体部分和移动行为。因此，当人员闯入这种系统的保护区时，这种系统当然能够关闭机器人，但在人与机器人紧邻的情况下不能检测碰撞是否要来临或者人类与机器是否有规律而没有任何危险地合作。
根据评论文章[3]，在人员识别领域，将适当的方法划分为二维方法以及三维模型，二维方法使用显式的形状模型或没有模型。在[4]中，将不同尺寸的窗口加在原始图像上；使对应的图像区域经受Haar小波变换。通过将不同标度和取向的微分算子应用于图像区域的不同位置来获得相应的小波系数。系数的基于其绝对值和其在图像中的局部分布的较小子集根据这套特征(其在某些情况下可能很大)而被“手动”选择。将这套减少的特征供给用于支持向量机(SVM)的分类。为了检测，将不同尺寸的窗口加在图像上，并且从这些图像区域中提取相应的特征；SVM随后判断对应的窗口是否包含人员。在[5]中，组合二维Haar小波特征的时间序列以形成高维特征矢量，并且借助支持向量机对它们进行分类，因此与纯粹的单独图像方法相比导致检测性能上的提高。在[6]中，将棱角匹配(chamfer matching)方法应用于在使用非固定摄像机的道路交通的场景下检测行人的轮廓。在[7]中，将棱角匹配技术与立体图像处理系统和根据[8]的用作纹理分类器的具有局部感受场的神经网络结合以便得到可靠且稳定的分类结果。
其它方法使用统计的形状模型以便检测并且跟踪人员。在此，[9]涉及通过训练阶段获得的模型，其中通过特征点的位置来描述示例性轮廓。通过使用主元分析(principle component analysis，PCA)来减少参数集，因此除导致计算花费的减少之外还得到一定的概括能力。由于从一开始就避免了与学习集不一致的参数集，这在在时间上跟踪例如移动行人的这种可变形轮廓的情况下是有用的。不仅整个人员的轮廓可以被检测，而且还可以检测手的轮廓，以及可以检测相应的移动。然而，使用该方法所有特征在任何时间都必须存在，因此不允许遮盖的实例。此外，并不排除通过训练阶段确定的参数化允许物理上不可能的状态。在[10]中形状表示由B样条函数给出。假设是固定的相机的情况下，则通过差异图像分析将人员从背景中分离出来；跟踪算法使用卡尔曼(Kalman)滤波器来工作。
在别处，使用颜色聚类流(color cluster flow)技术[11]以便检测通过移动相机记录的图像序列中的人员。因此甚至在人员的部分遮盖的情况下，也有可能对人员进行检测并且非常可靠地在时间上跟踪他们。这种检测阶段与[8]中详细描述的延时神经网络(TDNN)分类方法相结合。
在[12]中描述了近来的工作，涉及用于在道路交通场景中对行人进行检测并且包括检测阶段、跟踪阶段以及对象分类阶段的完整、实时的系统。
用于对人员进行检测的另一组方法是基于模型的技术，其中以模型的形式使用关于人员外观的显式先验知识。由于在此情况下遮盖部分人体的实例是有问题的，因此很多系统附加地假设关于待检测的移动的类型以及摄像机视角的先验知识。例如，通过减去背景将人员分离出来，而这预先假设了固定的相机和不变、或仅缓慢改变的背景。所使用的模型包括例如直条(“线条图”)，各个人体部分由椭面进行近似[13-16]。
在[17]中描述了以下示例：对于检测侧向对准摄像机站立或移动的人员的多线索方法而言，同时使用非常不同的强度、边缘、距离以及移动特征。这种方法是“面向对象的”，也就是说对于特定应用而言定义了普通对象(例如，人员、背景、地板、光源)并且使得相关的方法可用于在图像中检测这些对象。如果从图像中提取了若干个对象特征，则将对象具体实例化以便随后有可能应用另外的专用方法。
用于对人员姿势(位置和身体部分采用的方式)进行三维确定的商用系统是基于检测应用于身体的标记。在[18]中描述了用于对姿势进行无标记三维确定的很有效的方法。
关于检测人员姿势的大部分工作专注于手的三维重构。在[19]中，通过使用运动学约束(尤其是关于物理上可能的接合角度)的关节连接的模型来描述手。这些约束使得能够确定手的三维位置、姿势和移动。在[20]中描述了一种用于基于轮廓分析、跟踪阶段以及针对移动的基于隐式马尔科夫模型(HMM)的分类器来检测手的移动流程(以及姿态)的方法。在[21]中描述的GREFIT系统能够借助关节连接的手模型基于灰度值图像(Grauwertbildern)来对手姿势的动态进行分类。在第一阶段，神经网络的分等级系统对指尖在序列的图像中的二维位置进行定位。在第二阶段，另一神经网络将这些值转换为关节连接的手模型的最适合的三维配置。在[22]中，通过以下方式来直接检测手姿势：借助自组织映射(SOM)来标记对应的图像，并且借助神经网络进行随后的训练。
在[23]中将基于粒子滤波器并且还包括象征性的对象知识的轨迹分析用于检测“操纵姿态”(用于抓握或者移动对象的手的移动)。在[24]中对该方法在人类/机器人交互的情况下进行扩展，也就是结合贝叶斯(Bayes)网络和粒子滤波器来执行根据隐式马尔科夫模型对手轨迹进行分类。在[25]中描述了通过借助粒子滤波器方法进行的移动模式分析来对建造动作(例如部分的装配)进行分类的方法。在[26]中描述了如何在用于检测从单独元件合成的组件的方法中将手的移动的分析结果与更可靠的对象检测的目的相结合。在此情况下，[27]描述了基于视图的系统，其中通过可随后被联机(也就是说，在操作阶段期间)训练的神经网络来检测对象。
在[30]中描述了一种用于从二维图像数据开始对人员进行三维建模的方法。在此，使用多摄像机(multicamera)系统来获取人员的图像数据、以及在二维图像数据中识别出(尤其是通过模板匹配)的人员身体部分。然后借助三维模板通过动态模板匹配来对这样标识出的身体部分进行建模。这样的结果是即使人员被部分遮盖，或者暂时不能被多摄像机系统获取，也可以快速而连续地对人员进行识别。然后借助运动学移动模型和卡尔曼滤波器在图像数据中跟踪检测到的人员。
在[31]中描述了在被变换到三维空间中的图像数据内对人员以及他们的身体部分的识别。从由多摄像机系统产成的图像数据开始生成三维体素数据。此后，通过特定的匹配算法将对应模板匹配到身体部分。在此，也参照先前在[30]的情况下的运动学身体模型。
除了根据二维图像数据和普通移动分析来生成三维人员模型之外，在[32]中描述的作用附加地指出用于对被观测的人员的生物测定行为、特别是他们的姿态(“举手来表明要提问的愿望”)进行分析的第一方法。
上述现有技术示出用于以下目的基于图像处理的多种方法是已知的：检测各种复杂环境中的人员，检测身体部分和他们的移动流程，以及检测包括单独部分的复杂对象和对应的装配活动。然而，这些算法的可应用性仅借助纯学术应用被频繁描述。
本发明的目的在于使基于摄像机对人员进行的检测和建模可达到在工业环境中的应用。
通过在权利要求1和3中所要求保护的方法来实现这个目的。从属权利要求描述本发明的有利细化和扩展。
在工业环境中，为了获得可能关于人员、特别也关于其身体部分的位置和对准的最详细的信息，通过多摄像机系统来获得人员的图像数据。然后针对人员的成像来检验这些图像数据使得每当在图像数据中检测到人员，就将关节连接的虚拟的人类身体三维模型匹配到该人员假设。随后，将该虚拟身体模型连续地匹配到在图像数据中检测到的人员的移动行为。
在对工业环境中的人员进行观测的本发明第一细化中，确定位于人员的环境中的机器或机器部件的位置和/或移动行为。可以从虚拟的身体模型在空间中的位置和移动行为的知识开始确定危险可能性。使这样确定出的危险可能性与阈值比较以便在超过该阈值的情况下对机器或机器部分的移动控制起作用。
在特别有利的方式中，对机器或机器部分的移动控制起作用导致其关闭或其移动的减慢。如果仅导致移动的减慢，则机器或其可移动的机器部件能够继续进行工作操作，同时减小了危险可能性。
本发明的这种对人员进行观测的方式使得有可能以特别有利的方式在可靠的人类/机器交互的情况下应用该方法来排除危险。因此有可能根据机器或机器部件以及被观测的人员的当前位置和当前移动状态，将依赖于位置和时间的可变的危险程度分配给受监控的空间区域。
在对工业环境中的人员进行观测的本发明的可替选细化中，根据虚拟身体模型的当前形状和位置连续地从工业环境中推导数据，并且将数据与数据库的数据相关联。在此情况下，数据库包含在描述人员的移动流程的多个移动阶段期间根据身体模型的形状和位置而预先确定的多个数据。在此情况下，在该方法的过程中，每当从被观测的人员的当前身体模型推导出的数据呈现出与存储在数据库中与移动阶段相关的数据的确定程度的相似性，就认为所述移动阶段已经由被观测的人员所采用。如果在此情况下检测到存储在数据库中的特定顺序的移动阶段，则认为被观测的人员完全完成了移动流程。然而，如果移动流程被评估为尚未完全完成，则执行关于这种结果的信号发送。
本发明的这种对人员进行的观测有利地使得用于检查移动和工作流程的方法能够应用于工业生产领域。举例来说，复杂的手动装配流程由此在其执行期间会针对是否完全地并且以正确的顺序执行了适当的工作而被检查。若观测到的移动流程偏离预期的流程，则可以对此进行信号发送。特别在高度复杂模件(例如，动力总成)的情况下，这种类型的质量检查基本上比检查组合部件连同可能的后续再加工更有效，这是由于在后一种情况下可能需要将模件完全或部分地拆卸，这转而与较高的时间和成本投入相关联。
本发明的这种可替选细化的又一有利现场应用是监督新训练的操作员工。很多错误在生产中出现在例如当需要在职位空缺期间立即训练新劳动力时。通过本发明，新训练的操作员工可以观察工作流程。于是可能告知何时发现了在待执行的移动流程内所需的移动阶段尚未被执行，因此导致假设工作操作尚未正确地执行的需要。
在特别有利的方式中，在对被评估为不完全的移动流程发送信号期间，对在检查关于移动流程的正确顺序期间被看作未被采用的移动阶段中的至少一个做出标记。这样，被观测的人员特别容易检测他/她的移动流程中的错误或他/她的操作执行中的错误。另一方面，训练者可以检测受训者认为学习活动的哪些部分仍然是困难的并且有可能需要附加的说明或进一步训练。
对未被检测作为已经采用的移动阶段的统计获取还可以有利地使得能够在整个移动流程内以人机工程学的方式来检测有问题的移动阶段，并且如果适当，通过重置移动阶段的顺序或者通过修改要由被观测的人员操作的系统或对象来对有问题的移动阶段进行优化。
为了得到与单独的移动阶段和/或移动流程相关的数据以便得到数据库，显然在通过多摄像机系统来获取待观测的空间、人员或机器的记录图像的同时通过多个训练流程可获得所述数据。然而，替代地或附加地，还可以很好想到通过对移动流程和对此预期的图像信息进行模拟来生成数据库的数据，该操作在计算机系统上进行。因此，通过由仿真确定的观测系统的数据来与系统设计及其实施并行地在工厂中对观测系统进行预先初始化也变得有利地成为可能。
在特别有利的方式中，可以在数据库中管理数据容量，并且还可以通过使得存储在数据库中的图像数据经受变换、特别是主轴变换来减少关于处理的支出。为此，基于所述变换后的图像数据来执行用于对当前所获取的图像数据与数据库的数据的相似性进行确定的相互关联。
在特别有利的方式中，人员的三维模型基于三维点数据而被创建。这些点数据可以通过多目镜图像分析(特别包括立体图像分析)来创建。例如，有可能通过使用基于空间时间特征的立体方法(例如在[28]中所描述的)来获得与空间中的每个三维点相关的超过所述三维点的空间坐标(x，y，z)之外的信息项(例如其速度或加速度)。通过聚类方法、特别是通过聚集式聚类来有利地执行多个三维点数据(三维点云)的分割。随后对每个提取的三维点的聚类确定凸形包络。首先对每个聚类确定简单的特征(特别是其高度或体积)以便检测人员。然后有可能以此方式拒绝无效的、不合理的聚类，特别是从自然人的特性的先验知识开始。因此有利地可能在以下情况下将相邻的聚类组合以形成人员：当单独的聚类不重叠并且对于所得的整体对象而言针对形状和尺寸的对应约束条件得以遵守时。
在先前的步骤中不必排除的三维点、特别是在地板附近的脚点或与其它对象的接触点被优选地恢复。该第一处理步骤的结果是场景中的人员，他们被表示为代表他们的聚类的凸形包络。在时间上，通过跟踪投射在地板上的产生二维多边形的凸形包络，可以有利地跟踪这样检测到的人员，这是通过线性预测和卡尔曼滤波来进行的。
可以有利地将关节连接的人类身体三维模型匹配到这样发现的人员假设。在此情况下有利地通过互相连接的柱体对身体部分建立模型。在该模型中人员的姿势被给定为模型的接合角度的矢量。优选地通过确定根据场景的三维点云和图像推导出的特征与对于给定姿势的模型的外观之间的偏差来执行姿势的估计，由此有可能确定给定姿势再现测得的人员形状的概率。基于核的粒子滤波器[29]特别适合作为对搜索空间的探索的概率逼近。
有利地由运动模板来表示检测到的身体部分的移动。此处这种模板是有代表性的移动模式，其包括在典型的人类移动流程的三维测量中并且限定人员模型的可能接合角度以及接合角度速度的空间。这样有可能通过生物学上逼真的方式来外推人员的移动，尤其是为了检测人类与机器之间的碰撞危险时。在此情况下，移动过程可以被看作移动阶段的组合的流程。
文献
[1]D.，L.Krüger，W.Progscha，M.Wendler，C.
Figure A200780033212D0010133433QIETU
.Verfahren und Vorrichtung zur Absicherung einesGefahrenbereichs[Method and device for securing a hazard zone用于保护危险区域的方法和装置].德国公开的专利申请DE10245720 A1.
[2]D.Ebert and D.Henrich.Simero-sichereMensch-Roboter-Koexistenz[Simero-safe human/robotcoexistence].In：Fraunhofer IRB，Ed.，2.Workshop fürOTS-Systeme in der Robotik-Mensch und Roboter ohnetrennende Schutzsysteme[2nd workshop for OTS systems inrobotics-human and robot without separating protective systems关于机器人技术中的OTS系统的第二次研讨会-无需分开保护系统的人和机器人]，pp.119-134，Stuttgart，2003
[3]D.Gavrila.The Visual Analysis of Human Movement：A Survey[人类移动的视觉分析：调查].Computer Vision and ImageUnderstanding，73(1)：82-98，Jan.1999.
[4]M.Oren，C.Papageorgiou，P.Sinha，E.Osuna，T.Poggio.Pedestrian detection using wavelet templates[使用小波模板的行人检测].IEEE Int.Conf.on Computer Vision and PatternRecognition，pp.193-199，San Juan，1997.
[5]C.Papageorgiou，T.Poggio.A pattern Classification Approach toDynamical Obj ect Detection[动态对象检测的模式分类方法].Int.Conf.on Computer Vision，pp.1223-1228，Kerkyra，Greece，1999.
[6]D.M.Gavrila，V.Philomin，Real-time object detection for＂smart＂vehicles[用于“智能”车辆的实时对象检测].Int.Conf.on ComputerVision，pp.87-93，Kerkyra，Greece，1999.
[7]D.M.Gavrila，J.Giebel，S.Münder.Vision-Based PedestrianDetection：The PROTECTOR[基于景象的行人检测：保护者]，System.IEEE Intelligent Vehicles Symposium，Parma，Italy，2004.[8]C.
Figure A200780033212D0011133756QIETU
Neuronale 
Figure A200780033212D0011133830QIETU
 fürdieBildsequenzanalyse und ihre Anwendung in fahrzeuggebundenenBildverarbeitungssystemen.[Neural time delay networks for imagesequence analysis，and application in vehicle-bound imageprocessing systems用于图像顺序分析的神经延时网络以及在车辆范围的图像处理系统中的应用].Dissertation.Mathematisch-Naturwissenschaftliche 
Figure A200780033212D0011134014QIETU
 der RheinischenFriedrich-Wilhelms-
Figure A200780033212D0011134029QIETU
 Bonn，2000VDI-Fortschritt-Berichte，series 10，No.645，VDI-Verlag，Düsseldorf，2000.
[9]M.J.S.Day，J.S.Payne.A Projection Filter for Use withParameterised Learning Models[使用参数化学习模型的预测滤波器].Int.Conf.on Pattern Recognition，pp.867-869，Brisbane，1998.
[10]A.Baumberg，D.Hogg.An Efficient Method for Contour TrackingUsing Active Shape Models[用于使用活动形状模型进行轮廓跟踪的有效方法].IEEE Workshop on Motion of Non-Rigid andArticulated Objects，pp.194-199，Austin，Texas，1994.
[11]B.Heisele，C.
Figure A200780033212D0012134214QIETU
Motion-Based Recognition of Pedestrians[基于动作的行人识别].Int.Conf.on Pattern Recognition，pp.1325-1330，Brisbane，1998.
[12]D.M.Gavrila，J.Giebel，S.Münder.Vision-Based PedestrianDetection：The PROTECTOR[基于景象的行人检测：保护者]，System.Proc.of the IEEE Intelligent Vehicles Symposium，Parma，Italy，
[13]Y.Guo，G.Xu，S.Tsuji.Understanding Human Motion Patterns[理解人类动作模式].Int.Conf.on Pattern Recognition，pp.325-329，1994.
[14]I.-C.Chang，C.-L.Huang.Ribbon-based Motion Analysis ofHuman Body Movements[基于条的人类身体移动的动作分析].Int.Conf.on Pattern Recognition，pp.436-440，Vienna，1996.
[15]K.Akita.Image Sequence Analysis of Real World HumanMotion[真实世界人类动作的图像顺序分析].Pattern Recognition.Vol.17，No.1，pp.73-83，1984.
[16]W.Long，Y.Yang.Log-Tracker，an Attribute-Based Approach toTracking Human Body Motion[基于属性的跟踪人类身体动作的方法]，Int.J.Pattern Recog.Artificial Intell.，Vol.5，No.3，pp.439-458，1991.
[17]R.Kahn，M.Swain，P.Propkowicz，J.Firby.Gesture RecognitionUsing the Perseus Architecture[使用perseus架构的姿态识别].IEEE Conference on Computer Vision and Pattern Recognition，pp.734-741，San Francisco，1996.
[18]B.Rosenhahn，U.G.Kersting，A.W.Smith，J.K.Gurney，T.Brox，R.Klette.A System for Marker-less Human Motion Estimation[用于无标记的人类动作估计的系统].In：W.Kropatsch，R.Sablatnig，A.Hanbury(eds.).Pattern Recognition.Proc.27th DAGMSymposium，Vienna，Austria.Lecture Notes in Computer Science3663，pp.176-183，Springer-Verlag Berlin Heidelberg，2005.
[19]S.U.Lee，I.Cohen.3D Hand Reconstruction from a MonocularView[根据单目镜视图的三维手重构].Int.Conf.on PatternRecognition，Cambridge，UK，2004.
[20]A.Ramamoorthy，N.Vaswani，S.Chaudhury，S.Banerjee.Recognition of dynamic hand gestures[动态手姿态的识别].PatternRecognition，Vol.36，pp.2069-2081，2003.
[21]C.
Figure A200780033212D0013134509QIETU
 H.Ritter.Visual Recognition of Continuous HandPostures[连续手姿势的视觉识别].IEEE Transactions on NeuralNetworks，Special Issue Multimedia，2002.
[22]G.Heidemann，H.Bekel，I.Bax，A.Saalbach.Hand GestureRecognition：Self Organising Maps as a Graphical User Interfacefor the Partitioning of Large Training Data Sets[手姿态识别：作为用于分割大量训练数据集的图形用户接口的自组织映射].Int.Conf.on Pattern Recognition，Cambridge，UK，2004.
[23]J.Fritsch，N.Hofemann，G.Sagerer.Combining Sensory andSymbolic Data for Manipulative Gesture Recognition[组合用于操纵姿态识别的感官和象征性数据].Int.Conf.on PatternRecognition，Cambridge，UK，2004.
[24]Z.Li，N.Hofemann，J.Fritsch，G.Sagerer.Hierarchical Modellingand Recognition of Manipulative Gesture[对操纵姿态进行分层级的建模和识别].In Proc.IEEE ICCV，Workshop on ModelingPeople and Human Interaction，Beijing，China，2005.
[25]J.Fritsch，F.
Figure A200780033212D0013134705QIETU
M.Wienecke，G.Sagerer.Erkennung vonKonstruktionshandlungen aus Bildfolgen[Detection of buildingactions from image sequences根据图像序列来检测建造行为].In：Mustererkennung 2000，22.DAGM-Symposium[Patternrecognition 2000，22nd DAGM symposium]，Informatik aktuell.pp.389-396，Kiel，2000
[26]E.Braun，J.Fritsch，G.Sagerer.Incorporating Process Knowledgeinto Object Recognition for Assemblies[过程知识在装配的对象识别中的结合].IEEE Conf.on Computer Vision，pp.726-732，Vancouver.
[27]H.Bekel，I.Bax，G.Heidemann，H.Ritter.Adaptive ComputerVision：Online Learning for Object Recognition[适应的计算机视觉：对象识别的联机学习].In：C.E.Rasmussen，H.H.Bülthoff，M.A.Giese，B.
Figure A200780033212D0014134849QIETU
(eds.).Pattern Recognition.Proc.26th DAGMSymposium，Tubingen，Germany.Lecture Notes in ComputerScience 3175，pp.447-454，Springer-Verlag Berlin Heidelberg，2004.[28]C.
Figure A200780033212D0014134932QIETU
L.Krüger.Verfahren und Vorrichtung zurKorrespondenzbestimmung，vorzugsweise zur dreidimensionalenRekonstruktion einer Szene[Method and device for determiningcorrespondence，preferably for the threedimensional reconstructionof a scene用于优选对于景象的三维重构确定一致性的方法和设备]；German patent application DE 102006013598.9，published after thepriority date.
[29]C.Chang，R.Ansari，A.Khokhar.Multiple object tracking withkernel particle filter[使用核粒子滤波器的多对象跟踪].IEEE Int.Conf.on Computer Vision and Pattern Recognition，Vol.1，pp.566-573，2005.
[30]Horprasert，T.Haritaoglu，I.，Harwood，D.，等人.Real-time 3Dmotion capture[实时的三维动作捕捉].In Proc.Perceptual UserInterfaces，pages 87-90，November 1998.
[31]I.Mikic，M.Trivedi，E.Hunter，and P.Cosman.Human body modelacquisition and tracking using voxel data[使用体素进行人类身体模型获取和跟踪].International Journal on Computer Vision，53(3)：199-223，July 2003.
[32]M.Pardàs等人.，Body detection，tracking and analysis[身体检测、跟踪以及分析]，WP5 partners first focus meeting，1-2 December2005，Rocquencourt，slides，http://www-rocq.inria.fr/imedia/Muscle/WP5/WP5-FFM-docs/E-TEAM-BODY-3.ppt.

Claims (12)

1.一种用于观测工业环境中的人员的方法，其中，通过多摄像机系统来获取人员的图像数据，其中，针对人员的成像来检查所述图像数据，其中，每当在所述图像数据中检测到人员，就将关节连接的虚拟的人类身体三维模型匹配到该人员假设，以及其中，将所述虚拟的身体模型连续地匹配到在所述图像数据中检测到的人员的移动行为，其特征在于，确定位于所述人员的环境中的机器或机器部件的位置和/或移动行为，并且基于所述虚拟身体模型在空间中的位置和移动行为的知识来确定危险可能性，使得每当所述危险可能性超过确定的阈值就对机器或机器部分的移动控制起作用。
2.根据权利要求1所述的方法，其特征在于，对所述机器或机器部分的移动控制起作用导致机器或机器部分的关闭或移动的减慢。
3.一种用于观测工业环境中的人员的方法，其中，通过多摄像机系统来获取人员的图像数据，其中，针对人员的成像来检查所述图像数据，其中，每当在所述图像数据中检测到人员，就将关节连接的虚拟的人类身体三维模型匹配到所述人员假设，以及其中，将所述虚拟的身体模型连续地匹配到在所述图像数据中检测到的人员的移动行为，其特征在于，根据所述虚拟身体模型的当前形状和位置来连续地推导数据，并且将所述数据与数据库的数据相关联，所述数据库包含在描述人员的移动流程的多个移动阶段期间根据身体模型的形状和位置而预先确定的多个数据，每当从被观测人员的当前身体模型推导出的数据呈现出与存储在所述数据库中与移动阶段相关的数据的确定程度的相似性，就认为所述移动阶段已经由被观测的人员所采用，每当检测到存储在所述数据库中的特定序列的移动阶段，就将移动流程评估为已经由被观测的人员完全执行，以及每当将移动流程评估为尚未完全执行，就执行关于这种结果的信号发送。
4.根据权利要求3所述的方法，其特征在于，在对被评估为不完全的移动流程进行信号发送期间，对在检查关于移动流程的正确顺序期间被看作未被采用的移动阶段中的至少一个做出标记。
5.根据权利要求3和4之一所述的方法，其特征在于，执行对被评估为尚未被采用的移动阶段的统计获取。
6.根据权利要求3-5之一所述的方法，其特征在于，通过多个训练流程和/或通过模拟来产生存储在所述数据库中的与单独移动阶段和/或移动流程相关的数据。
7.根据权利要求3-6之一所述的方法，其特征在于，使存储在所述数据库中的图像数据经受变换，特别是经受主轴变换，并且基于变换后的图像数据来执行用于确定当前获取的图像数据与所述数据库的数据的相似性的相互关联。
8.根据前述权利要求之一所述的方法，其特征在于，基于其信息超过关于三维点数据的空间坐标的单一信息的三维点数据来执行人员的三维模型的创建。
9.根据权利要求8所述的方法，其特征在于，通过考虑人员特有的限制值来将所述三维点数据组合成聚类。
10.根据权利要求9所述的方法，其特征在于，在以下情况下将相邻的聚类组合以形成对人员成像的公共聚类：当单独的聚类不重叠并且所得到的公共聚类包括所述人员特有的限制值时。
11.根据权利要求9和10之一所述的方法，其特征在于，为了将所述身体模型连续地匹配到在所述图像数据中检测到的人员的移动行为，跟踪所述聚类或它们的凸形包络在工业环境的地板上的投影，尤其通过线性预测和卡尔曼滤波来进行。
12.根据前述权利要求之一所述的方法，其特征在于，在将关节连接的虚拟的人类身体三维模型匹配到表示人员的图像数据之后，确定所述身体模型的给定姿势再现测得的人员的形状的概率。
CN2007800332128A 2006-08-02 2007-04-04 用于观测工业环境中的人员的方法 Active CN101511550B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102006036400.7 2006-08-02
DE102006036400 2006-08-02
DE102006048166.6 2006-10-10
DE102006048166A DE102006048166A1 (de) 2006-08-02 2006-10-10 Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
PCT/EP2007/003037 WO2008014831A2 (de) 2006-08-02 2007-04-04 Verfahren zur beobachtung einer person in einem industriellen umfeld

Publications (2)

Publication Number Publication Date
CN101511550A true CN101511550A (zh) 2009-08-19
CN101511550B CN101511550B (zh) 2013-12-18

Family

ID=38885059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800332128A Active CN101511550B (zh) 2006-08-02 2007-04-04 用于观测工业环境中的人员的方法

Country Status (6)

Country Link
US (1) US8154590B2 (zh)
EP (1) EP2046537A2 (zh)
JP (1) JP2009545789A (zh)
CN (1) CN101511550B (zh)
DE (1) DE102006048166A1 (zh)
WO (1) WO2008014831A2 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679330A (zh) * 2012-09-10 2014-03-26 波音公司 具有劳动时间标准的人体工程学安全评价
CN104007715A (zh) * 2013-02-27 2014-08-27 洛克威尔自动控制技术股份有限公司 具有位置和导数决定参考的基于识别的工业自动化控制
CN104102185A (zh) * 2013-02-27 2014-10-15 洛克威尔自动控制技术股份有限公司 具有人和物体区分的基于识别的工业自动化控制
CN104516337A (zh) * 2013-10-01 2015-04-15 美国博通公司 基于姿态的工业监控
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的系统和方法
CN105094005A (zh) * 2014-05-19 2015-11-25 洛克威尔自动控制技术股份有限公司 光学区域监测与工业机器控制的集成
CN107053165A (zh) * 2015-09-28 2017-08-18 西门子产品生命周期管理软件公司 用于模拟和处理防冲突管理的方法及数据处理系统
WO2018018574A1 (zh) * 2016-07-29 2018-02-01 罗伯特·博世有限公司 人员保护系统及其运行方法
CN109153125A (zh) * 2016-05-31 2019-01-04 西门子股份公司 用于定向工业机器人的方法和工业机器人
CN111275941A (zh) * 2020-01-18 2020-06-12 傲通环球环境控制（深圳）有限公司 工地安全管理系统
CN112543695A (zh) * 2018-08-09 2021-03-23 株式会社富士 模拟方法及模拟系统
CN113033242A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 动作识别方法及系统
CN113874912A (zh) * 2019-04-12 2021-12-31 爱荷华大学研究基金会 用于预测、预防和减轻工作场所伤害的系统和方法

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514551A (ja) * 2005-11-09 2009-04-09 プリメーラ バイオシステムズ インコーポレーティッド 病原体の多重定量検出方法
FR2927444B1 (fr) * 2008-02-12 2013-06-14 Cliris Procede pour generer une image de densite d'une zone d'observation
WO2010063319A1 (en) * 2008-12-03 2010-06-10 Abb Research Ltd. A robot safety system and a method
AT508094B1 (de) * 2009-03-31 2015-05-15 Fronius Int Gmbh Verfahren und vorrichtung zur bedienung einer mit einem handbetätigten arbeitsgerät verbundenen stromquelle
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
KR101650799B1 (ko) * 2009-05-11 2016-08-24 게스티곤 게엠베하 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
US20110026770A1 (en) * 2009-07-31 2011-02-03 Jonathan David Brookshire Person Following Using Histograms of Oriented Gradients
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
DE102009046107A1 (de) * 2009-10-28 2011-05-05 Ifm Electronic Gmbh System und Verfahren für eine Interaktion zwischen einer Person und einer Maschine
US9406212B2 (en) 2010-04-01 2016-08-02 Sealed Air Corporation (Us) Automated monitoring and control of contamination activity in a production area
US9143843B2 (en) 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US9189949B2 (en) 2010-12-09 2015-11-17 Sealed Air Corporation (Us) Automated monitoring and control of contamination in a production area
DE102010017857B4 (de) 2010-04-22 2019-08-08 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
US9011607B2 (en) 2010-10-07 2015-04-21 Sealed Air Corporation (Us) Automated monitoring and control of cleaning in a production area
DE102010061382B4 (de) * 2010-12-21 2019-02-14 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US20130070056A1 (en) * 2011-09-20 2013-03-21 Nexus Environmental, LLC Method and apparatus to monitor and control workflow
US8724906B2 (en) * 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
DE112012005650B4 (de) * 2012-01-13 2018-01-25 Mitsubishi Electric Corporation Risikomesssystem
DE102012102236A1 (de) 2012-03-16 2013-09-19 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Absichern eines gefährlichen Arbeitsbereichs einer automatisiert arbeitenden Maschine
DE102012103163A1 (de) * 2012-04-12 2013-10-17 Steinel Gmbh Vorrichtung zur Steuerung eines Gebäudeaggregats
CN104428107B (zh) 2012-07-10 2016-06-29 西门子公司 机器人布置和用于控制机器人的方法
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
EP2824522B1 (en) 2013-05-06 2017-11-29 ABB Schweiz AG Human safety provision in mobile automation environments
DE102014209337A1 (de) 2013-05-17 2014-11-20 Ifm Electronic Gmbh System und Verfahren zur Erfassung eines Gefährdungsbereichs
DE102013110905A1 (de) * 2013-10-01 2015-04-02 Daimler Ag MRK Planungs- und Überwachungstechnologie
US9452531B2 (en) * 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
DE102014202733B4 (de) * 2014-02-14 2022-09-01 Homag Plattenaufteiltechnik Gmbh Verfahren zum Betreiben einer Maschine, insbesondere einer Plattenaufteilanlage
JP5785284B2 (ja) 2014-02-17 2015-09-24 ファナック株式会社 搬送対象物の落下事故を防止するロボットシステム
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
US10198706B2 (en) * 2015-07-31 2019-02-05 Locus Robotics Corp. Operator identification and performance tracking
DE102015225587A1 (de) * 2015-12-17 2017-06-22 Volkswagen Aktiengesellschaft Interaktionssystem und Verfahren zur Interaktion zwischen einer Person und mindestens einer Robotereinheit
DE102016200455A1 (de) * 2016-01-15 2017-07-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sicherheitsvorrichtung und -verfahren zum sicheren Betrieb eines Roboters
US10924881B2 (en) * 2016-03-03 2021-02-16 Husqvarna Ab Device for determining construction device and worker position
WO2017198342A1 (de) * 2016-05-18 2017-11-23 Bobst Grenchen Ag Kontrollsystem für einen funktionsabschnitt einer papierverarbeitungsvorrichtung
JP6703691B2 (ja) * 2016-06-02 2020-06-03 コマツ産機株式会社 コントローラ、鍛圧機械、および制御方法
US11000953B2 (en) * 2016-08-17 2021-05-11 Locus Robotics Corp. Robot gamification for improvement of operator performance
US11518051B2 (en) 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
US11541543B2 (en) 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US10099372B2 (en) 2017-02-07 2018-10-16 Veo Robotics, Inc. Detecting and classifying workspace regions for safety monitoring
EP3582642A4 (en) 2017-02-20 2021-01-13 3M Innovative Properties Company OPTICAL ARTICLES AND INTERACTING SYSTEMS
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company PERSONAL PROTECTIVE EQUIPMENT MANAGEMENT SYSTEM USING OPTICAL PATTERNS FOR EQUIPMENT AND SECURITY MONITORING
DE102017221305A1 (de) * 2017-11-23 2019-05-23 Robert Bosch Gmbh Verfahren zum Betreiben eines kollaborativen Roboters
DE102018109320A1 (de) * 2018-04-19 2019-10-24 Gottfried Wilhelm Leibniz Universität Hannover Verfahren zur Erkennung einer Intention eines Partners gegenüber einer mehrgliedrigen aktuierten Kinematik
JP2019200560A (ja) * 2018-05-16 2019-11-21 パナソニックＩｐマネジメント株式会社 作業分析装置および作業分析方法
CN108846891B (zh) * 2018-05-30 2023-04-28 广东省智能制造研究所 一种基于三维骨架检测的人机安全协作方法
DE102018114156B3 (de) * 2018-06-13 2019-11-14 Volkswagen Aktiengesellschaft Verfahren zur Steuerung eines Roboters, insbesondere eines Industrieroboters, sowie Vorrichtung zur Steuerung des Roboters
KR102085168B1 (ko) * 2018-10-26 2020-03-04 오토아이티(주) 인체추적 기반 위험지역 안전관리 방법 및 장치
DE102019103349B3 (de) 2019-02-11 2020-06-18 Beckhoff Automation Gmbh Industrierobotersystem und Verfahren zur Steuerung eines Industrieroboters
DE102019207144A1 (de) * 2019-05-16 2020-11-19 Robert Bosch Gmbh Verfahren zur Erkennung eines Bedieners einer Arbeitsmaschine
EP3761193A1 (en) * 2019-07-04 2021-01-06 Siemens Aktiengesellschaft Safety analysis of technical systems comprising human objects
DE102019216405A1 (de) * 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren zur Verhinderung von Personenschäden bei einem Betrieb einer mobilen Arbeitsmaschine
IT201900021108A1 (it) * 2019-11-13 2021-05-13 Gamma System S R L Sistema di sicurezza per un macchinario industriale
EP3865257A1 (de) 2020-02-11 2021-08-18 Ingenieurbüro Hannweber GmbH Einrichtung und verfahren zur überwachung und steuerung eines technischen arbeitssystems
CN111553264B (zh) * 2020-04-27 2023-04-18 中科永安(安徽)科技有限公司 一种适用于中小学生的校园非安全行为检测及预警方法
CN111726589B (zh) * 2020-07-07 2022-01-28 山东天原管业股份有限公司 一种阀体的生产加工方法
EP4016376A1 (en) * 2020-12-18 2022-06-22 Toyota Jidosha Kabushiki Kaisha Computer-implemented process monitoring method
AT17459U1 (de) * 2021-01-21 2022-05-15 Altendorf Gmbh Sicherheitseinrichtung für Werkzeugmaschinen
CN112936267B (zh) * 2021-01-29 2022-05-27 华中科技大学 一种人机协作智能制造方法及系统
EP4170438A1 (en) * 2022-06-07 2023-04-26 Pimu Llc Safety control system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0901105A1 (en) * 1997-08-05 1999-03-10 Canon Kabushiki Kaisha Image processing apparatus
EP1061487A1 (en) * 1999-06-17 2000-12-20 Istituto Trentino Di Cultura A method and device for automatically controlling a region in space
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
WO2004029502A1 (de) * 2002-09-24 2004-04-08 Pilz Gmbh & Co. Kg Verfahren und vorrichtung zum absichern eines gefahrenbereichs
DE10245720A1 (de) 2002-09-24 2004-04-01 Pilz Gmbh & Co. Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs
US7729511B2 (en) 2002-09-24 2010-06-01 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous area
DE10259698A1 (de) * 2002-12-18 2004-07-08 Pilz Gmbh & Co. Darstellungsbereich eines automobilen Nachtsichtsystems
JP4066168B2 (ja) * 2003-03-13 2008-03-26 オムロン株式会社 侵入物監視装置
ITUD20030118A1 (it) * 2003-05-29 2004-11-30 Casagrande Spa Dispositivo di sicurezza per macchine operatrici e metodo di riconoscimento della presenza di persone, utilizzante tale dispositivo di sicurezza.
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US6950733B2 (en) * 2003-08-06 2005-09-27 Ford Global Technologies, Llc Method of controlling an external object sensor for an automotive vehicle
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
JP4811019B2 (ja) * 2005-01-17 2011-11-09 株式会社豊田中央研究所 衝突挙動制御装置
DE102006013598A1 (de) 2005-09-01 2007-03-15 Daimlerchrysler Ag Verfahren und Vorrichtung zur Korrespondenzbestimmung, vorzugsweise zur dreidimensionalen Rekonstruktion einer Szene
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
KR100682987B1 (ko) * 2005-12-08 2007-02-15 한국전자통신연구원 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법
GB0603106D0 (en) * 2006-02-16 2006-03-29 Virtual Mirrors Ltd Design and production of garments

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的系统和方法
CN104870147B (zh) * 2012-08-31 2016-09-14 睿信科机器人有限公司 机器人安全工作的系统和方法
CN103679330B (zh) * 2012-09-10 2021-06-29 波音公司 具有劳动时间标准的人体工程学安全评价
CN103679330A (zh) * 2012-09-10 2014-03-26 波音公司 具有劳动时间标准的人体工程学安全评价
CN104007715B (zh) * 2013-02-27 2017-11-17 洛克威尔自动控制技术股份有限公司 具有位置和导数决定参考的基于识别的工业自动化控制
CN104007715A (zh) * 2013-02-27 2014-08-27 洛克威尔自动控制技术股份有限公司 具有位置和导数决定参考的基于识别的工业自动化控制
CN104102185A (zh) * 2013-02-27 2014-10-15 洛克威尔自动控制技术股份有限公司 具有人和物体区分的基于识别的工业自动化控制
CN104102185B (zh) * 2013-02-27 2018-03-13 罗克韦尔自动化技术公司 具有人和物体区分的基于识别的工业自动化控制的系统和方法
CN104516337A (zh) * 2013-10-01 2015-04-15 美国博通公司 基于姿态的工业监控
CN105094005A (zh) * 2014-05-19 2015-11-25 洛克威尔自动控制技术股份有限公司 光学区域监测与工业机器控制的集成
CN107053165A (zh) * 2015-09-28 2017-08-18 西门子产品生命周期管理软件公司 用于模拟和处理防冲突管理的方法及数据处理系统
CN107053165B (zh) * 2015-09-28 2022-04-19 西门子工业软件有限公司 用于模拟和处理防冲突管理的方法及数据处理系统
US10414047B2 (en) 2015-09-28 2019-09-17 Siemens Product Lifecycle Management Software Inc. Method and a data processing system for simulating and handling of anti-collision management for an area of a production plant
CN109153125A (zh) * 2016-05-31 2019-01-04 西门子股份公司 用于定向工业机器人的方法和工业机器人
WO2018018574A1 (zh) * 2016-07-29 2018-02-01 罗伯特·博世有限公司 人员保护系统及其运行方法
CN112543695A (zh) * 2018-08-09 2021-03-23 株式会社富士 模拟方法及模拟系统
CN113874912A (zh) * 2019-04-12 2021-12-31 爱荷华大学研究基金会 用于预测、预防和减轻工作场所伤害的系统和方法
CN113033242A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 动作识别方法及系统
CN111275941A (zh) * 2020-01-18 2020-06-12 傲通环球环境控制（深圳）有限公司 工地安全管理系统

Also Published As

Publication number Publication date
EP2046537A2 (de) 2009-04-15
WO2008014831A2 (de) 2008-02-07
WO2008014831A3 (de) 2008-04-03
DE102006048166A1 (de) 2008-02-07
CN101511550B (zh) 2013-12-18
JP2009545789A (ja) 2009-12-24
US20090237499A1 (en) 2009-09-24
US8154590B2 (en) 2012-04-10

Similar Documents

Publication Publication Date Title
CN101511550B (zh) 用于观测工业环境中的人员的方法
CN104935879B (zh) 用于活动顺序验证的基于视觉的监视系统
Han et al. Empirical assessment of a RGB-D sensor on motion capture and action recognition for construction worker monitoring
Filliat et al. RGBD object recognition and visual texture classification for indoor semantic mapping
Megahed et al. Real-time fault detection in manufacturing environments using face recognition techniques
CN104063677A (zh) 用于估计人体姿态的设备和方法
CN104820829A (zh) 一种新的基于深度数据的人脸识别算法及其在智能权限分配系统中的应用
Manns et al. Identifying human intention during assembly operations using wearable motion capturing systems including eye focus
Munkelt et al. A model driven 3D image interpretation system applied to person detection in video images
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
KR101862545B1 (ko) 로봇을 이용한 구조구난 서비스 제공방법 및 시스템
CN117893998A (zh) 基于机器视觉的人机位姿智能防碰方法
Morales-Álvarez et al. Automatic analysis of pedestrian’s body language in the interaction with autonomous vehicles
CN116976721A (zh) 一种配电作业行为规范性评价方法、系统、计算设备
Malassiotis et al. A face and gesture recognition system based on an active stereo sensor
Moughlbay et al. Reliable workspace monitoring in safe human-robot environment
Jiang et al. Computer vision-based methods applied to construction processes: A literature review
Stefańczyk et al. Localization of essential door features for mobile manipulation
Zhang et al. Human motion recognition for industrial human-robot collaboration based on a novel skeleton descriptor
Raju et al. Cognitive object recognition system (CORS)
Okamoto et al. GENERATION OF OBSTACLE AVOIDANCE BASED ON IMAGE FEATURES AND EMBODIMENT Yuichi Kobayashi
Halder et al. Anomalous Activity Detection from Ego View Camera of Surveillance Robots
Amat et al. Virtual exoskeleton for telemanipulation
CN117935358A (zh) 人机协作方法、装置、智能终端及存储介质
Pagès et al. Possibilities of Man-Machine interaction through the perception of human gestures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Kressel Ulrich

Inventor after: Krueger Lars

Inventor after: Progscha Werner

Inventor after: Woehler Christian

Inventor after: Kummert Franz

Inventor after: Joashim Schmitt

Inventor after: Ott Rainer

Inventor after: Sagerer Gerhard

Inventor before: Kressel Ulrich

Inventor before: Krueger Lars

Inventor before: Progscha Werner

Inventor before: Woehler Christian

Inventor before: Kummert Franz

Inventor before: Joashim Schmitt

Inventor before: Ott Rainer

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: ULLRICH KREISEL LARRS KRUGER WERNER PUROGESHA CHRISTIAN WHEELER FRANZ KUMMERT JOASIMU SCHMIDT RAINER OTT TO: ULLRICH KREISEL LARRS KRUGER WERNER PUROGESHA CHRISTIAN WHEELER FRANZ KUMMERT JOASIMU SCHMIDT RAINER OTT GERHARD SAGLEL

C14 Grant of patent or utility model
GR01 Patent grant