CN113971800A - 一种基于rgb-d相机的人机安全协作在线监控方法及系统 - Google Patents

一种基于rgb-d相机的人机安全协作在线监控方法及系统 Download PDF

Info

Publication number
CN113971800A
CN113971800A CN202010708966.6A CN202010708966A CN113971800A CN 113971800 A CN113971800 A CN 113971800A CN 202010708966 A CN202010708966 A CN 202010708966A CN 113971800 A CN113971800 A CN 113971800A
Authority
CN
China
Prior art keywords
operator
area
camera
rgb
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010708966.6A
Other languages
English (en)
Inventor
朱德慰
李志海
于洪鹏
吴镇炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN202010708966.6A priority Critical patent/CN113971800A/zh
Publication of CN113971800A publication Critical patent/CN113971800A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于RGB‑D相机的人机安全协作在线监控方法及系统，通过在相机空间下划分和建立监视区域，基于3D骨架追踪技术和RGB‑D图像对操作者在工作空间下进行位置追踪，并依据操作规程结合操作者与各监视区的动态位置关系，对其安全性和作业规范性进行在线判断与监控。使用ArUco增强现实标签标定工作空间各区域位置，通过坐标变换计算其在相机空间下的坐标范围，建立虚拟监视区域，使用去异常点和霍尔特双参数指数平滑算法对关节数据进行处理，使用去背景、点云转换及滤波算法提取操作者的3D点云，结合关节与点云数据实现对操作者在工作空间下的在线位置追踪。本发明成本低、适用性强，可广泛应用于人机协作的在线监控场景。

Description

一种基于RGB-D相机的人机安全协作在线监控方法及系统
技术领域
本发明属于人机协作领域，特别是涉及一种基于RGB-D相机的人机安全协作在线监控方法及系统。
背景技术
随着自动化技术的发展，各行业产品的制造过程逐渐从纯手工状态过渡到半自动化或全自动化状态，但当前阶段大多数自动化作业设备的灵巧性与智能性仍与人有较大差距，许多行业难以实现全自动化，因此各行业中采用人机协同操作的半人半自动化制造模式已成为一种趋势。然而自动化机械通常具有高危险性，在操作者作业不规范和没有安全措施的情况下，人机协同作业过程中工人的安全性无法保障；其次，不规范作业行为通常会导致产品质量下降，如出现残次品等。近年来随着人机协作需求的增长，一些基于视觉的安全监控设备开始出现(如Pilz SafetyEYE)，然而这些设备通常价格昂贵且配置不灵活，其次功能单一，无法识别操作者的不规范作业行为，难以满足行业的多重需求。
发明内容
本发明的目的是针对上述问题，提供了一种基于RGB-D相机(如Kinect)的人机安全协作在线监控方法及系统，以低成本实现对人机协作过程中操作者安全和作业规范性的双重监控。
为了实现上述目的，本发明提供基于RGB-D相机的人机安全协作在线监控方法及系统。
一种基于RGB-D相机的人机安全协作在线监控方法，包括：
根据人机协作任务的工作空间划分各操作区，使用增强现实标签对划分的各区域分别进行位置标定；
通过RGB-D相机捕捉各标签的位置坐标，确定各操作区在相机空间下的位置，并结合各区域的所占空间大小计算在相机空间下的坐标范围，建立虚拟操作区；根据人机最小安全距离在危险操作区外围建立虚拟监测区；
采用RGB-D相机采集深度图像数据获取不包含操作者的工作空间背景深度图像；
采集现场深度图像，提取操作者3D骨架数据，去除工作空间背景，得到操作者在相机空间下位置信息的身体点云；
提取操作者3D骨架数据和身体点云数据并进一步处理；通过检测3D骨架数据中各关节与各虚拟操作区的动态位置关系判断加工工序的执行状态，通过检测操作者身体点云是否侵入危险监测区判断操作者是否在机器运作状态下接近机器，给予警报。
所述各操作区分为操作者可以进入的原料获取区域、原料加工区、操作者作业区域，以及机器作业区域。
是在不同的操作区使用ArUco增强现实标签进行位置标定的。
所述去除背景为将采集的现场深度图像与预先存储的工作空间背景深度图像逐像素作差得到仅包含操作者的深度图。
是采用PCL点云库将操作者深度图转换为3D点云，再进一步滤波聚类处理为身体点云数据。
是对提取的各个关节数据去除异常点、再平滑处理；所述去异常点处理为若同一关节点在连续两帧图像数据的时间间隔内的位置变化不在预设范围内，则此关节点为异常点；所述平滑处理为霍尔特双参数指数算法。
所述加工工序的执行状态的判断用于识别操作者是否在作业规范指定的区域作业、是否漏取或多取原材料、是否按照指定的顺序对原材料进行加工。
是通过检测操作者3D骨架数据中的关节数据与虚拟操作区各区位置关系判断加工工序的执行状态，包括：
当头部关节、颈部关节或肩脊柱关节在协作阶段始终在操作者作业区内则判断为操作者在指定区域作业；
当操作者的手部关节进入原料获取区域内则判断为操作者在当前原料获取区域拾取原料，重复进入则判断为重复拾取；
当手部关节进入原料加工区内则判断为操作者在原料加工区进行加工操作。
一种基于RGB-D相机的人机安全协作在线监控系统，包括：工业控制计算机以及与其通信的RGB-D相机、警示模块、复位按钮、与人协作的自动化机器的控制系统；所述RGB-D深度相机用于采集人机协作任务的实际工作空间的深度图像，所述警示模块用于当发生加工工序错误或涉及人身危险时报警，所述复位按钮用于待操作者脱离危险区域后按下复位按钮继续检测；所述工业控制计算机存储有程序，当程序被加载时执行如权利要求1-8所述的一种基于RGB-D相机的人机安全协作在线监控方法的步骤，实现加工工序的执行状态的判断，以及操作者进入危险监测区时给予报警。
本发明与现有技术相比具有以下优点及有益效果：
1、本发明能使用低成本的RGB-D相机完成人机协作过程的在线监控，保证人类操作者的安全；
2、本发明能对人机协作过程中操作者作业的规范性进行在线监控，降低产品的次品率；
3、本发明无需其他三维测量仪器对工作空间进行划分与标记，仅使用RGB-D相机和ArUco增强现实标签即可完成位置标定工作；
4、本发明可适用于绝大多数人机协作场景，通用性强。
附图说明
图1为本发明中具体实施例的操作者作业规范性与安全性的判断逻辑图；
图2为RGB-D相机的3D骨架布局图；
图3为本发明的操作者点云提取与处理流程图；
图4为本发明中用于实施本方法所提供的通用系统架构图；
其中，编号20、7、11的关节分别为：肩脊柱关节、左手关节、右手关节。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明提供了一种基于RGB-D相机的人机安全协作在线监控方法及系统，为使实施方式更加清楚、明白，本实施例中假设操作区1为操作者的作业区，操作区2、3为原料获取区，操作区4为原料加工区，操作区5为机器作业区；作业流程为：操作者全程在1区作业，在协作阶段不得擅自离开，在2、3区获取原料并在4区加工，最后在机器未作业的状态下将加工好的原料放入5区由机器进行进一步加工，并运输到下一环节，其中每次任务循环中原料1和2的需求量均为1。
其中方法包括离线阶段和在线阶段两部分，按照以下步骤实施：
1)离线阶段：
步骤1.工作空间划分与标记：
首先对实施监控的人机协作任务的工作空间进行划分，可将其划分为原料获取区域、操作者作业区域、机器作业区域等(统称为操作区)，最后使用不同的ArUco增强现实标签对划分的各区域分别进行位置标定；
步骤2.相机空间下操作区与监测区的建立：
基于RGB-D相机对ArUco标签位姿的捕捉，获取步骤1中各标签在相机空间下的位姿数据，并依据位姿数据和各操作区域界定的几何尺寸在相机空间下建立虚拟操作区，根据ISO/13855所规定的人机最小安全距离在危险区域外(如机器作业区)建立监测区，最后将所建立操作区和监测区的坐标范围离线保存；
步骤3.工作空间背景深度图像的保存：
基于对RGB-D相机深度图像数据的获取，保存未包含操作者的工作空间背景深度图，为步骤6的操作者3D点云提取提供工作空间背景数据；
步骤4.操作者安全性及作业规范性判断逻辑的编写：
基于步骤1中具体的人机协作任务及划分的操作区域，依据协作任务的操作规程和坐标范围检测的方法设计并编写判断操作者安全性和作业规范性状态的逻辑与程序，其中坐标范围检测的方法是指基于操作者3D骨架和点云数据实现的对操作者位置的追踪，在线检测其位置是否处于某一区域的坐标范围；
操作者安全性判断的依据为其是否在禁止接近危险区(机器作业区)的情况下某一身体部分进入到步骤2所述建立的监测区，若操作者的3D点云中存在数据点在机器运作状态下侵入监测区的坐标范围，则判断为操作者处于危险状态；
操作者作业规范性判断的主要依据为其是否在作业规范指定的区域作业、是否漏取或多取原材料、是否按照指定的顺序对原材料进行加工等，以上状态的判断主要根据操作者手部关节和肩脊柱关节是否处于以上操作区的坐标范围内，若其肩脊柱关节已处于操作者作业区的坐标范围，则判断为操作者已在指定区域作业，同样若其手部关节已进入原料获取区，则判断为该原料已被拾取，重复进入则判断为重复获取；
2)在线阶段：
步骤5.操作者关节数据的获取：
基于RGB-D相机的3D骨架追踪技术，在线捕捉操作者的双手关节以及肩脊柱关节在相机空间中的三维坐标，关节布局如图2所示；
步骤6.关节数据异常点去除与平滑处理：
基于步骤4中在线捕捉的原始关节数据，对其进行去异常点和平滑处理，将误差较大的异常点去除后，对误差较小的原始数据进行霍尔特双参数指数平滑，输出更为稳定可靠的关节数据；
其中去异常点算法的原理为：若RGB-D相机对深度图像数据和关节数据的获取速度为30帧/秒，由于人类操作者的运动能力有限，所以操作者在连续两帧数据的时间间隔内(1/30s)的运动距离d和运动方向的改变量(运动角度)θ应在合理的范围内，据此建立关节可靠性的衡量算法，可去除部分由于遮挡或传感器噪声导致的大范围抖动的不可靠关节数据，最后将满足可靠性的关节数据点使用霍尔特双参数指数算法进行平滑处理，去除小范围抖动的影响，可得到更加稳定可靠的关节数据点；
步骤7.操作者3D点云的提取：
基于RGB-D相机在线获取的工作空间深度图像数据流和步骤3获取的工作空间背景深度图，使用去背景算法分离出操作者的深度图像，并使用PCL点云库将其转换为3D点云，使用点云滤波算法滤除多余噪点，最后得到纯净的操作者3D点云，操作者3D点云的提取流程如图3所示；
步骤8.操作者3D点云的位置监控：
基于步骤6获取的操作者点云数据，逐点检测其是否存在数据点进入监测区的坐标范围，为步骤3中的操作者安全性判断逻辑提供输入。
为将本发明提供的方法进行具体实施，本发明提供基于RGB-D相机的人机安全协作在线监控系统的通用系统模型，包括RGB-D相机、含蜂鸣器三原色LED警示灯、复位按钮、工业控制计算机；其中由于ArUco增强现实标签仅用于离线阶段的操作区位置标定，所以不在本系统架构中体现，工业控制计算机使用Linux操作系统并集成了ROS机器人操作系统平台、PCL点云库等，用于提供本方法的运行环境，工控机提供的I/O接口与RGB-D相机、三原色LED警示灯，复位按钮以及与人协作的自动化机器的控制系统相连，其中RGB-D相机的深度图像数据流和3D骨架数据流通过I/O接口传入工控机并处理，可根据本发明提供的方法进行操作者状态的判断，若操作者的状态判断为正常，则工控机置LED警示灯的状态为绿灯常亮，若操作者的状态判断为违反规范作业，则置LED警示灯为黄灯闪烁并伴有蜂鸣，此时根据与人协作的机器类型不同，可通过工控机I/O发送减速运转或停机的指令，在操作者重新回到正常逻辑后(如回到规定的作业区域)，系统自动恢复到正常模式；若操作者的状态判断为危险操作，则置LED警示灯为红色闪烁并伴有蜂鸣，此时发送停机指令，待操作者脱离危险区域并按下复位按钮后，系统重新回到正常运作模式。
按照本发明提供的通用系统架构搭建本实施例的人机安全协作在线监控系统，如图4所示。
按照上述内容步骤1划分和标记本实施例的各操作区。
按照步骤2获取各操作区坐标范围，在操作区5外围建立监测区，将操作区和监测区坐标范围和获取的本实施例工作空间背景深度图保存至工业控制计算机中。
按照图1的判断逻辑编写本实施例操作者作业规范性与安全性的判断程序，并载入工控机。
按照步骤5-6在线获取关节数据，进行异常点去除与平滑处理，得到稳定可靠的关节数据，基于步骤6中所提供的关节异常点去除算法的原理，作为优选，可设置连续两帧时间间隔内操作者运动的最大距离为dmax＝0.01m，运动角度为θmax＝85°。
按照步骤7在线提取不含工作空间背景的纯净操作者3D点云。
基于在线获取并处理的关节数据和点云数据，按照判断程序完成本实施例的人机协作任务的在线监控。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (9)

1.一种基于RGB-D相机的人机安全协作在线监控方法，其特征在于，包括：
根据人机协作任务的工作空间划分各操作区，使用增强现实标签对划分的各区域分别进行位置标定；
通过RGB-D相机捕捉各标签的位置坐标，确定各操作区在相机空间下的位置，并结合各区域所占空间大小计算在相机空间下的坐标范围，建立虚拟操作区；根据人机最小安全距离在危险操作区外围建立虚拟监测区；
采用RGB-D相机采集深度图像数据获取不包含操作者的工作空间背景深度图像；
采集现场深度图像，提取操作者3D骨架数据，去除工作空间背景，得到包含操作者在相机空间下位置信息的身体点云；
提取操作者3D骨架数据和身体点云数据并进一步处理；通过检测3D骨架数据中各关节与各虚拟操作区的动态位置关系判断加工工序的执行状态，通过检测操作者身体点云是否侵入危险监测区判断操作者是否在机器运作状态下接近机器，给予警报。
2.根据权利要求1所述的一种基于RGB-D相机的人机安全协作在线监控方法，其特征在于，所述各操作区分为操作者可以进入的原料获取区域、原料加工区、操作者作业区域，以及机器作业区域。
3.根据权利要求1所述的一种基于RGB-D相机的人机安全协作在线监控方法，其特征在于，是在不同的操作区使用ArUco增强现实标签进行位置标定的。
4.根据权利要求1所述的一种基于RGB-D相机的人机安全协作在线监控方法，其特征在于，所述去除背景为将采集的现场深度图像与预先存储的工作空间背景深度图像逐像素作差得到仅包含操作者的深度图。
5.根据权利要求4所述的一种基于RGB-D相机的人机安全协作在线监控方法，其特征在于，是采用PCL点云库将操作者深度图转换为3D点云，再进一步滤波聚类处理为身体点云数据。
6.根据权利要求5所述的一种基于RGB-D相机的人机安全协作在线监控方法，其特征在于，是对提取的各个关节数据去除异常点、再平滑处理；所述去异常点处理为若同一关节点在连续两帧图像数据的时间间隔内的位置变化不在预设范围内，则此关节点为异常点；所述平滑处理为霍尔特双参数指数算法。
7.根据权利要求1所述的一种基于RGB-D相机的人机安全协作在线监控方法，其特征在于，所述加工工序的执行状态的判断用于识别操作者是否在作业规范指定的区域作业、是否漏取或多取原材料、是否按照指定的顺序对原材料进行加工。
8.根据权利要求7所述的一种基于RGB-D相机的人机安全协作在线监控方法，其特征在于，是通过检测操作者3D骨架数据中的关节数据与虚拟操作区各区位置关系判断加工工序的执行状态，包括：
当头部关节、颈部关节或肩脊柱关节在协作阶段始终在操作者作业区内则判断为操作者在指定区域作业；
当操作者的手部关节进入原料获取区域内则判断为操作者在当前原料获取区域拾取原料，重复进入则判断为重复拾取；
当手部关节进入原料加工区内则判断为操作者在原料加工区进行加工操作。
9.一种基于RGB-D相机的人机安全协作在线监控系统，其特征在于，包括：工业控制计算机以及与其通信的RGB-D相机、警示模块、复位按钮、与人协作的自动化机器的控制系统；所述RGB-D深度相机用于采集人机协作任务的实际工作空间的深度图像，所述警示模块用于当发生加工工序错误或涉及人身危险时报警，所述复位按钮用于待操作者脱离危险区域后按下复位按钮继续检测；所述工业控制计算机存储有程序，当程序被加载时执行如权利要求1-8所述的一种基于RGB-D相机的人机安全协作在线监控方法的步骤，实现加工工序的执行状态的判断，以及操作者进入危险监测区时给予报警。
CN202010708966.6A 2020-07-22 2020-07-22 一种基于rgb-d相机的人机安全协作在线监控方法及系统 Pending CN113971800A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010708966.6A CN113971800A (zh) 2020-07-22 2020-07-22 一种基于rgb-d相机的人机安全协作在线监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010708966.6A CN113971800A (zh) 2020-07-22 2020-07-22 一种基于rgb-d相机的人机安全协作在线监控方法及系统

Publications (1)

Publication Number Publication Date
CN113971800A true CN113971800A (zh) 2022-01-25

Family

ID=79584674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708966.6A Pending CN113971800A (zh) 2020-07-22 2020-07-22 一种基于rgb-d相机的人机安全协作在线监控方法及系统

Country Status (1)

Country Link
CN (1) CN113971800A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661726A (zh) * 2022-12-26 2023-01-31 江苏中车数字科技有限公司 一种轨道列车工件装配的自主视频采集与分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455657A (zh) * 2013-06-21 2013-12-18 浙江理工大学 一种基于Kinect的现场作业仿真方法及其系统
US20150228078A1 (en) * 2014-02-11 2015-08-13 Microsoft Corporation Manufacturing line monitoring
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN110378937A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于Kinect摄像头的工业机械臂人机安全距离检测方法
CN110561432A (zh) * 2019-08-30 2019-12-13 广东省智能制造研究所 一种基于人机共融的安全协作方法及装置
CN111009089A (zh) * 2019-11-25 2020-04-14 国网安徽省电力有限公司建设分公司 基于rgb-d相机的电网基建现场虚拟围栏系统及其控制方法
US20200143643A1 (en) * 2018-11-06 2020-05-07 Cerner Innovation, Inc. Methods and systems for detecting prohibited objects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455657A (zh) * 2013-06-21 2013-12-18 浙江理工大学 一种基于Kinect的现场作业仿真方法及其系统
US20150228078A1 (en) * 2014-02-11 2015-08-13 Microsoft Corporation Manufacturing line monitoring
US20200143643A1 (en) * 2018-11-06 2020-05-07 Cerner Innovation, Inc. Methods and systems for detecting prohibited objects
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN110378937A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于Kinect摄像头的工业机械臂人机安全距离检测方法
CN110561432A (zh) * 2019-08-30 2019-12-13 广东省智能制造研究所 一种基于人机共融的安全协作方法及装置
CN111009089A (zh) * 2019-11-25 2020-04-14 国网安徽省电力有限公司建设分公司 基于rgb-d相机的电网基建现场虚拟围栏系统及其控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LUBER, MATTHIAS AND SPINELLO, LUCIANO AND ARRAS, KAI O.: "People tracking in RGB-D data with on-line boosted target models", 《2011 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》, 5 December 2011 (2011-12-05), pages 3844 - 3849 *
SANGUK HAN, MADHAV ACHAR, SANGHYUN LEE & FENIOSKY PEÑA-MORA: "Empirical assessment of a RGB-D sensor on motion capture and action recognition for construction worker monitoring", 《VISUALIZATION IN ENGINEERING》, 9 July 2013 (2013-07-09) *
SERGIO GARRIDO-JURADO ET AL.: "Automatic generation and detection of highly reliable fiducial markers under occlusion", 《PATTERN RECOGNITION》, vol. 47, 1 June 2014 (2014-06-01), pages 2280 - 2292 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661726A (zh) * 2022-12-26 2023-01-31 江苏中车数字科技有限公司 一种轨道列车工件装配的自主视频采集与分析方法

Similar Documents

Publication Publication Date Title
CN104690551B (zh) 一种机器人自动化装配系统
CN101456159B (zh) 火花识别对刀方法及磨削加工自动化系统
CN101762231B (zh) 一种手机按键外观检测装置及检测方法
Krüger et al. Image based 3D surveillance for flexible man-robot-cooperation
CN108733368A (zh) 机器视觉通用软件开发系统
CN106527239A (zh) 一种多机器人协同操作模式的方法及系统
CN113971800A (zh) 一种基于rgb-d相机的人机安全协作在线监控方法及系统
Tellaeche et al. Human robot interaction in industrial robotics. Examples from research centers to industry
WO2020215475A1 (zh) 一种监控设备内部运行情况的方法及装置
CN209273445U (zh) 基于多视角视觉检测的机械臂急停保护装置
KR102202629B1 (ko) 지능형 로봇 안전관리 시스템 및 그것의 동작 방법
CN105900029B (zh) 现场视频流在过程控制系统中的使用
CN111531580A (zh) 一种基于视觉的多工业机器人故障检测方法及系统
JP2020205027A (ja) データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
EP3460764A1 (en) Method of generating a virtual overlay for a packaging machine
Kang et al. Safety monitoring for human robot collaborative workspaces
CN113465505B (zh) 一种视觉检测定位系统和方法
CN111531581B (zh) 一种基于视觉的工业机器人故障动作检测方法及系统
CN113885404A (zh) 一种基于通用接口的多机器人协同控制系统
CN106338980B (zh) 一种智能工位状态检测装置
TWM530201U (zh) 防撞模擬系統
CN113128515B (zh) 一种基于rgb-d视觉的在线果蔬识别系统及方法
CN106441100B (zh) 导电滑环环槽加工在机视觉测量系统
CN111007818A (zh) 一种基于机器视觉与智能机器人的阀门生产系统
US20230419477A1 (en) Anomaly detection system in the automatic placement of composites during the manufacturing of structural elements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination