CN112967336A - 一种基于视频目标运动跟踪的人机安全协作方法及装置 - Google Patents
一种基于视频目标运动跟踪的人机安全协作方法及装置 Download PDFInfo
- Publication number
- CN112967336A CN112967336A CN202110099007.3A CN202110099007A CN112967336A CN 112967336 A CN112967336 A CN 112967336A CN 202110099007 A CN202110099007 A CN 202110099007A CN 112967336 A CN112967336 A CN 112967336A
- Authority
- CN
- China
- Prior art keywords
- information
- robot
- operator
- position coordinate
- coordinate information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视频目标运动跟踪的人机安全协作方法及装置，其中，所述方法包括：通过固定设置的摄像头设备实时采集配合作业视频信息；确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息；建立人机安全协作的空间安全等级的动态模型；将安全协作的作业空间划分为不同安全等级的作业空间子区域；计算所述作业人员当前所处的作业空间子区域；基于作业人员当前所处的作业空间子区域、机器人的第一运动趋势信息和作业人员的第二运动趋势信息进行人机协作碰撞风险预测。在本发明实施例中，对作业环境中的人机协同安全进行实时的预测，有效保障作业人员的人身安全。
Description
技术领域
本发明涉及视频目标跟踪技术领域，尤其涉及一种基于视频目标运动跟踪的人机安全协作方法及装置。
背景技术
视频目标跟踪技术通过较长时间的发展，以逐渐成熟，将被逐步应用到各个领域中，当时在高精度的精确定位技术领域中，还较少应用视频目标跟踪技术，多数还是利用雷达或者红外传感技术实现精确目标跟踪。
在机器人的人机协同作业的时候，现有技术中大多利用高精度雷达或者红外传感技术对协同作业的人员进行实时定位，并且需要在机器人上安装相应的定位仪，实时确定机器人自身的位置，因此需要大大的增加硬件成本，在实现相同的技术效果下，将增大用户的使用成本。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于视频目标运动跟踪的人机安全协作方法及装置，通过固定设置的摄像头实现对作业环境中的人机协同安全进行实时的预测，有效保障作业人员的人身安全，降低用户的使用成本。
为了解决上述技术问题，本发明实施例提供了一种基于视频目标运动跟踪的人机安全协作方法，所述方法包括：
通过固定设置的摄像头设备实时采集机器人及与所述机器人相配合工作的作业人员的配合作业视频信息；
基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息；
基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型；
基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域；
基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域；
基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测。
可选的，所述第一运动趋势信息包括第一运动速度信息及第一运动方向信息；
第二运动趋势信息包括第二运动速度信息及第二运动方向信息。
可选的，所述摄像头设备为广角摄像头设备；所述摄像头设备固定设置后，使得所述摄像头设备在预设范围内采集到所述机器人和所述作业人员的全景视频信息；并且在所述机器人和所述作业人员的全景中设置参考位置网格线信息；
所述参考位置网格线信息用于在所述摄像头设备采集到的配合作业视频信息中确定所述机器人的第一位置坐标信息、第一运动趋势信息和所述作业人员的第二位置坐标信息、第二运动趋势信息。
可选的，所述基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息，包括：
对所述配合作业视频信息进行分帧处理，形成视频序列帧，并基于所述摄像头设备曝光时间对所述视频序列帧增加时间戳，获得增加时间戳后的视频序列帧；
提取增加时间戳后的视频序列帧中任意多个视频序列帧，其中所述任意多个视频序列帧中至少包括当前视频序列帧；
基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息对任意多个视频序列帧中的机器人和作业人员进行定位处理；
基于在任意多个视频序列帧中的机器人和作业人员的位置确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息。
可选的，所述基于在任意多个视频序列帧中的定位机器人和作业人员确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息，包括：
基于任意多个视频序列帧中的机器人和作业人员的位置确定所述机器人和所述作业人员的运动轨迹及运动速度，及确定所述机器人和所述作业人员的当前位置位置信息；
基于所述参考位置网格线信息、所述机器人和所述作业人员的当前位置位置信息确定所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息；
基于所述机器人和所述作业人员的运动轨迹及运动速度确定所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息。
可选的，所述基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型，包括：
获得所述机器人的作业空间，并将所述作业空间划分为网格区域，且每个网格区域的大小均一致；
实时基于所述机器人的第一位置坐标信息确定所述机器人在所述作业空间中的位置信息；以及，
实时基于所述作业人员的第二位置坐标信息确定所述作业人员在所述作业空间中的位置信息；
基于所述机器人在所述作业空间中的位置信息、所述第一运动趋势信息和所述作业人员在所述作业空间中的位置信息、所述第二运动趋势信息在所述网格区域内建立人机安全协作的空间安全等级的动态模型。
可选的，所述基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域，包括：
在所述空间安全等级的动态模型中根据所述机器人和所述作业人员的相对运动趋势信息和各自当前位置坐标信息将安全协作的作业空间划分为不同安全等级的作业空间子区域；
所述相对运动趋势信息由所述第一运动趋势信息和所述第二运动趋势信息相对计算获得。
可选的，所述基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域，包括：
基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息确定所述机器人和所述作业人员在所述作业空间的位置；
基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述机器人和所述作业人员之间的直线距离；
基于所述直线距离和所述空间安全等级的动态模型获得所述作业人员当前所处的作业空间子区域。
可选的，所述基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测之后，还包括：
基于人机协作碰撞风险预测结果控制所述机器人进行相应的规避运动，并且基于所述机器人向所述作业人员发送安全警报。
另外，本发明实施例还提供了一种基于视频目标运动跟踪的人机安全协作装置，所述装置包括：
采集模块：用于通过固定设置的摄像头设备实时采集机器人及与所述机器人相配合工作的作业人员的配合作业视频信息；
确定模块：用于基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息；
建立模块：用于基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型；
划分模块：用于基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域；
计算模块：用于基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域；
预测模块：用于基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测。
在本发明实施例中，通过固定的摄像头设备采集人机配合作业视频信息，无需该精度雷达或者红外传感器，也无需在机器人中安装定位传感器，可以有效的减少机器人的设备成本，从而减少用户的使用成本，并可可以通过固定摄像头设备实施采集视频信息，实现视频内的目标跟踪，并实时确定作业环境中的机器人和作业人员的距离和运动趋势信息，可对作业环境中的人机协同安全进行实时的预测，有效保障作业人员的人身安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于视频目标运动跟踪的人机安全协作方法的流程示意图；
图2是本发明实施例中的基于视频目标运动跟踪的人机安全协作装置的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1是本发明实施例中的基于视频目标运动跟踪的人机安全协作方法的流程示意图。
如图1所示，一种基于视频目标运动跟踪的人机安全协作方法，所述方法包括：
S11：通过固定设置的摄像头设备实时采集机器人及与所述机器人相配合工作的作业人员的配合作业视频信息；
在本发明具体实施过程中，所述摄像头设备为广角摄像头设备；所述摄像头设备固定设置后，使得所述摄像头设备在预设范围内采集到所述机器人和所述作业人员的全景视频信息；并且在所述机器人和所述作业人员的全景中设置参考位置网格线信息；所述参考位置网格线信息用于在所述摄像头设备采集到的配合作业视频信息中确定所述机器人的第一位置坐标信息、第一运动趋势信息和所述作业人员的第二位置坐标信息、第二运动趋势信息。
具体的，该摄像头设备为广角摄像头设备，具有较大的视频采集角度，并且该摄像头设备是固定设置的，并且在固定设置后，使得该摄像头设备能在预设的范围内采集到该机器人和作业人员在配合作业时的全景视频信息，并且需要在该机器人和作业人员的全景中设置相应的参考位置网格线信息，该参考位置网格线信息用于在摄像头设备采集到的配合作业视频信息中确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息。
即通过该固定设置的摄像头设备实时采集在一定区域范围内机器人和作业人员相互配合作业时的配合作业视频信息。
S12：基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息；
在本发明具体实施过程中，所述第一运动趋势信息包括第一运动速度信息及第一运动方向信息；第二运动趋势信息包括第二运动速度信息及第二运动方向信息。
进一步的，所述基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息，包括：对所述配合作业视频信息进行分帧处理，形成视频序列帧，并基于所述摄像头设备曝光时间对所述视频序列帧增加时间戳，获得增加时间戳后的视频序列帧；提取增加时间戳后的视频序列帧中任意多个视频序列帧，其中所述任意多个视频序列帧中至少包括当前视频序列帧；基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息对任意多个视频序列帧中的机器人和作业人员进行定位处理；基于在任意多个视频序列帧中的机器人和作业人员的位置确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息。
进一步的，所述基于在任意多个视频序列帧中的定位机器人和作业人员确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息，包括：基于任意多个视频序列帧中的机器人和作业人员的位置确定所述机器人和所述作业人员的运动轨迹及运动速度，及确定所述机器人和所述作业人员的当前位置位置信息；基于所述参考位置网格线信息、所述机器人和所述作业人员的当前位置位置信息确定所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息；基于所述机器人和所述作业人员的运动轨迹及运动速度确定所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息。
具体的，在采集到配合作业视频信息之后，需要对配合作业视频信息进行分帧处理，从而形成视频序列帧，然后根据摄像头的曝光时间对该视频序列帧增加时间戳，从而得到增加时间戳后的视频序列帧，后续即可利用增加时间戳后的视频序列帧来计算获得视频内目标的位置信息和移动的趋势信息。
需要提取增加时间戳后的视频序列帧中任意多个视频序列帧，一般为间隔提取，间隔2-3帧提取一帧，其中任意多个视频序列帧一定包含有当前当前视频序列帧；然后根据摄像头设备的固定位置坐标信息和参考位置网格线信息对任意多个视频序列帧中的机器人和作业人员进行定位处理，从而得到机器人和作业人员所在的位置信息；并根据在任意多个视频序列帧中的机器人和作业人员的位置确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息。
通过任意多个视频序列帧中的机器人和作业人员的位置确定机器人和作业人员的运动轨迹及运动速度，及确定机器人和作业人员的当前位置位置信息；然后根据参考位置网格线信息、机器人和作业人员的当前位置位置信息确定机器人的第一位置坐标信息和作业人员的第二位置坐标信息；并且根据机器人和作业人员的运动轨迹及运动速度确定机器人的第一运动趋势信息和作业人员的第二运动趋势信息。
该第一运动趋势信息包括第一运动速度信息及第一运动方向信息；该第二运动趋势信息包括第二运动速度信息及第二运动方向信息。
S13：基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型；
在本发明具体实施过程中，所述基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型，包括：获得所述机器人的作业空间，并将所述作业空间划分为网格区域，且每个网格区域的大小均一致；实时基于所述机器人的第一位置坐标信息确定所述机器人在所述作业空间中的位置信息；以及，实时基于所述作业人员的第二位置坐标信息确定所述作业人员在所述作业空间中的位置信息；基于所述机器人在所述作业空间中的位置信息、所述第一运动趋势信息和所述作业人员在所述作业空间中的位置信息、所述第二运动趋势信息在所述网格区域内建立人机安全协作的空间安全等级的动态模型。
具体的，需要获得该机器人的作业空间，一般为一个平面的区域，同时将该作业空间划分为一个网格区域，并且所划分的网格区域中的每一个网格区域的大小均一致；然后实时根据机器人的第一位置坐标信息确定机器人在作业区域中的位置信息；并且实时根据作业人员的第二位置坐标信息确定作业人员在作业空间中的位置信息；然后根据机器人在作业空间中的位置信息、第一运动趋势信息和作业人员在作业空间中的位置信息、第二运动趋势信息在网格区域内建立人机安全协作的空间安全等级的动态模型。
S14：基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域；
在本发明具体实施过程中，所述基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域，包括：在所述空间安全等级的动态模型中根据所述机器人和所述作业人员的相对运动趋势信息和各自当前位置坐标信息将安全协作的作业空间划分为不同安全等级的作业空间子区域；所述相对运动趋势信息由所述第一运动趋势信息和所述第二运动趋势信息相对计算获得。
具体的，在空间安全等级的动态模型中根据机器人和作业人员的相对运动趋势信息和各自当前位置坐标信息将安全协作的作业空间划分为不同安全等级的作业空间子区域；其中，相对运动趋势信息由第一运动趋势信息和第二运动趋势信息相对计算获得。
即在相对运动趋势信息较快时，利用空间安全等级的动态模型所划分的危险区域范围就越大，即在空间安全等级的动态模型中需要设置一个预设时间，在相对运动速度与该预设时间相乘得到的距离，就是相对安全距离，在该相对安全距离内就是危险区域，预设时间是固定的，相对运动趋势信息是变化的，因此，不同安全等级的作业空间子区域也是相对的。
S15：基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域；
在本发明具体实施过程中，所述基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域，包括：基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息确定所述机器人和所述作业人员在所述作业空间的位置；基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述机器人和所述作业人员之间的直线距离；基于所述直线距离和所述空间安全等级的动态模型获得所述作业人员当前所处的作业空间子区域。
具体的，根据机器人的第一位置坐标信息和作业人员的第二位置坐标信息确定机器人和作业人员在所述作业空间的位置；然后根据机器人的第一位置坐标信息和作业人员的第二位置坐标信息计算机器人和作业人员之间的直线距离；最后根据直线距离和空间安全等级的动态模型获得作业人员当前所处的作业空间子区域。
S16：基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测。
在本发明具体实施过程中，所述基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测之后，还包括：基于人机协作碰撞风险预测结果控制所述机器人进行相应的规避运动，并且基于所述机器人向所述作业人员发送安全警报。
具体的，在根据作业人员当前所处的作业空间子区域、机器人的第一运动趋势信息和作业人员的第二运动趋势信息进行人机协作碰撞风险预测之后，还需要根据人机协作碰撞风险预测结果生成一个机器人控制指令，控制机器人进行相应的规避运动，需要保证作业人员的安全，同时控制机器人的报警设备向作业人员发送安全警报。
在本发明实施例中，通过固定的摄像头设备采集人机配合作业视频信息，无需该精度雷达或者红外传感器，也无需在机器人中安装定位传感器，可以有效的减少机器人的设备成本，从而减少用户的使用成本，并可可以通过固定摄像头设备实施采集视频信息，实现视频内的目标跟踪，并实时确定作业环境中的机器人和作业人员的距离和运动趋势信息，可对作业环境中的人机协同安全进行实时的预测，有效保障作业人员的人身安全。
实施例
请参阅图2，图2是本发明实施例中的基于视频目标运动跟踪的人机安全协作装置的结构组成示意图。
如图2所示，一种基于视频目标运动跟踪的人机安全协作装置，所述装置包括：
采集模块11：用于通过固定设置的摄像头设备实时采集机器人及与所述机器人相配合工作的作业人员的配合作业视频信息；
在本发明具体实施过程中，所述摄像头设备为广角摄像头设备；所述摄像头设备固定设置后，使得所述摄像头设备在预设范围内采集到所述机器人和所述作业人员的全景视频信息；并且在所述机器人和所述作业人员的全景中设置参考位置网格线信息；所述参考位置网格线信息用于在所述摄像头设备采集到的配合作业视频信息中确定所述机器人的第一位置坐标信息、第一运动趋势信息和所述作业人员的第二位置坐标信息、第二运动趋势信息。
具体的，该摄像头设备为广角摄像头设备，具有较大的视频采集角度，并且该摄像头设备是固定设置的，并且在固定设置后，使得该摄像头设备能在预设的范围内采集到该机器人和作业人员在配合作业时的全景视频信息，并且需要在该机器人和作业人员的全景中设置相应的参考位置网格线信息，该参考位置网格线信息用于在摄像头设备采集到的配合作业视频信息中确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息。
即通过该固定设置的摄像头设备实时采集在一定区域范围内机器人和作业人员相互配合作业时的配合作业视频信息。
确定模块12：用于基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息；
在本发明具体实施过程中，所述第一运动趋势信息包括第一运动速度信息及第一运动方向信息；第二运动趋势信息包括第二运动速度信息及第二运动方向信息。
进一步的，所述基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息，包括：对所述配合作业视频信息进行分帧处理，形成视频序列帧，并基于所述摄像头设备曝光时间对所述视频序列帧增加时间戳，获得增加时间戳后的视频序列帧；提取增加时间戳后的视频序列帧中任意多个视频序列帧，其中所述任意多个视频序列帧中至少包括当前视频序列帧；基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息对任意多个视频序列帧中的机器人和作业人员进行定位处理；基于在任意多个视频序列帧中的机器人和作业人员的位置确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息。
进一步的，所述基于在任意多个视频序列帧中的定位机器人和作业人员确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息，包括：基于任意多个视频序列帧中的机器人和作业人员的位置确定所述机器人和所述作业人员的运动轨迹及运动速度，及确定所述机器人和所述作业人员的当前位置位置信息；基于所述参考位置网格线信息、所述机器人和所述作业人员的当前位置位置信息确定所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息；基于所述机器人和所述作业人员的运动轨迹及运动速度确定所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息。
具体的，在采集到配合作业视频信息之后，需要对配合作业视频信息进行分帧处理，从而形成视频序列帧，然后根据摄像头的曝光时间对该视频序列帧增加时间戳，从而得到增加时间戳后的视频序列帧，后续即可利用增加时间戳后的视频序列帧来计算获得视频内目标的位置信息和移动的趋势信息。
需要提取增加时间戳后的视频序列帧中任意多个视频序列帧，一般为间隔提取，间隔2-3帧提取一帧，其中任意多个视频序列帧一定包含有当前当前视频序列帧；然后根据摄像头设备的固定位置坐标信息和参考位置网格线信息对任意多个视频序列帧中的机器人和作业人员进行定位处理，从而得到机器人和作业人员所在的位置信息；并根据在任意多个视频序列帧中的机器人和作业人员的位置确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息。
通过任意多个视频序列帧中的机器人和作业人员的位置确定机器人和作业人员的运动轨迹及运动速度，及确定机器人和作业人员的当前位置位置信息；然后根据参考位置网格线信息、机器人和作业人员的当前位置位置信息确定机器人的第一位置坐标信息和作业人员的第二位置坐标信息；并且根据机器人和作业人员的运动轨迹及运动速度确定机器人的第一运动趋势信息和作业人员的第二运动趋势信息。
该第一运动趋势信息包括第一运动速度信息及第一运动方向信息；该第二运动趋势信息包括第二运动速度信息及第二运动方向信息。
建立模块13：用于基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型；
在本发明具体实施过程中，所述基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型，包括：获得所述机器人的作业空间，并将所述作业空间划分为网格区域，且每个网格区域的大小均一致；实时基于所述机器人的第一位置坐标信息确定所述机器人在所述作业空间中的位置信息；以及，实时基于所述作业人员的第二位置坐标信息确定所述作业人员在所述作业空间中的位置信息；基于所述机器人在所述作业空间中的位置信息、所述第一运动趋势信息和所述作业人员在所述作业空间中的位置信息、所述第二运动趋势信息在所述网格区域内建立人机安全协作的空间安全等级的动态模型。
具体的，需要获得该机器人的作业空间，一般为一个平面的区域，同时将该作业空间划分为一个网格区域，并且所划分的网格区域中的每一个网格区域的大小均一致；然后实时根据机器人的第一位置坐标信息确定机器人在作业区域中的位置信息；并且实时根据作业人员的第二位置坐标信息确定作业人员在作业空间中的位置信息；然后根据机器人在作业空间中的位置信息、第一运动趋势信息和作业人员在作业空间中的位置信息、第二运动趋势信息在网格区域内建立人机安全协作的空间安全等级的动态模型。
划分模块14：用于基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域；
在本发明具体实施过程中，所述基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域，包括：在所述空间安全等级的动态模型中根据所述机器人和所述作业人员的相对运动趋势信息和各自当前位置坐标信息将安全协作的作业空间划分为不同安全等级的作业空间子区域；所述相对运动趋势信息由所述第一运动趋势信息和所述第二运动趋势信息相对计算获得。
具体的，在空间安全等级的动态模型中根据机器人和作业人员的相对运动趋势信息和各自当前位置坐标信息将安全协作的作业空间划分为不同安全等级的作业空间子区域；其中，相对运动趋势信息由第一运动趋势信息和第二运动趋势信息相对计算获得。
即在相对运动趋势信息较快时，利用空间安全等级的动态模型所划分的危险区域范围就越大，即在空间安全等级的动态模型中需要设置一个预设时间，在相对运动速度与该预设时间相乘得到的距离，就是相对安全距离，在该相对安全距离内就是危险区域，预设时间是固定的，相对运动趋势信息是变化的，因此，不同安全等级的作业空间子区域也是相对的。
计算模块15：用于基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域；
在本发明具体实施过程中，所述基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域，包括：基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息确定所述机器人和所述作业人员在所述作业空间的位置；基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述机器人和所述作业人员之间的直线距离；基于所述直线距离和所述空间安全等级的动态模型获得所述作业人员当前所处的作业空间子区域。
具体的，根据机器人的第一位置坐标信息和作业人员的第二位置坐标信息确定机器人和作业人员在所述作业空间的位置；然后根据机器人的第一位置坐标信息和作业人员的第二位置坐标信息计算机器人和作业人员之间的直线距离；最后根据直线距离和空间安全等级的动态模型获得作业人员当前所处的作业空间子区域。
预测模块16：用于基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测。
在本发明具体实施过程中，所述基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测之后，还包括：基于人机协作碰撞风险预测结果控制所述机器人进行相应的规避运动，并且基于所述机器人向所述作业人员发送安全警报。
具体的，在根据作业人员当前所处的作业空间子区域、机器人的第一运动趋势信息和作业人员的第二运动趋势信息进行人机协作碰撞风险预测之后，还需要根据人机协作碰撞风险预测结果生成一个机器人控制指令，控制机器人进行相应的规避运动，需要保证作业人员的安全，同时控制机器人的报警设备向作业人员发送安全警报。
在本发明实施例中，通过固定的摄像头设备采集人机配合作业视频信息，无需该精度雷达或者红外传感器，也无需在机器人中安装定位传感器，可以有效的减少机器人的设备成本，从而减少用户的使用成本，并可可以通过固定摄像头设备实施采集视频信息，实现视频内的目标跟踪，并实时确定作业环境中的机器人和作业人员的距离和运动趋势信息，可对作业环境中的人机协同安全进行实时的预测，有效保障作业人员的人身安全。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于视频目标运动跟踪的人机安全协作方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于视频目标运动跟踪的人机安全协作方法，其特征在于，所述方法包括：
通过固定设置的摄像头设备实时采集机器人及与所述机器人相配合工作的作业人员的配合作业视频信息；
基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息；
基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型；
基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域；
基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域；
基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测。
2.根据权利要求1所述的人机安全协作方法，其特征在于，所述第一运动趋势信息包括第一运动速度信息及第一运动方向信息；
所述第二运动趋势信息包括第二运动速度信息及第二运动方向信息。
3.根据权利要求1所述的人机安全协作方法，其特征在于，所述摄像头设备为广角摄像头设备；所述摄像头设备固定设置后，使得所述摄像头设备在预设范围内采集到所述机器人和所述作业人员的全景视频信息；并且在所述机器人和所述作业人员的全景中设置参考位置网格线信息；
所述参考位置网格线信息用于在所述摄像头设备采集到的配合作业视频信息中确定所述机器人的第一位置坐标信息、第一运动趋势信息和所述作业人员的第二位置坐标信息、第二运动趋势信息。
4.根据权利要求1所述的人机安全协作方法，其特征在于，所述基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息，包括：
对所述配合作业视频信息进行分帧处理，形成视频序列帧，并基于所述摄像头设备曝光时间对所述视频序列帧增加时间戳，获得增加时间戳后的视频序列帧；
提取增加时间戳后的视频序列帧中任意多个视频序列帧，其中所述任意多个视频序列帧中至少包括当前视频序列帧；
基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息对任意多个视频序列帧中的机器人和作业人员进行定位处理；
基于在任意多个视频序列帧中的机器人和作业人员的位置确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息。
5.根据权利要求4所述的人机安全协作方法，其特征在于，所述基于在任意多个视频序列帧中的定位机器人和作业人员确定机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息，包括：
基于任意多个视频序列帧中的机器人和作业人员的位置确定所述机器人和所述作业人员的运动轨迹及运动速度，及确定所述机器人和所述作业人员的当前位置位置信息；
基于所述参考位置网格线信息、所述机器人和所述作业人员的当前位置位置信息确定所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息；
基于所述机器人和所述作业人员的运动轨迹及运动速度确定所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息。
6.根据权利要求1所述的人机安全协作方法，其特征在于，所述基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型，包括：
获得所述机器人的作业空间，并将所述作业空间划分为网格区域，且每个网格区域的大小均一致；
实时基于所述机器人的第一位置坐标信息确定所述机器人在所述作业空间中的位置信息；以及，
实时基于所述作业人员的第二位置坐标信息确定所述作业人员在所述作业空间中的位置信息；
基于所述机器人在所述作业空间中的位置信息、所述第一运动趋势信息和所述作业人员在所述作业空间中的位置信息、所述第二运动趋势信息在所述网格区域内建立人机安全协作的空间安全等级的动态模型。
7.根据权利要求1所述的人机安全协作方法，其特征在于，所述基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域，包括：
在所述空间安全等级的动态模型中根据所述机器人和所述作业人员的相对运动趋势信息和各自当前位置坐标信息将安全协作的作业空间划分为不同安全等级的作业空间子区域；
所述相对运动趋势信息由所述第一运动趋势信息和所述第二运动趋势信息相对计算获得。
8.根据权利要求1所述的人机安全协作方法，其特征在于，所述基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域，包括：
基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息确定所述机器人和所述作业人员在所述作业空间的位置；
基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述机器人和所述作业人员之间的直线距离；
基于所述直线距离和所述空间安全等级的动态模型获得所述作业人员当前所处的作业空间子区域。
9.根据权利要求1所述的人机安全协作方法，其特征在于，所述基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测之后，还包括：
基于人机协作碰撞风险预测结果控制所述机器人进行相应的规避运动，并且基于所述机器人向所述作业人员发送安全警报。
10.一种基于视频目标运动跟踪的人机安全协作装置，其特征在于，所述装置包括：
采集模块：用于通过固定设置的摄像头设备实时采集机器人及与所述机器人相配合工作的作业人员的配合作业视频信息；
确定模块：用于基于所述摄像头设备的固定位置坐标信息和参考位置网格线信息确定所述配合作业视频信息中的机器人的第一位置坐标信息、第一运动趋势信息和作业人员的第二位置坐标信息、第二运动趋势信息；
建立模块：用于基于所述机器人的第一位置坐标信息、第一运动趋势信息和和作业人员的第二位置坐标信息、第二运动趋势信息建立人机安全协作的空间安全等级的动态模型；
划分模块：用于基于所述空间安全等级的动态模型将安全协作的作业空间划分为不同安全等级的作业空间子区域；
计算模块：用于基于所述机器人的第一位置坐标信息和所述作业人员的第二位置坐标信息计算所述作业人员当前所处的作业空间子区域；
预测模块：用于基于所述作业人员当前所处的作业空间子区域、所述机器人的第一运动趋势信息和所述作业人员的第二运动趋势信息进行人机协作碰撞风险预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110099007.3A CN112967336A (zh) | 2021-01-25 | 2021-01-25 | 一种基于视频目标运动跟踪的人机安全协作方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110099007.3A CN112967336A (zh) | 2021-01-25 | 2021-01-25 | 一种基于视频目标运动跟踪的人机安全协作方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112967336A true CN112967336A (zh) | 2021-06-15 |
Family
ID=76271671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110099007.3A Pending CN112967336A (zh) | 2021-01-25 | 2021-01-25 | 一种基于视频目标运动跟踪的人机安全协作方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967336A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113702742A (zh) * | 2021-08-30 | 2021-11-26 | 广东技术师范大学 | 一种车辆动态工况电磁抗扰度测试系统及方法 |
| CN113799143A (zh) * | 2021-11-18 | 2021-12-17 | 广东隆崎机器人有限公司 | 一种多机器人在工作区域内的安全协作方法及装置 |
| CN115797559A (zh) * | 2022-11-24 | 2023-03-14 | 广州美术学院 | 基于虚拟现实的非物质文化遗产模拟体验交互方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102323822A (zh) * | 2011-05-09 | 2012-01-18 | 无锡引域智能机器人有限公司 | 一种避免工业机器人碰撞工人的方法 |
| CN104680559A (zh) * | 2015-03-20 | 2015-06-03 | 青岛科技大学 | 基于运动行为模式的多视角室内行人跟踪方法 |
| CN104834309A (zh) * | 2015-04-10 | 2015-08-12 | 浙江工业大学 | 基于目标跟踪控制策略的单移动机器人最优巡回控制方法 |
| CN105425791A (zh) * | 2015-11-06 | 2016-03-23 | 武汉理工大学 | 一种基于视觉定位的群机器人控制系统及方法 |
| CN106931945A (zh) * | 2017-03-10 | 2017-07-07 | 上海木爷机器人技术有限公司 | 机器人导航方法和系统 |
| CN108527370A (zh) * | 2018-04-16 | 2018-09-14 | 北京卫星环境工程研究所 | 基于视觉的人机共融安全防护控制系统 |
| CN109483507A (zh) * | 2018-12-04 | 2019-03-19 | 北京壹氢科技有限公司 | 一种多个轮式机器人行走的室内视觉定位方法 |
| CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
| CN110539307A (zh) * | 2019-09-09 | 2019-12-06 | 北京极智嘉科技有限公司 | 机器人、机器人定位方法、定位导航系统及定位标记 |
| CN110561432A (zh) * | 2019-08-30 | 2019-12-13 | 广东省智能制造研究所 | 一种基于人机共融的安全协作方法及装置 |
| CN111444852A (zh) * | 2020-03-27 | 2020-07-24 | 深圳市银星智能科技股份有限公司 | 一种回环检测方法、装置及机器人 |
-
2021
- 2021-01-25 CN CN202110099007.3A patent/CN112967336A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102323822A (zh) * | 2011-05-09 | 2012-01-18 | 无锡引域智能机器人有限公司 | 一种避免工业机器人碰撞工人的方法 |
| CN104680559A (zh) * | 2015-03-20 | 2015-06-03 | 青岛科技大学 | 基于运动行为模式的多视角室内行人跟踪方法 |
| CN104834309A (zh) * | 2015-04-10 | 2015-08-12 | 浙江工业大学 | 基于目标跟踪控制策略的单移动机器人最优巡回控制方法 |
| CN105425791A (zh) * | 2015-11-06 | 2016-03-23 | 武汉理工大学 | 一种基于视觉定位的群机器人控制系统及方法 |
| CN106931945A (zh) * | 2017-03-10 | 2017-07-07 | 上海木爷机器人技术有限公司 | 机器人导航方法和系统 |
| CN108527370A (zh) * | 2018-04-16 | 2018-09-14 | 北京卫星环境工程研究所 | 基于视觉的人机共融安全防护控制系统 |
| CN109483507A (zh) * | 2018-12-04 | 2019-03-19 | 北京壹氢科技有限公司 | 一种多个轮式机器人行走的室内视觉定位方法 |
| CN109822579A (zh) * | 2019-04-10 | 2019-05-31 | 江苏艾萨克机器人股份有限公司 | 基于视觉的协作机器人安全控制方法 |
| CN110561432A (zh) * | 2019-08-30 | 2019-12-13 | 广东省智能制造研究所 | 一种基于人机共融的安全协作方法及装置 |
| CN110539307A (zh) * | 2019-09-09 | 2019-12-06 | 北京极智嘉科技有限公司 | 机器人、机器人定位方法、定位导航系统及定位标记 |
| CN111444852A (zh) * | 2020-03-27 | 2020-07-24 | 深圳市银星智能科技股份有限公司 | 一种回环检测方法、装置及机器人 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113702742A (zh) * | 2021-08-30 | 2021-11-26 | 广东技术师范大学 | 一种车辆动态工况电磁抗扰度测试系统及方法 |
| CN113799143A (zh) * | 2021-11-18 | 2021-12-17 | 广东隆崎机器人有限公司 | 一种多机器人在工作区域内的安全协作方法及装置 |
| CN113799143B (zh) * | 2021-11-18 | 2022-04-19 | 广东隆崎机器人有限公司 | 一种多机器人在工作区域内的安全协作方法及装置 |
| CN115797559A (zh) * | 2022-11-24 | 2023-03-14 | 广州美术学院 | 基于虚拟现实的非物质文化遗产模拟体验交互方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112967336A (zh) | 一种基于视频目标运动跟踪的人机安全协作方法及装置 | |
| CN110561432B (zh) | 一种基于人机共融的安全协作方法及装置 | |
| EP2047344B1 (de) | Kamerabasierte überwachung von maschinen mit beweglichen maschinenelementen zur kollisionsverhinderung | |
| CN105171115B (zh) | 基于机器视觉的飞剪控制系统的飞剪控制方法 | |
| WO2001069931A1 (en) | Method and apparatus for video surveillance with defined zones | |
| CN105760824A (zh) | 一种运动人体跟踪方法和系统 | |
| CN108259827B (zh) | 一种实现安防的方法、装置、ar设备及系统 | |
| CN112367498A (zh) | 一种变电站现场作业目标实时监控方法及其系统 | |
| CN110047092B (zh) | 一种复杂环境下多目标实时跟踪方法 | |
| CN105830426A (zh) | 一种视频生成系统的视频生成方法及装置 | |
| CN113799143B (zh) | 一种多机器人在工作区域内的安全协作方法及装置 | |
| CN113452912A (zh) | 巡视机器人的云台摄像机的控制方法、装置、设备及介质 | |
| CN107272681A (zh) | 自动调整移动平台与目标物体位置关系的方法及移动平台 | |
| CN102447882A (zh) | 时间飞行摄影机装置及利用其进行影像监控的方法 | |
| CN114187327A (zh) | 目标识别跟踪方法及装置、计算机可读介质、电子设备 | |
| CN115185287A (zh) | 一种智能多水下机器人动态避障及围捕控制系统 | |
| CN207923179U (zh) | 智能巡检车 | |
| CN116563761A (zh) | 一种综采工作面监测方法、装置、设备、程序产品及系统 | |
| CN117002947A (zh) | 一种基于视觉检测的钢轨分流自动跟踪方法及系统 | |
| CN115446125A (zh) | 一种基于机器视觉的中厚板自动转钢控制方法 | |
| CN114827455A (zh) | 一种摄像头动态实时追踪方法 | |
| Chien et al. | Acquisition Of Moving Objects And Hand-Eye Coordination. | |
| CN113989335A (zh) | 一种对厂房内工人自动定位的方法 | |
| CN115061464A (zh) | 基于动态作业目标的机器人作业路径动态规划方法及装置 | |
| CN114071362A (zh) | 一种多目标动态监控方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |