CN112757300A - 机器人的防护系统及方法 - Google Patents
机器人的防护系统及方法 Download PDFInfo
- Publication number
- CN112757300A CN112757300A CN202011627666.1A CN202011627666A CN112757300A CN 112757300 A CN112757300 A CN 112757300A CN 202011627666 A CN202011627666 A CN 202011627666A CN 112757300 A CN112757300 A CN 112757300A
- Authority
- CN
- China
- Prior art keywords
- image
- early warning
- robot
- target object
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
- B25J19/061—Safety devices with audible signals
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Alarm Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
本发明公开了一种机器人的防护系统及方法,机器人的防护系统包括围栏系统、图像采集系统和控制系统,围栏系统用于定义一预警区域,并响应于物体进入预警区域产生预警信号,其中机器人工作于预警区域内;图像采集系统用于响应于预警信号对进入预警区域的物体进行图像采集;控制系统用于对图像采集系统所采集的图像进行分析,以确定物体是否为预设的目标物体,并响应于物体为目标物体产生控制信号,以控制机器人执行相应的防护措施。通过上述方式,本发明能够提高报警的准确率。
Description
技术领域
本发明涉及机器人技术领域,特别是涉及机器人的防护系统及方法。
背景技术
自动化机械装置在作业过程中经常需要运转,为了保证安全,在自动化机械装置作业现场的危险区域需要搭设围栏进行隔离,以免自动化机械装置运行期间有人/动物体进入到危险区域导致安全事故。常用防护围栏有物理围栏和电子围栏,物理围栏搭设、安装比较复杂,而且需用到的材料也较多,同时也不方便拆卸和运输。电子围栏相对物理围栏有安全实用、性能稳定、使用方便、高性价比等优势;但是电子围栏容易被其他物体干扰,造成误报虚警的问题。
发明内容
本发明主要解决的技术问题是提供一种机器人的防护系统及方法,能够提高报警的准确率。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种机器人的防护系统,机器人的防护系统包括围栏系统、图像采集系统和控制系统,围栏系统用于定义一预警区域,并响应于物体进入预警区域产生预警信号,其中机器人工作于预警区域内;图像采集系统用于响应于预警信号对进入预警区域的物体进行图像采集;控制系统用于对图像采集系统所采集的图像进行分析,以确定物体是否为预设的目标物体,并响应于物体为目标物体产生控制信号,以控制机器人执行相应的防护措施。
其中,围栏系统用于产生沿预警区域的边缘传输的检测光线,并在检测光线被物体阻挡时产生预警信号。
其中,围栏系统包括发射器和接收器,其中发射器用于产生检测光线,接收器用于接收检测光线,并基于检测光线被物体阻挡所产生的信号强度变化产生预警信号。
其中,控制系统内设置有预先训练好的深度学习模型,深度学习模型对图像中的物体进行特征点提取,并基于提取到的特征点分析物体是否为目标物体。
其中,图像采集系统为红外图像采集系统,控制系统基于图像对物体的温度进行检测,并基于检测到的温度分析物体是否为目标物体。
其中,目标物体为人体或动物体。
其中,图像采集系统的数量为至少两个,至少两个图像采集系统分别从不同角度对物体进行采集,控制系统在基于至少两个图像采集系统中的任意一个所采集的图像判断出物体为目标物体产生控制信号。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种机器人的防护方法,该方法包括:响应于物体进入预警区域产生预警信号,其中机器人工作于预警区域内;响应于预警信号对进入预警区域的物体进行图像采集;对图像进行分析,以确定物体是否为预设的目标物体;响应于物体为目标物体产生控制信号,以控制机器人执行相应的防护措施。
其中,对图像进行分析,以确定物体是否为预设的目标物体的步骤包括:利用深度学习模型对图像中的物体进行特征点提取,并基于提取到的特征点分析物体是否为目标物体;或者基于图像对物体的温度进行检测,并基于检测到的温度分析物体是否为目标物体。
其中,图像的数量为从不同角度采集的至少两个,对图像进行分析的步骤包括:对至少两个图像分别进行分析,以分别形成判断结果响应于物体为目标物体产生控制信号的步骤包括:响应于至少两个图像中的任意一个的判断结果为物体为目标物体,产生控制信号。
本发明的有益效果是:区别于现有技术的情况,本发明所提供的防护系统,包括围栏系统、图像采集系统和控制系统,通过围栏系统,能够检测判断是否有物体入侵预警区域,且在检测到有物体入侵预警区域后触发图像采集系统,采集获取入侵物体的图像数据,并利用控制系统对采集到的图像信息进行进一步的分析。通过这种方式,能够准确判断入侵物体是否是目标物体,提高了检测准确率,也就降低了误报警率。再者控制系统可以联动控制机器人执行相应的防护措施,实现自动化报警和防护。
附图说明
图1是本申请实施方式中一机器人防护系统的结构示意图;
图2是本申请实施方式中一机器人防护方法的流程示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本申请提供了一种机器人防护系统,结合了电子围栏系统和视频识别分析技术,实现一种基于电子围栏触发,图像识别确认的防护告警系统。采用这种防护系统不需要设置物理的栅栏,布置方便简单;采用检测光线触发能够保证对入侵物体的准确预报,并且通过基于深度学习的视频图像分析技术,对入侵物体的类型进行进一步判别,这样能够准确对人体入侵进行告警,降低由于其他物体入侵导致的虚警率。同时为了保证视频识别不遗漏人体目标,采用双摄像头对预警区域进行双冗余探测,提高人体识别的召回率;另外采用基于深度学习的人体关键点检测算法实现人体检测,比普通人体检测算法准确率更高。通过上述方法最终实现一个高可靠、精准的防护告警系统。
请参阅图1,图1是本申请实施方式中一机器人防护系统的结构示意图。该实施方式中,机器人的防护系统包括围栏系统10、图像采集系统20和控制系统30。
围栏系统10用于定义一预警区域,并响应于物体进入预警区域产生预警信号;图像采集系统20用于响应于预警信号对进入预警区域的物体进行图像采集;控制系统30用于对图像采集系统20所采集的图像进行分析,以确定物体是否为预设的目标物体,并响应于物体为目标物体产生控制信号,以控制机器人执行相应的防护措施。
该实施方式中,通过结合围栏系统、图像采集系统和控制系统,在实现区域预警的前提下,还能够对进入预警区域的物体进行图像识别,入侵物体进行进一步的判别,能够降低由于其他物体入侵导致的虚警率,再者控制系统可以联动控制机器人执行相应的防护措施,实现自动化报警和防护,实现一个高可靠、精准的机器人防护系统。
其中,该机器人防护系统可布设于自动化机器人工作区域,将机器人工作区域界定在预警区域内,或者说使机器人工作于预警区域内,实现对机器人的防护。机器人可以是自动化机械领域的机械手臂、装载机器人、搬运机器人等。本申请不对防护对象做限定,可拓展应用至其他需要防护预警的场景中。
围栏系统10可以是电子围栏系统,借助电子技术形成可见/不可见的防护边界,以区隔定义预警区域。电子围栏系统可以不用像物理围栏那样,搭设安装护栏,使用起来更方便。
在一实施方式中,围栏系统10用于产生沿预警区域的边缘传输的检测光线101,并在检测光线101被物体阻挡时产生预警信号。检测光线101起到防护边界的作用,界定出预警区域。检测光线可以是一条、两条或多条,可以分布在预警区域的不同位置。一般的,多条检测光线可连接围设形成一封闭的预警区域。可以构建不同层级的预测区域,进行不同程度的预警。如可以形成内外嵌套的多圈检测光线;每一圈检测光线间隔预定距离。越靠近机器人工作区,报警级别越高。检测光线可以是人眼可见的光线,能够更直接的起到警示界定作用。检测线也可以是人眼不可见的,能够减少环境的光污染,降低围栏系统对机器人带来的负面影响,特别是精密工作的机器人,检测光线可能会给机器人带来影响。检测光线一般是连续的,当有物体通过时,物体遮挡检测光线,会破坏其连续性,因此,可通过监控检测光线的连续性,实现预警。
在一实施方式中,围栏系统10包括发射器110和接收器120,其中,发射器用110于产生检测光线,接收器120用于接收检测光线,并基于检测光线被物体阻挡所产生的信号强度变化产生预警信号。可以在相对的两端分别设置发射器110和接收器120,在发射器110和接收器120之间形成连续的检测光线。若检测光线的传输路径被阻挡,接收器120将不再能接收到检测光线,或者所接受到的检测光线的信号强度会变弱。由此判定检测光线被遮挡,有可能有物体经过预警区域的边界,进入预警区域,因此,当检测到检测光线信号强度变化时,可产生预警信号。可以根据检测光线被阻挡的程度,被阻挡的时间,被阻挡的面积等产生不同程度的预警信号。接收器120和发射器110可成对设置,一个接收器120对应一个发射器110;也可以是成组设置,一个发射器110对应多个接收器120,或者一个接收器120对应多个发射器110,在此不做限定。
在一实施方式中,围栏系统可以是红外对射电子围栏。可以在预警区域的周界设立一定数量的竖杆状的红外线发射器和接收器组成一个环形围栏,每对发射器与接收器之间根据发射功率不同相距3~50米左右,通过发射器发射出多道平行的不可见红外光线,与接收器形成一个光回路,当入侵者翻越时,会隔断红外回路,从而产生报警。
在一实施方式中,围栏系统可以是激光对射电子围栏。可以在预警区域的周界上设立一定数量的竖杆状的激光射线发射器和接收器,组成一个环形围栏,每对发射器与接收器之间根据发射功率不同,可相距10~150米左右,通过发射器发射出多道平行的不可见激光射线,与接收器形成一个光回路,当入侵者翻越时,会隔断激光射线回路,从而产生报警。本申请不对围栏系统检测光线的产生方式做限定。
电子对射型围栏系统具有检测敏感、布线简单、安全可靠等优点。但是因其检测过于敏感,容易被干扰、造成误报警。为解决这一技术问题,本申请提供的防护系统中,增设了图像采集系统,以对入侵物体进行更进一步的识别判断,提高报警准确率。
图像采集系统20包括图像采集设备210,图像采集设备210可以设置在预警区域的边界,图像采集设备210的监控视场应覆盖整个预警区域。图像采集设备210可以是一个,两个或多个,多个图像采集设备210的视场可交叉重叠设置,以保证能够覆盖整个预警区域。优选地,图像采集设备210的数量至少为两个,至少两个图像采集设备210分别从不同角度对物体进行采集,或者说,每个区域都应被至少两台图像采集设备210的视场覆盖。通过两个图像采集设备210同时对同一区域进行采样,可提高冗余,降低漏检率。若两个图像采集设备210中的任意一个所采集的图像中判断出物体为目标物体,即可产生告警信号/和/或控制信号。
图像采集设备210可连续采集视频信息,也可以间隔采集图片信息。图像采集设备210可以对才采集的图像做简单处理,或者不处理,直接发送给控制系统。图像采集设备210可以是常规摄像头,用于采集二维图像信息;也可以利用是深度图像摄像系统,用于获取三维的图像信息。
图像采集设备210还可以是红外图像采集系统。红外图像采集系统可以采集获取物体的温度信息,对图像中物体的温度进行检测,并基于检测到的温度分析物体是否为目标物体。例如,预设目标物体是人或动物,如果从温度上,不是在人或动物的体温范围内,那基本可以排除入侵物体是目标物体了,也就不再需要进行图像识别。通过这种方式,先从温度上做一个初筛,能够降低计算量,提高识别速度。同时,红外摄像系统,对于夜视效果也好,应用场景更广。
在其他实施方式中,图像采集系统20可以通过其他方式对入侵物体做一个预判。如可以获取检测入侵物体的体积大小、形状等;通过这种方式,可以简单快速对入侵物体进行识别检测,不需要每个都进行图像识别。
其中,图像采集系统20受围栏系统10控制,或者说图像采集系统20响应于预警信号对进入预警区域的物体进行图像采集。即图像采集系统20只需要在有物体入侵时才启动工作,而物体入侵是靠围栏系统10检测的。或者说,只有在围栏系统10检测到有物体入侵时,才会向图像采集系统20发送指令(预警信号),以触发启动图像采集系统20采集获取入侵物体的图像。当然,在其他实施方式中,图像采集设备210可以实时采集获取预警区域的图像信息,对预警区域进行监控,其可以只实时采集图像信息数据,但并不需要对每帧图像都进行识别检测。可以是只在收到围栏系统10的预警信号时才进行检测。在其他实施方式中,图像采集系统20可以根据自身判断,对采集到的可疑物体进行识别检测;如图像采集设备210采集到有物体侵入预警区域,温度约36度,但围栏系统10并没有给出预警信号,图像采集系统20判断认为这个温度的物体是人体的概率极大,因此,可以在没有预警信号指示情况下,自行进行检测,以进一步防止漏检,提高检测精度。
图像采集系统20与围栏系统10之间建议有无线/有线通信连接,以实现信息、指令、通知、信号的传输。可以是在预警区域建立局域网,围栏系统10与图像采集系统20通过局域网进行通信连接。可以是使用WiFi、蓝牙、近场通信等方式进行信息传输。还可以通过有线通信连接实现信息传输。本申请不对图像采集系统20与围栏系统10的通信方式做限定。
本申请的机器人防护系统还包括控制系统30,控制系统30用于对图像采集系统20所采集的图像进行分析,以确定入侵物体是否为预设的目标物体,并响应于入侵物体为目标物体产生控制信号,以控制机器人执行相应的防护措施。
控制系统30主要用于对图像采集系统20所采集的图像进行识别分析。控制系统30内设置有预先训练好的深度学习模型,深度学习模型对图像中的物体进行特征点提取,并基于提取到的特征点分析物体是否为目标物体。如可以是深度学习关键点检测模型,来检测人体身型;三维深度图像信息的并行统计学习人体部位检测;基于深度学习的人体曲线测量等。所用模型可以是仅针对人形检测的网络模型。因防护系统不需要具体区分人物身份/个体,因此,只需要人形检测,判断是不是人就可以;而不需要人脸识别、年龄识别等更进一步的评估判断。
控制系统30还可以对整个防护系统进行控制,如其可以根据检测结果,给机器人提供指令,控制机器人的行为。如检测到有人入侵时,可控制机器人发出警报、停止运动等,提醒入侵者,同时避免对入侵者造成伤害。
控制系统可以是本地计算机设备、独立的服务器设备、也可以是服务器集群等,还可以是云端服务系统等。
以上实施方式中,本申请提供一种简便、安全、可靠的机器人防护系统,该防护系统在围栏系统基础上,增设了图像采集系统和控制系统,能够在围栏系统检测到有物体入侵时,利用图像采集系统采集获取入侵物体的图像信息,并利用控制系统对入侵物体进行进一步的判别;且在判定是有预设目标物体入侵时,控制机器人执行相应的防护措施。通过这种方式,能够满足生产作业安全区域电子围栏预警系统的高可靠性和高安全性要求,能够实现告警之后联动控制机器人的行为,且该系统。
请参阅图2,图2是本申请实施方式中机器人防护方法的流程示意图。该实施方式中,机器人防护方法包括:
S410:响应于物体进入预警区域产生预警信号。
其中,预警信号由围栏系统产生,用于发送给图像采集系统。围栏系统可以是对射式电子围栏,预警信号可以是由接收器生成。可以设置接收器在检测光线信号强度低于阈值时,生成预警信号。预警信号可以携带接收器的编号信息,接收器的位置信息,预警信号形成时间信息等内容。通过携带这些信息,能够使图像采集系统大致知道是预警区域的哪个位置有物体入侵,可以对应启动邻近的图像采集设备。可以是同时又多个预警信号产生,多个预警信号平行不冲突,图像采集系统接收到任意一个预警信号都将启动图像采集工作。
在一实施方式中,还可以建议围栏系统与控制系统的连接,也可以直接像控制系统发送预警信号,使控制系统根据预警信号进行判断评估,某种情况下,可以在不进行图像识别的基础上,直接基于预警信号发出警告信息。通过建立围栏系统与控制系统的交互连接,能够更快速,及时的发现入侵者,降低入侵给双方带来的伤害。
S420:响应于预警信号对进入预警区域的物体进行图像采集。
其中,图像采集系统接收到预警信号后,启动图像采集设备,对预警区域进行图像采集。可以是采集获取连续的视频信号,也可以是采集图片信息。图像采集系统也可以采集获取一些温度信息、声音信息、深度信息等。图像采集系统可能包含多个图像采集设备,特别是预警区域较大时,可以对预警信号进行解析,获取预警信号中的位置信息,判断物体入侵的大约位置,对应启动相应位置的图像采集设备。通过这种方式,可以提高图像的准确率、采集速度等。同时降低数据量,不用每次都对整个预警区域进行拍摄,特别的,针对某个区域的图片,可以得到更清晰的局部地区的放大图像,有利于后续的检测。否则所采集信息中可能有很多背景因素,入侵目标如果很小,很容易漏检或误检。对于同一区域,可以利用多个图像采集设备,采集获取多个角度的图像信息。所采集的图像可以是彩色的,也可以是灰度的。
S430:对图像进行分析,以确定物体是否为预设的目标物体。
其中,控制系统上可搭载多个已训练好的模型,可以是直接将接收到的图像信息输入模型,得出识别结构。具体地,可利用深度学习模型对图像中的物体进行特征点提取,并基于提取到的特征点分析物体是否为目标物体。该模型可以是利用历史检测信息作为样本进行训练得到,这样,会更贴合实际应用。因为入侵的人大概率是相关工作人员,可能会多次出现在预警区域周边。但是,因入侵物体样本太少,训练的模型可能不好,可以使用已训练好的,模型可以定期更新。控制系统上可以有多种模型,分别用于检测不同的目标物体,或者实现不同精度的检测识别。
控制系统可能会收到多个图像信息,且有些图像内容相近。控制系统应单独的对各个图像分别进行分析,得到多个判断结果。为了防止漏检,至少两个图像中的任意一个的判断结果为所述物体为所述目标物体,产生所述控制信号。可以比对分析判断结果;记录历史数据,便于进行周期统计,指导制作作业规范等。
控制系统可基于所述图像对所述物体的温度进行检测,并基于检测到的所述温度分析所述物体是否为所述目标物体。具体地,控制系统在进行图像识别时,可以先做一些基础判断,筛除一些与目标物体明显不同的样本,如温度不在合理范围、体积不在合理范围、是静态的入侵物,入侵物体的姿态等。
S440:响应于物体为目标物体产生控制信号,以控制机器人执行相应的防护措施。
其中,防护系统还可以包括警报装置。控制系统可以根据检测结果向警报装置发送指令,控制警报装置执行相应的警报动作。如可以通过声、光等方式形成告警信号。如同时进行语音警告和红色光线警告。可以形成不同等级的告警信号。如报警音的速度缓急,声音大小、报警光的颜色、亮度等。警报装置只能起到提醒作用,此时,即使入侵者在提示下发现自己误入了危险区域,如果不能及时离开,容易受到工作中的机器人的伤害。
因此,控制系统在控制生产警报信息的同时,还可以与机器人控制系统联动,控制机器人停止工作等,以防对入侵者带来伤害。控制系统可以仅提供控制停止工作的指令,并通知相关工作人员,去现场查看,待确认入侵者已离开,可安全工作的情况下,给予控制指令,控制机器人重新开始工作。也可以是控制系统对预警区域进行跟踪检测,判断入侵者是否已离开,是否有新入侵者。待确认预警区域已无入侵者,向机器人控制系统发送开机工作指令,控制机器人重新开始工作。这种情况下,可实现自动化,不需要人员参与。
以上实施方式中,通过控制方法,可解决高安全环境要求下的电子围栏告警的准确性与可靠性问题,减小因虚警造成生产过程停止带来的损失。
请继续参阅图1,本申请以激光对射围栏为例,对本申请的防护系统和方法进行详细说明,该实施例中可针对自动化机械臂作业区域,构建防护系统。
可在机械臂作业区域外围,构建一个矩形预警区域,预警区域应完全包围机械臂作业区域,且应留有一定的安全距离,例如,可以预留0.5米的安全距离,这样的话,即使有物体不慎入侵,也不至于会受伤害。
分别在矩形的四个角设立4根立柱,用于布设形成检测光线的发射器和接收器。本实施例中,构建激光对射电子围栏,可在4根杆上设置4组激光发射器和激光接收器,每个激光发射器都对应有激光接收器。通过这种设置,可以形成由激光构成的矩形边界。在高度方向上,可以根据机械臂的高度,设置一道、两道或更多道围栏边界,即一根杆上,在竖直方向上,可以间隔设置多组激光发射器和接收器。在其他实施方式中,也可以是设置两个激光发射器和两个激光接收器,且激光接收器和激光发射器相间隔设置。这样的话,一个激光接收器可接收来自两个激光发射器发出的激光,一个激光发射器可向两个激光接收器发送激光。
在电子围栏预警区域的斜上方至少安装两个视频摄像头,以用于采集图像信息。两个视频摄像头分别装在预警区域的两边,两个摄像头监控视场都需要覆盖整个预警区域。并将视频摄像头与激光对射电子围栏建议通信连接,以接收来自围栏系统的触发信号。
部署控制系统。可构建服务器集群,集中统一对多个防护系统进行管理,也可以搭建电子设备,独立控制各个防护系统。控制系统内搭载了深度学习模型训练出的检测算法,以提高检测准确率。该实施方式中,可设置目标物体为人/动物,即防止人或动物进入预警区域,防止机械臂对其造成伤害。将视频摄像头与控制系统建立通信来接,可接收来自视频摄像头的图像信息。控制系统还与机械臂控制系统,以在检测到有目标物体入侵时,联动控制机器人执行相应的防护措施。
防护系统建好后,可开启激光发射器和激光接收器,对预警区域进行检测。
如果4个激光接收器都正常接收到激光信号,则表示围栏边界区域正常没有物体入侵。如果4个激光接收器任何一个激光信号中断或者没有接收到。此时产生一个触发信号,表示有物体入侵到预警边界。
当激光对射围栏有触发信号时候,将触发信号发送给视频摄像头,启动两个视频摄像头连续采集视频信号,并传输给控制系统。可两个视频摄像头同时对同一区域/物体进行检测,以提高冗余,降低漏检率。
控制系统可对接收到的图像信息进行检测,采用基于深度学习的人体关键点的检测算法,检测入侵物体会不会是人。通过使用深度学习的人体关键点的检测算法,能够极大提高人体检测准确率。
当两个视频摄像头中任意一个检测出了人像,都认为是有人入侵,需告警。把告警信号发送给告警触发器,触发告警,如可以通过声、光等方式形成告警信号。如同时进行语音警告和红色光线警告。同时将告警信息发送给机械臂控制系统,控制机械臂自动停止作业,以防止对入侵人体造成伤害。
该实施方式中,结合了激光对射系统和视频识别分析技术,实现一种基于激光触发,图像识别确认的电子防护系统。采用这种防护系统不需要设置物理的栅栏,布置方便简单;采用激光触发能够保证对入侵物体的准确预报,并且通过基于深度学习的视频图像分析技术,对入侵物体的类型进行进一步判别,这样能够准确对人体入侵进行告警,降低由于其他物体入侵导致的虚警率。同时为了保证视频识别不遗漏人体目标,采用双摄像头对预警区域进行双冗余探测,提高人体识别的召回率;另外采用基于深度学习的人体关键点检测算法实现人体检测,比普通人体检测算法准确率更高。通过上述方法最终实现一个高可靠、精准的电子防护系统。
本申请除控制系统外,围栏系统和图像采集系统都携带有处理器,用于对预警信号处理,对设备管理等。处理器还可以称为CPU(Central Processing Unit,中央处理单元)。处理器可能是一种集成电路芯片,具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种机器人的防护系统,其特征在于,所述防护系统包括:
围栏系统,用于定义一预警区域,并响应于物体进入预警区域产生预警信号,其中所述机器人工作于所述预警区域内;
图像采集系统,用于响应于所述预警信号对进入所述预警区域的所述物体进行图像采集;
控制系统,用于对所述图像采集系统所采集的图像进行分析,以确定所述物体是否为预设的目标物体,并响应于所述物体为所述目标物体产生控制信号,以控制所述机器人执行相应的防护措施。
2.根据权利要求1所述的防护系统,其特征在于,所述围栏系统用于产生沿所述预警区域的边缘传输的检测光线,并在所述检测光线被所述物体阻挡时产生所述预警信号。
3.根据权利要求2所述的防护系统,其特征在于,所述围栏系统包括发射器和接收器,其中所述发射器用于产生所述检测光线,所述接收器用于接收所述检测光线,并基于所述检测光线被所述物体阻挡所产生的信号强度变化产生所述预警信号。
4.根据权利要求1所述的防护系统,其特征在于,所述控制系统内设置有预先训练好的深度学习模型,所述深度学习模型对所述图像中的所述物体进行特征点提取,并基于提取到的特征点分析所述物体是否为所述目标物体。
5.根据权利要求1所述的防护系统,其特征在于,所述图像采集系统为红外图像采集系统,所述控制系统基于所述图像对所述物体的温度进行检测,并基于检测到的所述温度分析所述物体是否为所述目标物体。
6.根据权利要求4或5所述的防护系统,其特征在于,所述目标物体为人体或动物体。
7.根据权利要求1所述的防护系统,其特征在于,所述图像采集系统的数量为至少两个,所述至少两个图像采集系统分别从不同角度对所述物体进行采集,所述控制系统在基于所述至少两个图像采集系统中的任意一个所采集的图像判断出所述物体为所述目标物体产生所述控制信号。
8.一种机器人的防护方法,其特征在于,所述防护方法包括:
响应于物体进入预警区域产生预警信号,其中所述机器人工作于所述预警区域内;
响应于所述预警信号对进入所述预警区域的所述物体进行图像采集;
对所述图像进行分析,以确定所述物体是否为预设的目标物体;
响应于所述物体为所述目标物体产生控制信号,以控制所述机器人执行相应的防护措施。
9.根据权利要求8所述的防护方法,其特征在于,所述对所述图像进行分析,以确定所述物体是否为预设的目标物体的步骤包括:
利用所述深度学习模型对所述图像中的所述物体进行特征点提取,并基于提取到的特征点分析所述物体是否为所述目标物体;或者
基于所述图像对所述物体的温度进行检测,并基于检测到的所述温度分析所述物体是否为所述目标物体。
10.根据权利要求8所述的防护方法,其特征在于,所述图像的数量为从不同角度采集的至少两个;
所述对所述图像进行分析的步骤包括:
对所述至少两个图像分别进行分析,以分别形成判断结果
所述响应于所述物体为所述目标物体产生控制信号的步骤包括:
响应于所述至少两个图像中的任意一个的判断结果为所述物体为所述目标物体,产生所述控制信号。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011627666.1A CN112757300A (zh) | 2020-12-31 | 2020-12-31 | 机器人的防护系统及方法 |
PCT/CN2021/134656 WO2022142973A1 (zh) | 2020-12-31 | 2021-11-30 | 机器人的防护系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011627666.1A CN112757300A (zh) | 2020-12-31 | 2020-12-31 | 机器人的防护系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112757300A true CN112757300A (zh) | 2021-05-07 |
Family
ID=75699310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011627666.1A Pending CN112757300A (zh) | 2020-12-31 | 2020-12-31 | 机器人的防护系统及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112757300A (zh) |
WO (1) | WO2022142973A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113733163A (zh) * | 2021-11-05 | 2021-12-03 | 杭州骏沃机电科技有限公司 | 一种机械手用适配型安全装置 |
CN113821040A (zh) * | 2021-09-28 | 2021-12-21 | 中通服创立信息科技有限责任公司 | 一种深度视觉相机与激光雷达融合导航的机器人 |
CN114407025A (zh) * | 2022-03-29 | 2022-04-29 | 北京云迹科技股份有限公司 | 一种机器人急停模式自动控制方法、装置及机器人 |
WO2022142973A1 (zh) * | 2020-12-31 | 2022-07-07 | 广东美的白色家电技术创新中心有限公司 | 机器人的防护系统及方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116778653B (zh) * | 2023-06-25 | 2024-04-19 | 国网湖北省电力有限公司宜昌供电公司 | 用于应急电源抢修车供电时的标识及检测警示方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105729468A (zh) * | 2016-01-27 | 2016-07-06 | 浙江大学 | 一种基于多深度摄像机增强的机器人工作台 |
CN106845450A (zh) * | 2017-02-22 | 2017-06-13 | 武汉科技大学 | 基于近红外成像与深度学习的黑暗环境人脸识别方法 |
CN107820051A (zh) * | 2017-11-07 | 2018-03-20 | 北京京电电网维护集团有限公司 | 监控系统及其监控方法和装置 |
CN108647562A (zh) * | 2018-03-27 | 2018-10-12 | 北京中硕众联智能电子科技有限公司 | 识别图像中物体和温度的装置和相应的方法 |
US20190197325A1 (en) * | 2017-12-27 | 2019-06-27 | drive.ai Inc. | Method for monitoring an interior state of an autonomous vehicle |
CN110666814A (zh) * | 2019-10-30 | 2020-01-10 | 广州供电局有限公司 | 配电网巡检机器人 |
CN111144232A (zh) * | 2019-12-09 | 2020-05-12 | 国网智能科技股份有限公司 | 基于智能视频监控的变电站电子围栏监测方法、存储介质及设备 |
CN111178257A (zh) * | 2019-12-28 | 2020-05-19 | 深圳奥比中光科技有限公司 | 一种基于深度相机的区域安全防护系统及方法 |
CN111489521A (zh) * | 2020-05-22 | 2020-08-04 | 成都电科慧安科技有限公司 | 一种基于温度检测的网络电子围栏系统及其实施方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009010460B4 (de) * | 2009-02-13 | 2010-11-25 | Pilz Gmbh & Co. Kg | Vorrichtung und Verfahren zum Bestimmen der Nachlaufzeit einer Maschine |
DE102016007520A1 (de) * | 2016-06-20 | 2017-12-21 | Kuka Roboter Gmbh | Überwachung einer Roboteranordnung |
CN110001597A (zh) * | 2018-11-08 | 2019-07-12 | 蔚来汽车有限公司 | 安全防护系统、方法及包括该安全防护系统的换电站 |
CN112757300A (zh) * | 2020-12-31 | 2021-05-07 | 广东美的白色家电技术创新中心有限公司 | 机器人的防护系统及方法 |
-
2020
- 2020-12-31 CN CN202011627666.1A patent/CN112757300A/zh active Pending
-
2021
- 2021-11-30 WO PCT/CN2021/134656 patent/WO2022142973A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105729468A (zh) * | 2016-01-27 | 2016-07-06 | 浙江大学 | 一种基于多深度摄像机增强的机器人工作台 |
CN106845450A (zh) * | 2017-02-22 | 2017-06-13 | 武汉科技大学 | 基于近红外成像与深度学习的黑暗环境人脸识别方法 |
CN107820051A (zh) * | 2017-11-07 | 2018-03-20 | 北京京电电网维护集团有限公司 | 监控系统及其监控方法和装置 |
US20190197325A1 (en) * | 2017-12-27 | 2019-06-27 | drive.ai Inc. | Method for monitoring an interior state of an autonomous vehicle |
CN108647562A (zh) * | 2018-03-27 | 2018-10-12 | 北京中硕众联智能电子科技有限公司 | 识别图像中物体和温度的装置和相应的方法 |
CN110666814A (zh) * | 2019-10-30 | 2020-01-10 | 广州供电局有限公司 | 配电网巡检机器人 |
CN111144232A (zh) * | 2019-12-09 | 2020-05-12 | 国网智能科技股份有限公司 | 基于智能视频监控的变电站电子围栏监测方法、存储介质及设备 |
CN111178257A (zh) * | 2019-12-28 | 2020-05-19 | 深圳奥比中光科技有限公司 | 一种基于深度相机的区域安全防护系统及方法 |
CN111489521A (zh) * | 2020-05-22 | 2020-08-04 | 成都电科慧安科技有限公司 | 一种基于温度检测的网络电子围栏系统及其实施方法 |
Non-Patent Citations (6)
Title |
---|
关晨至: "《深度学习与人体姿态动作识别》", 30 November 2019 * |
夏良正: "《数字图像处理》", 30 September 1999 * |
孙建国: "《数字化智能放疗》", 31 December 2019 * |
徐鹏: "《监狱智能化安全防范关键技术研究》", 30 April 2017 * |
李建军: "《基于图像深度信息的人体动作识别研究》", 31 December 2018 * |
萧凤服: "《信息技术更新与中国经济发展》", 31 December 2014 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022142973A1 (zh) * | 2020-12-31 | 2022-07-07 | 广东美的白色家电技术创新中心有限公司 | 机器人的防护系统及方法 |
CN113821040A (zh) * | 2021-09-28 | 2021-12-21 | 中通服创立信息科技有限责任公司 | 一种深度视觉相机与激光雷达融合导航的机器人 |
CN113733163A (zh) * | 2021-11-05 | 2021-12-03 | 杭州骏沃机电科技有限公司 | 一种机械手用适配型安全装置 |
CN114407025A (zh) * | 2022-03-29 | 2022-04-29 | 北京云迹科技股份有限公司 | 一种机器人急停模式自动控制方法、装置及机器人 |
CN114407025B (zh) * | 2022-03-29 | 2022-06-28 | 北京云迹科技股份有限公司 | 一种机器人急停模式自动控制方法、装置及机器人 |
Also Published As
Publication number | Publication date |
---|---|
WO2022142973A1 (zh) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112757300A (zh) | 机器人的防护系统及方法 | |
US8908034B2 (en) | Surveillance systems and methods to monitor, recognize, track objects and unusual activities in real time within user defined boundaries in an area | |
JP5473801B2 (ja) | 監視装置 | |
CN107645652A (zh) | 一种基于视频监控的非法越界报警系统 | |
EP2019999B1 (en) | Motion detector having asymmetric zones for determining direction of movement and method therefore | |
EP2407944A1 (en) | Method and apparatus for activating and deactivating video cameras in a security system | |
KR101036947B1 (ko) | 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템 | |
KR101575011B1 (ko) | 영상을 이용한 적외선감지기와 그 동작방법 및 이를 이용한 보안시설물 통합관리시스템 | |
CN105844209B (zh) | 基于红外辐射探测的访客识别 | |
CN112623919B (zh) | 一种基于计算机视觉的自动扶梯智能监控管理系统 | |
US9613510B2 (en) | Apparatus and method for rapid human detection with pet immunity | |
CN113484858A (zh) | 一种入侵检测方法和系统 | |
JP6195447B2 (ja) | 撮影システム | |
CN116994389A (zh) | 一种基于人工智能和图像识别的监控报警驱赶系统及方法 | |
CN114495014A (zh) | 智慧社区管理系统和智慧社区管理系统控制方法 | |
JP5766087B2 (ja) | 警備システム | |
KR101415848B1 (ko) | 차량 및 보행자 검지를 이용한 스쿨존 방범장치 | |
CN115171327A (zh) | 用于车辆火灾监测的方法和车辆火灾监测系统 | |
CN116259013A (zh) | 一种入侵检测系统 | |
CN213876966U (zh) | 一种铁路周界安全防范系统 | |
JP2013008298A (ja) | 警備システム | |
JP7384601B2 (ja) | 監視システム | |
JP2018192844A (ja) | 監視装置、監視システム、監視プログラム、および、記憶媒体 | |
CN111667654B (zh) | 一种电子围栏防误报的方法 | |
CN113345151A (zh) | 一种安防报警系统和报警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |