CN114120583A - 一种基于机器视觉的行车安全预警装置 - Google Patents

一种基于机器视觉的行车安全预警装置 Download PDF

Info

Publication number
CN114120583A
CN114120583A CN202111348888.4A CN202111348888A CN114120583A CN 114120583 A CN114120583 A CN 114120583A CN 202111348888 A CN202111348888 A CN 202111348888A CN 114120583 A CN114120583 A CN 114120583A
Authority
CN
China
Prior art keywords
distance
worker
alarm
camera
workers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111348888.4A
Other languages
English (en)
Other versions
CN114120583B (zh
Inventor
刘善良
袁勇超
王士华
姜鹏
杜晓彤
史宝周
李振凯
亓昭敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Branch Co Ltd Of Mechanical Science Research Institute
Original Assignee
Qingdao Branch Co Ltd Of Mechanical Science Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Branch Co Ltd Of Mechanical Science Research Institute filed Critical Qingdao Branch Co Ltd Of Mechanical Science Research Institute
Priority to CN202111348888.4A priority Critical patent/CN114120583B/zh
Publication of CN114120583A publication Critical patent/CN114120583A/zh
Application granted granted Critical
Publication of CN114120583B publication Critical patent/CN114120583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供了一种基于机器视觉的行车安全预警装置，包括：视觉检测部分、运算及处理部分、声音报警部分、电源部分，如图所示。其中，视觉检测部分用来检测、识别工人与行车吊起的货物（以下简称吊装物）的距离，运算及处理部分用于判断工人是否安全，报警部分在吊装物与工人的距离小于安全距离时发出报警。本发明的优势在于：可以在车间工人工作时，实时检测吊装物与工人之间的距离；当距离小于安全距离时，会发出警报，唤醒工人的警惕，保障工人安全施工；在安全生产方面发挥重大的助益。

Description

一种基于机器视觉的行车安全预警装置
技术领域
本发明涉及机器视觉的单目视觉测距领域，具体涉及机器视觉的单目测距方法及安全预警装置。
背景技术
车间安全生产一直是公司及社会关注的焦点问题，因工人操作期间被行车的吊装物伤害不计其数。基于此市面上也出来现了不少解决方案，主要分为使用红外传感器和摄像头，这类方法通过划定危险区域，并进行工人定位的方法，能有效检测出工人是否位于行车危险区域内，这种方式可以在一定程度上起到避免碰撞的作用。但是，当行车挂载了体积较大的货物，并且随着行车的移动货物会发生一定的摆动，由于货物的摆动，工人与行车的安全区域将会改变，为此本发明提出一种基于机器视觉的行车安全预警装置，可以检测工人与吊装物之间的距离，不受摆动的影响，实时预警。
发明内容
一、要解决的问题
本发明提出一种基于机器视觉的行车安全预警装置，解决了工人因为不够注意或专注于其他工作导致被行车吊装物伤害的问题。并且本发明提出的检测吊装物与工人之间距离的方法，可以解决行车运动过程中吊装物摆动导致的安全区域改变的问题，弥补了不同安全预警装置安全区域固定带来的弊端。
二、技术方案
为了达到上述目的，本发明采用主要技术方案如下：
一方面，本发明提供的一种基于机器视觉的行车安全预警装置，包括以下几个部分：
21、电源部分，起到变压的作用，用于为装置供电；
22、视觉检测部分，使用单目相机，用于获取行车下方工作环境的图像数据。行车的高度一般都在10m左右，相机的地面覆盖范围可以达到10m以上，足够实现行车下方工作环境的捕捉。
23、运算及处理部分，用于封装图像提取、处理并进行距离计算的算法，同时向声音报警部分发出指令。
24、存储部分，用于存储相机获取的图片、算法及报警声音文件等。
25、声音报警部分，可以发出两种声音，即普通警报和危险警报，用于唤醒工人师傅的注意。
另一方面，本发明提供的一种基于机器视觉的行车安全预警装置，安全预警方法包含以下步骤：
S31、首先，摄像头采集行车下方工作环境的图像数据，通过图像将数据传输给处理器；
S32、进一步的，处理器接收到所述摄像头传来的图像数据，使用高斯拉普拉斯算子进行边缘提取，提取出吊装物与工人。
S33、进一步的，框选出工人与吊装物，在图像中使用方框标定出工人与吊装物的位置，以便下一步计算二者之间的距离；
S34、进一步的，像素坐标系转换为世界坐标系。根据相距和相机参数通过矩阵变换，由像素坐标系-世界坐标系转换，如公式一
Figure BDA0003355221890000021
其中(Xw Yw Zw)为点P在世界坐标系中的坐标，K2为相机的外参，K1为相机的内参，(u v 1)T为图像的像素坐标Zc为相机的z轴坐标值。
S35、进一步的，计算两目标的实际距离L，计算公式如公式二：
Figure BDA0003355221890000022
其中，P1＝(X1,Y1,Z1)为世界坐标系中工人距离货物最近的点，P2＝(X2,Y2,Z2)为世界坐标系总货物距离工人最近的点。
S36、进一步的，判断工人所在区域是否安全
当L＞3m时，说明吊装物不会对工人造成危险，装置会继续拍摄图片进行下一轮的检测。这个距离是工人的安全操作距离，这个距离考虑到了吊装物在被转移的时候，因惯性所致的摆动。
当L≤3m时，预警装置就会发出警报，提醒工人退到安全距离。
S37、进一步的，判断危险程度
当2m＜L≤3m时，装置发出普通警报，此时工人可以根据实际情况做出相应的措施。
当L≤2m时，装置发出危险警报，此时工人必须尽快远离吊装物，否则可能伤害工人师傅的身体，直到检测到工人移动到安全区域报警结束。
有益之处
本发明提出的基于机器视觉的行车安全预警装置，通过检测吊装物与工人师傅之间的距离判断工人是否在安全区域。本发明的优势在于：
其一，由于随着行车的移动，吊装物会发生一定的摆动，此时，工人与行车吊装物之间的距离随着吊装物的摆动发生变化，本发明可以实时检测吊装物与工人之间的距离，有效防止因行车快速运动导致，吊装物摆动幅度过大伤及工人。
其二，本发明使用高斯拉普拉斯算法进行边缘提取，能有效提升对图像的识别能力，进一步可以提高距离计算的精确度。
附图说明
图1为相机检测行车工作环境示意图。
图2为机器视觉的行车安全预警装置框架图。
图3为基于机器视觉的行车安全预警流程图。
具体实施
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作描述。
一、针对行车的工作环境如图1相机检测行车工作环境示意图，所述基于机器视觉的行车安全预警装置的各组成部分及作用如图2基于机器视觉的行车安全预警装置框架图：
21、电源部分，起到变压的作用，用于为装置供电；
22、视觉检测部分，使用单目相机，用于获取行车下方工作环境的图像数据。行车的高度一般都在10m左右，相机的地面覆盖范围可以达到10m以上，足够实现行车下方工作环境的捕捉。
23、运算及处理部分，用于封装图像提取、处理并进行距离计算的算法，同时向声音报警部分发出指令。
24、存储部分，用于存储相机获取的图片、算法及报警声音文件等。
25、声音报警部分，可以发出两种声音，即普通警报和危险警报，用于唤醒工人师傅的注意。
二、本发明提供的一种基于机器视觉的行车安全预警装置，安全预警方法包含以下步骤如图3基于机器视觉的行车安全预警流程图：
S31、首先,摄像头采集行车下方工作环境的图像数据，通过图像将数据传输给处理器；
S32、进一步的,处理器接收到所述摄像头传来的图像数据，使用高斯拉普拉斯算子进行边缘提取，提取出吊装物与工人，。
S33、进一步的，框选出工人与吊装物，在图像中使用方框标定出工人与吊装物的位置，以便下一步计算二者之间的距离；
S34、进一步的,像素坐标系转换为世界坐标系。根据相距和相机参数通过矩阵变换，由像素坐标系-世界坐标系，转换如公式一：
Figure BDA0003355221890000041
其中(Xw Yw Zw)为点P在世界坐标系中的坐标，K2为相机的外参，K1为相机的内参，(u v 1)T为图像的像素坐标，Zc为相机的z轴坐标值。
S35、进一步的,计算两目标的实际距离L，计算公式如公式二：
Figure BDA0003355221890000042
其中，P1＝(X1,Y1,Z1)为世界坐标系中工人距离货物最近的点，P2＝(X2,Y2,Z2)为世界坐标系总货物距离工人最近的点。
S36、进一步的,判断工人所在区域是否安全
当L＞3m时，说明吊装物不会对工人造成危险，装置会继续拍摄图片进行下一轮的检测。这个距离是工人的安全操作距离，这个距离考虑到了吊装物在被转移的时候，因惯性所致的摆动。
当L≤3m时，预警装置就会发出警报，提醒工人退到安全距离。
S37、进一步的，判断危险程度
当2m＜L≤3m时，装置发出普通警报，此时工人可以根据实际情况做出相应的措施。
当L≤2m时，装置发出危险警报，此时工人必须尽快远离吊装物，否则可能伤害工人师傅的身体，直到检测到工人移动到安全区域报警结束。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (5)

1.一种基于机器视觉的行车安全预警装置，其特征在于：包括电源部分、视觉检测部分、运算及处理部分、存储部分、声音报警部分；所述视觉检测部分使用单目摄像头拍摄吊装物与工人的图片；所述运算及处理部分用于封装视觉测距算法，检测吊装物与工人的距离，并发出报警命令；所述声音报警部分用于发出警报，唤醒工人注意；所述电源部分用于变压并为装置供电；所述存储部分用于存储相机拍摄的图像。
2.如权利要求1所述的基于机器视觉的行车安全预警装置，其特征在于：所述单目摄像头完成参数标定后，作为数据采集传感器，通过实时拍摄行车的工作环境照片，将照片传送到处理器中。
3.如权利要求1所述的基于机器视觉的行车安全预警装置，其特征在于：所述声音报警部分可以在检测到距离小于安全距离时发出警报，在检测到工人处于距离时发出危险警报。
4.如权利要求1所述的基于机器视觉的行车安全预警装置，其特征在于：运算及处理部分封装了机器视觉测距算法，能够通过相机传输来的图像，识别吊装物与工人之间的距离。
5.如权利要求1所述的基于机器视觉的行车安全预警装置，其特征在于，预警的步骤如下：
S31、摄像头采集行车下方工作环境的图像数据，通过图像将数据传输给处理器；
S32、处理器接收到所述摄像头传来的图像数据，使用高斯拉普拉斯算子进行边缘提取，提取出吊装物与工人；
S33、框选出工人与吊装物，在图像中使用方框标定出工人与吊装物的位置，以便下一步计算二者之间的距离；
S34、像素坐标系转换为世界坐标系；根据相距和相机参数通过矩阵变换，由像素坐标系-世界坐标系转换，如公式一：
Figure FDA0003355221880000011
其中(Xw Yw Zw)为点P在世界坐标系中的坐标，K2为相机的外参，K1为相机的内参，(u v1)T为图像的像素坐标，Zc为相机的z轴坐标值；
S35、计算两目标的实际距离L，计算公式二
Figure FDA0003355221880000012
其中，P1＝(X1,Y1,Z1)为世界坐标系中工人距离货物最近的点，P2＝(X2,Y2,Z2)为世界坐标系总货物距离工人最近的点；
S36、判断工人所在区域是否安全
当L＞3m时，说明吊装物不会对工人造成危险，装置会继续拍摄图片进行下一轮的检测；这个距离是工人的安全操作距离，这个距离考虑到了吊装物在被转移的时候，因惯性所致的摆动；
当L≤3m时，预警装置就会发出警报，提醒工人退到安全距离；
S37、判断危险程度
当2m＜L≤3m时，装置发出普通警报，此时工人可以根据实际情况做出相应的措施；
当L≤2m时，装置发出危险警报，此时工人必须尽快远离吊装物，否则可能出现车间安全问题，直到检测到工人移动到安全区域报警结束。
CN202111348888.4A 2021-11-15 2021-11-15 一种基于机器视觉的行车安全预警装置 Active CN114120583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111348888.4A CN114120583B (zh) 2021-11-15 2021-11-15 一种基于机器视觉的行车安全预警装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111348888.4A CN114120583B (zh) 2021-11-15 2021-11-15 一种基于机器视觉的行车安全预警装置

Publications (2)

Publication Number Publication Date
CN114120583A true CN114120583A (zh) 2022-03-01
CN114120583B CN114120583B (zh) 2023-04-25

Family

ID=80395479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111348888.4A Active CN114120583B (zh) 2021-11-15 2021-11-15 一种基于机器视觉的行车安全预警装置

Country Status (1)

Country Link
CN (1) CN114120583B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059665A (zh) * 2019-04-28 2019-07-26 天津港国际物流发展有限公司 一种基于机器视觉的人机安全智能防撞预警系统
CN111062373A (zh) * 2020-03-18 2020-04-24 杭州鲁尔物联科技有限公司 一种基于深度学习的吊装过程危险识别方法及系统
CN111079722A (zh) * 2020-03-23 2020-04-28 杭州鲁尔物联科技有限公司 一种吊装过程人员安全监测方法及系统
CN112194011A (zh) * 2020-08-31 2021-01-08 南京理工大学 一种基于双目视觉的塔吊自动装载方法
CN112232185A (zh) * 2020-10-14 2021-01-15 周美跃 一种基于计算机视觉的楼盘吊车作业防意外辅助系统
CN112551400A (zh) * 2020-12-10 2021-03-26 中国建筑第五工程局有限公司 一种基于单目视觉检测的塔吊起重臂形变检测系统
WO2021208273A1 (zh) * 2020-04-16 2021-10-21 中联重科股份有限公司 用于识别状态参数的系统、吊装定位系统及吊装设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059665A (zh) * 2019-04-28 2019-07-26 天津港国际物流发展有限公司 一种基于机器视觉的人机安全智能防撞预警系统
CN111062373A (zh) * 2020-03-18 2020-04-24 杭州鲁尔物联科技有限公司 一种基于深度学习的吊装过程危险识别方法及系统
CN111079722A (zh) * 2020-03-23 2020-04-28 杭州鲁尔物联科技有限公司 一种吊装过程人员安全监测方法及系统
WO2021208273A1 (zh) * 2020-04-16 2021-10-21 中联重科股份有限公司 用于识别状态参数的系统、吊装定位系统及吊装设备
CN112194011A (zh) * 2020-08-31 2021-01-08 南京理工大学 一种基于双目视觉的塔吊自动装载方法
CN112232185A (zh) * 2020-10-14 2021-01-15 周美跃 一种基于计算机视觉的楼盘吊车作业防意外辅助系统
CN112551400A (zh) * 2020-12-10 2021-03-26 中国建筑第五工程局有限公司 一种基于单目视觉检测的塔吊起重臂形变检测系统

Also Published As

Publication number Publication date
CN114120583B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
EP4056518B1 (en) Crane hook positioning method, apparatus and system, and engineereing machinery
CN112528721B (zh) 一种桥吊集卡安全定位方法和系统
CN113376654A (zh) 基于三维激光的集卡防砸检测方法、装置和计算机设备
JP6342705B2 (ja) 作業機用ブーム衝突回避装置
CN105893940B (zh) 基于边缘检测的集装箱起吊防撞定准系统的实现方法
JP2012223831A (ja) 衝突回避装置
Yang et al. Vision-based crane tracking for understanding construction activity
CN113860178B (zh) 一种塔式起重机吊装物体识别及碰撞信息测量系统及方法
CN202562477U (zh) 集装箱码头堆场集装箱危险堆存方式检测装置
CN115351785A (zh) 一种移动机器人立体防护方法、系统及存储介质
CN111879308A (zh) 一种基于位姿感知技术的智能塔机安全监控系统及实现方法
CN114758333B (zh) 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN114120583A (zh) 一种基于机器视觉的行车安全预警装置
CN109752726A (zh) 一种集装箱姿态检测装置和方法
CN117023394A (zh) 基于计算机视觉的起重机安全控制系统
CN114506781A (zh) 一种智能遥控塔机安全监控系统
CN117115249A (zh) 一种集装箱锁孔自动识别定位系统及方法
CN207611140U (zh) 一种测量前方车辆距离的装置
CN112883789A (zh) 一种基于激光视觉融合和深度学习的防打保龄方法、系统
CN115215221A (zh) 塔式起重机及其控制方法、控制装置和控制器
CN112580517A (zh) 集卡车头防砸保护系统及方法、计算机存储介质、龙门吊
CN116665440B (zh) 一种高速公路行车间距测量方法、系统及设备
CN113469115B (zh) 用于输出信息的方法和装置
CN108268857A (zh) 查处违章的巡查移动车
CN116281636B (zh) 一种群塔作业防碰撞方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant