CN116980571A - 防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法 - Google Patents

防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法 Download PDF

Info

Publication number
CN116980571A
CN116980571A CN202311234919.2A CN202311234919A CN116980571A CN 116980571 A CN116980571 A CN 116980571A CN 202311234919 A CN202311234919 A CN 202311234919A CN 116980571 A CN116980571 A CN 116980571A
Authority
CN
China
Prior art keywords
ranging device
uwb
uwb ranging
collision risk
bucket
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311234919.2A
Other languages
English (en)
Other versions
CN116980571B (zh
Inventor
马鑫
马刚
马钰添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anshan Red Shield Safety Alarm Equipment Co ltd
Suzhou Riste Intelligent Manufacturing Co ltd
Original Assignee
Anshan Red Shield Safety Alarm Equipment Co ltd
Suzhou Riste Intelligent Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anshan Red Shield Safety Alarm Equipment Co ltd, Suzhou Riste Intelligent Manufacturing Co ltd filed Critical Anshan Red Shield Safety Alarm Equipment Co ltd
Priority to CN202311234919.2A priority Critical patent/CN116980571B/zh
Publication of CN116980571A publication Critical patent/CN116980571A/zh
Application granted granted Critical
Publication of CN116980571B publication Critical patent/CN116980571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G65/00—Loading or unloading
    • B65G65/005—Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G65/00—Loading or unloading
    • B65G65/02—Loading or unloading machines comprising essentially a conveyor for moving the loads associated with a device for picking-up the loads
    • B65G65/16—Loading or unloading machines comprising essentially a conveyor for moving the loads associated with a device for picking-up the loads with rotary pick-up conveyors
    • B65G65/20—Paddle wheels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法，防碰撞方法包括：在斗轮堆取料机上安装第一UWB测距装置、显示装置，并在其不同方位安装多个用于采集环境图像信息的摄像机，显示装置显示各个摄像机拍摄的画面；在碰撞风险对象上安装第二UWB测距装置；利用AI视频识别模块对摄像机采集到的环境图像进行识别；若两个UWB测距装置的间距小于第一距离阈值，或者识别到环境图像中出现碰撞风险对象，则触发一报警装置发出警示信号，并在显示装置上对被识别到存在碰撞风险对象的画面进行标识。本发明结合UWB测距及AI视频识别技术实现双重互补，并利用在出现风险的视频画面中进行标识作为可视化辅助手段。

Description

防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法
技术领域
本发明涉及重工机械安全控制领域，尤其涉及一种防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法。
背景技术
港口斗轮机是完成固态粉状、碎块状矿料或者化学原料提高运送效率的大型装备，其驾驶室位于距地几十米的高度，而且拉杆、斗轮长臂等机体部位对驾驶员造成视线遮挡，因此驾驶室内工作的司机视觉看到的料场地面上运行的堆料铲车非常小或者容易出现在视觉盲区。
在司机操作过程中，长臂末端的斗轮在长臂带动下，在料场区域内可以臂动式在轨道两侧移动及上下移动，容易在视觉盲区或者是司机工作视觉疲劳期间发生撞翻铲车而造成重大安全生产事故问题，此为港口安全生产中安全隐患类型之一；
常规的测距防撞技术会采用激光或红外传感器来检测与障碍物的距离，精度可以达到毫米级别，精密的传感器使得成本较大。
而在庞大的斗轮机与较小的铲车之间设置安全距离时，不需要达到厘米级以内的精度，只要求达到10cm-30cm距离即可报警，并且，露天场景环境作业存在可见光线干扰、潮湿、盐雾等因素影响，这种场景下采用激光和红外线测距防撞的方式容易造成错误的监测结果。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的是提供一种双重互补的斗轮堆取料机防碰撞解决方案，并且将碰撞危机进行可视化显示，让驾驶员直观地了解碰撞风险的方位，有利于其作出避让操作。
为达到上述目的，本发明采用的技术方案如下：
一种基于UWB和AI的斗轮堆取料机防碰撞系统，用于预防斗轮堆取料机与碰撞风险对象发生碰撞，所述防碰撞系统包括以下模块：
第一UWB测距装置，其被配置为安装在所述斗轮堆取料机上；
能够与所述第一UWB测距装置通信的第二UWB测距装置，其被配置为安装在碰撞风险对象上；
多个摄像机，其被配置为分别安装在所述斗轮堆取料机的不同方位，用于采集其所处的环境图像信息；
AI视频识别模块，其被配置为至少采用两种不同的算法对所述摄像机采集到的环境图像进行识别；
显示装置，其被配置为显示各个摄像机拍摄的画面，且基于所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象的情况下，该环境图像对应的画面被标识；
报警装置，其被配置为响应于满足以下任一条件时发出警示信号：所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，或者，所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述AI视频识别模块采用的算法包括图片相似度算法和细粒度算法，其中，所述图片相似度算法采用将分类阈值设置为环境图像中出现碰撞风险对象的相似度小于80%所对应的阈值；
仅在所述图片相似度算法的计算结果大于所述分类阈值的情况下，所述细粒度算法被调用，所述细粒度算法利用预先训练好的神经网络模型识别环境图像中是否出现碰撞风险对象。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述AI视频识别模块采用的算法还包括干预算法；
仅在所述细粒度算法识别到环境图像中出现碰撞风险对象的情况下，所述干预算法被调用，以执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；
提取该风险区域的图像内容，并进行预处理，以生成待比对图像；
将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；
若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块输出环境图像中出现碰撞风险对象的识别结果，以触发所述报警装置。
进一步地，承前所述的任一技术方案或多个技术方案的组合，生成待比对图像的步骤包括：
识别所述风险区域内的碰撞风险对象的外轮廓线；
根据所述外轮廓线生成面积最小的外切矩形；
从环境图像中截取该面积最小的外切矩形部分的图像；
将截取得到的图像进行等比例缩放至所述模板图像的尺寸。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述细粒度算法利用的神经网络模型为int 8数据类型的参数结构的神经网络模型。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述环境图像对应的画面被标识的操作包括框出该画面中的碰撞风险对象、在该画面中添加警示符号、放大该画面在显示装置上的显示比例中的一种或多种。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述报警装置为以下配置中的一种或多种：
所述报警装置为安装在所述斗轮堆取料机上的声报警器和/或光报警器；
所述报警装置为安装在所述碰撞风险对象上的声报警器和/或光报警器；
所述报警装置为安装在所述斗轮堆取料机和碰撞风险对象外部的声报警器和/或光报警器。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述显示装置安装在所述斗轮堆取料机的驾驶室内；
和/或，所述第一UWB测距装置为UWB基站，所述第二UWB测距装置为UWB标签；
和/或，所述第一UWB测距装置为UWB标签，所述第二UWB测距装置为UWB基站。
进一步地，承前所述的任一技术方案或多个技术方案的组合，基于UWB和AI的斗轮堆取料机防碰撞系统还包括车辆控制器，其被配置为接收所述第一UWB测距装置与第二UWB测距装置之间的距离测量结果，及所述AI视频识别模块的识别结果；
若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，且在t1时刻后经历预设时长的t2时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第二距离阈值，则所述车辆控制器控制所述斗轮堆取料机和/或碰撞风险对象执行制动操作。
进一步地，承前所述的任一技术方案或多个技术方案的组合，基于UWB和AI的斗轮堆取料机防碰撞系统还包括数据处理模块，其被配置为记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；
根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置，若在该所在位置处的第一UWB测距装置和第二UWB测距装置之间的距离小于预设的第三距离阈值，则触发所述报警装置发出警示信号。
另一方面，提供了一种防与碰撞风险对象发生碰撞的斗轮堆取料机，所述斗轮堆取料机上安装有第一UWB测距装置，其被配置为与安装在碰撞风险对象上的第二UWB测距装置通信；
所述斗轮堆取料机上不同方位安装有摄像机，其被配置为采集其所处的环境图像信息；
所述斗轮堆取料机还包括AI视频识别模块、显示装置和报警装置，其中所述AI视频识别模块被配置为至少采用两种不同的算法对所述摄像机采集到的环境图像进行识别；所述显示装置被配置为显示各个摄像机拍摄的画面，并根据所述AI视频识别模块的识别结果对相应的画面进行标识；
若满足以下任一条件：所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，或者，所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，则触发所述报警装置发出警示信号。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述AI视频识别模块采用的算法包括图片相似度算法、细粒度算法及干预算法，其中，所述图片相似度算法采用将分类阈值设置为环境图像中出现碰撞风险对象的相似度小于80%所对应的阈值；
仅在所述图片相似度算法的计算结果大于所述分类阈值的情况下，所述细粒度算法被调用，所述细粒度算法利用预先训练好的神经网络模型识别环境图像中是否出现碰撞风险对象；
仅在所述细粒度算法识别到环境图像中出现碰撞风险对象的情况下，所述干预算法被调用，以执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；提取该风险区域的图像内容，并进行预处理，以生成待比对图像；将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块输出环境图像中出现碰撞风险对象的识别结果，进而所述报警装置被触发，同时所述显示装置上被识别到存在碰撞风险对象的画面被标识，其中，被标识的操作包括框出该画面中的碰撞风险对象、在该画面中添加警示符号、放大该画面在显示装置上的显示比例中的一种或多种。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述斗轮堆取料机还包括控制器，其被配置为接收所述第一UWB测距装置与第二UWB测距装置之间的距离测量结果、所述AI视频识别模块的识别结果；若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，且在t1时刻后经历预设时长的t2时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第二距离阈值，则所述控制器控制所述斗轮堆取料机执行制动操作；
或者，所述控制器被配置为记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置，若在该所在位置处的第一UWB测距装置和第二UWB测距装置之间的距离小于预设的第三距离阈值，则所述控制器触发所述报警装置发出警示信号。
再一方面，本发明提供了一种基于UWB和AI的斗轮堆取料机防碰撞方法，用于预防斗轮堆取料机与碰撞风险对象发生碰撞，所述防碰撞方法包括以下步骤：
在斗轮堆取料机上安装第一UWB测距装置、显示装置，并在其不同方位安装多个用于采集环境图像信息的摄像机，其中，所述显示装置被配置为显示各个摄像机拍摄的画面；
在碰撞风险对象上安装能够与所述第一UWB测距装置通信的第二UWB测距装置；并利用AI视频识别模块对所述摄像机采集到的环境图像进行识别；
若所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，或者所述AI视频识别模块识别到环境图像中出现碰撞风险对象，则触发一报警装置发出警示信号；
所述AI视频识别模块对环境图像进行识别的步骤包括：
采用图片相似度算法计算环境图像中出现碰撞风险对象的相似度，若相似度小于80%，则AI视频识别模块识别到环境图像中未出现碰撞风险对象；
若相似度达到80%，则利用预先训练好的int 8数据类型的参数结构的神经网络模型识别环境图像中是否出现碰撞风险对象；若所述神经网络模型识别到环境图像中未出现碰撞风险对象，则AI视频识别模块识别到环境图像中未出现碰撞风险对象；否则采用干预算法来执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；
提取该风险区域的图像内容，并进行预处理，以生成待比对图像；
将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；若比对失败，则所述AI视频识别模块识别到环境图像中未出现碰撞风险对象；
若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块识别到环境图像中出现碰撞风险对象，同时在所述显示装置上对被识别到存在碰撞风险对象的画面进行标识。
进一步地，承前所述的任一技术方案或多个技术方案的组合，若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，则等待预设的时长后，判断所述第一UWB测距装置与第二UWB测距装置之间距离是否小于预设的第二距离阈值，若是，则控制所述斗轮堆取料机和/或碰撞风险对象执行制动操作。
进一步地，承前所述的任一技术方案或多个技术方案的组合，基于UWB和AI的斗轮堆取料机防碰撞方法还包括：
记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；
根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置；
若在该所在位置处的第一UWB测距装置和第二UWB测距装置之间的距离小于预设的第三距离阈值，则触发所述报警装置发出警示信号。
本发明提供的技术方案带来的有益效果如下：
a. 相比于仅采用UWB测距的方式，本发明结合测距加AI视频识别技术，能够实现双重互补，防止漏检；
b. UWB测距的方式只能解决相对的距离问题，无法判别碰撞风险的方位，相比于这种方式，本发明利用显示装置将视频画面上出线风险的画面进行标识，使得驾驶员通过此画面辅助安全操作，减少驾驶员的不确定性和心理负担，有利于作出合理的避让操作。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一个示例性实施例提供的基于UWB和AI的斗轮堆取料机防碰撞系统示意框图；
图2为本发明的一个示例性实施例提供的基于UWB和AI的斗轮堆取料机防碰撞方法的流程图；
图3为本发明的一个示例性实施例提供的AI视频识别模块识别环境图像的流程图；
图4为本发明的一个示例性实施例提供的显示装置显示四个处于无碰撞风险的画面的示意图；
图5为图4的四个画面的其中一个出现碰撞风险后的显示装置的界面显示示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本发明的一个实施例中，提供了一种基于UWB和AI的斗轮堆取料机防碰撞系统，用于预防斗轮堆取料机与碰撞风险对象发生碰撞，参见图1，所述防碰撞系统包括第一UWB测距装置、第二UWB测距装置、摄像机、AI视频识别模块、显示装置和报警装置，其中，第一UWB测距装置与第二UWB测距装置可以相互通信以得到测距结果，本实施例中，第一UWB测距装置可以为UWB基站，其设置在斗轮堆取料机上；第二UWB测距装置可以同样为UWB基站，也可以为UWB标签，其设置在碰撞风险对象上，若碰撞风险对象有多个，则在各个碰撞风险对象上一一对应设置第二UWB测距装置来与斗轮堆取料机上的UWB基站通信。以上仅为一种实施例，在另一种实施例中，还可以第一UWB测距装置为UWB标签，所述第二UWB测距装置为UWB基站。
摄像机的数量可以为多个，比如设置四个摄像机，分别安装在所述斗轮堆取料机的斗轮（或者连接斗轮的长臂）前侧、后侧、左侧、右侧，以拍摄斗轮的四周的环境图像；甚至还可以增加设置上侧和下侧的摄像机。
所述AI视频识别模块至少采用两种不同的算法对所述摄像机采集到的环境图像进行识别，具体的识别步骤在下文详述；显示装置，其被配置为显示各个摄像机拍摄的画面，且基于所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象的情况下，该环境图像对应的画面被标识；
本实施例通过以下规则来确保预防斗轮堆取料机与碰撞风险对象发生碰撞的效果：
满足以下任一条件时报警装置就会发出警示信号：
条件1：第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，比如10至20公分；
条件2：AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象。
测距装置与AI识别两种检测手段相互补充，防止漏检。通过自建工业级UWB基站和标签形成局域区域基站信号收发，避免港口盐雾、潮湿等环境因素造成远程信号不稳定、不可靠的问题。其中，报警装置可以安装在斗轮堆取料机上，还可以安装在碰撞风险对象上，也可以安装在两者所处的场所内，报警装置可以为声报警器和/或光报警器。
并且很重要的一点是，当识别到摄像机采集的环境图像中出现碰撞风险对象的情况下，显示装置上环境图像对应的画面被标识，被标识的操作包括框出该画面中的碰撞风险对象、在该画面中添加警示符号、放大该画面在显示装置上的显示比例中的一种或多种。有了作出标识的视频画面作为辅助，能够向驾驶员更加直观地呈现问题，让驾驶员做到心中有数、眼中有物，减少心中的不确定性和心理负担，以及根据视频画面可以确定碰撞风险的方位，从而作出合理的避让操作，防止碰撞事故发生，这对安全隐患事故距离防范更加适度安全有效，对复杂及恶劣的港口环境适配性更强。本实施例中，显示装置安装在所述斗轮堆取料机的驾驶室内，如图4所示，当环境图像中未出现碰撞风险对象，则显示装置上显示四个画面1至画面4，供驾驶员观察前后左右的环境。假如识别到环境图像的画面2中出现碰撞风险对象，则如图5所示可以将画面2放大，并可以在其中碰撞风险对象所在的局部区域被表示框线，还可以在该画面中添加警示标记。
通过声光信号报警，驾驶员可以第一时间被提醒出现碰撞风险，驾驶员通过查看显示装置上的画面，可以快速获取到风险所在的方位，比如看到图5所示的显示状态，驾驶员可以快速判定是斗轮堆取料机的后方有碰撞风险对象逼近，帮助驾驶员作出加速向前的驾驶策略。
在本发明的一个实施例中，防碰撞系统还包括车辆控制器，其被配置为接收所述第一UWB测距装置与第二UWB测距装置之间的距离测量结果，及所述AI视频识别模块的识别结果；
若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，如上文所述，将触发报警装置发出警示信号，以警示驾驶员注意避让；
本实施例中进一步对发出警示信号之后的斗轮堆取料机的防碰撞继续做出监控：自t1时刻起等待预设的时长，即到t2时刻，若所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第二距离阈值，则车辆控制器控制所述斗轮堆取料机和/或碰撞风险对象执行紧急制动操作。本实施例并不限定第一距离阈值与第二距离阈值的大小关系。
在本发明的一个实施例中，防碰撞系统还包括数据处理模块，其被配置为记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；
根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置，最简单的一种预估方式即计算运动速度与△t时长的乘积作为运动距离，并在当前运动轨迹的末端作切线，以该末端为起点、沿着运动轨迹的切线方向，间隔计算得到的运动距离以确定预估的运动终点。
即预估经历△t时长后第一UWB测距装置到达的终点为P1，预估第二UWB测距装置到达的终点为P2，若P1与P2之间的距离小于预设的第三距离阈值，则触发所述报警装置发出警示信号。利用本实施例中数据处理模块的预估运动路径的功能，可以提前预判斗轮堆取料机与碰撞风险对象之间的碰撞风险，以提前警示驾驶员，本实施例中，此情况下的警示信号可以不同于第一UWB测距装置与第二UWB测距装置间距小于第一距离阈值情况下的警示信号，后者可以表现得紧急一些，前者可以表现得稍缓和，比如可以语音播报“请注意，3秒钟之后可能会进入非安全距离范围”。
在本发明的一个实施例中，可以集成上述实施例中车辆控制器和数据处理模块为一个控制模块，既能够提前预测风险，又能够在进入非安全距离范围后作后续风险追踪。
上文所述的AI视频识别模块至少采用两种不同的算法对所述摄像机采集到的环境图像进行识别，具体说明如下：
在一个实施例中，AI视频识别模块采用的算法包括图片相似度算法和细粒度算法，其中，所述图片相似度算法采用将分类阈值设置为环境图像中出现碰撞风险对象的相似度小于80%所对应的阈值；
仅在所述图片相似度算法的计算结果大于所述分类阈值的情况下，所述细粒度算法被调用，所述细粒度算法利用预先训练好的int 8数据类型的参数结构的神经网络模型识别环境图像中是否出现碰撞风险对象。
在一个进一步具体的实施例中，如图3所示，除了图片相似度算法和细粒度算法，AI视频识别模块还采用干预算法，仅在所述细粒度算法识别到环境图像中出现碰撞风险对象的情况下，所述干预算法被调用，以执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；
提取该风险区域的图像内容，并进行预处理，以生成待比对图像；
将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；
若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块输出环境图像中出现碰撞风险对象的识别结果，以触发所述报警装置。
其中，生成待比对图像的步骤包括：
识别所述风险区域内的碰撞风险对象的外轮廓线；
根据所述外轮廓线生成面积最小的外切矩形；
从环境图像中截取该面积最小的外切矩形部分的图像；
将截取得到的图像进行等比例缩放至所述模板图像的尺寸。
在本发明的一个实施例中，提供了一种防与碰撞风险对象发生碰撞的斗轮堆取料机，如图1所示，所述斗轮堆取料机上安装有第一UWB测距装置，其被配置为与安装在碰撞风险对象上的第二UWB测距装置通信；
所述斗轮堆取料机上不同方位安装有摄像机，其被配置为采集其所处的环境图像信息；
所述斗轮堆取料机还包括AI视频识别模块、显示装置和报警装置，其中所述AI视频识别模块被配置为至少采用两种不同的算法对所述摄像机采集到的环境图像进行识别；所述显示装置被配置为显示各个摄像机拍摄的画面，并根据所述AI视频识别模块的识别结果对相应的画面进行标识；
若满足以下任一条件：所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，或者，所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，则触发所述报警装置发出警示信号。
其中，所述AI视频识别模块采用的算法包括图片相似度算法、细粒度算法及干预算法，如图3所示，所述图片相似度算法采用将分类阈值设置为环境图像中出现碰撞风险对象的相似度小于80%所对应的阈值；
仅在所述图片相似度算法的计算结果大于所述分类阈值的情况下，所述细粒度算法被调用，所述细粒度算法利用预先训练好的神经网络模型识别环境图像中是否出现碰撞风险对象；
仅在所述细粒度算法识别到环境图像中出现碰撞风险对象的情况下，所述干预算法被调用，以执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；提取该风险区域的图像内容，并进行预处理，以生成待比对图像；将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块输出环境图像中出现碰撞风险对象的识别结果，进而所述报警装置被触发，同时所述显示装置上被识别到存在碰撞风险对象的画面被标识，其中，被标识的操作包括框出该画面中的碰撞风险对象、在该画面中添加警示符号、放大该画面在显示装置上的显示比例中的一种或多种。
进一步地，承前所述的任一技术方案或多个技术方案的组合，所述斗轮堆取料机还包括控制器，其被配置为接收所述第一UWB测距装置与第二UWB测距装置之间的距离测量结果、所述AI视频识别模块的识别结果；若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，且在t1时刻后经历预设时长的t2时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第二距离阈值，则所述控制器控制所述斗轮堆取料机执行制动操作；
或者，所述控制器被配置为记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置，若在该所在位置处的第一UWB测距装置和第二UWB测距装置之间的距离小于预设的第三距离阈值，则所述控制器触发所述报警装置发出警示信号。
本实施例提供的斗轮堆取料机与上述实施例提供的基于UWB和AI的斗轮堆取料机防碰撞系统属于相同的发明构思，在此通过引用的方式将系统实施例的全文内容并入本斗轮堆取料机实施例中。
在本发明的一个实施例中，提供了一种基于UWB和AI的斗轮堆取料机防碰撞方法，用于预防斗轮堆取料机与碰撞风险对象发生碰撞，如图2所示，防碰撞方法包括以下步骤：
在斗轮堆取料机上安装第一UWB测距装置、显示装置，并在其不同方位安装多个用于采集环境图像信息的摄像机，其中，所述显示装置被配置为显示各个摄像机拍摄的画面；
在碰撞风险对象上安装能够与所述第一UWB测距装置通信的第二UWB测距装置；并利用AI视频识别模块对所述摄像机采集到的环境图像进行识别；
若所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，或者所述AI视频识别模块识别到环境图像中出现碰撞风险对象，则触发一报警装置发出警示信号；
所述AI视频识别模块对环境图像进行识别的步骤包括：
采用图片相似度算法计算环境图像中出现碰撞风险对象的相似度，若相似度小于80%，则AI视频识别模块识别到环境图像中未出现碰撞风险对象；
若相似度达到80%，则利用预先训练好的int 8数据类型的参数结构的神经网络模型识别环境图像中是否出现碰撞风险对象；若所述神经网络模型识别到环境图像中未出现碰撞风险对象，则AI视频识别模块识别到环境图像中未出现碰撞风险对象；否则采用干预算法来执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；
提取该风险区域的图像内容，并进行预处理，以生成待比对图像；
将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；若比对失败，则所述AI视频识别模块识别到环境图像中未出现碰撞风险对象；
若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块识别到环境图像中出现碰撞风险对象，同时在所述显示装置上对被识别到存在碰撞风险对象的画面进行标识。
继续参见图2，若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，则等待预设的时长后，判断所述第一UWB测距装置与第二UWB测距装置之间距离是否小于预设的第二距离阈值，若是，则控制所述斗轮堆取料机和/或碰撞风险对象执行制动操作。
基于UWB和AI的斗轮堆取料机防碰撞方法还包括预先预测碰撞风险：
记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；
根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置；
若在该所在位置处的第一UWB测距装置和第二UWB测距装置之间的距离小于预设的第三距离阈值，则触发所述报警装置发出警示信号。
本实施例提供的基于UWB和AI的斗轮堆取料机防碰撞方法与上述实施例提供的基于UWB和AI的斗轮堆取料机防碰撞系统属于相同的发明构思，在此通过引用的方式将系统实施例的全文内容并入本方法实施例中。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (16)

1.一种基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，用于预防斗轮堆取料机与碰撞风险对象发生碰撞，所述防碰撞系统包括以下模块：
第一UWB测距装置，其被配置为安装在所述斗轮堆取料机上；
能够与所述第一UWB测距装置通信的第二UWB测距装置，其被配置为安装在碰撞风险对象上；
多个摄像机，其被配置为分别安装在所述斗轮堆取料机的不同方位，用于采集其所处的环境图像信息；
AI视频识别模块，其被配置为至少采用两种不同的算法对所述摄像机采集到的环境图像进行识别；
显示装置，其被配置为显示各个摄像机拍摄的画面，且基于所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象的情况下，该环境图像对应的画面被标识；
报警装置，其被配置为响应于满足以下任一条件时发出警示信号：所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，或者，所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象。
2.根据权利要求1所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，所述AI视频识别模块采用的算法包括图片相似度算法和细粒度算法，其中，所述图片相似度算法采用将分类阈值设置为环境图像中出现碰撞风险对象的相似度小于80%所对应的阈值；
仅在所述图片相似度算法的计算结果大于所述分类阈值的情况下，所述细粒度算法被调用，所述细粒度算法利用预先训练好的神经网络模型识别环境图像中是否出现碰撞风险对象。
3.根据权利要求2所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，所述AI视频识别模块采用的算法还包括干预算法；
仅在所述细粒度算法识别到环境图像中出现碰撞风险对象的情况下，所述干预算法被调用，以执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；
提取该风险区域的图像内容，并进行预处理，以生成待比对图像；
将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；
若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块输出环境图像中出现碰撞风险对象的识别结果，以触发所述报警装置。
4.根据权利要求3所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，生成待比对图像的步骤包括：
识别所述风险区域内的碰撞风险对象的外轮廓线；
根据所述外轮廓线生成面积最小的外切矩形；
从环境图像中截取该面积最小的外切矩形部分的图像；
将截取得到的图像进行等比例缩放至所述模板图像的尺寸。
5.根据权利要求2所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，所述细粒度算法利用的神经网络模型为int 8数据类型的参数结构的神经网络模型。
6.根据权利要求1所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，所述环境图像对应的画面被标识的操作包括框出该画面中的碰撞风险对象、在该画面中添加警示符号、放大该画面在显示装置上的显示比例中的一种或多种。
7.根据权利要求1所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，所述报警装置为以下配置中的一种或多种：
所述报警装置为安装在所述斗轮堆取料机上的声报警器和/或光报警器；
所述报警装置为安装在所述碰撞风险对象上的声报警器和/或光报警器；
所述报警装置为安装在所述斗轮堆取料机和碰撞风险对象外部的声报警器和/或光报警器。
8.根据权利要求1所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，所述显示装置安装在所述斗轮堆取料机的驾驶室内；
和/或，所述第一UWB测距装置为UWB基站，所述第二UWB测距装置为UWB标签；
和/或，所述第一UWB测距装置为UWB标签，所述第二UWB测距装置为UWB基站。
9.根据权利要求1至8中任一项所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，还包括车辆控制器，其被配置为接收所述第一UWB测距装置与第二UWB测距装置之间的距离测量结果，及所述AI视频识别模块的识别结果；
若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，且在t1时刻后经历预设时长的t2时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第二距离阈值，则所述车辆控制器控制所述斗轮堆取料机和/或碰撞风险对象执行制动操作。
10.根据权利要求1至8中任一项所述的基于UWB和AI的斗轮堆取料机防碰撞系统，其特征在于，还包括数据处理模块，其被配置为记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；
根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置，若在该所在位置处的第一UWB测距装置和第二UWB测距装置之间的距离小于预设的第三距离阈值，则触发所述报警装置发出警示信号。
11.一种防与碰撞风险对象发生碰撞的斗轮堆取料机，其特征在于，所述斗轮堆取料机上安装有第一UWB测距装置，其被配置为与安装在碰撞风险对象上的第二UWB测距装置通信；
所述斗轮堆取料机上不同方位安装有摄像机，其被配置为采集其所处的环境图像信息；
所述斗轮堆取料机还包括AI视频识别模块、显示装置和报警装置，其中所述AI视频识别模块被配置为至少采用两种不同的算法对所述摄像机采集到的环境图像进行识别；所述显示装置被配置为显示各个摄像机拍摄的画面，并根据所述AI视频识别模块的识别结果对相应的画面进行标识；
若满足以下任一条件：所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，或者，所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，则触发所述报警装置发出警示信号。
12.根据权利要求11所述的斗轮堆取料机，其特征在于，所述AI视频识别模块采用的算法包括图片相似度算法、细粒度算法及干预算法，其中，所述图片相似度算法采用将分类阈值设置为环境图像中出现碰撞风险对象的相似度小于80%所对应的阈值；
仅在所述图片相似度算法的计算结果大于所述分类阈值的情况下，所述细粒度算法被调用，所述细粒度算法利用预先训练好的神经网络模型识别环境图像中是否出现碰撞风险对象；
仅在所述细粒度算法识别到环境图像中出现碰撞风险对象的情况下，所述干预算法被调用，以执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；提取该风险区域的图像内容，并进行预处理，以生成待比对图像；将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块输出环境图像中出现碰撞风险对象的识别结果，进而所述报警装置被触发，同时所述显示装置上被识别到存在碰撞风险对象的画面被标识，其中，被标识的操作包括框出该画面中的碰撞风险对象、在该画面中添加警示符号、放大该画面在显示装置上的显示比例中的一种或多种。
13.根据权利要求11所述的斗轮堆取料机，其特征在于，还包括控制器，其被配置为接收所述第一UWB测距装置与第二UWB测距装置之间的距离测量结果、所述AI视频识别模块的识别结果；若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，且在t1时刻后经历预设时长的t2时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第二距离阈值，则所述控制器控制所述斗轮堆取料机执行制动操作；
或者，所述控制器被配置为记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置，若在该所在位置处的第一UWB测距装置和第二UWB测距装置之间的距离小于预设的第三距离阈值，则所述控制器触发所述报警装置发出警示信号。
14.一种基于UWB和AI的斗轮堆取料机防碰撞方法，其特征在于，用于预防斗轮堆取料机与碰撞风险对象发生碰撞，所述防碰撞方法包括以下步骤：
在斗轮堆取料机上安装第一UWB测距装置、显示装置，并在其不同方位安装多个用于采集环境图像信息的摄像机，其中，所述显示装置被配置为显示各个摄像机拍摄的画面；
在碰撞风险对象上安装能够与所述第一UWB测距装置通信的第二UWB测距装置；并利用AI视频识别模块对所述摄像机采集到的环境图像进行识别；
若所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值，或者所述AI视频识别模块识别到环境图像中出现碰撞风险对象，则触发一报警装置发出警示信号；
所述AI视频识别模块对环境图像进行识别的步骤包括：
采用图片相似度算法计算环境图像中出现碰撞风险对象的相似度，若相似度小于80%，则AI视频识别模块识别到环境图像中未出现碰撞风险对象；
若相似度达到80%，则利用预先训练好的int 8数据类型的参数结构的神经网络模型识别环境图像中是否出现碰撞风险对象；若所述神经网络模型识别到环境图像中未出现碰撞风险对象，则AI视频识别模块识别到环境图像中未出现碰撞风险对象；否则采用干预算法来执行以下步骤：
对该环境图像进行内容识别，将识别到的碰撞风险对象的所在区域定义为风险区域；
提取该风险区域的图像内容，并进行预处理，以生成待比对图像；
将所述待比对图像与预存储的多个模板图像进行比对，其中，所述模板图像为预采集的各种碰撞风险对象在各种角度下的图像；若比对失败，则所述AI视频识别模块识别到环境图像中未出现碰撞风险对象；
若比对得到与所述待比对图像相匹配的模板图像，则所述AI视频识别模块识别到环境图像中出现碰撞风险对象，同时在所述显示装置上对被识别到存在碰撞风险对象的画面进行标识。
15.根据权利要求14所述的基于UWB和AI的斗轮堆取料机防碰撞方法，其特征在于，若在t1时刻满足所述第一UWB测距装置与第二UWB测距装置之间距离小于预设的第一距离阈值或者所述AI视频识别模块识别到摄像机采集的环境图像中出现碰撞风险对象，则等待预设的时长后，判断所述第一UWB测距装置与第二UWB测距装置之间距离是否小于预设的第二距离阈值，若是，则控制所述斗轮堆取料机和/或碰撞风险对象执行制动操作。
16.根据权利要求14所述的基于UWB和AI的斗轮堆取料机防碰撞方法，其特征在于，还包括：
记录第一UWB测距装置和第二UWB测距装置的实时位置，并分析得到其运动轨迹和运动速度；
根据所述运动轨迹和运动速度，预估在经历预设的△t时长后的第一UWB测距装置和第二UWB测距装置各自的所在位置；
若在该所在位置处的第一UWB测距装置和第二UWB测距装置之间的距离小于预设的第三距离阈值，则触发所述报警装置发出警示信号。
CN202311234919.2A 2023-09-25 2023-09-25 防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法 Active CN116980571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311234919.2A CN116980571B (zh) 2023-09-25 2023-09-25 防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311234919.2A CN116980571B (zh) 2023-09-25 2023-09-25 防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法

Publications (2)

Publication Number Publication Date
CN116980571A true CN116980571A (zh) 2023-10-31
CN116980571B CN116980571B (zh) 2023-12-19

Family

ID=88477132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311234919.2A Active CN116980571B (zh) 2023-09-25 2023-09-25 防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法

Country Status (1)

Country Link
CN (1) CN116980571B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008587A (zh) * 2019-11-29 2020-04-14 江西崇政科技有限公司 一种应用于机器人的基于深度学习智能化视觉识别系统
CN111599216A (zh) * 2020-05-18 2020-08-28 合肥杰代机电科技有限公司 一种基于图像识别和uwb标签的辅助驾驶方法、装置和系统
CN115775374A (zh) * 2022-11-23 2023-03-10 航天重型工程装备有限公司 矿区人员安全预警方法、装置及存储介质
CN116119385A (zh) * 2023-02-17 2023-05-16 济南祥控自动化设备有限公司 一种数字化煤场无人值守控制系统及其控制方法
CN116374841A (zh) * 2023-04-14 2023-07-04 郑州科沐智能科技有限公司 一种基于uwb无线脉冲和ai视频的防碰撞预警装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008587A (zh) * 2019-11-29 2020-04-14 江西崇政科技有限公司 一种应用于机器人的基于深度学习智能化视觉识别系统
CN111599216A (zh) * 2020-05-18 2020-08-28 合肥杰代机电科技有限公司 一种基于图像识别和uwb标签的辅助驾驶方法、装置和系统
CN115775374A (zh) * 2022-11-23 2023-03-10 航天重型工程装备有限公司 矿区人员安全预警方法、装置及存储介质
CN116119385A (zh) * 2023-02-17 2023-05-16 济南祥控自动化设备有限公司 一种数字化煤场无人值守控制系统及其控制方法
CN116374841A (zh) * 2023-04-14 2023-07-04 郑州科沐智能科技有限公司 一种基于uwb无线脉冲和ai视频的防碰撞预警装置

Also Published As

Publication number Publication date
CN116980571B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
US10332401B2 (en) Running vehicle alerting system and method
CN112885144B (zh) 一种施工作业区车辆撞入事件预警方法及系统
US9524643B2 (en) Orientation sensitive traffic collision warning system
CN110473402A (zh) 一种基于目标异常行为轨迹分析的异常事件检测预警系统
EP3594853A2 (en) Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
CN108091154A (zh) 车辆信息处理方法和装置
CN110126734A (zh) 一种针对于车辆视野盲区的防碰撞预警系统、设备及方法
CN112172663A (zh) 一种基于开车门的危险报警方法及相关设备
Ghahremannezhad et al. Real-time accident detection in traffic surveillance using deep learning
US11776383B1 (en) System and method for oncoming vehicle detection and alerts for a waste collection vehicle
CN109263557A (zh) 车辆盲区侦测方法
CN113484858A (zh) 一种入侵检测方法和系统
CN109389060A (zh) 一种基于视觉的车周碰撞预警方法
CN114582132B (zh) 一种基于机器视觉的车辆碰撞检测预警系统及方法
CN116980571B (zh) 防碰撞斗轮堆取料机及其防碰撞系统、防碰撞方法
KR102514660B1 (ko) 보차혼용도로에서의 보행자 사고 방지 방법 및 시스템
JP3949628B2 (ja) 車両の周辺監視装置
JPH10269492A (ja) 車両監視装置
KR20220110894A (ko) 안전사고 방지를 위한 에지컴퓨팅 기반 지능형 영상분석 시스템
JP2022176876A (ja) 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
CN113311443A (zh) 一种公交屏蔽门防夹检测方法及系统
CN113674311A (zh) 异常行为检测方法、装置、电子设备、存储介质
CN116163618A (zh) 车门控制方法、车门控制装置、车载终端、车辆及介质
CN113814979B (zh) 一种基于大数据智能机器人环境识别系统
Perez et al. Automatic safety video surveillance-tracking system to avoid vehicle-workers interaction for mining applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant