CN102799183A - 一种用于散货堆场的流动机械视觉防撞保护系统及防撞方法 - Google Patents

Abstract

本发明公开了一种用于散货堆场的流动机械视觉防撞保护系统和防撞方法，采用视觉技术检测流动机械，在流动机械顶部安装识别标志，通过安装在主设备上的摄像机采集堆场图像，根据图像中的识别标志检测流动机械的确切位置和方向，并动态计算防撞保护区域，当主设备与流动机械防撞保护区域发生干涉时，进行防撞保护控制，并且能在向流动机械发出警报的同时发出具体的避让指令，使其尽快离开。

Description

一种用于散货堆场的流动机械视觉防撞保护系统及防撞方法

技术领域

本发明属于流动机械防撞技术、尤其是涉及一种用于散货堆场的流动机械视觉防撞保护系统及防撞方法。

背景技术

散货堆场在进行装卸作业时，经常会采用大型设备和流动机械共同作业的情况。如取料机在贴近地面清堆作业时，采用推扒机将贴近地面的物料归聚，供取料机取料，或者用装载机将剩余物料装入卡车；再如门机在地面堆场作业时，采用卡车将物料运到堆场，推扒机将物料堆成料堆由门机抓取；或者门机在堆场上卸料形成料堆，由装载机将物料装入卡车。

为描述方便，下文把取料机、门机等大型设备统称为主设备；把推扒机、装载机、卡车等设备统称为流动机械。流动机械一般由人工操作，用于配合主设备作业，机动灵活但运动具有不确定性。当主设备和流动机械协同作业时，就需要考虑二者之间的防撞保护问题。

专利号为200420082442.2的实用新型提出了一种卸船机清舱安全预警的装置，在卸船机和清舱机上安装无线通讯装置，当卸船机抓斗下降进入船舱时，卸船机的PLC通过司机室上的无线装置发射出预警信号，清舱机上无线装置接收到预警信号后发出声光报警，提示清舱机司机避让，不能避让时按下紧急按钮向卸船机发出信号，卸船机司机室的无线装置接收到紧急信号发出声光报警，提醒卸船机司机停止下降。该装置只能为卸船机和清舱机司机提供预警，辅助人工操作，不能参与PLC控制，在卸船机控制软件中也没有流动机械的防撞联锁保护。并且该装置不能检测到清舱机的位置，每次抓斗下降都会发出报警，清舱机司机需要频繁响应警报，为避免可能的碰撞，所设置的关路区较大，安全区较小，影响作业效率。

申请号为200810201654.5的发明提出了一种卸船机自动防撞的系统和方法，在清舱机上安装一个超声波发射器，在卸船机司机室固定的位置安装两个超声波接收器，根据超声波的飞行时间来计算超声波发射器到两个接收器的距离差，根据三角形几何原理判断清舱机是在安全区域内还是在抓斗作业区域（关路区）内。当清舱机进入关区时，控制单元向卸船机PLC输出信号，控制抓斗减速，同时向清舱机驾驶员发出语音提示，提醒其避让，如清舱机没有避让，控制单元向卸船机PLC输出信号，控制抓斗停止。该发明根据超声波飞行时间来测量发射器到两个接收器之间的距离，但超声波发射器的位置的解不是唯一的，因此只能判断清舱机是否在安全区域内，不能提供其确切的位置信息。并且，由于超声波具有方向性，要求超声波接收器位于发射方向的一定范围之内。这使得上述专利只适合于卸船机清舱作业，因为桥式卸船机的司机室在作业时始终位于船舱的正上方，使得超声波接收器能够始终接收到发射信号。而门机或堆、取料机这类主设备在堆场作业时，主要靠回转机构在堆场和船舱或皮带之间来回运动，没有固定在作业区域上方的机构，没有合适的超声波接收器安装位置，使得接收器能始终接收到超声波发射器的信号。因此该专利不适用于门机或堆、取料机与流动机械的防撞保护。

由于没有清舱机确切的位置信息，因此上述两个专利都只能向清舱机发出避让警报或提示，而无法指示清舱机操作员向那个方向避让，使清舱机能快速准确地离开关区。

发明内容

本发明所要解决的技术问题是提供一种用于散货堆场的流动机械视觉防撞保护系统及防撞方法，能够确定流动机械的确切位置和方向，动态计算防撞保护区域，当主设备与流动机械防撞保护区域发生干涉时，进行防撞保护控制。

为了解决上述技术问题，本发明采用如下的技术方案：

一方面，一种用于散货堆场的流动机械视觉防撞保护系统，包括：

设于主设备上摄像装置，其视野覆盖主设备作业的堆场区域，以采集堆场图像；

设于流动机械的驾驶室顶部的带有方向指示的识别标志；

图像处理装置，接收摄像装置采集的图像，根据图像平面与堆场平面的对应关系，将识别标志在图像中的位置和方向映射为流动机械在堆场平面内的位置和方向；

主设备控制器，根据图像处理装置识别出的位置和方向，动态计算出防撞保护区域，并向主设备发出相应的主设备防撞保护控制指令。

另外，还包括设于流动机械上的报警装置和语音装置，通过无线通讯装置与主设备控制器相连，接收主设备控制器发出的移动指令和报警信号，向司机发出报警和语音提示。

所述识别标志由矩形A和矩形B组成，两个矩形有一个公共顶点，且矩形A和B大小有明显的区别；所述识别标志为采用浅色的反光涂料直接印制在流动机械顶部所形成的无源标志。

所述识别标志为采用有源发光体安装在流动机械顶部所形成的有源标志。

所述防撞保护区域包括由里到外的三层，分别为紧停保护区域、停止保护区、减速保护区。

另一方面，一种用于散货堆场的流动机械视觉防撞方法，包括：

在主设备上设置摄像装置，使其视野覆盖主设备作业的堆场区域，以采集堆场图像；

在流动机械的驾驶室顶部设置带有方向指示的识别标志；

建立图像处理装置，接收摄像装置采集的图像，根据图像平面与堆场平面的对应关系，将识别标志在图像中的位置和方向映射为流动机械在堆场平面内的位置和方向；

采用主设备的主设备控制器，根据图像处理装置识别出的位置和方向，动态计算出防撞保护区域，并向主设备发出相应的防撞保护控制指令。

另外，还可以在流动机械上设置报警装置和语音装置，通过无线通讯装置与主设备控制器相连，接收主设备控制器发出的移动指令和报警信号，向司机发出报警和语音提示。

所述识别标志由矩形A和矩形B组成，两个矩形有一个公共顶点，且矩形A和B大小有明显的区别；所述图像处理装置采用阈值处理、图像分割、边缘查找等图像处理方法从捕获的图像中识别出识别标志的两个矩形所对应的区域，分别计算两块矩形的图像面积，利用面积的大小区别出矩形A和矩形B，以矩形A的中心点R和矩形B的中心点S为特征点来进行定位；通过找出矩形A和矩形B在图像上的形心，根据形心的图像坐标，利用针孔摄像的原理确定R和S点在堆场中的位置；R点和S点的连线可以用来确定流动机械的方向。

所述防撞保护区域包括由里到外的三层，分别为紧停保护区域、停止保护区、减速保护区；所述发出相应的主设备防撞保护控制指令包括：

当主设备控制器判断有主设备的相关机构进入减速保护区域时，立即发出减速指令，使主设备按照预定的方式减速运行；当主设备控制器判断有主设备的相关机构进入停止保护区域时，立即发出停止指令，使主设备按照预定的方式停止运行；当主设备控制器判断有主设备的相关机构进入紧停保护区域时，立即发出紧停指令，使主设备立即停止运行。

所述发出的移动指令和报警信号，使得司机按指令控制流动机械快速准确地驶离与主设备运动干涉的区域。

采用本发明的用于散货堆场的流动机械视觉防撞保护系统及防撞方法，具有如下优点：

1、不仅可以确定流动机械在堆场中的位置，而且可以确定流动机械的运动方向；

2、根据检测出的流动机械位置和方向动态计算防撞保护区域，所计算的防撞保护区域随着流动机械的运动而变化，因此可以实现主设备的实时防撞保护；通过设计三层防撞保护区域以及相关的控制方法既能保证设备安全，又兼顾主设备和流动机械协同作业的需要；

3、当主设备的机构进入防撞保护区域时，主设备控制器不仅可以向流动机械发出警报，还可以根据检测到的流动机械方位和主设备的运动轨迹，向流动机械发出具体的移动指令，以语音的方式指示流动机械的司机进行避让，因此所提出的防撞保护系统可以实现主设备和流动机械的交互式协同作业。

附图说明

下面结合附图和具体实施方式本发明进行详细说明：

图1是本发明的摄像装置的视觉的原理图。

图2是本发明的识别标志的结构图。

图3是本发明的三层保护区的示意图。

图4是本发明的防撞保护系统的原理框图。

图5是本发明的防撞方法的具体流程框图。

图6是本发明的计算R和S点在堆场平面上的坐标的原理图。

具体实施方式

本发明的用于散货堆场的流动机械视觉防撞保护系统如图4所示，包括：

设于主设备上摄像装置，如摄像机，其视野覆盖主设备作业的堆场区域，以采集堆场图像；

设于流动机械的驾驶室顶部的识别标志，由矩形A和矩形B组成，两个矩形有一个公共顶点，且矩形A和B大小有明显的区别；

图像处理装置，接收摄像装置采集的图像，根据图像平面与堆场平面的对应关系，将识别标志在图像中的位置和方向映射为流动机械在堆场平面内的位置和方向；

主设备控制器，根据图像处理装置识别出的位置和方向，动态计算出防撞保护区域，并发出相应的主设备防撞保护控制指令；

设于流动机械上的报警装置和语音装置，通过无线通讯装置与主设备控制器相连，接收主设备控制器发出的移动指令和报警信号，向司机发出报警和语音提示。

具体原理如下：

如图1所示，本发明是根据计算机视觉的原理来检测作业区域内流动机械的位置。在主设备1上固定的位置安装摄像装置（摄像机2）采集堆场图像，摄像机2距离堆场5地面高度为h，光轴与堆场地面呈一定角度θ，使其视野覆盖主设备作业的堆场区域。图1中的9为轨道。

在流动机械3的驾驶室顶部设置识别标志4，可以是有源的或者是无源的。无源的识别标志可以利用白色等浅色的反光涂料直接印制在流动机械顶部，也可以用反光板制作后安装在流动机械顶部，利用散货物料均为深色系的特点，与背景区别，以便识别。有源的标志可以利用LED等发光体制作后安装在流动机械顶部，从流动机械的获得电源。有源标志能获得更好的识别效果，能有效地防止阳光、雨雾等气候干扰，无源标志制作简单，便于实现，安装和维护成本低。该识别标志的形状如图2所示：由矩形A和矩形B组成，两个矩形有一个公共顶点。矩形A和B大小有明显的区别，用于识别流动机械的方向。

而摄像装置采集的图像输出到图像处理装置中，当带有识别标志的流动机械进入主设备的作业区域时，图像处理装置从摄像装置采集的图像中识别出识别标志，根据图像平面与堆场平面的对应关系将识别标志在图像中的位置和方向映射为流动机械在堆场平面内的位置和方向，并将所得到的位置和方向信息输出给主设备控制器。

如图3所示，主设备控制器根据识别出的位置和方向动态计算防撞保护区域，所设置的保护区域有三层，外层是减速保护区域6，中间层是停止保护区域7，内层是紧停保护区域8。主设备的PLC根据相关机构的位置反馈动态计算主设备是否与流动机械的保护区域存在干涉，若存在则采取相应的防撞保护控制措施，即当PLC判断有主设备的相关机构进入减速保护区域6时，立即发出减速指令，使主设备按照预定的方式减速运行，当PLC判断有主设备的相关机构进入停止保护区域7时，立即发出停止指令，使主设备按照预定的方式停止运行，当PLC判断有主设备的相关机构进入紧停保护区域8时，立即发出紧停指令，使主设备立即停止运行。

在主设备上安装无线通讯装置与主设备控制器相连，在流动机械上安装无线通讯装置和报警装置。当主设备控制器判断有主设备相关机构进入任意一层保护区域时，在对主设备进行相关保护控制的同时，根据主设备相关机构的运动路径和运动方向，以及流动机械的位置和方位，同时发出报警信号和移动指令，所发出的移动指令使得流动机械快速准确地驶离与主设备运动干涉的区域。流动机械接收到报警信号和移动指令，向司机发出报警和语音提示，要求司机按指令避让。

图像处理装置采用阈值处理、图像分割、边缘查找等图像处理方法从捕获的图像中识别出识别标志的两个矩形所对应的区域，分别计算两块矩形的图像面积，利用面积的大小区别出矩形A和矩形B，以矩形A的中心点R和矩形B的中心点S为特征点来进行定位。找出矩形A和矩形B在图像上的形心，根据形心的图像坐标，利用针孔摄像的原理确定R和S点在堆场中的位置。R点和S点的连线可以用来确定流动机械的方向。

图5为本发明的防撞方法的具体流程框图，其原理和实质内容与上述本发明的防撞保护装置相同，在此不再赘述。

另外，利用针孔摄像原理计算R和S点在堆场平面上的坐标的方法如图6所示：

假设XYZ为堆场绝对坐标系，相机安装在距离堆场平面h=OC的高度上，向下倾斜角度为θ，C为相机的光学中心，ABC与相机光轴重合，相机焦距f=BC，xy为成像平面，B(x_B,y_B)为图像中心点，经过光学中心C投射到堆场平面上的A点。堆场平面上的P点对应于图像上的Q点。从图像上获得特征点Q的坐标(x_Q,y_Q)，通过上图的几何关系可以计算P点在堆场坐标系中的位置。

$\left\{\begin{array}{c}\frac{\mathrm{PM}}{\mathrm{QN}}=\frac{\mathrm{MC}}{\mathrm{CN}}=\frac{\mathrm{MV}}{\mathrm{NB}}---\left(1\right)\\ \frac{\mathrm{MV}}{\mathrm{NB}}=\frac{\mathrm{CV}}{\mathrm{BC}}---\left(2\right)\end{array}\right.$

上述第（2）式可可得

$\mathrm{AM}=\frac{h(y_Q-y_B)}{f{\sin }^2\mathrm{\θ}+(y_Q-y_B)\sin \mathrm{\θ}\cos \mathrm{\θ}}---\left(3\right)$

$\mathrm{OM}=\mathrm{OA}-\mathrm{AM}=\frac{h[f\cos \mathrm{\θ}-(y_Q-y_B)\sin \mathrm{\θ}]}{f\sin \mathrm{\θ}+(y_Q-y_B)\cos \mathrm{\θ}}---\left(4\right)$

由第（1）式及第（3）式可得

$\mathrm{PM}=\frac{h(x_Q-x_B)}{f\sin \mathrm{\θ}+(y_Q-y_B)\cos \mathrm{\θ}}---\left(5\right)$

因此，P点在堆场坐标系中的坐标为：

$\left\{\begin{array}{c}{X}_P=\frac{h(x_Q-x_B)}{f\sin \mathrm{\θ}+(y_Q-y_B)\cos \mathrm{\θ}}\\ Y_P=\frac{h[f\cos \mathrm{\θ}-(y_Q-y_B)\sin \mathrm{\θ}]}{f\sin \mathrm{\θ}+(y_Q-y_B)\cos \mathrm{\θ}}\\ Z_P=0\end{array}\right.---\left(6\right)$

而流动机械的方向可以用下式来计算：

综上所述，本发明采用视觉技术检测流动机械，在流动机械顶部安装识别标志，通过安装在主设备上的摄像机采集堆场图像，根据图像中的识别标志检测流动机械；所设计的识别标志有有源标志和无源标志两种，无源的识别标志利用浅色的反光涂料制作，成本低、安装和维护方便。有源的识别标志利用有源发光装置制作，能有效地防止阳光、雨雾等气候干扰，获得更好的识别效果。所设计的识别标志由两个大小不同矩形组成，通过图像面积区分两个矩形，以两个矩形中心点为特征点，特征点的图像坐标用来确定流动机械在堆场平面中的位置，两个特征点构成的直线用来确定流动机械的方向；利用针孔成像原理确定识别标志的特征点在堆场中的位置；主设备控制器根据流动机械的位置和方向动态计算流动机械的防撞保护区域，所设计的保护区域有三层：减速保护区域、停止保护区域和紧停保护区域，不同的保护区域采用不用的保护控制方法；当主设备进入防撞保护区域时，主设备控制器根据流动机械的方位以及主设备的运动轨迹，向流动机械发出警报和移动指令，流动机械司机按指令操作，快速离开与主设备运动相干涉的区域。因此，能够完全保证散货堆场的主设备和流动机械作业安全。

但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (10)

1.一种用于散货堆场的流动机械视觉防撞保护系统，其特征在于，包括：

设于主设备上摄像装置，其视野覆盖主设备作业的堆场区域，以采集堆场图像；

设于流动机械的驾驶室顶部的具有方向指示的识别标志，

图像处理装置，接收摄像装置采集的图像，根据图像平面与堆场平面的对应关系，将识别标志在图像中的位置和方向映射为流动机械在堆场平面内的位置和方向；

主设备的主设备控制器，根据图像处理装置识别出的位置和方向，动态计算出防撞保护区域，并向主设备发出相应的防撞保护控制指令。

2.根据权利要求1所述的用于散货堆场的流动机械视觉防撞保护系统，其特征在于：所述流动机械上还设有报警装置和语音装置，通过无线通讯装置与主设备控制器相连，接收主设备控制器发出的移动指令和报警信号，向司机发出报警和语音提示。

3.根据权利要求1或2所述的用于散货堆场的流动机械视觉防撞保护系统，其特征在于：所述识别标志由矩形A和矩形B组成，两个矩形有一个公共顶点，且矩形A和B大小有明显的区别。

4.根据权利要求3所述的用于散货堆场的流动机械视觉防撞保护系统，其特征在于：所述识别标志为采用浅色的反光涂料直接印制在流动机械顶部所形成的无源标志。

5.根据权利要求3所述的用于散货堆场的流动机械视觉防撞保护系统，其特征在于：所述识别标志为采用有源发光体安装在流动机械顶部所形成的有源标志。 

6.一种用于散货堆场的流动机械视觉防撞方法，其特征在于，包括：

在主设备上设置摄像装置，使其视野覆盖主设备作业的堆场区域，以采集堆场图像；

在流动机械的驾驶室顶部设置有带方向指示的识别标志；

建立图像处理装置，接收摄像装置采集的图像，根据图像平面与堆场平面的对应关系，将识别标志在图像中的位置和方向映射为流动机械在堆场平面内的位置和方向；

采用主设备的主设备控制器，根据图像处理装置识别出的位置和方向，动态计算出防撞保护区域，并向主设备发出相应的防撞保护控制指令。

7.根据权利要求6所述的用于散货堆场的流动机械视觉防撞方法，其特征在于：还在流动机械上设置报警装置和语音装置，通过无线通讯装置与主设备控制器相连，接收主设备控制器发出的移动指令和报警信号，向司机发出报警和语音提示。

8.根据权利要求6或7所述的用于散货堆场的流动机械视觉防撞方法，其特征在于：所述识别标志由矩形A和矩形B组成，两个矩形有一个公共顶点，且矩形A和B大小有明显的区别；所述图像处理装置采用阈值处理、图像分割、边缘查找等图像处理方法从捕获的图像中识别出识别标志的两个矩形所对应的区域，分别计算两块矩形的图像面积，利用面积的大小区别出矩形A和矩形B，以矩形A的中心点R和矩形B的中心点S为特征点来进行定位；通过找出矩形A和矩形B在图像上的形心，根据形心的图像坐标，利用针孔摄像的原理确定R和S点在堆场中的位置；R点和S点的连线可以用来确定流动机械的方向。

9.根据权利要求6或7所述的用于散货堆场的流动机械视觉防撞方法，其特征在于：所述防撞保护区域包括由里到外的三层，分别为紧停保护区域、停止保护区、减速保护区；

所述发出相应的主设备防撞保护控制指令包括： 

当主设备控制器判断有主设备的相关机构进入减速保护区域时，立即发出减速指令，使主设备按照预定的方式减速运行；当主设备控制器判断有主设备的相关机构进入停止保护区域时，立即发出停止指令，使主设备按照预定的方式停止运行；当主设备控制器判断有主设备的相关机构进入紧停保护区域时，立即发出紧停指令，使主设备立即停止运行。

10.根据权利要求9所述的用于散货堆场的流动机械视觉防撞方法，其特征在于，所述发出的移动指令和报警信号，使得司机按指令控制流动机械快速准确地驶离与主设备运动干涉的区域。 

Images