CN107344696A - 基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法 - Google Patents

Abstract

本发明公开了一种基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法，该轮胎吊防碰撞预警系统包括视频图像采集传感器系统、包含有视频图像采集同步触发控制器的视频图像采集同步触发控制系统、与视频图像采集同步触发控制器连接的辅助照明系统、图像分析处理主机系统,及分别与视频图像采集同步触发控制器和图像分析处理主机系统连接的PLC，一声光报警装置连接到图像分析处理主机系统，一电源系统为以上各系统提供电源；本发明基于实时视频图像识别对轮胎吊等机械设备进行防碰撞预警，具有视场宽、可靠性强、连续工作能力强、环境适应性强、反应快等优势。

Description

基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法

技术领域

本发明属于集装箱码头或集装箱运输行业安全及自动化控制领域，涉及一种对轮胎吊大车行驶过程中障碍物检测识别和预警控制的系统及方法。其可以应用于该领域其它相似设备的障碍物检测预警。

背景技术

集装箱码头和集装箱运输行业大型机械设备如：轮胎吊等大型机械设备与人员、车辆以及货物发生碰撞的事故在行业内时有发生，尤其是近年来迅速发展的远程操控设备，因其工况的特殊性，司机很难全面掌握现场车辆及人员的的动向，容易发生事故，存在一定的控制难点和安全隐患。为解决该问题，各码头和设计单位努力寻找各种检测手段，如超声波防撞和激光检测等，但以上两种检测方法都存在一定的使用局限性，如覆盖区域盲区问题，障碍物反射效率问题，恶劣天气的条件限制等。

实时视频图像检测技术在现场应用因高清工业相机和高速工业计算机技术的迅速发展而成为可能。基于实时视频图像识别的轮胎吊防碰撞预警系统，利用两个高清相机进行动态人眼仿生，当相机视野内存在障碍物时，系统可获知物体的三维立体信息，最终根据物体的大小、高度、距离进行预警或报警。与传统检测手段不同，实时视频图像识别检测技术获取了设备运行方向视野内的立体信息，有效避免了传统检测手段存在的弊端，对障碍目标没有条件限制，检测更加可靠。

因此，研究应用基于实时视频图像识别技术的轮胎吊防撞警示系统不仅可以排除现有远程操控轮胎吊设备运行时的潜在安全隐患，更可抛砖引玉，将该技术推广应用到其他设备的各种相关场合。

发明内容

针对背景技术所涉及的问题，本发明提出了一种基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法。

本发明可通过以下技术方案予以实现：

本发明的一种基于实时视频图像识别的轮胎吊防碰撞预警系统,包括视频图像采集传感器系统、包含有视频图像采集同步触发控制器的视频图像采集同步触发控制系统、与所述视频图像采集同步触发控制器连接的辅助照明系统、图像分析处理主机系统,及分别与所述视频图像采集同步触发控制器和图像分析处理主机系统连接的PLC可编程控制器，一声光报警装置连接到所述图像分析处理主机系统，一电源系统为以上各系统提供电源；

所述视频图像采集传感器系统包括若干个视频检测传感器、一千兆网交换机，每个视频检测传感器包含左右两个安装在同一水平面的带外触发的千兆网GIGE相机，每个相机的GIGE端口都通过GIGE网线与千兆网交换机相连，千兆网交换机通过GIGE网线与图像分析处理主机系统相连，每个相机的触发端口分别通过触发线缆连接到所述视频图像采集同步触发控制器的同一个端口。

作为本发明的优选技术方案：

本发明所述的轮胎吊防碰撞预警系统，所述视频图像采集同步触发控制系统主要由输入输出隔离光电耦合电路、单片机电路、稳压电源电路和RS232通讯电路构成；其输入端口用于接收所述PLC可编程控制器发出的行进方向指令，当所述PLC可编程控制器发出某个行进指令时，所述光电耦合电路将与之对应的PLC可编程控制器I/O口电平拉低，PLC可编程控制器根据I/O口的电平状态判断行进方向，通过改变同步触发端口的信号输出状态，使得相对应的传感器触发采集图像，并通过RS232端口向图像分析处理主机系统发出画面切换信号，通知图像分析处理主机系统进行视频图像处理画面切换。

本发明所述的轮胎吊防碰撞预警系统，所述相机都安装在一个防水防尘的外壳内。

本发明所述的轮胎吊防碰撞预警系统，所述每个视频检测传感器都安装在一套可调节上下、左右倾斜角度和前后距离的安装支架上。

本发明所述的轮胎吊防碰撞预警系统，所述电源系统为通用的稳压电源，为系统中各设备提供稳压电源。

本发明所述的轮胎吊防碰撞预警系统，所述辅助照明系统为分别与视频图像采集同步触发控制器连接的LED补光灯和光照度传感器组成。

本发明所述的轮胎吊防碰撞预警系统，所述图像分析处理主机系统由计算机PC或工控机IPC构成，其主机内包含千兆网络通讯设备、RS232端口或RS485兼容端口，且安装有用于图像分析处理的应用程序。

本发明还提出了一种利用以上所述的轮胎吊防碰撞预警系统实现的轮胎吊防碰撞预警方法，包括以下步骤：

1)启动主机，程序开始运行后查找所有联网相机，并初始化所有联网相机；

2)根据与视频图像采集同步触发控制器相连接的RS232口接收的信号判断处理哪组传感器图像，打开该传感器并开始接收图像，同一时间内接收两幅图像，分别对应该传感器内的两个相机；

3)图像接收完成后，对图像进行相机镜头畸变矫正；

4)然后对图像进行亮度对比度变换和高斯模糊；

5)然后在两幅图像中匹配对应点，通过计算所有对应点的相对位置生成一幅用灰度值对应距离的视差图,具体如下：

设基线距B为两相机的投影中心连线的距离，相机焦距为f；设两相机在同一时刻观看空间物体的同一特征点P(xc,yc,zc)，分别在“左相机”和“右相机”上获取了点P的图像，它们的图像坐标分别为

P-left＝(Xleft,Yleft),P-right＝(Xright,Yright)；

现两相机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y＝Yleft＝Yright，则由三角几何关系得到：

Xleft＝f(xc/zc)

Xright＝f((xc-B)/zc)

Y＝f(yc/zc)

则P点视差D＝Xleft-Xright，

由此可得出P点的三维坐标为：

xc＝BXleft/D

yc＝BY/D

zc＝Bf/D；

6)生成视差图后，根据传感器的安装高度和安装角度进行三维仿射变换，计算出传感器视野范围内所有目标物体的三维空间坐标；

7)对所有进入相机视野的人员及车辆等障碍物目标进行目标检测、距离跟踪、判断，当目标进入检测区域时，自动分析目标的危险系数；

8)当有危险目标时，通过与PLC可编程控制器相连的RS232端口发出报警信号，或通过报警信号输出点向声光报警装置发出报警控制信号。

由于采用以上技术方案，本发明具有以下有益效果：

1)本发明实现了通过三维视觉图像识别技术解决轮胎吊等大型机械设备的障碍物防撞和预警问题。本发明对所有进入相机视野的人员及车辆等障碍物目标进行检测、跟踪、当目标进入检测区域时，自动分析目标的危险系数，必要时对操作人员发出预警、报警或者自动停止设备向危险方向运行。

2)实现障碍目标报警图像存储功能，当出现危险目标时，自动保存现场图像，以提供事故分析时追溯功能。

3)探索实现轮胎吊设备的全方位四方向防撞保护，不仅在箱区运行时起到安全保护作用，通过增加相机数量和接收的设备指令信号，实现轮胎吊转场时安全防护。

附图说明

下面根据附图和具体实施例对本发明作进一步说明：

图1为本发明的结构框图；

图2为本发明的传感器结构示意图；

图3为本发明控制回路示意图；

图4为本发明视差检测原理示意图；

图5为本发明图像识别检测流程示意图。

其中，1，图像分析处理主机系统；2，辅助照明系统；3，PLC可编程控制器；4，视频图像采集同步触发控制器；5，声光报警装置，6，千兆网交换机；7，电源系统；A,外壳；a，左相机；b，右相机；a-1,GIGE端口；a-2,相机触发端口

具体实施方式

如图1所示，本发明的一种基于实时视频图像识别的轮胎吊防碰撞预警系统,包括视频图像采集传感器系统、包含有视频图像采集同步触发控制器4的视频图像采集同步触发控制系统、与视频图像采集同步触发控制器4连接的辅助照明系统2、图像分析处理主机系统1,及分别与视频图像采集同步触发控制器4和图像分析处理主机系统1连接的PLC可编程控制器3，一声光报警装置5连接到图像分析处理主机系统1，电源系统为以上各系统提供电源。图像分析处理主机系统1包括计算机或工控机硬件系统和应用软件系统。

其中视频图像采集传感器系统包括若干个视频检测传感器、千兆网交换机6，如图2所示，每个视频检测传感器包含左右两个安装在同一水平面的带外触发的千兆网GIGE相机，每个相机的GIGE端口a-1都通过GIGE网线与千兆网交换机相连，千兆网交换机6通过GIGE网线与图像分析处理主机系统1相连，每个相机的触发端口a-2分别通过触发线缆连接到视频图像采集同步触发控制器4的同一个端口，保证左右两个相机(a和b)的触发时间同步。系统可连接多个视频检测传感器。

其中视频图像采集同步触发控制系统主要由输入输出隔离光电耦合电路、单片机电路、稳压电源电路和RS232通讯电路构成；其输入端口用于接收PLC可编程控制器3发出的行进方向指令，当PLC可编程控制器3发出某个行进指令时，光电耦合电路将与之对应的PLC可编程控制器3I/O口电平拉低，PLC可编程控制器3根据I/O口的电平状态判断行进方向，通过改变同步触发端口的信号输出状态，使得相对应的传感器触发采集图像，并通过RS232端口向图像分析处理主机系统1发出画面切换信号，通知图像分析处理主机系统1进行视频图像处理画面切换。同步触发控制系统的另一个功能是根据照度传感器信号判断当前行进方向的光照度，当照度低于一定值时，触发打开辅助光源对视频检测传感器进行补光，以保证视频检测传感器采集的图像保持在可识别范围内。图像分析处理主机系统1由计算机PC或工控机IPC构成，其主机内包含千兆网络通讯设备、RS232端口或RS485兼容端口，且安装有用于图像分析处理的应用程序。

本发明中相机都安装在一个防水防尘的外壳A内；且每个视频检测传感器都安装在一套可调节上下、左右倾斜角度和前后距离的安装支架上。

本发明的电源系统为通用的稳压电源，为系统中各设备提供稳压电源。

如图3所示，本发明的辅助照明系统为分别与视频图像采集同步触发控制器连接的LED补光灯和光照度传感器组成。光照度传感器检测当前照度并转换成电信号送入辅助光源系统进行判断，当光照度低于软件设定的值时，系统通过继电器点亮LED补光灯，为视频检测传感器提供足够的照度，以使得视频检测传感器能够拍摄满足识别要求的图像。

如图5所示，利用以上一种基于实时视频图像识别的轮胎吊防碰撞预警系统实现的基于实时视频图像识别的轮胎吊防碰撞预警方法，具体如下：

当应用软件启动后，首先在网络内查找所有已连接的传感器内部相机，并初始化所有符合条件的相机。相机初始化成功后，程序根据与同步触发控制器相连接的RS232口接收的信号判断处理哪组传感器图像并开始接收图像。同一时间内程序接收两幅图像，分别对应传感器内部的两个相机。图像接收完成后，程序首选对两幅图像进行画面预处理，分为相机镜头畸变校正、亮度对比度变换、高斯模糊等，两幅经过整定后的图像形成一个图像对，进而在两幅图像中匹配对应点，通过计算所有对应点的相对位置生成一幅用灰度值对应距离的视差图，该视差图的生成原理如图4所示。其中基线距B＝两摄像机的投影中心连线的距离；相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点P(xc,yc,zc)，分别在“左相机a”和“右相机b”上获取了点P的图像，它们的图像坐标分别为

P-left＝(Xleft,Yleft),P-right＝(Xright,Yright)。

现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y＝Yleft＝Yright，则由三角几何关系得到：

Xleft＝f(xc/zc)

Xright＝f((xc-B)/zc)

Y＝f(yc/zc)

则P点视差D＝Xleft-Xright。

由此可得出P点的三维坐标为：

xc＝BXleft/D

yc＝BY/D

zc＝Bf/D

生成视差图后，程序根据传感器的安装高度和安装角度进行三维仿射变换，计算出传感器视野范围内所有目标物体的三维空间坐标。程序对所有进入相机视野的人员及车辆等障碍物目标进行目标检测、距离跟踪、判断。当目标进入检测区域时，自动分析目标的危险系数，必要时通过与PLC相连的RS232端口发出预警、报警或者自动停止设备向危险方向运行的信号，并可通过报警信号输出点向声光报警系统发出报警控制信号，用于提醒现场车辆及人员等障碍目标及时作出相应反应。

但是，上述的具体实施方式只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；只要是根据本专利所揭示精神的所作的任何等同变更或修饰，均落入本专利包括的。

Claims (8)

1.一种基于实时视频图像识别的轮胎吊防碰撞预警系统,其特征在于：包括视频图像采集传感器系统、包含有视频图像采集同步触发控制器的视频图像采集同步触发控制系统、与所述视频图像采集同步触发控制器连接的辅助照明系统、图像分析处理主机系统,及分别与所述视频图像采集同步触发控制器和图像分析处理主机系统连接的PLC可编程控制器，一声光报警装置连接到所述图像分析处理主机系统，一电源系统为以上各系统提供电源；

所述视频图像采集传感器系统包括若干个视频检测传感器、一千兆网交换机，每个视频检测传感器包含左右两个安装在同一水平面的带外触发的千兆网GIGE相机，每个相机的GIGE端口都通过GIGE网线与千兆网交换机相连，千兆网交换机通过GIGE网线与图像分析处理主机系统相连，每个相机的触发端口分别通过触发线缆连接到所述视频图像采集同步触发控制器的同一个端口。

2.根据权利要求1所述的轮胎吊防碰撞预警系统，其特征在于：所述视频图像采集同步触发控制系统主要由输入输出隔离光电耦合电路、单片机电路、稳压电源电路和RS232通讯电路构成；其输入端口用于接收所述PLC可编程控制器发出的行进方向指令，当所述PLC可编程控制器发出某个行进指令时，所述光电耦合电路将与之对应的PLC可编程控制器I/O口电平拉低，PLC可编程控制器根据I/O口的电平状态判断行进方向，通过改变同步触发端口的信号输出状态，使得相对应的传感器触发采集图像，并通过RS232端口向图像分析处理主机系统发出画面切换信号，通知图像分析处理主机系统进行视频图像处理画面切换。

3.根据权利要求1所述的轮胎吊防碰撞预警系统，其特征在于：所述相机都安装在一个防水防尘的外壳内。

4.根据权利要求1所述的轮胎吊防碰撞预警系统，其特征在于：所述每个视频检测传感器都安装在一套可调节上下、左右倾斜角度和前后距离的安装支架上。

5.根据权利要求1所述的轮胎吊防碰撞预警系统，其特征在于：所述电源系统为通用的稳压电源。

6.根据权利要求1所述的轮胎吊防碰撞预警系统，其特征在于：所述辅助照明系统为分别与视频图像采集同步触发控制器连接的LED补光灯和光照度传感器组成。

7.根据权利要求1所述的轮胎吊防碰撞预警系统，其特征在于：所述图像分析处理主机系统由计算机或工控机构成，其主机内包含千兆网络通讯设备、RS232端口或RS485兼容端口，且安装有用于图像分析处理的应用程序。

8.利用权利要求7所述的轮胎吊防碰撞预警系统实现的轮胎吊防碰撞预警方法，其特征在于：包括以下步骤：

1)启动主机，程序开始运行后查找所有联网相机，并初始化所有联网相机；

2)根据与视频图像采集同步触发控制器相连接的RS232口接收的信号判断处理哪组传感器图像，打开该传感器并开始接收图像，同一时间内接收两幅图像，分别对应该传感器内的两个相机；

3)图像接收完成后，对图像进行相机镜头畸变矫正；

4)然后对图像进行亮度对比度变换和高斯模糊；

5)然后在两幅图像中匹配对应点，通过计算所有对应点的相对位置生成一幅用灰度值对应距离的视差图,具体如下：

设基线距B为两相机的投影中心连线的距离，相机焦距为f；设两相机在同一时刻观看空间物体的同一特征点P(xc,yc,zc)，分别在“左相机”和“右相机”上获取了点P的图像，它们的图像坐标分别为

P-left＝(Xleft,Yleft),P-right＝(Xright,Yright)；

现两相机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y＝

Yleft＝Yright，则由三角几何关系得到：

Xleft＝f(xc/zc)

Xright＝f((xc-B)/zc)

Y＝f(yc/zc)

则P点视差D＝Xleft-Xright，

由此可得出P点的三维坐标为：

xc＝BXleft/D

yc＝BY/D

zc＝Bf/D；

6)生成视差图后，根据传感器的安装高度和安装角度进行三维仿射变换，计算出传感器视野范围内所有目标物体的三维空间坐标；

7)对所有进入相机视野的人员及车辆等障碍物目标进行目标检测、距离跟踪、判断，当目标进入检测区域时，自动分析目标的危险系数；

8)当有危险目标时，通过与PLC可编程控制器相连的RS232端口发出报警信号，或通过报警信号输出点向声光报警装置发出报警控制信号。