CN115239806A - 基于机器视觉的车头防砸保护方法、系统、设备、介质 - Google Patents

Abstract

本发明公开了一种基于机器视觉的车头防砸保护系统、方法、设备、介质，属于机器视觉识别领域；所述系统包括：标定模块，用于对相机内参、外参进行标定并获取车头实时数据；采集模块，用于解析所述标定模块获取的车头实时数据并预处理；算法模块，用于分析所述采集模块预处理后的车头实时数据，获得车头的实时状态；判断模块，基于所述算法模块获得的车头实时状态，判断所述车头的安全状态；本发明系统利用相机和机器视觉技术实现车头的自动实时检测、识别和跟踪定位，检测速度快、实时性好、定位精度高，适用于集卡车头实时检测跟踪定位和防砸保护的要求。

Description

基于机器视觉的车头防砸保护方法、系统、设备、介质

技术领域

本发明涉及机器视觉识别领域，特别涉及一种基于机器视觉的车头防砸保护方法、设备、存储介质。

背景技术

集装箱卡车是港口集装箱运输、装卸的重要物流工具。集卡车头防砸保护系统主要用于防止码头起重机设备在装卸集装箱时车头被砸撞事故的发生。现有技术中，大都采用传统人工参与或激光扫描检测定位防砸的方式，这种方案缺点是，前者效率较低，影响港口整体效率；后者需要激光扫描设备，价格昂贵，功能单一，维护复杂且成本高，精度难以提升。起重机机身通常安装有CCTV监控相机，利用实时视频手段监控车头在大车方向的位移量来判断车辆是否发生移动，是一种简单高效可行的方案。因此申请人提出一种基于机器视觉的车头防砸保护方法、系统、设备、介质。

发明内容

(一)技术方案

本发明通过如下技术方案实现：一种基于机器视觉的车头防砸保护系统，

所述系统包括：

标定模块，用于对相机内参、外参进行标定并获取车头实时数据；

采集模块，用于解析所述标定模块获取的车头实时数据并预处理；

算法模块，用于分析所述采集模块预处理后的车头实时数据，获得车头的实时状态；

判断模块，基于所述算法模块获得的车头实时状态，判断所述车头的安全状态。

作为上述方案的进一步说明，所述标定模块具体用于：

相机内参标定，利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正；

相机外参标定，利用标定板角点在所述标定模块获得的像素坐标系下的坐标和所述标定模块所处位置的坐标系下的坐标，通过PnP算法得到所述标定模块所处位置的坐标系到所述标定模块所处位置的坐标系的旋转矩阵R和平移矩阵T。

作为上述方案的进一步说明，所述算法模块还包括：

检测算法子模块、跟踪算法子模块、坐标系转换子模块；

所述检测算法子模块：用于对所述车头进行识别；

所述跟踪算法子模块：用于对所述车头进行实时跟踪；

所述坐标系转换子模块：基于相机内参、外参标定后的结果将所述车头的像素坐标转换为所述相机所处位置坐标系下的坐标。

作为上述方案的进一步说明，所述基于机器视觉的车头防砸保护系统，还包括：

警报模块；

所述警报模块，用于接收判断模块判断结果，并发出警报。

本发明还提出一种基于机器视觉的车头防砸保护方法，

S1、对相机内参、外参进行标定并获取车头实时数据；

S2、解析获取的车头实时数据并预处理；

S3、分析预处理后的车头实时数据，获得车头的实时状态；

S4、基于所述车头的实时状态，判断所述车头是否处于安全状态；若处于安全状态返回S2；反之发出警报信号。

作为上述方案的进一步说明，所述S1、对相机内参、外参进行标定并获取车头实时数据，包括：

相机内参标定，利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正；

相机外参标定，利用标定板角点在所述标定模块获得的像素坐标系下的坐标和所述标定模块所处位置的坐标系下的坐标，通过PnP算法得到所述标定模块所处位置的坐标系到所述标定模块所处位置的坐标系的旋转矩阵R和平移矩阵T。

作为上述方案的进一步说明，所述S3、分析预处理后的车头实时数据，获得车头的实时状态，包括：

S31、对实时数据进行识别，判断是否为车头，若为车头进入S32；

S32、基于实时数据识别到的车头进行实时跟踪；

S33：基于相机内参、外参标定后的结果将所述车头的像素坐标转换为所述相机所处位置坐标系下的坐标。

作为上述方案的进一步说明，所述S4、基于所述车头的实时状态，判断所述车头是否处于安全状态；若处于安全状态返回S2；反之发出警报信号之后，还包括：

S5、接收到所述警报信号后以光报警和/或光报警的形式进行报警。

本发明还提出一种基于机器视觉的车头防砸保护设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现一种基于机器视觉的车头防砸保护方法。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行一种基于机器视觉的车头防砸保护方法。

(三)有益效果

本发明相对于现有技术，具有以下有益效果：

本发明系统利用相机和机器视觉技术实现车头的自动实时检测、识别和跟踪定位，检测速度快、实时性好、定位精度高，适用于集卡车头实时检测跟踪定位和防砸保护的要求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明新型的其它特征、目的和优点将会变得更明显：

图1为本发明基于机器视觉的车头防砸保护系统一实施例的结构示意图；

图2为本发明基于机器视觉的车头防砸保护系统另一实施例的结构示意图；

图3为本发明基于机器视觉的车头防砸保护方法一实施例的流程示意图；

图4为本发明基于机器视觉的车头防砸保护方法一实施例中S1的流程示意图；

图5为本发明基于机器视觉的车头防砸保护方法一实施例中S3的流程示意图；

图6为本发明基于机器视觉的车头防砸保护方法另一实施例的流程示意图；

图7为本发明基于机器视觉的车头防砸保护方法另一实施例的流程示意图；

图8为本发明基于机器视觉的车头防砸保护方法另一实施例中布置示意图；

图9为本发明基于机器视觉的车头防砸保护方法另一实施例中布置示意图；

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例

本发明提供一种基于机器视觉的车头防砸保护系统，能够实时监控车头在大车方向的位移量来判断车辆是否发生移动；

请参阅图1，图1是本发明基于机器视觉的车头防砸保护系统一实施例的结构示意图。本实施例中，该基于机器视觉的车头防砸保护系统10包括标定模块100、采集模块101、算法模块102和判断模块103。标定模块，用于对相机内参、外参进行标定并获取车头实时数据；

采集模块101，用于解析所述标定模块获取的车头实时数据并预处理；

算法模块102，用于分析所述采集模块预处理后的车头实时数据，获得车头的实时状态；

判断模块103，基于所述算法模块获得的车头实时状态，判断所述车头的安全状态。

可选地，所述标定模块100具体用于：

相机内参标定，利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正；

相机外参标定，利用标定板角点在所述标定模块获得的像素坐标系下的坐标和所述标定模块所处位置的坐标系下的坐标，通过PnP算法得到所述标定模块所处位置的坐标系到所述标定模块所处位置的坐标系的旋转矩阵R和平移矩阵T。

可选地，所述算法模块还包括：

检测算法子模块、跟踪算法子模块、坐标系转换子模块；

所述检测算法子模块：用于对所述车头进行识别；

所述跟踪算法子模块：用于对所述车头进行实时跟踪；

所述坐标系转换子模块：基于相机内参、外参标定后的结果将所述车头的像素坐标转换为所述相机所处位置坐标系下的坐标。

请参阅图2，图2是本发明基于机器视觉的车头防砸保护系统另一实施例的结构示意图。区别于上一实施例，本实施例所述基于机器视觉的车头防砸保护系统20包括：

数据记录模块200以及警报模块201

该数据记录模块200用于记录各模块的历史记录，状态信息及故障信息、数据存储等。

该警报模块201，用于接收判断模块103判断结果，并发出警报。

本发明还提出一种基于机器视觉的车头防砸保护方法，能够实时监控车头在大车方向的位移量来判断车辆是否发生移动；

请参阅图3，图3是本发明基于机器视觉的车头防砸保护方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图3所示的流程顺序为限。如图3所示，该方法包括如下步骤：

S1、对相机内参、外参进行标定并获取车头实时数据；

请参阅图4，其中，该对相机内参、外参进行标定并获取车头实时数据，可以包括：

S11、相机内参标定，利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正；

S12、相机外参标定，利用标定板角点在所述标定模块获得的像素坐标系下的坐标和所述标定模块所处位置的坐标系下的坐标，通过PnP算法得到所述标定模块所处位置的坐标系到所述标定模块所处位置的坐标系的旋转矩阵R和平移矩阵T。

S2、解析获取的车头实时数据并预处理；

S3、分析预处理后的车头实时数据，获得车头的实时状态；

请参阅图5，其中，该分析预处理后的车头实时数据，获得车头的实时状态，可以包括：

S31、对实时数据进行识别，判断是否为车头，若为车头进入S32；

S32、基于实时数据识别到的车头进行实时跟踪；

S33：基于相机内参、外参标定后的结果将所述车头的像素坐标转换为所述相机所处位置坐标系下的坐标。

S4、基于所述车头的实时状态，判断所述车头是否处于安全状态；若处于安全状态返回S2；反之发出警报信号。

请参阅图6，图6是本发明基于机器视觉的车头防砸保护方法另一实施例的流程示意图。区别于上一实施例，本实施例所述基于机器视觉的车头防砸保护方法包括：

S5、接收到所述警报信号后以光报警和/或光报警的形式进行报警。

请参阅图7-图9，图7是本发明基于机器视觉的车头防砸保护方法另一实施例的流程示意图。图8-图9为本发明基于机器视觉的车头防砸保护方法另一实施例的实际场景示意图，其中包括相机1、集装箱卡车2、起重机台3；区别于上述实施例，本实施例所述基于机器视觉的车头防砸保护方法包括：

S1、相机1安装前预先进行相机内参的标定和去畸变校正，相机1安装后进行相机外参的标定；

进一步的，相机1安装于起重机台3上端，高度需满足相机1能够完整拍摄到其下的集装箱卡车2；相机内参标定，去畸变校正；相机外参标定，获得相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T。

S2、读取摄像头的视频流，解码成图片，对图片进行预处理；

S3、将处理后的图片输入算法模块，主要包括检测模块、定位模块和坐标系转换模块，得到集卡车头后边缘中心点在起重机坐标系下的坐标；

S4、判断集卡车头是否处于危险区域，若是进入S5，否则返回S2。

S5、向PLC发送警报。

本发明还提出一种基于机器视觉的车头防砸保护设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现一种基于机器视觉的车头防砸保护方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行一种基于机器视觉的车头防砸保护方法。

可以发现，以上方案，可以对相机内参、外参进行标定并获取车头实时数据；和可以解析获取的车头实时数据并预处理；和可以分析预处理后的车头实时数据，获得车头的实时状态；和可以基于所述车头的实时状态，判断所述车头是否处于安全状态；若处于安全状态返回；反之发出警报信号。

进一步的，以上方案，可以相机内参标定，利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正；和可以相机外参标定，利用标定板角点在所述标定模块获得的像素坐标系下的坐标和所述标定模块所处位置的坐标系下的坐标，通过PnP算法得到所述标定模块所处位置的坐标系到所述标定模块所处位置的坐标系的旋转矩阵R和平移矩阵T。。

进一步的，以上方案，可以对实时数据进行识别，判断是否为车头，和可以于实时数据识别到的车头进行实时跟踪；和可以基于相机内参、外参标定后的结果将所述车头的像素坐标转换为所述相机所处位置坐标系下的坐标。。

进一步的，以上方案，可以接收到所述警报信号后以光报警和/或光报警的形式进行报警。

在本发明所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在基于机器视觉的车头防砸保护设备中的执行过程。

所述一种基于机器视觉的车头防砸保护设备可包括但不仅限于处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是一种基于机器视觉的车头防砸保护设备的示例，并不构成对基于机器视觉的车头防砸保护设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于机器视觉的车头防砸保护设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述基于机器视觉的车头防砸保护设备的控制中心，利用各种接口和线路连接整个基于机器视觉的车头防砸保护设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于机器视觉的车头防砸保护设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述基于机器视觉的车头防砸保护设备集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例中的实施方案可以进一步组合或者替换，且实施例仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中专业技术人员对本发明的技术方案作出的各种变化和改进，均属于本发明的保护范围。

Claims (10)

1.一种基于机器视觉的车头防砸保护系统，其特征在于，

所述系统包括：

标定模块，用于对相机内参、外参进行标定并获取车头实时数据；

采集模块，用于解析所述标定模块获取的车头实时数据并预处理；

算法模块，用于分析所述采集模块预处理后的车头实时数据，获得车头的实时状态；

判断模块，基于所述算法模块获得的车头实时状态，判断所述车头的安全状态。

2.根据权利要求1所述的一种基于机器视觉的车头防砸保护系统，其特征在于，

所述标定模块具体用于：

相机内参标定，利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正；

相机外参标定，利用标定板角点在所述标定模块获得的像素坐标系下的坐标和所述标定模块所处位置的坐标系下的坐标，通过PnP算法得到所述标定模块所处位置的坐标系到所述标定模块所处位置的坐标系的旋转矩阵R和平移矩阵T。

3.根据权利要求1所述的一种基于机器视觉的车头防砸保护系统，其特征在于，

所述算法模块还包括：

检测算法子模块、跟踪算法子模块、坐标系转换子模块；

所述检测算法子模块：用于对所述车头进行识别；

所述跟踪算法子模块：用于对所述车头进行实时跟踪；

所述坐标系转换子模块：基于相机内参、外参标定后的结果将所述车头的像素坐标转换为所述相机所处位置坐标系下的坐标。

4.根据权利要求3所述的一种基于机器视觉的车头防砸保护系统，其特征在于，所述基于机器视觉的车头防砸保护系统，还包括：

警报模块；

所述警报模块，用于接收判断模块判断结果，并发出警报。

5.一种基于机器视觉的车头防砸保护方法，其特征在于，

S1、对相机内参、外参进行标定并获取车头实时数据；

S2、解析获取的车头实时数据并预处理；

S3、分析预处理后的车头实时数据，获得车头的实时状态；

S4、基于所述车头的实时状态，判断所述车头是否处于安全状态；若处于安全状态返回S2；反之发出警报信号。

6.根据权利要求5所述的一种基于机器视觉的车头防砸保护方法，其特征在于，其特征在于，

所述S1、对相机内参、外参进行标定并获取车头实时数据，包括：

相机内参标定，利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正；

相机外参标定，利用标定板角点在所述标定模块获得的像素坐标系下的坐标和所述标定模块所处位置的坐标系下的坐标，通过PnP算法得到所述标定模块所处位置的坐标系到所述标定模块所处位置的坐标系的旋转矩阵R和平移矩阵T。

7.根据权利要求5所述的一种基于机器视觉的车头防砸保护方法，其特征在于，

所述S3、分析预处理后的车头实时数据，获得车头的实时状态，包括：

S31、对实时数据进行识别，判断是否为车头，若为车头进入S32；

S32、基于实时数据识别到的车头进行实时跟踪；

S33：基于相机内参、外参标定后的结果将所述车头的像素坐标转换为所述相机所处位置坐标系下的坐标。

8.根据权利要求5所述的一种基于机器视觉的车头防砸保护方法，其特征在于，

所述S4、基于所述车头的实时状态，判断所述车头是否处于安全状态；若处于安全状态返回S2；反之发出警报信号之后，还包括：

S5、接收到所述警报信号后以光报警和/或光报警的形式进行报警。

9.一种基于机器视觉的车头防砸保护设备，其特征在于：包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现如权利要求5至8任意一项所述的一种基于机器视觉的车头防砸保护方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求5至8任意一种基于机器视觉的车头防砸保护方法。

Images