CN111526337A - 一种工程机械的预警系统、预警方法及工程机械 - Google Patents

Abstract

本申请提供了一种工程机械的预警系统、预警方法及工程机械，通过设置在待检测工程机械周围的至少一个摄像装置，采集多张场景图像，并将多张场景图像发送至处理控制装置，所述处理控制装置根据接收到的多张场景图像，拼接出待检测工程机械所处区域的全景图像，再根据回转角度测量确定的待检测工程机械的旋转角度，确定出全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体时，生成预警信息，可以及时发现在待检测工程机械所处区域的危险情况，有助于降低操作人员以及待检测工程机械作业环境周围的安全隐患。

Description

一种工程机械的预警系统、预警方法及工程机械

技术领域

本申请涉及安全预警技术领域，尤其是涉及一种工程机械的预警系统、预警方法及工程机械。

背景技术

工程机械是机械领域非常重要的设备，工程机械作业已经渗透到各个作业环境中，在工程机械进行作业的过程中，操作人员由于可视范围的影响对与工程机械四周的环境观察存在死角，在死角中的物体时常被忽略，存在作业风险。

现阶段，虽然在工程机械上安装了后视镜、后视摄像头，但是在工程机械设备在作业运行过程中，由于工程机械的移动、摄像头摄像范围有限等影响，设备操作人员视野受到较大限制，无法实时顾及工程机械的对侧方及后方物体，从而无法及时发现工程机械周围是否存在物体，忽略了工程机械周围的潜在危险，容易造成较大的人员损失以及经济损失。

发明内容

有鉴于此，本申请的目的在于提供一种工程机械的预警系统、预警方法及工程机械，能够实时确定操作人员非可视区域内存在的非静止物体，可以及时发现在待检测工程机械所处区域的危险情况，有助于降低操作人员以及待检测工程机械作业环境周围的安全隐患。

本申请实施例提供了一种工程机械的预警系统，所述预警系统包括至少一个摄像装置、处理控制装置、回转角度测量装置；每一个摄像装置以及回转角度测量装置分别与所述处理控制装置通信连接；

所述摄像装置，用于采集待检测工程机械预设角度范围内对应的场景图像，并将所述场景图像发送至所述处理控制装置；

所述处理控制装置，用于接收每一个摄像装置发送的场景图像，并将接收到的多张场景图像进行图像拼接，确定所述待检测工程机械所处区域的全景图像，向所述回转角度测量装置发送角度获取指令，并接收所述回转角度测量装置反馈的所述待检测工程机械的回转角度，基于预设的操作人员视野角度以及所述回转角度，确定所述全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体时，生成预警信息；

所述回转角度测量装置，用于在接收到所述处理控制装置发送的角度获取指令时，确定所述待检测工程机械当前的回转角度，将所述回转角度发送至所述处理控制装置。

进一步的，所述预警系统还包括存储装置，所述存储装置用于：

存储所述处理控制装置确定出的每一张全景图像以及每一张全景图像的存储时间，在接收到所述处理控制装置发送的调取指令时，确定存储的多张全景图像中存储时间距离当前时间最近的全景图像为对照图像，并将所述对照图像发送至所述处理控制装置，为所述处理控制装置确定非可视区域中的非静止物体提供对照。

进一步的，所述处理控制装置包括图像处理模块，所述图像处理模块用于通过以下步骤确定所述待检测工程机械所处区域的全景图像：

确定相邻的摄像装置之间的摄像重叠区域，并在每一张场景图像中确定出相应的图像重叠区域；

针对每张场景图像，基于该场景图像中的至少一个图像重叠区域的像素，从接收到的多张场景图像中除该场景图像之外的其他场景图像中，确定出与该场景图像中的至少一个图像重叠区域的像素的相似值在预设阈值范围内的至少一张拼接场景图像；

将该场景图像按照图像重叠区域与至少一张拼接场景图像进行拼接，确定所述待检测工程机械所处区域的全景图像。

进一步的，所述处理控制装置还包括控制模块，所述控制模块用于通过以下步骤确定非静止物体：

将所述全景图像划分成多个子全景图像，并相应的在所述对照图像中划分出多个子对照图像；

将每一个子全景图像与对应的子对照图像进行图像对比，确定发生位置变化的物体；

确定发生位置变化的物体为非静止物体。

进一步的，所述控制模块用于通过以下步骤确定所述全景图像中的非可视区域：

确定所述预设的操作人员视野角度以及所述回转角度的和为可视角度；

确定所述可视角度对应的可视场景图像，将所述全景图像中未包括所述可视场景图像的图像部分，确定为非可视图像；

将所述非可视图像对应的场景区域确定为非可视区域。

进一步的，所述预警系统还包括预警装置以及显示装置；

所述预警装置，用于接收所述控制模块发送的预警信息，并通过所述预警装置内部的广播模块，广播所述预警信息；

所述显示装置，用于接收所述控制模块发送的全景图像，并标注所述静止物体在所述全景图像中的位置，显示标注后的全景图像，同时显示所述工程机械的多个工作参数。

进一步的，所述控制模块还用于：

确定所述操作人员施加在所述显示装置上的输入操作，确定所述操作人员输入的输入视野角度；

将所述输入视野角度确定为可视角度。

本申请实施例还提供了一种工程机械的预警方法，所述预警方法应用于是上述的预警系统，所述预警方法包括：

控制摄像装置采集所述待检测工程机械预设角度范围内对应的场景图像，并将所述场景图像发送至所述处理控制装置；

控制所述处理控制装置拼接接收到的多张场景图像，确定所述待检测工程机械所处区域全景图像，并基于接收到的回转角度以及预设的操作人员视野角度，确定所述全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体，控制所述处理控制装置生成预警信息；

控制所述回转角度测量装置在接收到所述处理控制装置发送的角度获取指令时，确定所述待检测工程机械当前的回转角度，将所述回转角度发送至所述处理控制装置。

进一步的，在所述控制所述回转角度测量装置在接收到所述处理控制装置发送的角度获取指令时，确定所述待检测工程机械当前的回转角度，将所述回转角度发送至所述处理控制装置之后，所述预警方法还包括：

控制存储装置存储所述处理控制装置确定出的每一张全景图像以及每一张全景图像的存储时间，在接收到所述处理控制装置发送的调取指令时，确定存储的多张全景图像中存储时间距离当前时间最近的全景图像为对照图像，并将所述对照图像发送至所述处理控制装置，为所述处理控制装置确定非可视区域中的非静止物体提供对照。

本申请实施例还提供了一种工程机械，包括上述的预警系统，所述预警系统设置于所述工程机械。

本申请实施例提供的工程机械的预警系统、预警方法及工程机械，通过设置在待检测工程机械周围的至少一个摄像装置，采集多张场景图像，并将多张场景图像发送至处理控制装置，所述处理控制装置根据接收到的多张场景图像，拼接出待检测工程机械所处区域的全景图像，再根据回转角度测量确定的待检测工程机械的旋转角度，确定出全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体时，生成预警信息，可以及时发现在待检测工程机械所处区域的危险情况，有助于降低操作人员以及待检测工程机械作业环境周围的安全隐患。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为一种工程机械的预警系统的结构示意图之一；

图2为一种工程机械的预警系统的结构示意图之二；

图3为处理控制装置的结构示意图；

图4为工程机械结构的侧面示意图；

图5为工程机械结构的俯视示意图；

图6为各摄像装置成像范围示意图；

图7为工程机械转动前状态示意图；

图8为工程机械转动过程示意图；

图9为本申请实施例所提供的一种工程机械的预警方法的流程图。

图标：100-预警系统；110-摄像装置；111-前方摄像装置；112-右方摄像装置；113-左方摄像装置；114-后方摄像装置；120-处理控制装置；121-图像处理模块；122-控制模块；130-回转角度测量装置；140-存储装置；150-预警装置；160-显示装置；161-全景影像显示模块；162-参数显示模块；4-工程机械；40-操作人员驾驶室；41-回转连接装置；42-上部回转体；43-下部行走体；44-转动轴线；45-操作人员视野原点；5-非静止物体。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

经研究发现，现阶段，虽然在工程机械上安装了后视镜、后视摄像头，但是在工程机械设备在作业运行过程中，设备操作人员视野受到较大限制，无法顾及工程机械的侧方及后方物体，从而无法及时发现工程机械周围是否存在物体，忽略了工程机械周围的潜在危险，容易造成较大的人员损失以及经济损失。

基于此，本申请实施例提供了一种工程机械的预警系统，通过设置在待检测工程机械周围的至少一个摄像装置，采集多张场景图像，并将多张场景图像发送至处理控制装置，所述处理控制装置根据接收到的多张场景图像，拼接出待检测工程机械所处区域的全景图像，再根据回转角度测量确定的待检测工程机械的旋转角度，确定出全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体时，生成预警信息，可以及时发现在待检测工程机械所处区域的危险情况，有助于降低操作人员以及待检测工程机械作业环境周围的安全隐患。

进一步的，对本申请公开的一种工程机械的预警系统100进行介绍。

请参阅图1，图1为一种工程机械4的预警系统100的结构示意图之一，本申请实施例提供了一种工程机械4的预警系统100，所述预警系统100包括至少一个摄像装置110、处理控制装置120以及回转角度测量装置130；其中每一个摄像装置110以及所述回转角度测量装置130分别与所述处理控制装置120通信连接，每一个摄像装置110设置在所述工程机械4的固定位置(可以是所述工程机械4的四周)每一个摄像装置110采集出一张场景图像，将多张场景图像传送至所述处理控制装置120，所述回转角度测量装置130测量所述工程机械4的回转角度，并将确定出的回转角度传送至所述处理控制装置120，所述处理控制装置120在接收到多张场景图像后，将多张场景图像进行拼接，得到全景图像，并根据所述回转角度结合预设的操作人员的视野角度，确定全景图像中的多个非可视区域，并在检测到任一非可视区域中出现非静止物体5后，生成预警信息，进行预警。

具体的，所述摄像装置110，用于采集待检测工程机械预设角度范围内对应的场景图像，并将所述场景图像发送至所述处理控制装置120。

这里，每一个摄像装置110都可以是全景摄像头，全景摄像头的工作原理为：景物通过镜头生成的光学图像投射到图像传感器表面上，然后转为电信号，经过模数转换后变为数字图像信号，再送到数字信号处理芯片中加工处理，在再通过USB接口传输到电脑中处理，将安装在待检测工程机械前后以及两侧的多个180度广角摄像机所提供的图像，合成为车辆的俯视图显示在待检测工程机械内的显示器上。

这里，所述摄像装置110的数量可以是采集到所述待检测工程机械周围的全部场景图像时的最少数量，也可以是参考实际摄像头成像时的视野，根据需求对所述摄像装置110进行设置，一般的，可以在所述待检测工程机械的前后左右四个位置设置四个摄像装置110，每一个摄像装置110的图像采集范围可以相同也可以不同。

进一步的，所述处理控制装置120，用于接收每一个摄像装置110发送的场景图像，并将接收到的多张场景图像进行图像拼接，确定所述待检测工程机械所处区域的全景图像，向所述回转角度测量装置130发送角度获取指令，并接收所述回转角度测量装置130反馈的所述待检测工程机械的回转角度，基于预设的操作人员视野角度以及所述回转角度，确定所述全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体5时，生成预警信息。

这里，所述处理控制装置120对于所述图像的拼接是根据每一个摄像装置110拍摄的场景图像中的图像重叠区域内的图像像素的相似度进行拼接的。

这里，需要处理控制装置120确定操作人员的视野角度，在待检测工程机械工作前，根据所述待检测工程机械在设计时的参数，或是历史操作数据，确定出操作人员在待检测工程机械未工作时，操作人员的视野SIP(原点)，并根据所述视野SIP确定操作人员视野角度，并存储在处理控制装置120中。

这里，当检测到操作人员的非可视区域中存在非静止物体5时，本申请的一种实施例，所述处理控制装置120要生成报警信息，在其他实施例中，可以先预设一个报警范围，在操作人员的视野角度内出现物体移动到了报警范围内，处理控制装置120也可以生成预警信息；或是在非可视区域和/或视野角度的报警范围内出现了物体(无论该物体静止与否)，都需要处理控制装置120生成报警信息，以提示操作人员注意规避。

进一步的，所述回转角度测量装置130，用于在接收到所述处理控制装置120发送的角度获取指令时，确定所述待检测工程机械当前的回转角度，将所述回转角度发送至所述处理控制装置120。

这里，所述回转角度测量装置130一般设置在所述待检测工程机械的驾驶室内，可以是角度传感器、旋转陀螺仪等。

这里，所述待检测工程机械分为上部回转体42以及下部行走体43，上部回转体可以在所述待检测工程机械工作时，进行360°的旋转，所述回转角度测量装置130需要在所述待检测工程机械工作刚开始启动时，记录上部回转体42以及下部行走体43之间的初始角度，并在接收到处理控制装置120的角度获取指令时，再次实时确定上部回转体42以及下部行走体43之间的实时角度，将实时角度与初始角度之间的角度差值确定为所述待检测工程机械的回转角度。

这里，待检测工程机械的上车回转体发生转动时，需要根据预设的上车回转体和下车行走体的图像信息，确定所述待检测工程机械自身的全景图像，以对至少一个摄像装置110采集的全景图像进行进一步的修正，避免因为待检测工程机械的转动，造成下部行走体43的处于不同位置状态，导致全景图像异常。

在预警系统100上设置回转角度测量装置130的作用在于确定待检测工程机械的实时作业转动角度，从而确定出操作人员的视野角度，进一步确定操作人员的视野范围以外的图像。

进一步的，请参阅图2，图2为一种工程机械4的预警系统100的结构示意图之二，如图2所示，所述预警系统100还包括存储装置140，所述存储装置140用于：存储所述处理控制装置120确定出的每一张全景图像以及每一张全景图像的存储时间，在接收到所述处理控制装置120发送的调取指令时，确定存储的多张全景图像中存储时间距离当前时间最近的全景图像为对照图像，并将所述对照图像发送至所述处理控制装置120，为所述处理控制装置120确定非可视区域中的非静止物体5提供对照。

这里，在所述处理控制装置120每确定出一张全景图像都会将该全景图像传输至所述存储装置140进行存储，所述存储装置140在存储全景图像时，也会存储接收到该全景图像的时间，在接收到所述处理控制装置120的调取指令时，将最新存储的全景图像作为对照图像发送至所述处理控制装置120，以便所述处理控制装置120根据对照图像进行图像对照，从而确定出移动的非静止物体5。

这里，所述存储装置140也可以用来预设时间段内的待检测工程机械周围的环境信息，当所述待检测工程机械发生碰撞等危险事故时，可以调用存储装置140中存储的图像信息，为设备管理人员提供真实的事故发生场景，便于设备管理人员为了避免事故再次发生制定相应的应对措施。

其中，对于存储装置140来说，所述存储装置140的内存是有限制的，所以需要定期将存储装置140的内存进行清理，所以调取的预设时间段需要参考所述存储装置140的内存清理时段进行设定。

进一步的，如图2所示，所述预警系统100还包括预警装置150以及显示装置160；所述预警装置150用于接收所述控制模块122发送的预警信息，并通过所述预警装置150内部的广播模块，广播所述预警信息；所述显示装置160用于接收所述控制模块122发送的全景图像，并标注所述静止物体在所述全景图像中的位置，显示标注后的全景图像，同时显示所述工程机械4的多个工作参数。

这里，所述预警装置150可以是声音报警器，在接收到处理控制装置120发送的预警信息后，将预警信息通过广播进行播放，播放的信息包括非静止物体5的位置以及与所述待检测工程机械的距离等；所述预警装置150还可以通过控制指示灯的闪烁向所述待检测工程机械的操作人员进行预警。

这里，所述显示装置160用来在所述处理控制装置120确定出全景图像时，将所述全景图像进行显示，并且在确定出存在非静止物体5时，在显示的全景图像对非静止物体5进行标注，以辅助待检测工程机械的操作人员对非静止物体5进行定位；同时，所述显示装置160还可以用来显示待检测工程机械的设备参数，以使操作人员随时了解待检测工程机械的工作状态。

其中，所述设备参数包括油量、液压等参数。

进一步的，请参阅图3，图3为处理控制装置120的结构示意图，如图3所示，所述处理控制装置120包括图像处理模块121，所述图像处理模块121用于通过以下步骤确定所述待检测工程机械所处区域的全景图像：确定相邻的摄像装置110之间的摄像重叠区域，并在每一张场景图像中确定出相应的图像重叠区域；针对每张场景图像，基于该场景图像中的至少一个图像重叠区域的像素，从接收到的多张场景图像中除该场景图像之外的其他场景图像中，确定出与该场景图像中的至少一个图像重叠区域的像素的相似值在预设阈值范围内的至少一张拼接场景图像；将该场景图像按照图像重叠区域与至少一张拼接场景图像进行拼接，确定所述待检测工程机械所处区域的全景图像。

这里，针对于设置在所述待检测工程机械上的多个摄像装置110来说，每个摄像装置110都会由自己对应的摄像范围，对于相邻设置的两个摄像装置110，势必会在采集的场景图像中存在相同的摄像重叠区域，这些摄像重叠区域在形成全景图像时，需要进行剔除，以保证拼接后的全景图像没有重复的部分。

在进行图像拼接时，针对每一个张场景图像的摄像重叠区域，确定拥有与该场景图像相同的摄像重叠区域的场景图像的与该场景图像的像素的相似度在预设相似度范围内的相似部分，将相似部分覆盖拼接，每一张场景图像都进行拼接操作，拼接结束后，得到所述待检测工程机械所在区域的全景图像。

进一步的，如图3所示，所述处理控制装置120还包括控制模块122，所述控制模块122用于通过以下步骤确定非静止物体5：将所述全景图像划分成多个子全景图像，并相应的在所述对照图像中划分出多个子对照图像；将每一个子全景图像与对应的子对照图像进行图像对比，确定发生位置变化的物体；确定发生位置变化的物体为非静止物体5。

这里，在所述处理控制装置120从存储装置140中调取出对照图像以及获取到当前的全景图像后，将所述对照图像以及全景图像放入控制模块122中，所述控制模块122按照预设划分规则对对照图像以及全景图像进行图像划分，得到多个子全景图像以及多个子对照图像，经由相应的子全景图像与子对照图像进行对比，确定出非静止物体5。

其中，预设划分规则可以是在所述待检测工程机械上的每一个摄像装置110的成像范围确定的，每一个成像范围是一个子全景图像。

这里，在进行子全景图像以及子对照图像的对应时，可以依据图像中的不移动的标志物进行对比，或是根据图像中的像素的相似度进行子全景图像以及子对照图像的对应。

这里，同一个物体在子全景图像以及子对照图像中得到位置不同，确定该物体发生了变化，例如，针对于同一个人，他在子全景图像中显示的位置是在所述待检测工程机械的正后方，而在子对照图像中显示的位置是在所述待检测工程机械的右后方，说明这个人在一段时间内是向左进行了移动，位置发生了变化，即这个人是移动的。

进一步的，所述控制模块122用于通过以下步骤确定所述全景图像中的非可视区域：确定所述预设的操作人员视野角度以及所述回转角度的和为可视角度；确定所述可视角度对应的可视场景图像，将所述全景图像中未包括所述可视场景图像的图像部分，确定为非可视图像；将所述非可视图像对应的场景区域确定为非可视区域。

这里，在所述工程机械4的转动过程中，操作人员的视线会扫过一定的角度，在本申请实施例中，在确定操作人员的视野角度时，在预设的操作人员视野范围角度以及所述工程机械4的旋转过程中，操作员的都是可以看见的。

这里，在其他实施例中，可以一直将预设的操作人员视野角度作为操作人员的可视角度范围，在预设的视野角度外的都是非可视视野范围。

这里，在确定操作人员的可视角度范围后，确定在全景图像中所述可视角度范围对应的可视场景图像，将全景图向中不包括可视场景图像的图像部分，确定为非可视图像，将所述非可视图像对应的场景区域为非可视区域。

这里，还可以将非可视图像按照预设的划分规则进行划分，确定出全景图像中的多个非可视子区域，以便更好地确定非静止物体5的具体位置，预设的划分规则可以是根据待检测工程机械自身的位置进行划分，可以分为待检测工程机械前方区域、待检测工程机械后方区域、待检测工程机械左方区域、待检测工程机械右方区域等。

这样，通过对非可视区域的划分，可以更加准确地描述出非静止物体5的具体位置，以便更好地进行预警。

进一步的，所述控制模块122还用于：确定所述操作人员施加在所述显示装置160上的输入操作，确定所述操作人员输入的输入视野角度；将所述输入视野角度，确定为可视角度范围。

这里，还可以是根据操作人员自己的设定，确定操作人员的视野角度，在显示装置160上可以显示提示操作人员进行视野角度的输入框，操作人员在输入框中输入自己的视野角度，通过显示装置160上的人机交互功能自定义待检测工程机械的可视角度范围，并且处理控制装置120在处理过程中以操作人员输入的可视角度范围为准。

这样，可以针对于不同的操作人员确定更合适的可视角度范围，更准确地确定全景图像中的非可视区域。

进一步的，所述预警系统100设置在工程机械4上，请参阅图4、图5，图4为工程机械结构的侧面示意图，图5为工程机械结构的俯视示意图，在所述工程机械4上设置预警系统100，操作员在操作人员驾驶室40操作工程机械4；以工程机械4上有四个摄像装置110为例，四个摄像装置分别为设置在操作人员驾驶室40前方，用于采集工程机械4前方场景图像的前方摄像装置111、设置在工程机械4右侧，用于采集工程机械4右方场景图像的右方摄像装置112、设置在工程机械4左侧，用于采集工程机械4前方场景图像的左方摄像装置113以及设置在工程机械4后方，用于采集工程机械4前方场景图像的后方摄像装置114；显示装置160还可以分为进行全景图像显示的全景影像显示模块161以及显示设备参数的参数显示模块162，所述全景影像显示模块161以及显示设备参数的参数显示模块162，并列设置在所述操作人员驾驶室40内操作人员的正前方，全景影像显示模块161以及参数显示模块162都设置于操作人员驾驶室40中操作人员的正前方，以便操作人员随时观看工程机械4所处区域的全景图像以及工程机械4工作过程中的工作参数；图像处理模块121、控制模块122以及存储装置140设置在一起，在所述图像处理模块121得到全景图像后，将所述全景图像传输至所述存储装置140存储；在所述控制模块122需要比对确定非可视区域内的物体时，所述存储装置140将存储的对照全景图像传输至控制模块122；回转角度测量装置130设置在所述工程机械4上，同时通过回转连接装置41与所述工程机械4连接，测量上部回转体42(可围绕工程机械4的转动轴线44转动)以及下部行走体43之间的夹角，以便后续确定操作人员的视野范围，根据全景图像以及工程机械4转动过程中的图像采集以及操作人员的视野范围的确定，更好地确定操作人员非可视范围中的非静止物体5，当确定出操作人员非可视范围中的非静止物体5，启动预警装置150进行报警。

进一步的，请参阅图6，图6为各摄像装置成像范围示意图，如图6中所示，共有前方摄像装置111、右方摄像装置112、左方摄像装置113以及后方摄像装置114四个摄像头，前方摄像装置111的成像范围是图6中的区域AB、区域A、区域AC；右方摄像装置112的成像范围是图6中的区域AB、区域B、区域BD；左方摄像装置113的成像范围是图6中的区域CD、区域C、区域AC；后方摄像装置114的成像范围是图6中的区域BD、区域D、区域CD；由图6可知，前方摄像装置111与右方摄像装置112存在摄像重叠区域AB、前方摄像装置111与左方摄像装置113存在摄像重叠区域AB；右方摄像装置112与后方摄像装置114存在摄像重叠区域BD；左方摄像装置113与后方摄像装置114存在摄像重叠区域CD；所以在进行图像拼接的时候摄像重叠区域AB、摄像重叠区域AB、摄像重叠区域BD、摄像重叠区域CD在形成的场景图像中都需要根据像素的相似度进行图像拼接，以形成所述待检测工程机械4所处区域四周的全景图像。

进一步的，请同时参阅图4、图5以及图7，参阅图7，图7为工程机械转动前状态示意图，如图7中所示，设定操作人员视野角度为W1，本视角W1，可以在操作人员视野原点45通过试验确定，预存在控制模块122中，也可以通过显示装置160，为操作人员提供人机交互功能，使得操作人员可以自主设定可视范围。与此同时，回转角度测量装置130确定上部回转体42和下部行走体43之间的原始位置关系。通过前方摄像装置111、右方摄像装置112、左方摄像装置113以及后方摄像装置联合采集多张场景图像，进一步形成工程机械4的全景图像，并将处理后的全景图像显示在全景影像显示模块161中，为操作人员监控工程机械4周围的环境信息。

进一步的，请参阅图8，图8为工程机械4转动过程示意图，如图8所示，预设的操作人员的视野角度为W1，通过回转角度测量装置130的测量某次所述工程机械4的回转角度为W2(上部回转体42围绕工程机械4的转动轴线44转动后，上部回转体42与下部行走体43之间的夹角)，那么在这次的转动过程中，操作人员的可视范围为W1+W2，在可视范围外区域均为非可视范围，在所述非可视范围内会存在非静止物体5，针对这个非静止物体5进行报警向所述操作人员预警。

这里，工程机械4可以为起重机、压裂机、推土机以及挖掘机等可以用于施工现场的机械设备。

本申请实施例提供了一种工程机械的预警系统，通过设置在待检测工程机械周围的至少一个摄像装置，采集多张场景图像，并将多张场景图像发送至处理控制装置，所述处理控制装置根据接收到的多张场景图像，拼接出待检测工程机械所处区域的全景图像，再根据回转角度测量确定的待检测工程机械的旋转角度，确定出全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体时，生成预警信息，可以及时发现在待检测工程机械所处区域的危险情况，有助于降低操作人员以及待检测工程机械作业环境周围的安全隐患。

请参阅图9，图9为本申请实施例所提供的一种工程机械的预警方法的流程图。如图9中所示，本申请实施例提供的工程机械的预警方法，包括：

步骤901、控制摄像装置采集所述待检测工程机械预设角度范围内对应的场景图像，并将所述场景图像发送至所述处理控制装置。

该步骤中，控制摄像装置采集待检测工程机械预设角度范围内对应的场景图像，并将所述场景图像发送至所述处理控制装置；

这里，每一个摄像装置都可以是全景摄像头。

这里，所述摄像装置的数量可以是采集到所述待检测工程机械周围的全部场景图像时的最少数量，也可以是参考实际摄像头成像时的视野，根据需求对所述摄像装置进行设置，通常情况下可以在所述待检测工程机械的前后左右四个位置设置四个摄像装，每一个摄像装置的图像采集范围可以相同也可以不同。

步骤902、控制所述处理控制装置拼接接收到的多张场景图像，确定所述待检测工程机械所处区域全景图像，并基于接收到的回转角度以及预设的操作人员视野角度，确定所述全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体，控制所述处理控制装置生成预警信息。

这里，所述处理控制装置对于所述图像的拼接是根据每一个摄像装置拍摄的场景图像中的图像重叠区域内的图像像素的相似度进行拼接的。

这里，需要处理控制装置确定操作人员的视野角度，在待检测工程机械工作前，根据所述待检测工程机械在设计时的参数，或是历史操作数据，确定出操作人员在待检测工程机械未工作时，操作人员的视野SIP(原点)，并根据所述视野SIP确定操作人员视野角度，并存储在处理控制装置中。

步骤903、控制所述回转角度测量装置在接收到所述处理控制装置发送的角度获取指令时，确定所述待检测工程机械当前的回转角度，将所述回转角度发送至所述处理控制装置。

该步骤中，控制回转角度测量装置根据接收到的处理控制装置发送的角度获取指令，根据之前的记载的历史回转角度，以及当前回转角度，确定出现阶段待检测工程机械的回转角度，并将所述回转角度发送至所述处理控制装置。

这里，所述回转角度测量装置一般设置在所述待检测工程机械的驾驶室内，可以是角度传感器、旋转陀螺仪等。

进一步的，在步骤903之后，所述预警方法还包括：控制存储装置存储所述处理控制装置确定出的每一张全景图像以及每一张全景图像的存储时间，在接收到所述处理控制装置发送的调取指令时，确定存储的多张全景图像中存储时间距离当前时间最近的全景图像为对照图像，并将所述对照图像发送至所述处理控制装置，为所述处理控制装置确定非可视区域中的非静止物体提供对照。

该步骤中，所述处理控制装置确定出一张全景图像之后，都会将该全景图像传输至所述存储装置进行存储，所述存储装置在存储全景图像时，也会存储接收到该全景图像的时间，在接收到所述处理控制装置的调取指令时，将最新存储的全景图像作为对照图像发送至所述处理控制装置，以便所述处理控制装置根据对照图像进行图像对照，从而确定出移动的非静止物体。

这里，所述存储装置也可以用来在预设时间段存储的待检测工程机械周围的环境信息，当所述待检测工程机械发生碰撞等危险事故时，可以调用存储装置中存储的图像信息，为设备管理人员提供真实的事故发生场景，便于设备管理人员制定事故再发生的应对措施。

进一步的，所述控制所述处理控制装置拼接接收到的多张场景图像，确定所述待检测工程机械所处区域全景图像，包括：确定相邻的摄像装置之间的摄像重叠区域，并在每一张场景图像中确定出相应的图像重叠区域；针对每张场景图像，基于该场景图像中的至少一个图像重叠区域的像素，从接收到的多张场景图像中除该场景图像之外的其他场景图像中，确定出与该场景图像中的至少一个图像重叠区域的像素的相似值在预设阈值范围内的至少一张拼接场景图像；将该场景图像按照图像重叠区域与至少一张拼接场景图像进行拼接，确定所述待检测工程机械所处区域的全景图像。

该步骤中，在进行图像拼接时，针对每一个张场景图像的摄像重叠区域，确定与该场景图像存在相同的摄像重叠区域的其他场景图像的与该场景图像的像素之间的相似度在预设相似度范围内的相似部分，将相似部分覆盖拼接，每一张场景图像都进行拼接操作，拼接结束后，得到所述待检测工程机械所在区域的全景图像。

这里，针对于设置在所述待检测工程机械上的多个摄像装置来说，每个摄像装置都会有自己对应的摄像范围，对于相邻设置的两个摄像装置，势必会在采集的场景图像中存在相同的摄像重叠区域，这些摄像重叠区域在形成全景图像时，需要进行剔除，以保证拼接后的全景图像没有重复的部分。

进一步的，通过以下步骤确定非静止物体：将所述全景图像划分成多个子全景图像，并相应的在所述对照图像中划分出多个子对照图像；将每一个子全景图像与对应的子对照图像进行图像对比，确定发生位置变化的物体；确定发生位置变化的物体为非静止物体。

该步骤中，在所述处理控制装置从存储装置中调取出对照图像以及获取到当前的全景图像后，将所述对照图像以及全景图像放入控制模块中，所述控制模块按照预设划分规则将对照图像以及全景图像进行图像划分，得到多个子全景图像以及多个子对照图像，经由相应的子全景图像与子对照图像进行对比，确定非静止物体。

其中，预设划分规则可以是在所述待检测工程机械上的每一个摄像装置的成像范围确定的，每一个成像范围是一个子全景图像。

这里，在进行子全景图像以及子对照图像的对应时，可以依据图像中的不移动的标志物进行对比，或是根据图像中的像素的相似度进行子全景图像以及子对照图像的对应。

这里，同一个物体在子全景图像以及子对照图像中得到位置不同，确定该物体发生了变化，例如，针对于同一个人，他在子全景图像中显示的位置是在所述待检测工程机械的正后方，而在子对照图像中显示的位置是在所述待检测工程机械的右后方，说明这个人在一段时间内是向左进行了移动，位置发生了变化，即这个人是非静止的。

进一步的，通过以下步骤确定所述全景图像中的非可视区域：确定所述预设的操作人员视野角度以及所述回转角度的和为可视角度；确定所述可视角度对应的可视场景图像，将所述全景图像中未包括所述可视场景图像的图像部分，确定为非可视图像；将所述非可视图像对应的场景区域确定为非可视区域。

这里，在所述工程机械的转动过程中，操作人员的视线会扫过一定的角度，在本申请实施例中，在确定操作人员的视野角度时，在预设的操作人员视野范围角度以及所述工程机械的旋转过程中，操作员的都是可以看见的。

这里，在确定操作人员的可视角度范围后，确定在全景图像中所述可视角度范围对应的可视场景图像，将全景图向中不包括可视场景图像的图像部分，确定为非可视图像，将所述非可视图像对应的场景区域确定为非可视区域。

这里，还可以将非可视图像按照预设的划分规则进行划分，确定出全景图像中的多个非可视子区域，以便更好地确定非静止物体的具体位置，预设的划分规则可以是根据待检测工程机械自身的位置进行划分，可以分为待检测工程机械前方区域、待检测工程机械后方区域、待检测工程机械左方区域、待检测工程机械右方区域等。

进一步的，所述预警方法还包括：确定所述操作人员施加在所述显示装置上的输入操作，确定所述操作人员输入的输入视野角度；将所述输入视野角度，确定为可视角度。

这里，还可以是操作人员自己的设定视野角度，在显示装置上显示视野角度的输入框，以提示操作人员进行视野角度的设置，操作人员在输入框中输入自己的视野角度后，通过显示装置上的人机交互功能自定义待检测工程机械的可视角度范围，并且处理控制装置在处理过程中以操作人员输入的可视角度范围为准。

这样，可以针对于不同的操作人员确定更合适的可视角度范围，更准确地确定全景图像中的非可视区域。

进一步的，所述预警方法还包括：控制预警装置接收所述控制模块发送的预警信息，并通过所述预警装置内部的广播模块，广播所述预警信息；控制显示装置接收所述控制模块发送的全景图像，并标注所述静止物体在所述全景图像中的位置，显示标注后的全景图像。

这里，所述预警装置可以是声音报警器，在接收到处理控制装置发送的预警信息后，将预警信息通过广播进行播放，播放的信息包括非静止物体的位置以及与所述待检测工程机械的距离等；所述预警装置还可以通过控制指示灯的闪烁向所述待检测工程机械的操作人员进行预警。

这里，所述显示装置用来在所述处理控制装置确定出全景图像时，用于显示所述全景图像，并且在确定出存在非静止物体时，在显示的全景图像中对非静止物体进行标注，以辅助待检测工程机械的操作人员对非静止物体进行定位；同时，所述显示装置还可以用来显示待检测工程机械的设备参数，以使操作人员随时了解待检测工程机械的工作状态。

其中，所述设备参数包括油量、液压等参数。

本申请实施例提供了一种工程机械的预警方法，通过控制设置在待检测工程机械周围的至少一个摄像装置，采集多张场景图像，并将多张场景图像发送至处理控制装置，控制所述处理控制装置根据接收到的多张场景图像，拼接出待检测工程机械所处区域的全景图像，再根据回转角度测量确定的待检测工程机械的旋转角度，确定出全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体时，生成预警信息，可以及时发现在待检测工程机械所处区域的危险情况，有助于降低操作人员以及待检测工程机械作业环境周围的安全隐患。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理控制装置可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种工程机械的预警系统，其特征在于，所述预警系统包括至少一个摄像装置、处理控制装置、回转角度测量装置；每一个摄像装置以及回转角度测量装置分别与所述处理控制装置通信连接；

所述摄像装置，用于采集待检测工程机械预设角度范围内对应的场景图像，并将所述场景图像发送至所述处理控制装置；

所述处理控制装置，用于接收每一个摄像装置发送的场景图像，并将接收到的多张场景图像进行图像拼接，确定所述待检测工程机械所处区域的全景图像，向所述回转角度测量装置发送角度获取指令，并接收所述回转角度测量装置反馈的所述待检测工程机械的回转角度，基于预设的操作人员视野角度以及所述回转角度，确定所述全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体时，生成预警信息；

所述回转角度测量装置，用于在接收到所述处理控制装置发送的角度获取指令时，确定所述待检测工程机械当前的回转角度，将所述回转角度发送至所述处理控制装置。

2.根据权利要求1所述的预警系统，其特征在于，所述预警系统还包括存储装置，所述存储装置用于：

存储所述处理控制装置确定出的每一张全景图像以及每一张全景图像的存储时间，在接收到所述处理控制装置发送的调取指令时，确定存储的多张全景图像中存储时间距离当前时间最近的全景图像为对照图像，并将所述对照图像发送至所述处理控制装置，为所述处理控制装置确定非可视区域中的非静止物体提供对照。

3.根据权利要求1所述的预警系统，其特征在于，所述处理控制装置包括图像处理模块，所述图像处理模块用于通过以下步骤确定所述待检测工程机械所处区域的全景图像：

确定相邻的摄像装置之间的摄像重叠区域，并在每一张场景图像中确定出相应的图像重叠区域；

针对每张场景图像，基于该场景图像中的至少一个图像重叠区域的像素，从接收到的多张场景图像中除该场景图像之外的其他场景图像中，确定出与该场景图像中的至少一个图像重叠区域的像素的相似值在预设阈值范围内的至少一张拼接场景图像；

将该场景图像按照图像重叠区域与至少一张拼接场景图像进行拼接，确定所述待检测工程机械所处区域的全景图像。

4.根据权利要求2所述的预警系统，其特征在于，所述处理控制装置还包括控制模块，所述控制模块用于通过以下步骤确定非静止物体：

将所述全景图像划分成多个子全景图像，并相应的在所述对照图像中划分出多个子对照图像；

将每一个子全景图像与对应的子对照图像进行图像对比，确定发生位置变化的物体；

确定发生位置变化的物体为非静止物体。

5.根据权利要求4所述的预警系统，其特征在于，所述控制模块用于通过以下步骤确定所述全景图像中的非可视区域：

确定所述预设的操作人员视野角度以及所述回转角度的和为可视角度；

确定所述可视角度对应的可视场景图像，将所述全景图像中未包括所述可视场景图像的图像部分，确定为非可视图像；

将所述非可视图像对应的场景区域确定为非可视区域。

6.根据权利要求4所述的预警系统，其特征在于，所述预警系统还包括预警装置以及显示装置；

所述预警装置，用于接收所述控制模块发送的预警信息，并通过所述预警装置内部的广播模块，广播所述预警信息；

所述显示装置，用于接收所述控制模块发送的全景图像，并标注所述静止物体在所述全景图像中的位置，显示标注后的全景图像，同时显示所述工程机械的多个工作参数。

7.根据权利要求6所述的预警系统，其特征在于，所述控制模块还用于：

确定所述操作人员施加在所述显示装置上的输入操作，确定所述操作人员输入的输入视野角度；

将所述输入视野角度确定为可视角度。

8.一种工程机械的预警方法，其特征在于，所述预警方法应用于如权利要求1-7中任一项所述的预警系统，所述预警方法包括：

控制摄像装置采集所述待检测工程机械预设角度范围内对应的场景图像，并将所述场景图像发送至所述处理控制装置；

控制所述处理控制装置拼接接收到的多张场景图像，确定所述待检测工程机械所处区域全景图像，并基于接收到的回转角度以及预设的操作人员视野角度，确定所述全景图像中的非可视区域，当检测到所述非可视区域中存在非静止物体，控制所述处理控制装置生成预警信息；

控制所述回转角度测量装置在接收到所述处理控制装置发送的角度获取指令时，确定所述待检测工程机械当前的回转角度，将所述回转角度发送至所述处理控制装置。

9.根据权利要求8所述的预警方法，其特征在于，在所述控制所述回转角度测量装置在接收到所述处理控制装置发送的角度获取指令时，确定所述待检测工程机械当前的回转角度，将所述回转角度发送至所述处理控制装置之后，所述预警方法还包括：

控制存储装置存储所述处理控制装置确定出的每一张全景图像以及每一张全景图像的存储时间，在接收到所述处理控制装置发送的调取指令时，确定存储的多张全景图像中存储时间距离当前时间最近的全景图像为对照图像，并将所述对照图像发送至所述处理控制装置，为所述处理控制装置确定非可视区域中的非静止物体提供对照。

10.一种工程机械，其特征在于，包括如权利要求1-7中任一项所述的预警系统，所述预警系统设置于所述工程机械。

Images