CN116709034A - 一种基于视频ai的卸船机抓斗跟踪方法及系统 - Google Patents

Abstract

本发明提供了一种基于视频AI的卸船机抓斗跟踪方法及系统，属于智慧港口、港口自动化技术领域。其中，所述系统包括全景高清摄像机、系统分析服务器、网络传输设备、客户端系统。本发明具备较高的可扩展性与可维护性，同时基于多种软硬件优化技术，抓斗跟踪的成功率超过99.5%，并可使得卸船机司机可在清晰观察抓斗运行状态的同时兼顾作业全景，系统可应用于各散货码头的卸船机抓斗跟踪，为码头的数字化及自动化建设提供坚实的技术支持。

Description

一种基于视频AI的卸船机抓斗跟踪方法及系统

技术领域

本发明涉及智慧港口、港口自动化技术领域，具体而言，涉及一种基于视频AI的卸船机抓斗跟踪方法、系统、电子设备及计算机存储介质。

背景技术

在散杂货堆场中，抓斗卸船机进行作业时，操作司机需要在作业中看清抓斗作业时周边的情况，包括是否会与船舱碰撞、是否会与舱口内的人员或流机碰撞、抓斗抓料时是否完整、是否正常将物料倒入物料装置等。因此，需要提供一种可视化的手段，实时的清晰的呈现抓斗作业的全过程，确保作业的安全性。

目前常规的解决此问题的方式有：

1.在抓斗上方小车底部、司机室下方、物料室上方等位置安装多个监控摄像头，从而覆盖抓斗整个作业过程，司机在操作抓斗作业时，通过观察对应的摄像头画面，以确保作业的安全性与有效性。2.在司机室下方安装云台摄像机，在抓斗作业时自动跟踪抓斗，并呈现对应的跟踪画面。

上述常规方式存在的问题为：

1）方式1中，虽然可以确保在抓斗作业时，始终有摄像机能清晰的看到抓斗，但该方法存在：①摄像机数量众多，司机需要在控制时分心选择查看哪一个或多个摄像机画面，从而会导致作业风险；②每时每刻某个细节区域的画面，无法对作业全景进行查看，缺乏对全局安全的判断；③不同摄像机的视角不一致，与司机从司机室中看到的视角相差过大，需要司机在查看画面时自行将画面视角与实际视角对应，存在场景理解困难问题。

2）方式2中，虽然利用云台摄像机可以实时跟踪抓斗，并且显示抓斗及周边细节信息，但存在：①云台寿命有限，长时间使用后需要更换；②每时每刻某个细节区域的画面，无法对作业全景进行进行查看，缺乏对全局安全的判断；③云台速度有挡位限制，无法做到云台速度与抓斗速度同步，导致无法将抓斗在图像中心呈现，即会出现抓斗在图像边界，抓斗周边区域看不到的问题；④为确保抓斗跟踪效果，通常图像中抓斗的轨迹是沿着图像宽度方向（对应观察者视角的左右方向），而司机从现实世界中看到的抓斗是沿着前后方向，导致司机需要90度扭头查看图像才能确保在图像中看到的抓斗与现实中看到的抓斗角度一致。

因此，需要一套合适易用的抓斗跟踪系统，确保操作司机能够以常规视角下观察抓斗及抓斗周边细节画面以及抓斗作业全景信息，从而提升现场作业的效率与安全性。

发明内容

为了至少解决上述背景技术中存在的技术问题，本发明提供了一种基于视频AI的卸船机抓斗跟踪方法、系统、电子设备及计算机存储介质，以确保操作司机能够以常规视角下观察抓斗及抓斗周边细节画面以及抓斗作业全景信息，从而提升现场作业的效率与安全性。

本发明的第一方面提供了一种基于视频AI的卸船机抓斗跟踪系统，包括全景高清摄像机、系统分析服务器、网络传输设备、客户端系统；其中，所述系统分析服务器与所述全景高清摄像机、所述客户端系统通过所述网络传输设备进行连接；

所述全景高清摄像机，用于实现对抓斗作业轨迹的全高清覆盖；

所述系统分析服务器，至少用于完成PLC对接、摄像机码流获取、卸船机抓斗跟踪、数据存储工作；其中，采用视频AI完成卸船机抓斗跟踪；

所述客户端系统，用于呈现抓斗作业过程中抓斗及抓斗周边区域的清晰画面，其中，所述抓斗在画面中的呈现视角与司机观察视角保持一致。

进一步地，所述全景高清摄像机安装于卸船机司机室底部；所述分析服务器部署于卸船机电气房；所述网络传输设备部署于卸船机电气房；所述客户端系统部署于卸船机司机室。

进一步地，所述网络传输设备至少包括交换机、网线、光纤。

进一步地，所述全景高清摄像机安装在司机室入口处、维修平台下方，且摄像机的角度为垂直往下后物料室偏转约20度。

本发明的第二方面提供了一种基于视频AI的卸船机抓斗跟踪方法，包括如下步骤：

S1，系统启动后，系统分析服务器与PLC对接，抓斗第一次在船侧闭锁时开启抓斗跟踪任务；

S2，所述系统分析服务器接收所述全景高清摄像机的码流，基于所述码流实时检测摄像机画面中的抓斗，并将抓斗位置发送到客户端系统；

S3，所述客户端系统将摄像机画面进行顺时针90度旋转，并将收到的抓斗坐标进行对应角度变化；

S4，所述客户端系统根据抓斗的大小和位置，按照一定比例切出抓斗及周边区域画面；

S5，所述客户端系统根据当前用于显示抓斗画面窗口的分辨率，将步骤S4中切出的区域进行对应数字放大或缩小。

S6，当收到停止作业信号后，停止对应的抓斗跟踪任务。

本发明的第三方面提供了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如上任一项所述的方法。

本发明的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。

本发明的有益效果在于：

1）能够始终在图像中心清晰地呈现抓斗及抓斗周边细节画面；2）配备作业全景的监控，以协助司机从全局角度对边缘险情进行判断；3）抓斗的呈现视角与司机观察视角保持一致；4）系统具备极高的稳定性；5）具备可扩展性，可应用于各码头的卸船机抓斗跟踪。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例公开的一种基于视频AI的卸船机抓斗跟踪系统的结构示意图。

图2是本发明实施例公开的全景高清摄像机在卸船机布设位置的俯视图。

图3是本发明实施例公开的客户端系统的显示界面示意图。

图4是本发明实施例公开的一种基于视频AI的卸船机抓斗跟踪方法的流程示意图。

图5是本发明实施例公开一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本发明实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

下面结合附图详细说明本发明的优选实施例。

请参阅图1，图1是本发明实施例公开的一种基于视频AI的卸船机抓斗跟踪系统的结构示意图。如图1所示，本发明实施例的一种基于视频AI的卸船机抓斗跟踪系统，包括全景高清摄像机、系统分析服务器、网络传输设备、客户端系统；其中，所述系统分析服务器与所述全景高清摄像机、所述客户端系统通过所述网络传输设备进行连接；

所述全景高清摄像机，用于实现对抓斗作业轨迹的全高清覆盖；

所述系统分析服务器，至少用于完成PLC对接、摄像机码流获取、卸船机抓斗跟踪、数据存储工作；其中，采用视频AI完成卸船机抓斗跟踪；

所述客户端系统，用于呈现抓斗作业过程中抓斗及抓斗周边区域的清晰画面，其中，所述抓斗在画面中的呈现视角与司机观察视角保持一致。

进一步地，参阅图2所示，所述全景高清摄像机安装于卸船机司机室底部；所述分析服务器部署于卸船机电气房；所述网络传输设备部署于卸船机电气房；所述客户端系统部署于卸船机司机室。

进一步地，所述网络传输设备包括交换机、网线、光纤等。

进一步地，所述全景高清摄像机安装在司机室入口处、维修平台下方，且摄像机的角度为垂直往下后物料室偏转约20度。

每次抓斗作业时，司机均会将司机室开到舱口中线位置（沿着轮船宽度方向），而不同吨位的船的船舱大小从十多米到三十多米均有，即从摄像机的画面观察，摄像机右侧最多需要覆盖的水平距离不到20米，左侧需要覆盖舱口至物料室的距离（约50米），同时考虑到抓斗最高时距离摄像机（司机室底部）仅10米，因此此处为确保物料室侧画面像素足够高的同时不损失有效覆盖范围，此处需将摄像机朝向物料室略微偏移一定角度。

请参阅图4，图4是本发明实施例公开的一种基于视频AI的卸船机抓斗跟踪方法的流程示意图。如图4所示，本发明实施例的一种基于视频AI的卸船机抓斗跟踪方法，包括如下步骤：

S1，系统启动后，系统分析服务器与PLC对接，抓斗第一次在船侧闭锁时开启抓斗跟踪任务；

此步骤中，仅在第一次时获取到对应信息时开启抓斗跟踪任务。

S2，所述系统分析服务器接收所述全景高清摄像机的码流，基于所述码流实时检测摄像机画面中的抓斗，并将抓斗位置发送到客户端系统；

此步骤中，使用基于视频AI深度学习技术，对抓斗进行实时检测，因抓斗在图像画面中具有足够的分辨率与可见度，因此检测效果极好。抓斗检测及跟踪算法均为常规方法，本发明不作具体限定。

S3，所述客户端系统将摄像机画面进行顺时针90度旋转，并将收到的抓斗坐标进行对应角度变化；

此步骤中，摄像机使用全景（水平）180度高清摄像机，原因在于：每次抓斗作业时，抓斗均会升至安全高度后才沿着物料室与船舱的方向水平运动，抓斗升至最高时距离摄像机不到10米，因此要确保在各种工况下摄像机对抓斗的全轨迹跟踪（水平为物料室到船舱，高度为舱口到抓斗最高处），对应的摄像机的水平视场角需足够大。将摄像机画面顺时针旋转90度的原因在于：在图像画面中，左手侧为物料室侧、右手侧为舱口侧，而司机的视角为正对物料室，因此旋转后可使得图像远处为物料室，近处为舱口，以此种角度观察抓斗运行与司机的视角可保持一致，可避免常规球机跟踪方式中司机需要扭脖子90度去观察图像以达到常规观测视角的问题。

S4，所述客户端系统根据抓斗的大小和位置，按照一定比例切出抓斗及周边区域画面；

此步骤中，为使得抓斗在图像中清晰可见，切出以抓斗为中心（因摄像机视场角为180度，因此任何时候抓斗都不会到图像边缘），且抓斗占图像一定比例（这里取最大边的1/3）的画面。

S5，所述客户端系统根据当前用于显示抓斗画面窗口的分辨率，将步骤S4中切出的区域进行对应数字放大或缩小。

此步骤中，由于摄像机的分辨率足够高（4K画面），而显示器的分辨率通常为1080P或2K，远低于摄像机的画面，且客户端中用于显示抓斗的显示框亦小于整个显示器区域，因此将步骤S4中的画面区域（小于整个摄像机画面区域）进行对应的数字放大和缩小铺满显示抓斗的显示框中，从人眼的角度上，亦可清晰的呈现抓斗及抓斗周边的区域。

同时，参阅图3所示，在当前显示抓斗细节的图像的右下角显示摄像机的全景画面，可使得司机在观测抓斗区域时，亦可迅速发现周边其他区域情况，可有效的避免边缘处导致的险情对安全作业的影响。

S6，当收到停止作业信号后，停止对应的抓斗跟踪任务。

此步骤中，当卸船机停机作业时，即抓斗不再作业时，系统可停止抓斗跟踪任务，从而释放系统资源。

本发明具备较高的可扩展性与可维护性，同时基于前述提到的多种软硬件优化技术，抓斗跟踪的成功率超过99.5%，并可使得卸船机司机可在清晰观察抓斗运行状态的同时兼顾作业全景，系统可应用于各散货码头的卸船机抓斗跟踪，为码头的数字化及自动化建设提供坚实的技术支持。

请参阅图5，图5是本发明实施例公开的一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。

本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前任一项所述的方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用的技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明的构思的情况下，还可以包括更多其他等效实施例，均属于本发明的保护范畴。

Claims (7)

1.一种基于视频AI的卸船机抓斗跟踪系统，其特征在于，包括全景高清摄像机、系统分析服务器、网络传输设备、客户端系统；其中，所述系统分析服务器与所述全景高清摄像机、所述客户端系统通过所述网络传输设备进行连接；

所述全景高清摄像机，用于实现对抓斗作业轨迹的全高清覆盖；

所述系统分析服务器，至少用于完成PLC对接、摄像机码流获取、卸船机抓斗跟踪、数据存储工作；其中，采用视频AI完成卸船机抓斗跟踪；

所述客户端系统，用于呈现抓斗作业过程中抓斗及抓斗周边区域的清晰画面，其中，所述抓斗在画面中的呈现视角与司机观察视角保持一致。

2.根据权利要求1所述的一种基于视频AI的卸船机抓斗跟踪系统，其特征在于：所述全景高清摄像机安装于卸船机司机室底部；所述分析服务器部署于卸船机电气房；所述网络传输设备部署于卸船机电气房；所述客户端系统部署于卸船机司机室。

3.根据权利要求1或2所述的一种基于视频AI的卸船机抓斗跟踪系统，其特征在于：所述网络传输设备至少包括交换机、网线、光纤。

4.根据权利要求3所述的一种基于视频AI的卸船机抓斗跟踪系统，其特征在于：所述全景高清摄像机安装在司机室入口处、维修平台下方，且摄像机的角度为垂直往下后物料室偏转约20度。

5.一种基于视频AI的卸船机抓斗跟踪方法，其特征在于，包括如下步骤：

S1，系统启动后，系统分析服务器与PLC对接，抓斗第一次在船侧闭锁时开启抓斗跟踪任务；

S2，所述系统分析服务器接收全景高清摄像机的码流，基于所述码流实时检测摄像机画面中的抓斗，并将抓斗位置发送到客户端系统；

S3，所述客户端系统将摄像机画面进行顺时针90度旋转，并将收到的抓斗坐标进行对应角度变化；

S4，所述客户端系统根据抓斗的大小和位置，按照一定比例切出抓斗及周边区域画面；

S5，所述客户端系统根据当前用于显示抓斗画面窗口的分辨率，将步骤S4中切出的区域进行对应数字放大或缩小；

S6，当收到停止作业信号后，停止对应的抓斗跟踪任务。

6.一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；其特征在于：所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求5所述的方法。

7.一种计算机存储介质，该存储介质上存储有计算机程序，其特征在于：该计算机程序被处理器运行时执行如权利要求5所述的方法。