CN115802012A - 一种集装箱货物内容球机视频叠加方法及系统 - Google Patents

Abstract

本发明提供了一种集装箱货物内容球机视频叠加方法及系统，属于智慧港口技术领域；所述方法包括：确定第一视频图像中的第一目标图像，根据所述第一目标图像提取得出集装箱箱号；根据所述集装箱箱号调取该集装箱中的货物内容，将所述货物内容叠加显示于视频图像中。本发明可实现管理人员简单便捷的对港口中的各集装箱所装载货物进行直观地可视化查看，极大地提升了港口的业务管控效率。

Description

一种集装箱货物内容球机视频叠加方法及系统

技术领域

本发明涉及智慧港口技术领域，具体而言，涉及一种集装箱货物内容球机视频叠加方法、系统、电子设备及计算机存储介质。

背景技术

在集装箱的自动化建设中，随着各种技术的发展，目前在港口中已经可以记录每个集装箱在堆场中的位置，以及每个集装箱内装载的货物情况。然而目前此类信息通常记录在对应的业务系统中，缺乏一种直观的可视化的方式，以实现对集装箱内容进行呈现。在目前各港口的可视化建设，即视频监控系统建设中，管控人员仅能实现手动控制摄像机转动或变倍，对需要查看的集装箱进行放大呈现，通过人眼查看集装箱箱号，然后在对应的业务系统中手动输入对应箱号以查看集装箱内的货物情况。此种方式，存在了大量的人工操作，效率较为低下。

发明内容

为了至少解决上述背景技术中存在的技术问题，本发明提供了一种集装箱货物内容球机视频叠加方法、系统、电子设备及计算机存储介质。

本发明的第一方面提供了一种集装箱货物内容球机视频叠加方法，包括如下步骤：

确定第一视频图像中的第一目标图像，根据所述第一目标图像提取得出集装箱箱号；

根据所述集装箱箱号调取该集装箱中的货物内容，将所述货物内容叠加显示于视频图像中；

所述将所述货物内容叠加显示于所述视频图像中，包括：

根据所述第一视频图像确定所述集装箱周围的其它集装箱的数量；

根据所述数量将所述第一视频图像或第二视频图像或第三视频图像作为所述视频图像；

将所述货物内容叠加显示于所述视频图像中；

其中，所述数量与视频图像的居中放大程度负相关，所述第二视频图像、所述第三视频图像是在所述第一视频图像的基础上通过居中放大操作得出的，且所述第一视频图像、所述第二视频图像、所述第三视频图像的居中放大程度依次增大。

进一步地，所述确定第一视频图像中的第一目标图像，包括：

检测用户在所述第一视频图像中的选择操作，根据所述选择操作确定所述第一视频图像中的所述第一目标图像。

进一步地，所述根据所述第一目标图像提取得出集装箱箱号，包括：

根据所述第一目标图像通过居中一次放大处理确定第二视频图像中的第二目标图像；

根据所述第二目标图像提取得出所述集装箱箱号。

进一步地，所述根据所述第二目标图像提取得出所述集装箱箱号，包括：

对所述第二目标图像进行集装箱检测；

根据检测结果和所述第二目标图像居中二次放大处理确定第三视频图像中的第三目标图像；

根据所述第三目标图像提取得出所述集装箱箱号。

进一步地，所述对所述第二目标图像进行集装箱检测，包括：

根据实例分割的方式对所述第二目标图像进行集装箱检测。

进一步地，所述根据所述第三目标图像提取得出所述集装箱箱号，包括：

从所述第三目标图像提取得出若干所述集装箱箱号；

使用畸变矫正技术对各所述集装箱箱号进行矫正，以将侧视视角的所述集装箱箱号矫正为正视视角。

本发明的第二方面提供了一种集装箱货物内容球机视频叠加系统，包括获取模块、处理模块、存储模块；所述处理模块与所述获取模块、所述存储模块连接；

所述存储模块，用于存储可执行的计算机程序代码；

所述获取模块，用于获取球机的视频图像及用户的框选数据，并传输给所述处理模块；

所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如前任一项所述的方法，以实现货物内容在视频图像中的叠加显示。

本发明的第三方面提供了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。

本发明的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。

本发明的有益效果在于：

在港口的监控视频中，可以确定出意欲查看的集装箱所处的第一目标图像，从中提取出集装箱的箱号；再基于集装箱的箱号调取出对应的货物内容，将其与当前的监控视频叠加。于是，管理人员可以简单便捷的对港口中的各集装箱所装载货物进行直观地可视化查看，可极大地提升港口的业务管控效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例公开的一种集装箱货物内容球机视频叠加方法的流程示意图。

图2是本发明实施例公开的一种集装箱货物内容球机视频叠加系统的结构示意图。

图3是本发明实施例公开一种电子设备的结构示意图。

实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本申请实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

下面结合附图详细说明本发明的优选实施例。

请参阅图1，图1是本发明实施例公开的一种集装箱货物内容球机视频叠加方法的流程示意图。如图1所示，本发明实施例的一种集装箱货物内容球机视频叠加方法，包括如下步骤：

确定第一视频图像中的第一目标图像，根据所述第一目标图像提取得出集装箱箱号；

根据所述集装箱箱号调取该集装箱中的货物内容，将所述货物内容叠加显示于视频图像中。

在港口的监控视频中，可以确定出意欲查看的集装箱所处的第一目标图像，从中提取出集装箱的箱号；再基于集装箱的箱号调取出对应的货物内容，将其与当前的监控视频叠加。于是，管理人员可以简单便捷的对港口中的各集装箱所装载货物进行直观地可视化查看，可极大地提升港口的业务管控效率。

其中，本发明中的监控视频优选由球机拍摄获得，即预先在港口中分布式布设多个球机，利用球机具有更广的监控视角来对港口各集装箱放置区域进行监控。

以及，在识别出最终箱号后，系统可与业务系统对接，输入集装箱箱号（箱号为集装箱的“身份证”，具有唯一性），据此可以从业务系统中调取该集装箱的货物内容信息。

进一步地，所述确定第一视频图像中的第一目标图像，包括：

检测用户在所述第一视频图像中的选择操作，根据所述选择操作确定所述第一视频图像中的所述第一目标图像。

本实施例中，用户可以通过现有方式在港口的监控视频图像界面中输入指定的选择操作，从而确定出感兴趣的集装箱，据此将第一视频图像中中感兴趣集装箱所在区域的图像作为第一目标图像。

其中，第一操作可以是用户在监控视频界面中通过鼠标、触控、键盘、语音、视线捕捉等方式输入的框选操作，即用户可在实时的监控视频界面中通过上述方式直接选定意欲查看的集装箱。

进一步地，所述根据所述第一目标图像提取得出集装箱箱号，包括：

根据所述第一目标图像通过一次居中放大处理确定第二视频图像中的第二目标图像；

根据所述第二目标图像提取得出所述集装箱箱号。

在本实施例，在用户选定意欲查看的集装箱时，本发明先以选定区域为基础控制球机进行PTZ调整，以将第一视频图像调整为第二视频图像，第一目标图像也就调整为第二目标图像，从而实现了第一目标图像中的选定集装箱的居中放大处理，有利于准确识别集装箱箱号。

PTZ坐标：PTZ为Pan/Tilt/Zoom 的简写，代表云台/球机全方位（上下、左右）移动及镜头变倍、变焦控制。某个点对应的PT坐标，指该点位于球机摄像机光心在图像中的位置对应的PT值，在进行光心矫正后，该点即为图像的中心点。

在此步骤中，需要先离线对球机进行自动标定，用于获取每个zoom档位下定的光心偏移数值（此步骤属于球机标定常用步骤，因此本发明不再详细赘述），从而完成对应的光心矫正工作。进一步进行云台自由行标定（根据目标初始Bounding box和希望达到的Bounding box，计算所需的PTZ控制参数的技术。由于各个厂家计算方法不同，是业内常识，因此本发明不再详细赘述），结合ZOOM曲线可获得焦距与ZOOM变倍的之间关系。

此步骤中使用者在图像画面中框选的区域即第一目标图像为初始Bounding box，希望达到的目标Bounding box即第二目标图像为系统配置的理想区域。使用者在操作时，通常会框选集装箱的某一个面，为确保大部分时候集装箱能够在图像画面中显示完整，并具有一定的像素以确保后续的检测的精准性，此处设置的理想区域为Bounding box中的长边为对应图像长或宽的1/4，Bounding box的中心为图像画面的中心。

进一步地，所述根据所述第二目标图像提取得出所述集装箱箱号，包括：

对所述第二目标图像进行集装箱检测；

根据检测结果和所述第二目标图像二次居中放大处理确定第三视频图像中的第三目标图像；

根据所述第三目标图像提取得出所述集装箱箱号。

在本实施例，在前述一次居中放大处理的基础上，本发明还设计了二次居中放大处理，即以用户框选的集装箱为基础再次控制球机进行PTZ调整，以将第二视频图像调整为第三视频图像，第二目标图像也就调整为第三目标图像，从而实现了第二目标图像中的选定集装箱的居中放大处理，有利于准确识别集装箱箱号。

此步骤的核心为检测图像中心区域的集装箱。由于前述的一次居中放大是针对用户框选的位置放大，此框选位置与集装箱真实位置具有一定偏差，同时由于图像中的箱号偏小，在该画面中无法实现箱号的精准识别，因此需要进一步对集装箱区域进行检测，从而为后续的二次放大奠定基础。

进一步地，所述对所述第二目标图像进行集装箱检测，包括：

根据实例分割的方式对所述第二目标图像进行集装箱检测。

本实施例中，在进行集装箱检测时，使用常规的基于大量训练后进行目标识别的深度学习方式通常不太适用，原因在于在集装箱堆场中有大量的集装箱堆积，画面中集装箱都紧密相连，使用此类方式会存在集装箱检测不准，如多个集装箱检测成一个集装箱，以及部分角度下集装箱只能看到一两个面时检测不到的问题。

因此，本发明选择使用基于实例分割的方式对集装箱进行检测。实例分割是目标检测和语义分割的结合，在图像中将目标检测出来（目标检测），然后对每个像素打上标签（语义分割）。实例分割目的是将输入图像中的目标检测出来,并且对目标的每个像素分配类别标签.实例分割能够对前景语义类别相同的不同实例进行区分。

另外，本实施例中的二次居中放大与前述的一次居中方法相同，均为云台自由行技术。在已经检测出图像中的每个集装箱，此时根据中心最优（距离图像中心最近）原则，选择对应的集装箱区域，利用云台自由行技术对集装箱进行居中放大。在步骤中，对应的放大集装箱区域（希望达到的目标Bounding box）可设置成3/4的图像区域，从而确保在能够适应少量误差的同时在画面中亦能尽量清晰的呈现整个集装箱。

进一步地，所述根据所述第三目标图像提取得出所述集装箱箱号，包括：

从所述第三目标图像提取得出若干所述集装箱箱号；

使用畸变矫正技术对各所述集装箱箱号进行矫正，以将侧视视角的所述集装箱箱号矫正为正视视角。

在本实施例，首先利用箱号检测技术（属于常规目标检测技术，本发明不再详细赘述），定位图像中的每个集装箱箱号区域。由于在图像画面中可以同时看到集装箱的多个面，因此通常会识别到多个箱号。进一步，利用畸变矫正技术（此技术为常规技术，本发明不再详细赘述）将侧视视角的箱号矫正成正视视角的箱号。

此步骤主要完成两个任务：1）利用OCR字符识别技术对步骤5中的多个箱号进行识别； 2）利用多面箱号融合技术，确定最终的箱号。对于任务1），由于前述步骤已经对集装箱进行了最大程度的放大，从而确保了箱号在图像中对应像素大小可满足识别要求，还将箱号区域进行了畸变矫正，从而确保了识别的准确性。对于任务2），由于存在多个面的多个箱号，此步骤中可使用全局最优方法，结合箱号自身的编码规则（具备校验位）以及多个箱号的置信度等，利用多面箱号融合技术完成最终箱号的确认。

进一步地，所述将所述货物内容叠加显示于所述视频图像中，包括：

根据所述第一视频图像确定所述集装箱周围的其它集装箱的数量；

根据所述数量将所述第一视频图像或所述第二视频图像或所述第三视频图像作为所述视频图像；

将所述货物内容叠加显示于所述视频图像中。

在本实施例，总计涉及了原始视频图像和经过居中放大处理的两种视频图像，对原始视频图像即第一视频图像进行目标集装箱周围的其它集装箱的分布数量进行计数，据此可以确定出在何种视频图像中显示用户选中的集装箱的货物内容。

具体来说，所述数量与视频图像的居中放大程度负相关。例如，若目标集装箱周围的其它集装箱的数量为少，则在第三视频图像叠加显示目标集装箱的货物内容；若目标集装箱周围的其它集装箱的数量为中，则在第二视频图像叠加显示目标集装箱的货物内容；若目标集装箱周围的其它集装箱的数量为多，则在第一视频图像叠加显示目标集装箱的货物内容。如此设置，可以使用户基于原始视频图像中集装箱的数量来确定叠加显示的基准视频图像，从而有利于用户框选其它集装箱以查看其它集装箱的货物内容，此过程中可减少用户手动控制视频图像缩放/复原的操作频率，提升可视化的效率。

请参阅图2，图2是本发明实施例还公开了一种集装箱货物内容球机视频叠加系统的结构示意图。如图2所示，本发明实施例的一种集装箱货物内容球机视频叠加系统，包括获取模块101、处理模块102、存储模块103；所述处理模块102与所述获取模块101、所述存储模块103连接；

所述存储模块103，用于存储可执行的计算机程序代码；

所述获取模块101，用于获取球机的视频图像及用户的框选数据，并传输给所述处理模块102；

所述处理模块102，用于通过调用所述存储模块103中的所述可执行的计算机程序代码，执行如前任一项所述的方法，以实现货物内容在视频图像中的叠加显示。

该实施例中的一种集装箱货物内容球机视频叠加系统的具体功能参照上述实施例，由于本实施例的系统采用了上述实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

请参阅图3，图3是本发明实施例公开的一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前述实施例所述的方法。

本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前述实施例所述的方法。

根据本公开的实施例的装置/系统可以包括处理器、用于存储程序数据并执行该程序数据的存储器、诸如磁盘驱动器的永久存储器、用于处理与外部装置的通信的通信端口、以及用户界面装置等。方法被实现为软件模块或者可作为可由处理器执行的计算机可读代码或程序命令存储在计算机可读记录介质上。计算机可读记录介质的示例可包括磁存储介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、软盘、硬盘等)、光学读取介质(例如，CD-ROM、数字通用盘(DVD)等)等。计算机可读记录介质可被分布在连接在网络中的计算机系统中，并且计算机可读代码可以以分布方式存储和执行。介质可以是计算机可读的，存储在存储器中并由处理器执行。

本公开的实施例可以被指示为功能块组件和各种处理操作。功能块可被实现为执行特定功能的各种数量的硬件和/或软件组件。例如，本公开的实施例可实现可在一个或更多个微处理器或其他控制装置的控制下执行各种功能的直接电路组件，诸如存储器、处理电路、逻辑电路、查找表等。本公开的组件可通过软件编程或软件组件来实现。类似地，本公开的实施例可以包括由数据结构、过程、例程或其他编程组件的组合实现的各种算法，并且可以由编程或脚本语言(诸如C、C++、Java、汇编程序等)实现。功能方面可通过由一个或更多个处理器执行的算法来实现。此外，本公开的实施例可实现用于电子环境设置、信号处理和/或数据处理的相关技术。诸如“机构”、“元件”、“单元”等的术语可以被广泛使用，并且不限于机械和物理组件。这些术语可表示与处理器等相关的一系列软件例程。

在本公开中描述了作为示例的具体实施例，并且实施例的范围不限于此。

虽然已经描述了本公开的实施例，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的本公开的精神和范围的状况下，可以在其中进行形式和细节上的各种改变。因此，本公开的上述实施例应当被解释为示例，并且在所有方面不限制实施例。例如，被描述为单个单元的每个组件可以以分布式方式执行，并且同样地，被描述为分布式的组件可以以组合方式执行。

在本公开的实施例中使用所有示例或示例术语(例如，等)是为了描述本公开的实施例的目的，而不意图限制本公开的实施例的范围。

此外，除非另有明确说明，否则与某些组件相关联的诸如“必要”、“重要”等的表述可不指示绝对需要所述组件。

本领域普通技术人员将理解，在不脱离本公开的精神和范围的状况下，可以以修改的形式实现本公开的实施例。

由于本公开允许对本公开的实施例进行各种改变，因此本公开不限于特定实施例，并且将理解，不脱离本公开的精神和技术范围的所有改变、等同物和替代物都包含在本公开中。因此，本文描述的本公开的实施例应在所有方面被理解为示例，而不应被解释为限制。

此外，诸如“单元”、“模块”等的术语表示可被实现为硬件或软件或硬件和软件的组合的处理至少一个功能或操作的单元。“单元”和“模块”可被存储在将被寻址的存储介质中，并且可被实现为可能够由处理器执行的程序。例如，“单元”和“模块”可指诸如软件组件、面向对象的软件组件、类组件和任务组件的组件，并且可包括进程、功能、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、阵列或变量。

在本公开中，“A可包括a1、a2和a3中的一个”的表述可以广泛地表示可被包括在元素A中的示例包括a1、a2或a3。该表述不应当被解释为限定为包括在元素A中的示例必须限定为a1、a2和a3的含义。因此，作为包括在元素A中的示例，不应当被解释为排除a1、a2和a3以外的元素。另外，该表述表示元素A可包括a1、a2或a3。该表述并不表示元素A所包括的元素必须选自要素的特定集合。也就是说，该表述不应被限制性地理解为表示必须选自包括a1、a2和a3的集合的a1、a2或a3被包括在元素A中。

此外，在本公开中，表述“a1、a2和/或a3中的至少一个”表示“a1”、“a2”、“a3”、“a1和a2”、“a1和a3”、“a2和a3”、以及“a1、a2和a3”中的一个。因此，应当注意，除非明确描述为“a1中的至少一个，a2中的至少一个，以及a3中的至少一个”，否则表述“a1、a2和/或a3中的至少一个”不应被解释为“a1中的至少一个”、“a2中的至少一个”以及“a3中的至少一个”。

Claims (9)

1.一种集装箱货物内容球机视频叠加方法，其特征在于，包括如下步骤：

确定第一视频图像中的第一目标图像，根据所述第一目标图像提取得出集装箱箱号；

根据所述集装箱箱号调取该集装箱中的货物内容，将所述货物内容叠加显示于视频图像中；

所述将所述货物内容叠加显示于所述视频图像中，包括：

根据所述第一视频图像确定所述集装箱周围的其它集装箱的数量；

根据所述数量将所述第一视频图像或第二视频图像或第三视频图像作为所述视频图像；

将所述货物内容叠加显示于所述视频图像中；

其中，所述数量与视频图像的居中放大程度负相关，所述第二视频图像、所述第三视频图像是在所述第一视频图像的基础上通过居中放大操作得出的，且所述第一视频图像、所述第二视频图像、所述第三视频图像的居中放大程度依次增大。

2.根据权利要求1所述的一种集装箱货物内容球机视频叠加方法，其特征在于：所述确定第一视频图像中的第一目标图像，包括：

检测用户在所述第一视频图像中的选择操作，根据所述选择操作确定所述第一视频图像中的所述第一目标图像。

3.根据权利要求1所述的一种集装箱货物内容球机视频叠加方法，其特征在于：所述根据所述第一目标图像提取得出集装箱箱号，包括：

根据所述第一目标图像通过居中一次放大处理确定第二视频图像中的第二目标图像；

根据所述第二目标图像提取得出所述集装箱箱号。

4.根据权利要求3所述的一种集装箱货物内容球机视频叠加方法，其特征在于：所述根据所述第二目标图像提取得出所述集装箱箱号，包括：

对所述第二目标图像进行集装箱检测；

根据检测结果和所述第二目标图像居中二次放大处理确定第三视频图像中的第三目标图像；

根据所述第三目标图像提取得出所述集装箱箱号。

5.根据权利要求4所述的一种集装箱货物内容球机视频叠加方法，其特征在于：所述对所述第二目标图像进行集装箱检测，包括：

根据实例分割的方式对所述第二目标图像进行集装箱检测。

6.根据权利要求4或5所述的一种集装箱货物内容球机视频叠加方法，其特征在于：所述根据所述第三目标图像提取得出所述集装箱箱号，包括：

从所述第三目标图像提取得出若干所述集装箱箱号；

使用畸变矫正技术对各所述集装箱箱号进行矫正，以将侧视视角的所述集装箱箱号矫正为正视视角。

7.一种集装箱货物内容球机视频叠加系统，包括获取模块、处理模块、存储模块；所述处理模块与所述获取模块、所述存储模块连接；

所述存储模块，用于存储可执行的计算机程序代码；

所述获取模块，用于获取球机的视频图像及用户的框选数据，并传输给所述处理模块；

其特征在于：所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如权利要求1-6任一项所述的方法，以实现货物内容在视频图像中的叠加显示。

8.一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；其特征在于：所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-6任一项所述的方法。

9.一种计算机存储介质，该存储介质上存储有计算机程序，其特征在于：该计算机程序被处理器运行时执行如权利要求1-6任一项所述的方法。

Images