CN111832345A - 集装箱监控方法、装置及设备、存储介质 - Google Patents

Abstract

本发明提供一种集装箱监控方法、装置及设备、存储介质，该方法应用于摄像设备，所述摄像设备设有第一镜头和第二镜头；该方法包括：获取第一镜头在目标集装箱进入第一镜头的视场时开始采集的集装箱图像；从获取的集装箱图像中识别集装箱号；依据集装箱号的识别结果控制第二镜头采集目标图像。避免摄像设备采集图像不及时的问题。

Description

集装箱监控方法、装置及设备、存储介质

技术领域

本发明涉及监控技术领域，尤其涉及的是一种集装箱监控方法、装置及设备、存储介质。

背景技术

在一些场景中，需要对集装箱进行监控，比如港口港区、铁路货场、物流园区、集装箱堆场等场景中，需要对进出相应场景的集装箱进行监控，以便对进出相应场景的集装箱进行管理。

在相关的集装箱监控方式中，通过红外对射设备等外部设备控制摄像设备对集装箱进行图像采集，比如，当红外对射设备发生对射中断时触发摄像设备进行图像采集。

上述方式中，在多种因素的影响下比如集装箱多个箱体之间的缝隙大小不一样、红外对射设备与摄像设备交互时存在的延时等，红外对射设备触发摄像设备会存在触发误差，导致摄像设备采集图像不及时的问题。

发明内容

有鉴于此，本发明提供一种集装箱监控方法、装置及设备、存储介质，避免摄像设备采集图像不及时的问题。

本发明第一方面提供一种集装箱监控方法，该方法应用于摄像设备，所述摄像设备设有第一镜头和第二镜头；该方法包括：

获取第一镜头在目标集装箱进入第一镜头的视场时开始采集的集装箱图像；

从获取的集装箱图像中识别集装箱号；

依据集装箱号的识别结果控制第二镜头采集目标图像。

根据本发明的一个实施例，所述集装箱图像包括集装箱尾部的局部图或完整端面图；所述依据集装箱号的识别结果控制第二镜头采集目标图像包括：

计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

检查所述置信度是否大于预设阈值，如果是，控制第二镜头抓拍所述目标集装箱，得到所述目标图像。

检查所述置信度是否大于预设阈值之后，所述方法还包括：

如果所述置信度不大于预设阈值，检查所述集装箱图像中集装箱号区域是否包括所述摄像设备上已配置的位置线；

如果是，控制第二镜头抓拍所述目标集装箱，得到所述目标图像，如果否，禁止第二镜头抓拍所述目标集装箱的目标图像。

根据本发明的一个实施例，所述依据集装箱号的识别结果控制第二镜头采集目标图像包括：

计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

检查所述置信度是否大于预设阈值；

如果是，控制第二镜头开始连续采集所述目标集装箱的目标图像；

如果否，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，控制第二镜头开始连续采集所述目标集装箱的目标图像。

根据本发明的一个实施例，所述目标图像包括目标集装箱的指定表面的局部图；控制第二镜头开始连续采集所述目标集装箱的目标图像之后，该方法进一步包括：

获取第二镜头采集到的目标图像；

在当前不存在拼接基础图时，将获取的目标图像中的局部图保存为拼接基础图；

在当前存在拼接基础图时，将获取的目标图像中局部图与所述拼接基础图进行拼接，如果拼接得到的图像包含目标集装箱的指定表面的完整表面，则将所述拼接得到的图像上传至终端设备，否则，将所述拼接得到的图像作为拼接基础图，返回所述获取第二镜头采集到的目标图像的操作。

根据本发明的一个实施例，在控制第二镜头开始连续采集所述目标集装箱的目标图像之后，所述方法还包括：

当接收到外部指定摄像设备发送的采集停止指令、或者当拼接得到的图像包含目标集装箱的指定表面的完整表面时，控制第二镜头停止采集目标图像。

根据本发明的一个实施例，检查所述置信度是否大于预设阈值之后，该方法进一步包括：

如果所述置信度大于所述预设阈值，将所述集装箱图像上传至终端设备。

根据本发明的一个实施例，检查所述置信度是否大于预设阈值之后，该方法进一步包括：

如果所述置信度不大于预设阈值，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，选择所述目标集装箱的集装箱图像中识别结果的置信度最高的一帧图像上传至终端设备。

本发明第二方面提供一种集装箱监控装置，该装置应用于摄像设备，所述摄像设备设有第一镜头和第二镜头；该装置包括：

图像获取模块，用于获取第一镜头在目标集装箱进入第一镜头的视场时开始采集的集装箱图像；

箱号识别模块，用于从获取的集装箱图像中识别集装箱号；

采集控制模块，用于依据集装箱号的识别结果控制第二镜头采集所述目标集装箱的目标图像。

根据本发明的一个实施例，所述集装箱图像包括集装箱尾部的局部图或完整端面图；所述采集控制模块包括：

第一置信度计算单元，用于计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

第一控制单元，用于检查所述置信度是否大于预设阈值，如果是，控制第二镜头抓拍所述目标集装箱，得到所述目标图像。

根据本发明的一个实施例，所述采集控制模块检查所述置信度是否大于预设阈值之后，该装置还包括：

位置线检查单元，用于如果所述置信度不大于预设阈值，检查所述集装箱图像中集装箱号区域是否包括所述摄像设备上已配置的位置线；

第二控制单元，用于如果是，控制第二镜头抓拍所述目标集装箱的目标图像，如果否，禁止第二镜头抓拍所述目标集装箱的目标图像。

根据本发明的一个实施例，所述采集控制模块包括：

第二置信度计算单元，用于计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

置信度检查单元，用于检查所述置信度是否大于预设阈值；

第三控制单元，用于如果是，控制第二镜头开始连续采集所述目标集装箱的目标图像；

第四控制单元，用于如果否，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，控制第二镜头开始连续采集所述目标集装箱的目标图像。

根据本发明的一个实施例所述目标图像包括目标集装箱的指定表面的局部图；所述采集控制模块之后，该装置进一步包括：

基础图确定模块，在第二镜头采集到首个目标图像时，将该目标图像中的局部图确定为当前基础图；

目标图像获取模块，用于获取第二镜头采集到的目标图像；

拼接基础图确定模块，用于在当前不存在拼接基础图时，将获取的目标图像中的局部图保存为拼接基础图；

图像拼接模块，用于在当前存在拼接基础图时，将获取的目标图像中局部图与所述拼接基础图进行拼接，如果拼接得到的图像包含目标集装箱的指定表面的完整表面，则将所述拼接得到的图像上传至终端设备，否则，将所述拼接得到的图像作为拼接基础图，返回所述获取第二镜头采集到的目标图像的操作。

根据本发明的一个实施例，所述采集控制模块之后，所述装置还包括：

采集停止控制模块，用于当接收到外部指定摄像设备发送的采集停止指令、或者当拼接得到的图像包含目标集装箱的指定表面的完整表面时，控制第二镜头停止采集目标图像。

根据本发明的一个实施例，所述采集控制模块检查所述置信度是否大于预设阈值之后，该装置进一步包括：

第一集装箱图像上传单元，用于如果所述置信度大于所述预设阈值，将所述集装箱图像上传至终端设备。

根据本发明的一个实施例，所述采集控制模块之后，该装置进一步包括：

第二集装箱图像上传单元，用于如果所述置信度不大于预设阈值，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，选择所述目标集装箱的集装箱图像中识别结果的置信度最高的一帧图像上传至终端设备。

本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例所述的集装箱监控方法。

本发明第四方面一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例所述的集装箱监控方法。

本发明实施例具有以下有益效果：

本发明实施例中，采用双目摄像设备，摄像设备的第一镜头可持续地采集图像，在目标集装箱进入第一镜头的视场之后，可获取第一镜头采集的集装箱图像，并从集装箱图像中识别集装箱号，不需要外部触发就可进行集装箱号识别，基于集装箱号的识别结果可控制摄像设备的第二镜头进行目标图像的采集，无需额外的红外对射设备来触发摄像设备进行图像采集，避免摄像设备抓拍不及时的问题，可实现对集装箱的有效监控。

附图说明

图1是本发明一实施例的集装箱监控方法的流程示意图；

图2是本发明一实施例的集装箱监控装置的结构框图；

图3是本发明一实施例的集装箱监控系统的结构框图；

图4是本发明一实施例的集装箱图像中的集装箱号区域不包括本设备上已配置的位置线的示意图；

图5是本发明一实施例的集装箱图像中的集装箱号区域包括本设备上已配置的位置线的示意图；

图6是本发明一实施例的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：

YUV：一种颜色编码方法，“Y”表示明亮度(Luminance、Luma)，“U”和“V”则是色度、浓度(Chrominance、Chroma)。

RAW：图像格式的一种，RAW图像就是CMOS或者CCD等图像传感器将捕捉到的光源信号转化为数字信号后的原始数据。

集装箱号：依据ISO6346(1995)标准构成，标准集装箱号由11位编码组成，包括三个部分：第一部分由4位英文字母组成，前三位代码(Owner Code)主要说明箱主、经营人，第四位代码说明集装箱的类型；第二部分由6位数字组成，是箱体注册码(RegistrationCode)，用于一个集装箱箱体持有的唯一标识；第三部分为校验码(Check Digit)由前4位字母和6位数字经过校验规则运算得到，用于识别在校验时是否发生错误，即第11位数字。

铅封号：货物装入集装箱之后，给集装箱加上一个锁，该锁即为铅封，只有破坏铅封才可以打开集装箱，每个铅封上面都有一个号码即铅封号。

相关集装箱监控方式中，通过红外对射设备控制摄像设备对集装箱进行图像采集，红外对射设备包括红外发射装置与红外接收装置，两者相对地设置在集装箱闸口附近的道路两侧，红外发射装置持续地发射红外信号，在没有集装箱经过闸口时，红外接收设备可持续地接收到红外发射装置发射的红外信号，当有集装箱经过闸口时，红外接收装置对红外信号的接收会中断(红外信号对射中断)，此时触发摄像设备进行图像抓拍，再对抓拍的图像进行集装箱号识别。

但是，从红外信号对射中断到摄像设备抓拍的过程中，无论是设备本身时延还是两个设备之间交互的时延，都可能延迟对摄像设备采集图像的触发，导致摄像设备无法及时抓拍图像，比如抓拍时集装箱有可能已经驶出摄像设备的视场了或者行驶到了较差的采集位置，集装箱无法得到有效监控，进而导致整个系统工作出现差错。如果需要校正这种触发误差，需要大量的调试工作，并且需要定期地维护校正，非常困难。此外，该方式中，需要额外设置红外对射设备等外部设备，成本和架设的工作量较大。

本发明实施例中，采用双目摄像设备，摄像设备的第一镜头可持续地采集图像，在目标集装箱进入第一镜头的视场之后，可获取第一镜头采集的集装箱图像，并从集装箱图像中识别集装箱号，不需要外部触发就可进行集装箱号识别，基于集装箱号的识别结果可控制摄像设备的第二镜头进行目标图像的采集，无需额外的红外对射设备来触发摄像设备进行图像采集，避免摄像设备抓拍不及时的问题，可实现对集装箱的有效监控。

下面对本发明实施例的集装箱监控方法进行更详细的描述，但不应以此为限。

在一个实施例中，参看图1，示出了本发明实施例的一种集装箱监控方法，该方法应用于摄像设备。所述摄像设备设有第一镜头和第二镜头，换言之，该摄像设备为双目摄像设备。

该方法包括以下步骤：

S100：获取第一镜头在目标集装箱进入第一镜头的视场时开始采集的集装箱图像；

S200：从获取的集装箱图像中识别集装箱号；

S300：依据集装箱号的识别结果控制第二镜头采集目标图像。

步骤S100中，获取第一镜头在目标集装箱进入第一镜头的视场时开始采集的集装箱图像。

第一镜头每采集到一帧图像，摄像设备便可对该图像进行目标检测，检测到包含目标集装箱的图像便是第一镜头在目标集装箱进入第一镜头的视场后采集的某个集装箱图像。首次从第一镜头采集的图像中检测到目标集装箱时，便可确定目标集装箱进入第一镜头的视场，该图像是第一镜头在目标集装箱进入第一镜头的视场时采集的首个图像。

在一些情况中，可以检测图像中是否存在集装箱的轮廓(可以是局部轮廓或完整轮廓)来确定是否存在目标集装箱，或者可以检测图像中是否存在集装箱的标识物件来确定是否存在目标集装箱。还可将采集到的图像输入到已训练的神经网络中，由神经网络检测输入的图像中是否存在目标集装箱。目标检测的方式不限。

步骤S200中，从获取的集装箱图像中识别集装箱号。

每获取到第一镜头采集的一个集装箱图像，便可执行步骤S200，得到相应集装箱号的识别结果。该识别结果可能准确、也可能不准确。准确的识别结果比如可以包括一串表示集装箱号的字符串，不准确的识别结果比如可以包括一串表示的不是集装箱号的错误字符串。

由于集装箱号呈现在集装箱图像中时是一串文本字符，因而，集装箱号的识别可以采集文本识别方式来实现。比如，可以采用已训练成具有文本识别功能的神经网络来实现从集装箱图像中识别集装箱号。

摄像设备可与终端设备连接，每次识别出的识别结果可上传给终端设备，但不作为限制。终端设备可以将收到的识别结果进行保存、显示、控制报警等。终端设备可以为计算机设备、手机设备等，具体类型不限。

步骤S300中，依据集装箱号的识别结果控制第二镜头采集目标图像。

从集装箱图像中识别集装箱号得到识别结果后，可依据集装箱号的识别结果来控制第二镜头进行图像采集。比如，如果识别结果为识别到了集装箱号，便控制第二镜头进行图像采集。又如，在进行集装箱号识别时，还可以计算识别结果的评价参数比如置信度，当评价参数达到一定值时，说明识别结果较为准确，可以控制第二镜头进行图像抓拍，否则，说明识别结果不够准确，禁止第二镜头进行图像抓拍。当然，此处仅是举例说明了依据识别结果控制第二镜头进行图像采集的可选方式，当然还可以有其他的方式。

如此，实现了基于摄像设备的第一镜头采集的图像来控制该摄像设备的第二镜头进行图像采集，无需额外的红外对射设备来触发摄像设备采集所需的图像。控制第二镜头采集目标图像时，可以是控制第二镜头抓拍一个目标图像，也可以控制第二镜头以一定的频率连续采集目标图像。

目标图像中可以包括该整个目标集装箱或者该目标集装箱的局部部位，具体可取决于第一镜头和第二镜头的参数及两者之间的相对位姿关系，而参数与相对位姿关系是可预先调整好的。比如，第一镜头和第二镜头之间以第一位姿关系相对固定，使得第一镜头采集到的集装箱图像中包含集装箱号时，第二镜头可采集到包含目标集装箱的铅封号的目标图像，当然具体并不限于此。

在一个实施例中，上述方法流程可由集装箱监控装置100执行，如图2所示，集装箱监控装置100主要包含3个模块：图像获取模块101，箱号识别模块102和采集控制模块103。图像获取模块101用于执行上述步骤S100，箱号识别模块102用于执行上述步骤S200，采集控制模块103用于执行上述步骤S300。

在一个实施例中，参看图3，本发明实施例的集装箱监控方法可分别应用于下述摄像设备：第一摄像设备100a、第二摄像设备100b、第三摄像设备100c、第四摄像设备100d。第一摄像设备100a、第二摄像设备100b、第三摄像设备100c、第四摄像设备100d可均与终端设备200连接，构成一个集装箱监控系统。

在一个具体的场景比如集装箱闸口中，继续参看图3，第一摄像设备100a、第二摄像设备100b、第三摄像设备100c、第四摄像设备100d可均架设在一根高约6M、长约9M的T型杆上，分别针对集装箱的首部、左侧、右侧、尾部进行图像采集。该架设比较简单，一个集装箱监控系统所需的摄像设备都可架设在一个杆子上。比如，第一摄像设备100a处于集装箱闸口的上方且朝向该集装箱闸口的车辆驶入侧、针对集装箱的首部进行图像采集，第二摄像设备100b处于集装箱闸口的一侧且朝向该集装箱闸口、针对集装箱的左侧进行图像采集，第三摄像设备100c处于集装箱闸口的另一侧且朝向该集装箱闸口、针对集装箱的右侧进行图像采集，第四摄像设备100d处于集装箱闸口的上方且朝向该集装箱闸口的车辆驶离侧、针对集装箱的尾部进行图像采集。

可以理解，集装箱的首尾是根据集装箱在车辆上的安装姿态而定的，靠近车辆头部的一端为集装箱的首部，远离车辆头部的一端为集装箱的尾部。

上述四个摄像设备为双目摄像设备，摄像设备的每个镜头采集的图像像素比如为300W。这四个摄像设备中可均存储了程序，并在执行该程序时实现上述步骤S100-S300。

当然，这四个摄像设备的第一镜头的视场不同，因而目标集装箱在集装箱图像中呈现的姿态也不同，通常来说，集装箱的首部端面、左侧面、右侧面、尾部端面上均绘有集装箱号，因而，这四个摄像设备可分别对包含集装箱的首部端面、左侧面、右侧面、尾部端面的集装箱图像进行集装箱号识别，识别到的集装箱号分别是处于集装箱的首部端面、左侧面、右侧面、尾部端面上的集装箱号。

这四个摄像设备的第二镜头的视场也是不同的，因而，采集的目标图像中可分别包括目标集装箱的首部端面、左侧面、右侧面、尾部端面(各个面是局部的或完整的)。

在一个实施例中，所述集装箱图像包括集装箱尾部的局部图或完整端面图；步骤S300中，所述依据集装箱号的识别结果控制第二镜头采集目标图像包括：

S311：计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

S312：检查所述置信度是否大于预设阈值，如果是，控制第二镜头抓拍所述目标集装箱，得到所述目标图像。

由于集装箱号是由三部分共11位编码组成的，因而可以根据识别结果与这一编码特征的匹配程度，来计算识别结果的置信度。比如，可以考虑如下情况：前4个字符与各英文字母的匹配程度，第5至第11个字符与各数字的匹配程度，如果匹配程度较高的话，那么识别结果的置信度比较高。

具体计算置信度的方式不限，比如还可以通过神经网络来实现，可在神经网络从集装箱图像中识别出集装箱号时计算相应识别结果的置信度。

置信度用于表示所述识别结果为集装箱号的概率，即表征了识别结果的准确度，也可体现集装箱号在相应集装箱图像中的清晰程度，因而依据置信度可估计集装箱图像中集装箱号的清晰度情况、及目标集装箱是否处于较佳的采集位置等情况。

检查置信度是否大于预设阈值，如果是，说明已经是第二镜头采集的较佳时机，集装箱图像中集装箱号的清晰度较佳，目标集装箱应处于第二镜头较佳的采集位置，控制第二镜头抓拍目标集装箱的目标图像，抓拍的目标图像可以为一帧或几帧。

可选的，如果置信度不大于预设阈值，说明还未到第二镜头采集的较佳时机，禁止第二镜头抓拍目标集装箱的目标图像。

本实施例的摄像设备可以对应于前述实施例中所述的图3中的第四摄像设备100d，由于该第四摄像设备100d处于集装箱闸口的上方且朝向该集装箱闸口的车辆驶离侧、针对集装箱的尾部进行图像采集，因而第一镜头采集的集装箱图像包括集装箱尾部的局部图或完整端面图。

通过预先调整好摄像设备的第一镜头和第二镜头的相对姿态关系，第二镜头抓拍的目标图像可以包括目标集装箱的铅封号(铅封号与集装箱尾部端面上集装箱号的位置关系基本是不变的)。摄像设备可将所述第二镜头抓拍到的目标图像上传至已连接的终端设备，以使所述终端设备从目标图像中识别出目标集装箱的铅封号，具体识别不限。

相关的集装箱监控方式中，无法对集装箱的铅封号进行识别。而本发明实施例中，可基于第二镜头抓拍的目标图像，实现目标集装箱的铅封号识别。

在一个实施例中，S312中，检查所述置信度是否大于预设阈值之后，所述方法还包括：

如果所述置信度不大于预设阈值，检查所述集装箱图像中集装箱号区域是否包括所述摄像设备上已配置的位置线；

如果是，控制第二镜头抓拍所述目标集装箱的目标图像，如果否，禁止第二镜头抓拍所述目标集装箱的目标图像。

本实施例中，如果置信度不大于预设阈值时，不直接禁止第二镜头抓拍目标图像，而是进一步检查所述集装箱图像中的集装箱号区域是否包括本设备上已配置的位置线，如果是，说明已经是第二镜头采集的较佳时机，目标集装箱应处于第二镜头较佳的采集位置，控制第二镜头抓拍目标集装箱的目标图像，如果否，禁止第二镜头抓拍目标集装箱的目标图像。

本实施例中，对第二镜头的抓拍控制不再完全依赖于识别结果，而是结合了集装箱图像中的集装箱号区域来确定，如果集装箱图像中的集装箱号区域包括该位置线，控制第二镜头抓拍目标集装箱的目标图像，可避免识别效果不佳情况下未及时抓拍所需的图像的问题。

检查所述集装箱图像中的集装箱号区域是否包括本设备上已配置的位置线，该位置线处于第一镜头采集的集装箱图像中的指定位置处，实际上就是检查集装箱图像中的集装箱号区域是否处于集装箱图像中的指定位置处，如果集装箱图像中的集装箱号区域包括该位置线，说明目标集装箱的集装箱号区域已经到达了该指定位置。

该集装箱号区域是集装箱图像中集装箱号所处区域，可以基于集装箱图像中目标集装箱的指定部件或轮廓来定位该区域，具体不限。

集装箱号区域不包括该位置线的情况如图4，目标集装箱已处于第一镜头的视场中，第一镜头采集的集装箱图像P1中有集装箱号“XXX”，P1中位置线用虚线表示，图4中的“XXX”区域中不包括该位置线，所以该“XXX”的位置还未到达集装箱图像的指定位置，禁止第二镜头抓拍目标图像。

集装箱号区域包括该位置线的情况如图5，目标集装箱已处于第一镜头的视场中，第一镜头采集的集装箱图像P2中有集装箱号“XXX”，P2中位置线用虚线表示，图5中的“XXX”区域中包括该位置线，所以该“XXX”的位置已到达集装箱图像的指定位置，控制第二镜头抓拍目标图像。

在一个实施例中，步骤S300中，所述依据集装箱号的识别结果控制第二镜头采集目标图像包括：

S321：计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

S322：检查所述置信度是否大于预设阈值；

S323：如果是，控制第二镜头开始连续采集所述目标集装箱的目标图像；

S324：如果否，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，控制第二镜头开始连续采集所述目标集装箱的目标图像。

由于集装箱号是由三部分共11位编码组成的，因而可以根据识别结果与这一编码特征的匹配程度，来计算识别结果的置信度。比如，可以考虑如下情况：前4个字符与各英文字母的匹配程度，第5至第11个字符与各数字的匹配程度，如果匹配程度较高的话，那么识别结果的置信度比较高。

具体计算置信度的方式不限，比如还可以通过神经网络来实现，可在神经网络从集装箱图像中识别出集装箱号时计算相应识别结果的置信度。

置信度用于表示所述识别结果为集装箱号的概率，即表征了识别结果的准确度，也可体现集装箱号在相应集装箱图像中的清晰程度，因而依据置信度可估计集装箱图像中的集装箱号的清晰度情况、及目标集装箱是否处于较佳的采集位置等情况。

检查置信度是否大于预设阈值，如果是，说明已经是第二镜头开始连续采集的较佳时机，控制第二镜头开始连续采集目标集装箱的目标图像。第二镜头可以以一定频率连续采集目标图像，直到摄像设备控制第二镜头停止采集目标图像。可选的，控制第二镜头开始采集目标图像之后，禁止该目标集装箱的后续识别结果的置信度与预设阈值的比较。

如果置信度不大于预设阈值，检查所述集装箱图像中的集装箱号区域是否包括本设备上已配置的位置线，说明已经是第二镜头采集的较佳时机，目标集装箱应处于第二镜头较佳的采集位置，控制第二镜头开始连续采集目标图像。

本实施例中，对第二镜头的采集控制不再完全依赖于识别结果，而是结合了集装箱图像中的集装箱号区域来确定，如果集装箱图像中的集装箱号区域包括该位置线，控制第二镜头开始连续采集目标集装箱的目标图像，可避免识别效果不佳情况下未及时采集所需的图像的问题。

检查所述集装箱图像中的集装箱号区域是否包括本设备上已配置的位置线，该位置线处于第一镜头采集的集装箱图像中的指定位置处，实际上就是检查集装箱图像中的集装箱号区域是否处于集装箱图像中的指定位置处，如果集装箱图像中的集装箱号区域包括该位置线，说明目标集装箱的集装箱号区域已经到达了该指定位置。

该集装箱号区域是集装箱图像中集装箱号所处区域，可以基于集装箱图像中目标集装箱的指定部件或轮廓来定位该区域，具体不限。

集装箱号区域不包括该位置线的情况如图4，目标集装箱已处于第一镜头的视场中，第一镜头采集的集装箱图像P1中有集装箱号“XXX”，P1中位置线用虚线表示，图4中的“XXX”区域中不包括该位置线，所以该“XXX”的位置还未到达集装箱图像的指定位置，不需要第二镜头开始连续采集目标图像。

集装箱号区域包括该位置线的情况如图5，目标集装箱已处于第一镜头的视场中，第一镜头采集的集装箱图像P2中有集装箱号“XXX”，P2中位置线用虚线表示，图5中的“XXX”区域中包括该位置线，所以该“XXX”的位置已到达集装箱图像的指定位置，控制第二镜头开始连续采集目标图像。

本实施例中，连续采集的目标图像可以包括目标集装箱中集装箱号所在的指定表面，可以是局部图或完整表面图。该指定表面可以是目标集装箱的首部端面、左侧面、右侧面。

本实施例的摄像设备可以分别对应于前述实施例中所述的图3中的第一摄像设备100a、第二摄像设备100b、第三摄像设备100c。

由于该第一摄像设备100a处于集装箱闸口的上方且朝向该集装箱闸口的车辆驶入侧、针对集装箱的首部进行图像采集，因而第一镜头采集的集装箱图像中存在集装箱首部端面上的集装箱号，第二镜头采集的目标图像中可包括集装箱首部的局部图或完整端面图。

由于该第二摄像设备100b处于集装箱闸口的一侧且朝向该集装箱闸口、针对集装箱的左侧进行图像采集，因而第一镜头采集的集装箱图像中存在集装箱左侧面上的集装箱号，第二镜头采集的目标图像中可包括集装箱左侧的局部图或完整表面图。

由于该第三摄像设备100c处于集装箱闸口的另一侧且朝向该集装箱闸口、针对集装箱的右侧进行图像采集，因而第一镜头采集的集装箱图像中存在集装箱右侧面上的集装箱号，第二镜头采集的目标图像中可包括集装箱右侧的局部图或完整表面图。

摄像设备可将第二镜头采集的目标图像进行一定的处理，将处理后的图像上传至已连接的终端设备，以使终端设备可将接收的图像进行显示等处理。

在一个实施例中，该方法进一步包括：所述目标图像包括目标集装箱的指定表面的局部图；控制第二镜头开始连续采集所述目标集装箱的目标图像之后，该方法进一步包括：

获取第二镜头采集到的目标图像；

在当前不存在拼接基础图时，将获取的目标图像中的局部图保存为拼接基础图；

在当前存在拼接基础图时，将获取的目标图像中局部图与所述拼接基础图进行拼接，如果拼接得到的图像包含目标集装箱的指定表面的完整表面，则将所述拼接得到的图像上传至终端设备，否则，将所述拼接得到的图像作为拼接基础图，返回所述获取第二镜头采集到的目标图像的操作。

摄像设备通过对第二镜头采集的目标图像进行拼接，以生成包含目标集装箱的指定表面的完整表面的图像，将该图像上传至终端设备。该指定表面可以是目标集装箱的首部端面、左侧面、右侧面。

目标图像的格式可以为YUV格式，如果是其他格式比如RAW格式，那么可以将目标图像进行格式转换，以使其转换成格式为YUV格式的图像，再进行图像的拼接。

从第二镜头最先采集的首个目标图像开始进行处理，由于是首个目标图像，因而还不存在拼接基础图，可从该首个目标图像中提取出目标集装箱所在局部图(目标图像中包含所有目标集装箱特征的局部图)，并将该局部图保存为拼接基础图。

接着，对采集的第二个目标图像进行处理，由于已经存在拼接基础图，可以从该第二个目标图像中提取出目标集装箱所在局部图，将提取出的局部图与拼接基础图进行拼接，拼接时可以进行差异比对，仅将局部图中差异之处拼接到拼接基础图中，拼接后得到的图像作为下一个目标图像拼接的拼接基础图。

继续对采集的下一个目标图像进行处理，直至拼接得到的图像中包含目标集装箱的指定表面的完整表面，将拼接得到的图像上传至终端设备。

可以理解，在上述图像拼接过程中，还可以执行矫正图像畸变处理，使得得到拼缝两侧可以平滑过渡，拼接得到的图像中包含目标集装箱的指定表面的完整表面更标准。

本实施例中，通过双目设备，在一路镜头识别集装箱箱号的同时，另一路镜头可以针对目标集装箱进行图像采集，并通过图像处理算法处理拼接出完整的集装箱图，对于后期人工验残工作来说，更一目了然。

在一个实施例中，控制第二镜头开始连续采集所述目标集装箱的目标图像之后，所述方法还包括：

当接收到外部指定摄像设备发送的采集停止指令、或者当拼接得到的图像包含目标集装箱的指定表面的完整表面时，控制第二镜头停止采集目标图像。

该外部指定摄像设备可以对应于前述实施例中所述的图3中的第四摄像设备100d，该采集停止指令可是在该第四摄像设备100d的第二镜头抓拍到目标图像时发送的。由于该第四摄像设备100d处于集装箱闸口的上方且朝向该集装箱闸口的车辆驶离侧、针对集装箱的尾部进行图像采集，因而该第四摄像设备100d抓拍到目标图像时，说明载有目标集装箱的车辆已经驶离集装箱闸口了，那么其他朝向的摄像设备必然已经采集完所需图像了，因而可以由该第四摄像设备100d控制其他朝向的摄像设备停止采集目标图像。

当拼接得到的图像包含目标集装箱的指定表面的完整表面时，说明已经得到了所需上传给终端设备的图像，因而也可控制第二镜头停止采集目标图像。

在一个实施例中，步骤S312或S322中，检查所述置信度是否大于预设阈值之后，该方法进一步包括：

如果所述置信度大于所述预设阈值，将所述集装箱图像上传至终端设备。

如果置信度大于预设阈值，说明识别结果已经较为准确了，集装箱图像中的集装箱号应该也较为清晰，因而可将该集装箱图像上传至终端设备。在上传集装箱号的同时，还可将对应的识别结果也上传给终端设备。

可选的，如果置信度大于预设阈值，说明已经控制第二镜头开始采集目标图像了，那么也就不需要再进行置信度的判断了，可以停止对所述目标集装箱的识别结果的置信度与预设阈值的比较。甚至，可以无需再进行置信度的计算了，具体不作为限制。

可选的，如果置信度大于预设阈值，还可从所述摄像设备预设的多条集装箱信息中确定出所述集装箱号对应的目标集装箱信息，集装箱信息包括集装箱尺寸、和/或、集装箱类型；并将所述目标集装箱信息上传至所述终端设备，以使终端设备依据接收的来自所述摄像设备的目标集装箱信息确定目标集装箱的箱门位置、及目标集装箱的箱体数量比如单箱、或是双箱。

在一个实施例中，步骤S312或S322中，检查所述置信度是否大于预设阈值之后，该方法进一步包括：

如果所述置信度不大于预设阈值，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，选择所述目标集装箱的集装箱图像中识别结果的置信度最高的一帧图像上传至终端设备。

如果置信度不大于预设阈值，在集装箱图像中的集装箱号区域包括本设备上已配置的位置线的情况下，识别结果置信度最高的一帧图像可以说是其中集装箱号最清晰的一帧集装箱图像了，将其上传至终端设备。在上传集装箱号的同时，还可将对应的识别结果也上传给终端设备。

可选的，如果置信度不大于预设阈值，在集装箱图像中的集装箱号区域包括本设备上已配置的位置线的情况下，说明已经控制第二镜头开始采集目标图像了，那么也就不需要再进行置信度的判断了，可以停止对所述目标集装箱的识别结果的置信度与预设阈值的比较。甚至，可以无需再进行置信度的计算了，具体不作为限制。

可选的，如果置信度不大于预设阈值，在集装箱图像中的集装箱号区域包括本设备上已配置的位置线的情况下，还可从所述摄像设备预设的多条集装箱信息中确定出所述集装箱号对应的目标集装箱信息，集装箱信息包括集装箱尺寸、和/或、集装箱类型；并将所述目标集装箱信息上传至所述终端设备，以使终端设备依据接收的来自所述摄像设备的目标集装箱信息确定目标集装箱的箱门位置、及目标集装箱的箱体数量比如单箱、或是双箱。

相关的集装箱监控方式中，只能对箱号进行检测，无法检测出集装箱的其他信息比如尺寸和类型、箱门的位置等。而本发明实施例中，还可以检测集装箱的尺寸和类型、箱门的位置。

可选的，在图3的集装箱监控系统中还可以包括车牌识别相机，用于识别载有目标集装箱的车辆车牌号。在箱号识别不到的情况下，车牌识别相机还可以控制停止所有摄像设备对该目标集装箱的箱号识别。另外，在需要时，车牌识别相机还可以控制摄像设备开始连续采集图像。当然，这都不作为限制。

在一个实施例中，所述第一镜头采集集装箱图像时的焦距大于所述第二镜头采集目标图像时的焦距。

如此，第一镜头可专注于包含集装箱号的集装箱图像的采集，视野较为局限一些，但是集装箱号在集装箱图像中的尺寸更大；而第二镜头可专注于目标图像的采集，可用更宽广的视野来观察该目标集装箱，以获得所需的监控图像。

第一镜头和第二镜头可以是两个焦距可变镜头，在使用之前可以根据实际场景来对两个镜头的焦距进行调整，有效避免因为焦距引起的场景过小箱号覆盖不全或者场景过大的问题，在使用时，第一镜头和第二镜头的焦距保持不变。当然，第一镜头和第二镜头也可以是焦距不可变的镜头，减少调试。

本发明还提供一种集装箱监控装置，该装置应用于摄像设备，所述摄像设备设有第一镜头和第二镜头；在一个实施例中，参看图2，该集装箱监控装置100包括：

图像获取模块101，用于获取第一镜头在目标集装箱进入第一镜头的视场时开始采集的集装箱图像；

箱号识别模块102，用于从获取的集装箱图像中识别集装箱号；

采集控制模块103，用于依据集装箱号的识别结果控制第二镜头采集所述目标集装箱的目标图像。

在一个实施例中，所述集装箱图像包括集装箱尾部的局部图或完整端面图；所述采集控制模块包括：

第一置信度计算单元，用于计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

第一控制单元，用于检查所述置信度是否大于预设阈值，如果是，控制第二镜头抓拍所述目标集装箱，得到所述目标图像。

在一个实施例中，所述采集控制模块检查所述置信度是否大于预设阈值之后，该装置还包括：

位置线检查单元，用于如果所述置信度不大于预设阈值，检查所述集装箱图像中集装箱号区域是否包括所述摄像设备上已配置的位置线；

第二控制单元，用于如果是，控制第二镜头抓拍所述目标集装箱的目标图像，如果否，禁止第二镜头抓拍所述目标集装箱的目标图像。

在一个实施例中，所述采集控制模块包括：

第二置信度计算单元，用于计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

置信度检查单元，用于检查所述置信度是否大于预设阈值；

第三控制单元，用于如果是，控制第二镜头开始连续采集所述目标集装箱的目标图像；

第四控制单元，用于如果否，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，控制第二镜头开始连续采集所述目标集装箱的目标图像。

在一个实施例中，所述目标图像包括目标集装箱的指定表面的局部图；所述采集控制模块之后，该装置进一步包括：

基础图确定模块，在第二镜头采集到首个目标图像时，将该目标图像中的局部图确定为当前基础图；

目标图像获取模块，用于获取第二镜头采集到的目标图像；

拼接基础图确定模块，用于在当前不存在拼接基础图时，将获取的目标图像中的局部图保存为拼接基础图；

图像拼接模块，用于在当前存在拼接基础图时，将获取的目标图像中局部图与所述拼接基础图进行拼接，如果拼接得到的图像包含目标集装箱的指定表面的完整表面，则将所述拼接得到的图像上传至终端设备，否则，将所述拼接得到的图像作为拼接基础图，返回所述获取第二镜头采集到的目标图像的操作。

在一个实施例中，所述采集控制模块之后，所述装置还包括：

采集停止控制模块，用于当接收到外部指定摄像设备发送的采集停止指令、或者当拼接得到的图像包含目标集装箱的指定表面的完整表面时，控制第二镜头停止采集目标图像。

在一个实施例中，所述采集控制模块检查所述置信度是否大于预设阈值之后，该装置进一步包括：

第一集装箱图像上传单元，用于如果所述置信度大于所述预设阈值，将所述集装箱图像上传至终端设备。

在一个实施例中，所述采集控制模块之后，该装置进一步包括：

第二集装箱图像上传单元，用于如果所述置信度不大于预设阈值，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，选择所述目标集装箱的集装箱图像中识别结果的置信度最高的一帧图像上传至终端设备。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的集装箱监控方法。该电子设备可以为摄像设备。

本发明集装箱监控装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，图6是本发明根据一示例性实施例示出的集装箱监控装置100所在电子设备的一种硬件结构图，除了图6所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的集装箱监控方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种集装箱监控方法，其特征在于，该方法应用于摄像设备，所述摄像设备设有第一镜头和第二镜头；该方法包括：

获取第一镜头在目标集装箱进入第一镜头的视场时开始采集的集装箱图像；

从获取的集装箱图像中识别集装箱号；

依据集装箱号的识别结果控制第二镜头采集所述目标集装箱的目标图像。

2.如权利要求1所述的集装箱监控方法，其特征在于，所述集装箱图像包括集装箱尾部的局部图或完整端面图；所述依据集装箱号的识别结果控制第二镜头采集目标图像包括：

计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

检查所述置信度是否大于预设阈值，如果是，控制第二镜头抓拍所述目标集装箱，得到所述目标图像。

3.如权利要求2所述的集装箱监控方法，其特征在于，检查所述置信度是否大于预设阈值之后，所述方法还包括：

如果所述置信度不大于预设阈值，检查所述集装箱图像中集装箱号区域是否包括所述摄像设备上已配置的位置线；

如果是，控制第二镜头抓拍所述目标集装箱的目标图像，如果否，禁止第二镜头抓拍所述目标集装箱的目标图像。

4.如权利要求1所述的集装箱监控方法，其特征在于，所述依据集装箱号的识别结果控制第二镜头采集目标图像包括：

计算所述识别结果的置信度，所述置信度用于表示所述识别结果为集装箱号的概率；

检查所述置信度是否大于预设阈值；

如果是，控制第二镜头开始连续采集所述目标集装箱的目标图像；

如果否，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，控制第二镜头开始连续采集所述目标集装箱的目标图像。

5.如权利要求4所述的集装箱监控方法，其特征在于，所述目标图像包括目标集装箱的指定表面的局部图；控制第二镜头开始连续采集所述目标集装箱的目标图像之后，该方法进一步包括：

获取第二镜头采集到的目标图像；

在当前不存在拼接基础图时，将获取的目标图像中的局部图保存为拼接基础图；

在当前存在拼接基础图时，将获取的目标图像中局部图与所述拼接基础图进行拼接，如果拼接得到的图像包含目标集装箱的指定表面的完整表面，则将所述拼接得到的图像上传至终端设备，否则，将所述拼接得到的图像作为拼接基础图，返回所述获取第二镜头采集到的目标图像的操作。

6.如权利要求5所述的集装箱监控方法，其特征在于，控制第二镜头开始连续采集所述目标集装箱的目标图像之后，所述方法还包括：

当接收到外部指定摄像设备发送的采集停止指令、或者当拼接得到的图像包含目标集装箱的指定表面的完整表面时，控制第二镜头停止采集目标图像。

7.如权利要求2或3或4所述的集装箱监控方法，其特征在于，检查所述置信度是否大于预设阈值之后，该方法进一步包括：

如果所述置信度大于所述预设阈值，将所述集装箱图像上传至终端设备。

8.如权利要求3或4所述的集装箱监控方法，其特征在于，检查所述置信度是否大于预设阈值之后，该方法进一步包括：

如果所述置信度不大于预设阈值，在所述集装箱图像中集装箱号区域包括本设备上已配置的位置线的情况下，选择所述目标集装箱的集装箱图像中识别结果的置信度最高的一帧图像上传至终端设备。

9.一种集装箱监控装置，其特征在于，该装置应用于摄像设备，所述摄像设备设有第一镜头和第二镜头；该装置包括：

图像获取模块，用于获取第一镜头在目标集装箱进入第一镜头的视场时开始采集的集装箱图像；

箱号识别模块，用于从获取的集装箱图像中识别集装箱号；

采集控制模块，用于依据集装箱号的识别结果控制第二镜头采集所述目标集装箱的目标图像。

10.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-6中任意一项所述的集装箱监控方法。

11.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-6中任意一项所述的集装箱监控方法。

Images