CN110969054A - 一种集装箱箱号识别方法及装置 - Google Patents

Abstract

本申请提供一种集装箱箱号识别方法及装置，方法包括：对多路相机采集的指定集装箱的视频流进行解码；针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由定位网络定位该帧图片中指定集装箱的箱号位置区域，从该帧图片中抠出箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由识别网络识别出目标图片中箱号。由于定位网络和识别网络均是直接输出结果，无需中间处理过程，识别过程简单，可快速准确的实现每帧图片的识别。通过结合多路相机采集的视频流包含的多帧图片的箱号识别结果确定指定集装箱的目标箱号，而并非基于集装箱四面的单次抓拍图像的箱号识别结果确定目标箱号，因此可以提高目标箱号的准确度。

Description

一种集装箱箱号识别方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种集装箱箱号识别方法及装置。

背景技术

目前，集装箱广泛应用在交通运输中，为了方便对集装箱的识别，在集装箱的四个面上都喷涂有该集装箱的箱号，以用于唯一标识该集装箱，因此在港口作业中，通过识别集装箱的箱号可以方便记录每个集装箱在运输过程中的状态。

相关技术中，在载有集装箱的货车通过闸口时，对集装箱的4个面进行抓拍，针对每张抓拍图像，先检测图像中集装箱的箱号区域，并对该区域内的箱号包含的每个字符进行分割，然后通过基于机器学习方法的分类器进行字符识别，得到单字符识别结果，并根据分割的每个字符在箱号中的位置和每个字符识别结果确定集装箱的箱号，最后基于同一集装箱在4张抓拍图像中的识别结果综合确定目标箱号。然而，这种箱号识别方式，中间过程比较多，识别算法比较复杂。

发明内容

有鉴于此，本申请提供一种集装箱箱号识别方法及装置，以解决相关技术中的箱号识别方式中间过程比较多，识别算法比较复杂的问题。

根据本申请实施例的第一方面，提供一种集装箱箱号识别方法，所述方法包括：

对多路相机采集的指定集装箱的视频流进行解码，所述视频流包括所述指定集装箱各个侧面的图像；

针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由所述定位网络定位该帧图片中所述指定集装箱的箱号位置区域，从该帧图片中抠出所述箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由所述识别网络识别出所述目标图片中箱号；其中，所述定位网络包括M个子定位网络，所述M个子定位网络用于分别定位出所述视频流中的M帧图片的所述箱号位置区域；所述识别网络包括与所述M个子定位网络映射的M个子识别网络，所述M个子识别网络用于分别识别出所述M帧图片对应的M个目标图片中的集装箱箱号；

依据所述识别网络识别出的各个箱号确定所述指定集装箱的目标箱号。

根据本申请实施例的第二方面，提供一种集装箱箱号识别装置，所述装置包括：

解码模块，用于对多路相机采集的指定集装箱的视频流进行解码，所述视频流包括所述指定集装箱各个侧面的图像；

识别模块，用于针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由所述定位网络定位该帧图片中所述指定集装箱的箱号位置区域，从该帧图片中抠出所述箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由所述识别网络识别出所述目标图片中箱号；其中，所述定位网络包括M个子定位网络，所述M个子定位网络用于分别定位出所述视频流中的M帧图片的所述箱号位置区域；所述识别网络包括与所述M个子定位网络映射的M个子识别网络，所述M个子识别网络用于分别识别出所述M帧图片对应的M个目标图片中的集装箱箱号；

确定模块，用于依据所述识别网络识别出的各个箱号确定所述指定集装箱的目标箱号。

根据本申请实施例的第三方面，提供一种电子设备，包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面的步骤。

根据本申请实施例的第四方面，提供一种芯片，包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面的步骤。

应用本申请实施例，通过对多路相机采集的指定集装箱的视频流进行解码，并针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由定位网络定位该帧图片中指定集装箱的箱号位置区域，从该帧图片中抠出该箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由识别网络识别出该目标图片中箱号，最后依据识别网络识别出的各个箱号确定指定集装箱的目标箱号。其中，定位网络可包括M个子定位网络，该M个子定位网络用于分别定位出视频流中的M帧图片的箱号位置区域，且识别网络可包括与M个子定位网络映射的M个子识别网络，该M个子识别网络用于分别识别出M帧图片对应的M个目标图片中的集装箱箱号。

基于上述描述可知，由于通过定位网络定位图片中指定集装箱的箱号位置区域之后，通过识别网络可直接实现箱号的识别，因此对于定位网络和识别网络均是直接输出结果，无需中间处理过程，识别过程简单，进而可快速准确的实现每帧图片的识别。又由于定位网络和识别网络均是由M个子定位网络和M个子识别网络组成，可以并行定位并识别M帧图片，因此可以提高箱号识别效率。另外，通过结合多路相机采集的视频流包含的多帧图片的箱号识别结果确定指定集装箱的目标箱号，而并非基于集装箱四面的单次抓拍图像的箱号识别结果确定目标箱号，因此可以提高目标箱号的准确度。

附图说明

图1为本申请根据一示例性实施例示出的一种集装箱四面抓拍图像；

图2A为本申请根据一示例性实施例示出的一种集装箱箱号识别方法的实施例流程图；

图2B为本申请根据图2A所示实施例示出的一种集装箱箱号识别结构图；

图3为本申请根据一示例性实施例示出的另一种集装箱箱号识别方法的实施例流程图；

图4为本申请根据一示例性实施例示出的一种电子设备的硬件结构图；

图5为本申请根据一示例性实施例示出的一种集装箱箱号识别装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

集装箱的箱号作为集装箱的唯一标识，其采用国际标准ISO6346(1995)标准定义，由4位英文字母(箱主号)和7为数字(箱体注册码)组成。另外，集装箱箱号后面的ISO号使用UN/ISO标准代码，由4位号码组成，表示集装箱的尺寸、箱型和功能。

目前，通常是在闸口现场安装4路相机，每路相机抓拍集装箱的一面，针对每张抓拍图像，先检测图像中集装箱的箱号区域，并对该区域内的箱号包含的每个字符进行分割，然后通过基于机器学习方法的分类器进行字符识别，得到单字符识别结果，并根据分割的每个字符在箱号中的位置和每个字符识别结果确定集装箱的箱号，最后基于同一集装箱在4张抓拍图像中的识别结果综合确定目标箱号。然而，这种箱号识别方式中间过程比较多(检测箱号区域、分割、分类)，因此识别算法比较复杂。并且在实际应用中，由于单次抓拍受光照环境、杆件光影、抓拍角度等影响，会导致抓拍图像不理想，如图1所示的集装箱四面抓拍图像，其中的抓拍图像存在杆件光影、杆件遮挡、箱号扭曲变形、光照环境不佳等问题，从而可能导致箱号识别结果不准确，进而导致综合出来的目标箱号的准确率也比较低。

基于此，可以对多路相机采集的指定集装箱的视频流进行解码，针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由定位网络定位该帧图片中指定集装箱的箱号位置区域，从该帧图片中抠出该箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由识别网络识别出该目标图片中箱号，最后依据识别网络识别出的各个箱号确定指定集装箱的目标箱号。其中，定位网络可包括M个子定位网络，该M个子定位网络用于分别定位出视频流中的M帧图片的箱号位置区域，且识别网络可包括与M个子定位网络映射的M个子识别网络，该M个子识别网络用于分别识别出M帧图片对应的M个目标图片中的集装箱箱号。

基于上述描述可知，由于通过定位网络定位图片中指定集装箱的箱号位置区域之后，通过识别网络可直接实现箱号的识别，因此对于定位网络和识别网络均是直接输出结果，无需中间处理过程，识别过程简单，进而可快速准确的实现每帧图片的识别。又由于定位网络和识别网络均是由M个子定位网络和M个子识别网络组成，可以并行定位并识别M帧图片，因此可以提高箱号识别效率。另外，通过结合多路相机采集的视频流包含的多帧图片的箱号识别结果确定指定集装箱的目标箱号，而并非基于集装箱四面的单次抓拍图像的箱号识别结果确定目标箱号，因此可以提高目标箱号的准确度。

其中，多路相机可以是设置在闸口现场的四路相机，分别用于采集集装箱每个面(前后左右四个面)的视频流(集装箱的每个面上均喷涂有箱号)。

需要说明的是，解码视频流和识别解码得到的图片可以在各路相机中执行，并将箱号识别结果缓存到电子设备中，从而确定目标箱号可以在电子设备中执行。当然解码视频流、识别解码得到的图片、确定目标箱号也可以都在电子设备中执行，每路相机只负责采集视频流。

下面以具体实施例对本申请技术方案进行详细阐述。

图2A为本申请根据一示例性实施例示出的一种集装箱箱号识别方法的实施例流程图，本实施例中的集装箱箱号识别方法可以应用在电子设备(如终端或服务器)上。如图2A所示，该集装箱箱号识别方法包括如下步骤：

步骤201：对多路相机采集的指定集装箱的视频流进行解码。

在一实施例中，可以在接收到第一触发信号时，获取每路相机实时采集的指定集装箱的视频流，并解码获取的视频流，以得到视频流中包含的图片。

其中，多路相机采集的视频流包括指定集装箱各个侧面的图像。第一触发信号用于指示闸口现场有集装箱到来，可以由一个独立的车牌相机在检测到车牌时生成。由于相机的帧率通常为24帧/秒，因此1秒的视频包含24帧图片，进而解码视频流可以得到多帧图片。

在一实施例中，由于是对每路相机实时采集的视频流进行解码，为了提高识别效率，可以并行对每路相机的视频流进行解码。

步骤202：针对解码得到每帧图片，将该帧图片输入已训练得到的定位网络，由所述定位网络定位该帧图片中所述指定集装箱的箱号位置区域。

在一实施例中，已训练得到的定位网络可以通过如下方式得到：获取包含集装箱的图像集合，并在每幅图像中标注包含集装箱的箱号位置区域，得到样本集，利用该样本集对该定位网络的训练模型进行训练，直至训练次数达到预设次数停止训练。

其中，箱号在集装箱上可能以横向多行排列，也可能以竖向多列排列，因此对于横向多行排列的情况，可以每一行标注为一个四边形；对于竖向多列排列的情况，可以每一列标注为一个四边形，每个四边形均用四个角点坐标表示。由于YOLO网络结构具有高准确率快速检测的特点，因此定位网络可以采用基于YOLO结构的深度卷积神经网络(如包含22层的卷积神经网络，其中M层为卷积层，22-M层为池化层)，以适用于视频流中实时定位的任务。

步骤203：从该帧图片中抠出箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由识别网络识别出目标图片中箱号。

其中，针对步骤202和步骤203的过程，定位网络可包括M个子定位网络，该M个子定位网络用于分别定位出视频流中的M帧图片的箱号位置区域，且识别网络可包括与M个子定位网络映射的M个子识别网络，该M个子识别网络用于分别识别出M帧图片对应的M个目标图片中的集装箱箱号。由于可以通过M个子定位网络和M个子识别网络并行识别M帧图片，因此可以提高箱号识别效率。

在一实施例中，针对从该帧图片中抠出箱号位置区域对应的目标图片的过程，如果定位网络输出的是多组四边形坐标，可以从图片中抠出每组四边形坐标对应区域的子图片，并将抠出的多个子图片拼接为目标图片。

其中，由于集装箱箱号可能由多行或多列组成，因此获取到的四边形坐标可以有多组，在抠出每个四边形子图片后，需要按照子图片在图片中的前后顺序将子图片拼接起来，得到目标图片。例如，如果集装箱箱号由多行组成，可以按照前后顺序将子图片拼接为一行，如果集装箱箱号由多列组成，可以按照前后顺序将子图片拼接为一列。

在一实施例中，已训练得到的识别网络可以通过如下方式得到：可以从上述步骤202得到的样本集中抠出每个箱号位置区域对应的图像，并标注抠出图像的箱号，最后利用标注后的图像对识别网络的训练模型进行训练。

其中，对于由多行组成的箱号，可以一行一行的抠出后再拼接，对于由多列组成的箱号，可以一列一列的抠出后再拼接。由于Attention网络结构具有高准确率快速识别的特点，因此识别网络可以采用基于Attention结构的深度卷积神经网络(即先计算提取得到的每个特征的权值，并通过对这些特征进行加权求和的方式识别图像中的箱号)，以适用于视频流中实时识别的任务。

步骤204：依据识别网络识别出的各个箱号确定指定集装箱的目标箱号。

在一实施例中，可以在接收到第二触发信号时，依据识别网络识别出的各个箱号确定指定集装箱的目标箱号。

其中，第二触发信号用于指示集装箱已完全进入闸口区域，例如，车牌相机在检测到车牌后等待一段时间(如10秒)生成第二触发信号。

针对依据识别网络识别出的各个箱号确定指定集装箱的目标箱号的过程，可以参见下述图3所示实施例的描述，在此暂不详述。

基于上述步骤201至步骤204的过程，在一示例性场景中，如图2B所示，假设对多路相机采集的指定集装箱的视频流解码，得到M帧解码图，定位网络包括M个子定位网络，识别网络包括M个子识别网络。从而可以将M帧解码图分别输入M个子定位网络中，定位出每帧解码图的箱号位置区域1-箱号位置区域M，并分别通过对应的扣取模块从解码图中抠出箱号位置区域对应的目标图片1-目标图片M，并再分别通过对应的识别子网络识别出目标图片1-目标图片M中的箱号1-箱号M，最后通过综合确定模块，依据箱号1-箱号M确定指定集装箱的目标箱号。

本申请实施例中，通过对多路相机采集的指定集装箱的视频流进行解码，并针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由定位网络定位该帧图片中指定集装箱的箱号位置区域，从该帧图片中抠出该箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由识别网络识别出该目标图片中箱号，最后依据识别网络识别出的各个箱号确定指定集装箱的目标箱号。其中，定位网络可包括M个子定位网络，该M个子定位网络用于分别定位出视频流中的M帧图片的箱号位置区域，且识别网络可包括与M个子定位网络映射的M个子识别网络，该M个子识别网络用于分别识别出M帧图片对应的M个目标图片中的集装箱箱号。

基于上述描述可知，由于通过定位网络定位图片中指定集装箱的箱号位置区域之后，通过识别网络可直接实现箱号的识别，因此对于定位网络和识别网络均是直接输出结果，无需中间处理过程，识别过程简单，进而可快速准确的实现每帧图片的识别。又由于定位网络和识别网络均是由M个子定位网络和M个子识别网络组成，可以并行定位并识别M帧图片，因此可以提高箱号识别效率。另外，通过结合多路相机采集的视频流包含的多帧图片的箱号识别结果确定指定集装箱的目标箱号，而并非基于集装箱四面的单次抓拍图像的箱号识别结果确定目标箱号，因此可以提高目标箱号的准确度。

图3为本申请根据一示例性实施例示出的另一种集装箱箱号识别方法的实施例流程图，基于上述图2A所示实施例的基础上，本实施例以如何依据识别网络识别出的各个箱号确定指定集装箱的目标箱号为例进行示例性说明，如图3所示，该集装箱箱号识别方法可包括如下步骤：

步骤301：确定每个箱号的置信度。

在一实施例中，针对确定识别得到的每个箱号的置信度的过程，可以针对每个箱号，对该箱号进行校验，若校验成功，则确定该箱号的置信度为第一置信度；若校验失败，则利用预设的误识别字符对应关系修改该箱号，并再对修改后的箱号进行校验，若校验成功，则确定该修改后的箱号的置信度为第二置信度；否则，确定该箱号的置信度为第三置信度。

其中，第一置信度、第二置信度、第三置信度依次降低。预设的误识别字符对应关系可以根据实践经验设置，例如E与F、I与J、M与N、O与Q、U与V、6与8等误识别字符对应关系。

需要说明的是，在对箱号进行校验之前，可以判断该箱号是否满足预设条件，如果满足，则执行对该箱号进行校验的过程，如果不满足，则将该箱号中不满足预设条件的字符修改为满足预设条件的字符，并对该修改后的箱号进行校验，若校验成功，则确定该修改后的箱号的置信度为第四置信度，若校验失败，则执行利用预设的误识别字符对应关系修改该箱号的过程。

其中，预设条件指的是箱号的前4位(即主箱号)为字母，后6位为数字，例如箱号中的前4位字符中有“0”，那么需要将“0”修改为“O”；有“1”，需要修改为“I”；有“2”，需要修改为“Z”。第四置信度小于第一置信度，但大于第二置信度和第三置信度。

下面详细介绍箱号的校验过程：

(1)预先配置26个字母对应的数值：A＝10；B＝12；C＝13；D＝14；E＝15；F＝16；G＝17；H＝18；I＝19；J＝20；K＝21；L＝23；M＝24；N＝25；O＝26；P＝27；Q＝28；R＝29；S＝30；T＝31；U＝32；V＝34；W＝35；X＝36；Y＝37；Z＝38。

(2)将箱号中的前4位字母转换为对应的数值，并利用箱号包含的前10位字符计算校验值，校验值计算公式可以为：

其中，C_n表示每位字符的数值，S为校验值。

(3)如果计算得到的校验值与箱号包含的第11位字符相等，则校验成功，如果不相等，则校验失败。

步骤302：依据识别出的各个箱号和各个箱号的置信度确定指定集装箱的目标箱号。

在一实施例中，可以从识别出的各个箱号中选择置信度最大的箱号，若选择出的箱号中不同的箱号的数量小于预设数值N，则将选择出的各个不同的箱号确定为候选箱号，若选择出的箱号中不同的箱号的数量大于或等于预设数值N，则依据选择出的箱号中各个不同的箱号出现的次数选择N个箱号作为候选箱号，最后依据各个候选箱号所属视频流的视频流数量，从各个候选箱号中确定指定集装箱的目标箱号。

其中，预设数值可以根据实践经验设置，其值需要大于等于每辆货车最多载有的集装箱个数，如通常货车上可能载有1个或2个集装箱，因此预设数值可以设置为4。候选箱号所属视频流的视频流数量指的是候选箱号在几路相机中出现，可以通过该候选箱号所在的图片来确定所属视频流。

在一实施例中，针对依据各个候选箱号所属视频流的视频流数量，从各个候选箱号中确定指定集装箱的目标箱号的过程，可以从各个候选箱号中，选取对应的视频流数量超过第一预设阈值的候选箱号，若选取出的候选箱号的数量大于第二预设阈值，则在选取出的候选箱号中，依据与上次确定的目标箱号不同的候选箱号确定目标箱号，若选取出的候选箱号的数量小于会等于第二预设阈值，则将选取出的候选箱号确定为目标箱号。

其中，第一预设阈值指的是最低需要出现在几路相机中，如果是四路相机，则候选箱号至少在两路以上的相机中出现，因此可以将第一预设阈值设置为2。第二预设阈值指的是货车最多可以载有的集装箱个数，如果一辆货车最多能载2个集装箱，因此第二预设阈值可以设置为2。在有两辆货车紧挨着通过闸口现场的情况下，相机第二次采集的视频流，可能采集到前一辆货车上的集装箱，因此每次确定完目标箱号后，可以记录本次确定的目标箱号，从而如果在下次选取的候选箱号的数量大于第二预设阈值时，可以从选取的候选箱号中继续选取与本次记录的目标箱号不同的候选箱号，并且如果与本次记录的目标箱号不同的候选箱号的数量小于等于第二预设阈值(一辆货车最多能载的集装箱个数)，则可以直接将与本次记录的目标箱号不同的候选箱号确定为目标箱号，而如果与本次记录的目标箱号不同的候选箱号的数量大于第二预设阈值，则可以从与本次记录的目标箱号不同的候选箱号中选取第二预设阈值个出现次数最多的作为目标箱号。

需要说明的是，在识别每帧图片中包含的集装箱的箱号时，还可以识别箱号后面的ISO号，从而在确定目标箱号之后，可以从识别得到的所有箱号中，获取与目标箱号相同的箱号对应的ISO号，并利用这些ISO号统计得到该目标箱号的ISO号。

在一示例性场景中，假设设置了四路相机，每路相机产生一条视频流，配置的预设数值为4，第一预设阈值和第二预设阈值均为2，从识别得到的箱号中选择的置信度最大的箱号有100个，不同箱号的数量有8个：箱号1～箱号8，高于预设数值4，箱号1～箱号8的出现次数分别为15、15、13、17、10、12、8、10，可以从中选取4个出现次数最多的箱号作为候选箱号，即出现次数分别为15、15、13、17的箱号1、箱号2、箱号3、箱号4为候选箱号，假设箱号1所属视频流的视频流数量为4、箱号2所属视频流的视频流数量为1、箱号3所属视频流的视频流数量为3、箱号4所属视频流的视频流数量为4，则视频流数量超过第一预设阈值2的候选箱号有箱号1、箱号3、箱号4。由于箱号1、箱号3、箱号4的数量高于第二预设阈值，且假设上次确定的目标箱号为箱号3，则可以将箱号1和箱号4确定为目标箱号，表示本次货车载有两个集装箱。

至此，完成上述图3所示的流程，通过图3所示流量，可以实现目标箱号的确定。

图4为本申请根据一示例性实施例示出的一种电子设备的硬件结构图，该电子设备包括：通信接口401、处理器402、机器可读存储介质403和总线404；其中，通信接口401、处理器402和机器可读存储介质403通过总线104完成相互间的通信。处理器402通过读取并执行机器可读存储介质402中与集装箱箱号识别方法的控制逻辑对应的机器可执行指令，可执行上文描述的集装箱箱号识别方法，该方法的具体内容参见上述实施例，此处不再累述。

本申请中提到的机器可读存储介质403可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质403可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

图5为本申请根据一示例性实施例示出的一种集装箱箱号识别装置的实施例结构图，如图5所示，所述集装箱箱号识别装置包括：

解码模块510，用于对多路相机采集的指定集装箱的视频流进行解码，所述视频流包括所述指定集装箱各个侧面的图像；

识别模块520，用于针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由所述定位网络定位该帧图片中所述指定集装箱的箱号位置区域，从该帧图片中抠出所述箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由所述识别网络识别出所述目标图片中箱号；其中，所述定位网络包括M个子定位网络，所述M个子定位网络用于分别定位出所述视频流中的M帧图片的所述箱号位置区域；所述识别网络包括与所述M个子定位网络映射的M个子识别网络，所述M个子识别网络用于分别识别出所述M帧图片对应的M个目标图片中的集装箱箱号；

确定模块530，用于依据所述识别网络识别出的各个箱号确定所述指定集装箱的目标箱号。

在一可选实现方式中，所述确定模块530，具体用于确定每个箱号的置信度；依据识别出的各个箱号和各个箱号的置信度确定所述指定集装箱的目标箱号。

在一可选实现方式中，所述确定模块530，还具体用于在确定每个箱号的置信度过程中，针对每个箱号，对该箱号进行校验；若校验成功，则确定该箱号的置信度为第一置信度；若校验失败，则利用预设的误识别字符对应关系修改该箱号，并再对修改后的箱号进行校验，若校验成功，则确定该修改后的箱号的置信度为第二置信度，否则，确定该箱号的置信度为第三置信度；其中，所述第一置信度、所述第二置信度、所述第三置信度依次降低。

在一可选实现方式中，所述确定模块530，还具体用于在依据识别出的各个箱号和各个箱号的置信度确定所述指定集装箱的目标箱号过程中，从识别出的各个箱号中选择置信度最大的箱号；若选择出的箱号中不同的箱号的数量小于预设数值N，则将选择出的各个不同的箱号确定为候选箱号；若选择出的箱号中不同的箱号的数量大于或等于预设数值N，则依据选择出的箱号中各个不同的箱号出现的次数选择N个箱号作为候选箱号；依据各个候选箱号所属视频流的视频流数量，从各个候选箱号中确定所述指定集装箱的目标箱号。

在一可选实现方式中，所述确定模块530，还具体用于在依据各个候选箱号所属视频流的视频流数量，从各个候选箱号中确定所述指定集装箱的目标箱号过程中，从各个候选箱号中，选取对应的视频流数量超过第一预设阈值的候选箱号；若选取出的候选箱号的数量大于第二预设阈值，则在选取出的候选箱号中，依据与上次确定的目标箱号不同的候选箱号确定目标箱号；若选取出的候选箱号的数量小于会等于第二预设阈值，则将选取出的候选箱号确定为目标箱号。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请还提供一种芯片，所述芯片包括可读存储介质和处理器，所述可读存储介质用于存储机器可执行指令，所述处理器用于读取所述机器可执行指令，并执行所述指令以实现上述所述实施例中的图像识别方法的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种集装箱箱号识别方法，其特征在于，所述方法包括：

对多路相机采集的指定集装箱的视频流进行解码，所述视频流包括所述指定集装箱各个侧面的图像；

针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由所述定位网络定位该帧图片中所述指定集装箱的箱号位置区域，从该帧图片中抠出所述箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由所述识别网络识别出所述目标图片中箱号；其中，所述定位网络包括M个子定位网络，所述M个子定位网络用于分别定位出所述视频流中的M帧图片的所述箱号位置区域；所述识别网络包括与所述M个子定位网络映射的M个子识别网络，所述M个子识别网络用于分别识别出所述M帧图片对应的M个目标图片中的集装箱箱号；

依据所述识别网络识别出的各个箱号确定所述指定集装箱的目标箱号。

2.根据权利要求1所述的方法，其特征在于，依据所述识别网络识别出的各个箱号确定所述指定集装箱的目标箱号，包括：

确定每个箱号的置信度；

依据识别出的各个箱号和各个箱号的置信度确定所述指定集装箱的目标箱号。

3.根据权利要求2所述的方法，其特征在于，确定每个箱号的置信度，包括：

针对每个箱号，对该箱号进行校验；

若校验成功，则确定该箱号的置信度为第一置信度；

若校验失败，则利用预设的误识别字符对应关系修改该箱号，并再对修改后的箱号进行校验，若校验成功，则确定该修改后的箱号的置信度为第二置信度，否则，确定该箱号的置信度为第三置信度；

其中，所述第一置信度、所述第二置信度、所述第三置信度依次降低。

4.根据权利要求2所述的方法，其特征在于，依据识别出的各个箱号和各个箱号的置信度确定所述指定集装箱的目标箱号，包括：

从识别出的各个箱号中选择置信度最大的箱号；

若选择出的箱号中不同的箱号的数量小于预设数值N，则将选择出的各个不同的箱号确定为候选箱号；

若选择出的箱号中不同的箱号的数量大于或等于预设数值N，则依据选择出的箱号中各个不同的箱号出现的次数选择N个箱号作为候选箱号；

依据各个候选箱号所属视频流的视频流数量，从各个候选箱号中确定所述指定集装箱的目标箱号。

5.根据权利要求4所述的方法，其特征在于，依据各个候选箱号所属视频流的视频流数量，从各个候选箱号中确定所述指定集装箱的目标箱号，包括：

从各个候选箱号中，选取对应的视频流数量超过第一预设阈值的候选箱号；

若选取出的候选箱号的数量大于第二预设阈值，则在选取出的候选箱号中，依据与上次确定的目标箱号不同的候选箱号确定目标箱号；

若选取出的候选箱号的数量小于会等于第二预设阈值，则将选取出的候选箱号确定为目标箱号。

6.一种集装箱箱号识别装置，其特征在于，所述装置包括：

解码模块，用于对多路相机采集的指定集装箱的视频流进行解码，所述视频流包括所述指定集装箱各个侧面的图像；

识别模块，用于针对解码得到的每帧图片，将该帧图片输入已训练得到的定位网络，由所述定位网络定位该帧图片中所述指定集装箱的箱号位置区域，从该帧图片中抠出所述箱号位置区域对应的目标图片，并将该目标图片输入已训练得到的识别网络，由所述识别网络识别出所述目标图片中箱号；其中，所述定位网络包括M个子定位网络，所述M个子定位网络用于分别定位出所述视频流中的M帧图片的所述箱号位置区域；所述识别网络包括与所述M个子定位网络映射的M个子识别网络，所述M个子识别网络用于分别识别出所述M帧图片对应的M个目标图片中的集装箱箱号；

确定模块，用于依据所述识别网络识别出的各个箱号确定所述指定集装箱的目标箱号。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于确定每个箱号的置信度；依据识别出的各个箱号和各个箱号的置信度确定所述指定集装箱的目标箱号。

8.根据权利要求7所述的装置，其特征在于，所述确定模块，还具体用于在确定每个箱号的置信度过程中，针对每个箱号，对该箱号进行校验；若校验成功，则确定该箱号的置信度为第一置信度；若校验失败，则利用预设的误识别字符对应关系修改该箱号，并再对修改后的箱号进行校验，若校验成功，则确定该修改后的箱号的置信度为第二置信度，否则，确定该箱号的置信度为第三置信度；其中，所述第一置信度、所述第二置信度、所述第三置信度依次降低。

9.根据权利要求7所述的装置，其特征在于，所述确定模块，还具体用于在依据识别出的各个箱号和各个箱号的置信度确定所述指定集装箱的目标箱号过程中，从识别出的各个箱号中选择置信度最大的箱号；若选择出的箱号中不同的箱号的数量小于预设数值N，则将选择出的各个不同的箱号确定为候选箱号；若选择出的箱号中不同的箱号的数量大于或等于预设数值N，则依据选择出的箱号中各个不同的箱号出现的次数选择N个箱号作为候选箱号；依据各个候选箱号所属视频流的视频流数量，从各个候选箱号中确定所述指定集装箱的目标箱号。

10.根据权利要求9所述的装置，其特征在于，所述确定模块，还具体用于在依据各个候选箱号所属视频流的视频流数量，从各个候选箱号中确定所述指定集装箱的目标箱号过程中，从各个候选箱号中，选取对应的视频流数量超过第一预设阈值的候选箱号；若选取出的候选箱号的数量大于第二预设阈值，则在选取出的候选箱号中，依据与上次确定的目标箱号不同的候选箱号确定目标箱号；若选取出的候选箱号的数量小于会等于第二预设阈值，则将选取出的候选箱号确定为目标箱号。

11.一种电子设备，其特征在于，包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现权利要求1-5任一所述方法的步骤。

12.一种芯片，其特征在于，包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现权利要求1-5任一所述方法的步骤。

Images