CN115620275A - 视觉目标识别的集装箱智能提箱方法和系统 - Google Patents

Abstract

本申请公开了一种视觉目标识别的集装箱智能提箱方法和系统。视觉目标识别的集装箱智能提箱方法包括：获取闸口的出站图片，出站图片包括第一图片和第二图片，第一图片对应的时刻和第二图片对应的时刻间隔设置；对出站图片进行目标识别，以确定出站图片中的集装箱的箱位置和车辆的车辆位置，为出站图片中的车辆分配车辆特征码，为出站图片中的集装箱分配箱特征码；确定待记录车辆和待记录集装箱，确定待记录车辆运输待记录集装箱的匹配结果。由此，视觉目标识别的集装箱智能提箱方法可以通过对第一图片和第二图片进行处理，进而确定离开站点的车辆运输的集装箱，这样，能够自动记录离开站点车辆和该车辆运输的集装箱，无需人工记录，工作效率高。

Description

视觉目标识别的集装箱智能提箱方法和系统

技术领域

本申请涉及集装箱领域，具体而言涉及视觉目标识别的集装箱智能提箱方法和系统。

背景技术

集装箱存放于站点。当某一车辆从站点将一个集装箱运出站点（提箱）时，需要记录该车辆的车辆信息，以及该车辆运输的集装箱的集装箱信息。目前，站点记录车辆的车辆信息和该车辆运输的集装箱的集装箱信息的工作由站点的工作人员现场查看并记录，工作效率低。

为此，本申请提供一种视觉目标识别的集装箱智能提箱方法和系统，以至少部分地解决上述问题。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本申请的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为至少部分地解决上述技术问题，本申请提供了一种视觉目标识别的集装箱智能提箱方法，视觉目标识别的集装箱智能提箱方法包括：

步骤1、获取闸口的出站图片，出站图片包括第一图片和第二图片，第一图片对应的时刻和第二图片对应的时刻间隔设置；

步骤2、对出站图片进行目标识别，以确定出站图片中的集装箱的箱位置和车辆的车辆位置，为出站图片中的车辆分配车辆特征码，为出站图片中的集装箱分配箱特征码；

步骤3、根据第一图片中的箱位置和车辆位置，确定第一图片中的任意一个集装箱和任意一个车辆之间的第一位置参数，根据第二图片中的箱位置和车辆位置，确定第二图片中的任意一个集装箱和任意一个车辆之间的第二位置参数，确定待记录车辆和待记录集装箱，确定待记录车辆运输待记录集装箱的匹配结果；

其中，待记录车辆和待记录集装箱满足以下条件，

待记录车辆在第一图片和第二图片中的车辆特征码相同；

待记录集装箱在第一图片和第二图片中的箱特征码相同；

根据第一图片的待记录车辆的车辆位置和待记录集装箱的箱位置确定的第一位置参数小于预设值，根据第二图片的待记录车辆的车辆位置和待记录集装箱的箱位置确定的第二位置参数小于预设值。

根据本申请的视觉目标识别的集装箱智能提箱方法，视觉目标识别的集装箱智能提箱方法可以通过对第一图片和第二图片进行处理，进而确定离开站点的车辆运输的集装箱，这样，能够自动记录离开站点车辆和该车辆运输的集装箱，无需人工记录，工作效率高。

可选地，根据公式一确定第一位置参数，公式一为：

F1=(X1-x1)*(X1-x1)+(Y1-y1)*(Y1-y1)；

其中，F1为第一位置参数；X1为第一图片的车辆的横坐标；Y1为第一图片的车辆的纵坐标；x1为第一图片的集装箱的横坐标；y1为第一图片的集装箱的纵坐标，

根据公式二确定第二位置参数，公式二为：

F2=(X2-x2)*(X2-x2)+(Y2-y2)*(Y2-y2)；

其中，F2为第二位置参数；X2为第二图片的车辆的横坐标；Y2为第二图片的车辆的纵坐标；x2为第二图片的集装箱的横坐标；y2为第二图片的集装箱的纵坐标。

可选地，若出站图片的拍摄方向为由闸口的通道的前侧上方或上前方拍摄，则待记录车辆和待记录集装箱还满足，Y1>y1， 或者

若出站图片的拍摄方向为由闸口的通道的后侧上方拍摄，则待记录车辆和待记录集装箱还满足，Y1<y1，或者

若出站图片的拍摄方向为由闸口的通道的左侧上方拍摄，则待记录车辆和待记录集装箱还满足，X1>x1，或者

若出站图片的拍摄方向为由闸口的通道的右侧上方拍摄，则待记录车辆和待记录集装箱还满足，X1＜x1。

可选地，若出站图片的拍摄方向为由闸口的通道的前侧上方、后侧上方或上前方拍摄，则待记录车辆还满足，Y1-Y2>0且y1-y2>0或者Y1-Y2<0且y1-y2<0，或者

若出站图片的拍摄方向为由闸口的通道的左侧上方或右侧上方拍摄，则待记录集装箱还满足，X1-X2>0且x1-x2>0或者X1-X2<0且x1-x2<0。

可选地，获取闸口的出站图片之前，步骤1还包括：

采集闸口的出站视频，获取出站视频的当前帧图片和位于当前帧图片的前一帧图片，确定当前帧图片和前一帧图片的差异值，若差异值小于预设阈值，则确定当前帧图片为待处理出站图片，根据待处理出站图片获取出站图片。

可选地，第一图片为第二图片的前一帧图片。

可选地，确定匹配结果后，视觉目标识别的集装箱智能提箱方法还包括，确定在预设时长内的匹配结果中的数量最多的一个为在预设时长内的正确匹配结果。

可选地，运输集装箱的车辆出站前，视觉目标识别的集装箱智能提箱方法还包括：

预约提箱时间段，需要提取的集装箱的箱型，以及提供提箱的车辆的车牌号：

获取车辆的入站图片，并通过入站图片确定车辆的车牌号，判断具有车牌号的车辆是否在当前时刻预约提箱，若是则放行具有车牌号的车辆，并提示具有车牌号的车辆预约提取的箱型的位置。

本申请还提供了一种视觉目标识别的集装箱智能提箱系统，视觉目标识别的集装箱智能提箱系统由前述的视觉目标识别的集装箱智能提箱方法控制。

根据本申请的视觉目标识别的集装箱智能提箱系统，视觉目标识别的集装箱智能提箱系统由前述的视觉目标识别的集装箱智能提箱方法控制，视觉目标识别的集装箱智能提箱方法可以通过对第一图片和第二图片进行处理，进而确定离开站点的车辆运输的集装箱，这样，能够自动记录离开站点车辆和该车辆运输的集装箱，无需人工记录，工作效率高。

可选地，视觉目标识别的集装箱智能提箱系统包括摄像头，摄像头包括前侧摄像头、后侧摄像头、左侧摄像头、右侧摄像头与上侧摄像头，沿闸口的通道的延伸方向，前侧摄像头和后侧摄像头之间的最小尺寸为标准集装箱的长度的1.5倍至2倍，上侧摄像头和地面之间的距离为5m-6.5m。

附图说明

为了使本申请的优点更容易理解，将通过参考在附图中示出的具体实施方式更详细地描述上文简要描述的本申请。可以理解这些附图只描绘了本申请的典型实施方式，因此不应认为是对其保护范围的限制，通过附图以附加的特性和细节描述和解释本申请。

图1为根据本申请的一个优选实施方式的视觉目标识别的集装箱智能提箱方法的流程示意图；

图2为图1的视觉目标识别的集装箱智能提箱方法控制的视觉目标识别的集装箱智能提箱系统的结构框图；

图3为一个车辆及该车辆运输的一个集装箱在出站图片中的示意图；

图4为一个车辆及该车辆运输的一个集装箱在第一图片中的示意图；

图5为一个车辆及该车辆运输的一个集装箱在第二图片中的示意图；

图6为第一车辆、第一集装箱、第二车辆与第二集装箱在第一图片中的示意图；

图7为第一车辆、第一集装箱、第二车辆与第二集装箱在第二图片中的示意图；

图8为由前侧摄像头或上侧摄像头拍侧的一个车辆及该车辆运输的一个集装箱的出站图片的示意图；

图9为由后侧摄像头拍侧的一个车辆及该车辆运输的一个集装箱的出站图片的示意图；

图10为由左侧摄像头拍侧的一个车辆及该车辆运输的一个集装箱的出站图片的示意图；以及

图11为由右侧摄像头拍侧的一个车辆及该车辆运输的一个集装箱的出站图片的示意图。

附图标记说明

110：闸口 121：上侧摄像头

122：前侧摄像头 123：后侧摄像头

124：左侧摄像头 125：右侧摄像头

130：控制器 140：后端展示装置

150：移动端。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本申请更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本申请实施方式可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请实施方式发生混淆，对于本领域公知的一些技术特征未进行描述。

以下参照附图对本申请的优选实施方式进行说明。需要说明的是，本文中所使用的术语“上”、“下”以及类似的表述只是为了说明的目的，并非限制。

在本文中，本申请中所引用的诸如“第一”和“第二”的序数词仅仅是标识，而不具有任何其它含义，例如特定的顺序等。

为了彻底了解本申请实施方式，将在下列的描述中提出详细的结构。显然，本申请实施方式的施行并不限定于本领域的技术人员所熟习的特殊细节。本申请的较佳实施方式详细描述如下，然而除了这些详细描述外，本申请还可以具有其他实施方式。

本申请提供了一种视觉目标识别的集装箱智能提箱方法。视觉目标识别的集装箱智能提箱方法可以控制视觉目标识别的集装箱智能提箱系统。装载集装箱的车辆离开放置集装箱的站点时，通过视觉目标识别的集装箱智能提箱方法可以记录车辆，以及该车辆装载的集装箱的箱号。

如图1所示，视觉目标识别的集装箱智能提箱方法包括：步骤1、步骤2与步骤3。

步骤1、获取闸口110的出站图片。出站图片包括第一图片和第二图片。第一图片对应的时刻和第二图片对应的时刻间隔设置。

集装箱放置于站点（集装箱堆场、码头或其他集装箱园区）。站点设置有闸口110。闸口110具有通道。闸口110包括出站闸口和入站闸口，车辆能够经由闸口110的通道通行，以经由入站闸口进入站点内，或者经由出站闸口离开站点。

请参考图2，视觉目标识别的集装箱智能提箱系统包括控制器130和位于闸口110处的摄像头。控制器130可以是边缘计算盒子。摄像头用于采集闸口110处的视频。控制器130电连接至摄像头，以通过摄像头获取闸口110处的视频。控制器130能够处理视频，以获取图片。需要说明的，控制器130对视频进行处理，以获取图片为现有技术，这里不再赘述。

优选地，摄像头可以是高清摄像头。摄像头具有POE（有源以太网，Power OverEthernet）网口和电源接口，能够同时支持POE网口供电和电源供电。摄像头自带全彩夜视功能。摄像头能够通过4G网络传输数据、通过5G网络传输数据，或者通过直连网线传输数据。摄像头的分辨率大于或等于1080P，像素大于或等于200万。摄像头自带柔性补光灯，以在晚上也能清楚的拍摄视频。

控制器130能够获取出站闸口处的出站视频，并从出站视频中获取出站图片（图片的示例）。出站图片包括第一图片和第二图片。第一图片对应的时刻和第二图片对应的时刻间隔设置。

视觉目标识别的集装箱智能提箱方法在获取出站图片后，执行步骤2。

步骤2、对出站图片进行目标识别，以确定出站图片中的集装箱的箱位置和车辆的车辆位置，为出站图片中的车辆分配车辆特征码T，为出站图片中的集装箱分配箱特征码t。

控制器130可以对出站图片进行处理（目标识别），以确定出站图片中的所有的集装箱的箱位置和所有的车辆的车头的位置。需要说明的是，车辆运输集装箱时，集装箱的一端大致贴合至车头（沿集装箱的长度方向，集装箱和车头之间的间隔在5mm至1cm的范围内）。

控制器130对出站图片进行处理后，可以确定车头的坐标参数B和集装箱的坐标参数b。请参考图3至图5，车头的坐标参数B为 [X，Y，W，H]。集装箱的坐标参数b为 [x，y，w，h]。这样，可以根据车头的坐标参数B确定出站图片中的车辆的车辆位置，以及根据集装箱的坐标参数b确定出站图片中的集装箱的箱位置。

其中，请继续参考图3，在图片坐标系中， X为出站图片中车头的左上角点的和原点之间的沿X坐标轴的延伸方向的距离（车辆的横坐标），Y为出站图片中车头的左上角点和原点之间的沿Y坐标轴的延伸方向的距离（车辆的纵坐标），W为出站图片中车头的沿X坐标轴的延伸方向的宽度尺寸，H为出站图片中车头的沿Y坐标轴的延伸方向的高度尺寸，x为出站图片中集装箱的左上角点的和原点之间的沿X坐标轴的延伸方向的距离（集装箱的横坐标），y为出站图片中集装箱的左上角点和原点之间的沿Y坐标轴的延伸方向的距离（集装箱的纵坐标），w为出站图片中集装箱的沿X坐标轴的延伸方向的宽度尺寸，h为出站图片中集装箱的沿Y坐标轴的延伸方向的高度尺寸。图片坐标系为以出站图片的左上角点为原点，水平向右的方向为X坐标轴的正方向，以竖直向下的方向为Y坐标轴的正方向的坐标系。

本文中，图片中的两个点之间的沿参考方向的距离为：沿参考方向，两个点之间的像素数量。图片中的特征（车辆或者集装箱）的沿参考方向的尺寸为：沿参考方向，该特征的距离最远的两个点之间的像素数量。

控制器130对出站图片进行处理，还可以识别出站图片中每个车辆的车辆特有特征（例如车牌号、车型，以及车辆的颜色等车辆信息），以及每个集装箱的箱特有特征（例如箱号和集装箱的颜色等集装箱信息）。控制器130根据车辆特有特征为每个车辆分配车辆特征码T。控制器130根据箱特有特征为每个集装箱均分配箱特征码t。

可以理解，出站图片中可能包括多个集装箱和多个车辆。这样，每个出站图片均对应有多个车辆特征码T和多个箱特征码t。

需要说明的是，每个车辆的车辆特有特征和其他车辆的车辆特有特征不同。每个集装箱的箱特有特征和其他集装箱的箱特有特征不同。这样，每个车辆的车辆特征码和其他车辆的车辆特征码不同。每个集装箱的箱特征码和其他集装箱的箱特征码不同。

优选地，控制器130采用PicoDet算法和LCNet骨干网络对出站图片进行目标识别。由此，能够更加快速地完成目标识别。

优选地，控制器130采用REID（行人重识别，Person Re-identification）算法识别车辆的车辆特有特征和集装箱的箱特有特征，并为车辆分配车辆特征码T，为集装箱分配箱特征码t。

视觉目标识别的集装箱智能提箱方法在识别出站图片中的车辆位置和箱位置，以及分配车辆特征码T和配箱特征码t后，执行步骤3。

步骤3、根据第一图片中的箱位置和车辆位置，确定第一图片中的任意一个集装箱和任意一个车辆之间的第一位置参数，根据第二图片中的箱位置和车辆位置，确定第二图片中的任意一个集装箱和任意一个车辆之间的第二位置参数，确定待记录车辆和待记录集装箱，确定待记录车辆运输待记录集装箱的匹配结果。

待记录车辆和待记录集装箱需要满足以下条件：

待记录车辆在第一图片和第二图片中的车辆特征码T相同；

待记录集装箱在第一图片和第二图片中的箱特征码t相同；

根据第一图片的待记录车辆的车辆位置和待记录集装箱的箱位置确定的第一位置参数小于预设值，根据第二图片的待记录车辆的车辆位置和待记录集装箱的箱位置确定的第二位置参数小于预设值。

具体的，控制器130一一对比第一图片中的所有车辆特征码T和第二图片中的所有车辆特征码T，进而确定在第一图片和第二图片中车辆特征码T相同的车辆。

控制器130一一对比第一图片中的所有箱特征码t和第二图片中的所有箱特征码t，进而确定在第一图片和第二图片中箱特征码t相同的集装箱。

请参考图6和图7，对于第一图片，控制器130根据所有的箱位置和所有的车辆位置确定任意一个集装箱和任意一个车辆之间的第一位置参数。第一位置参数能够表示确定其的集装箱和车辆之间的位置关系。对于第二图片，控制器130根据所有的箱位置和所有的车辆位置确定任意一个集装箱和任意一个车辆之间的第二位置参数。第二位置参数能够表示确定其的集装箱和车辆之间的位置关系。

可以在控制器130中根据需要预先设置预设值。预设值可以是预先设置的预设参数的平方。控制器130比较预设值和多个第一位置参数，以确定小于预设值的第一位置参数。控制器130比较预设值和多个第二位置参数，以确定小于预设值的第二位置参数。

可以理解，运输集装箱的车辆在行驶的过程中，集装箱和车辆之间的位置关系（例如相对位置）不变。这样，对于运输一个集装箱的一个车辆来说，在第一图片中的第一位置参数大致相同于在第二图片中的第二位置参数。

控制器130将同时满足条件1至条件4的车辆和集装箱确定为待记录车辆和待记录集装箱。

条件1、待记录车辆在第一图片和第二图片中的车辆特征码T相同。

条件2、待记录集装箱在第一图片和第二图片中的箱特征码t相同。

条件3、待记录集装箱和待记录车辆之间的在第一图片中的第一位置参数小于预设值。

条件4、待记录集装箱和待记录车辆之间的在第二图片中的第二位置参数小于预设值。

需要说明的是，控制器130判定车辆和集装箱是否满足条件1至条件4的顺序可以根据需要设置。本实施方式中，先判定车辆和集装箱是否满足条件1和条件2。然后判定车辆和集装箱是否满足条件3和条件4。

以下以两台车辆分别运输两个集装箱出站为例进行说明。请参考图6和图7，两台车辆包括第一车辆和第二车辆。两台集装箱包括第一集装箱和第二集装箱。第一车辆运输第一集装箱。第二车辆运输第二集装箱。

当运输第一集装箱的第一车辆和运输第二集装箱的第二车辆出站时，第一图片和第二图片中均包括第一集装箱、第一车辆、第二集装箱与第二车辆。

控制器130执行步骤1，以获取第一图片和第二图片。

控制器130执行步骤2，以对第一图片和第二图片进行目标识别。

如图6所示，确定第一图片的第一车辆的车头的坐标参数Ba1[Xa1，Ya1，Wa1，Ha1]；为第一图片的第一车辆分配车辆特征码T1；确定第一图片的第二车辆的车头的坐标参数Bb1[Xb1，Yb1，Wb1，Hb1]；为第一图片的第二车辆分配车辆特征码T2；确定第一图片的第一集装箱的集装箱的坐标参数ba1[xa1，ya1，wa1，ha1]；为第一图片的第一集装箱分配箱特征码t1；确定第一图片的第二集装箱的集装箱的坐标参数bb1[xb1，yb1，wb1，hb1]，为第一图片的第二集装箱分配箱特征码t2。

如图7所示，确定第二图片的第一车辆的车头的坐标参数Ba2[Xa2，Ya2，Wa2，Ha2]；为第二图片的第一车辆分配车辆特征码T1；确定第二图片的第二车辆的车头的坐标参数Bb2[Xb2，Yb2，Wb2，Hb2]；为第二图片的第二车辆分配车辆特征码T2；确定第二图片的第一集装箱的集装箱的坐标参数ba2[xa2，ya2，wa2，ha2]；为第二图片的第一集装箱分配箱特征码t1；确定第二图片的第二集装箱的集装箱的坐标参数bb2[xb2，yb2，wb2，hb2]；为第二图片的第一集装箱分配箱特征码t2。

控制器130执行步骤3，以确定待记录车辆和待记录集装箱，确定待记录车辆运输待记录集装箱的匹配结果。

请参考图6和图7，控制器130确定第一车辆在第一图片和第二图片中的车辆特征码相同（均为T1）。控制器130确定第二车辆在第一图片和第二图片中的车辆特征码相同（均为T2）。控制器130确定第一集装箱在第一图片和第二图片中的箱特征码相同（均为t1）。控制器130确定第二集装箱在第一图片和第二图片中的箱特征码相同（均为t2）。

如图6所示，对于第一图片，控制器130根据所有的箱位置和所有的车辆位置确定任意一个集装箱和任意一个车辆之间的第一位置参数。第一位置参数能够表示确定其的集装箱和车辆之间的位置关系。这里，控制器130确定第一车辆和第一集装箱之间的第一位置参数、第一车辆和第二集装箱之间的第一位置参数、第二车辆和第一集装箱之间的第一位置参数、第二车辆和第二集装箱之间的第一位置参数。

如图7所示，对于第二图片，控制器130根据所有的箱位置和所有的车辆位置确定任意一个集装箱和任意一个车辆之间的第一位置参数。第一位置参数能够表示确定其的集装箱和车辆之间的位置关系。这里，控制器130确定第一车辆和第一集装箱之间的第二位置参数、第一车辆和第二集装箱之间的第二位置参数、第二车辆和第一集装箱之间的第二位置参数、第二车辆和第二集装箱之间的第二位置参数。

控制器130确定第一车辆和第一集装箱能够同时满足上述的条件1至条件4。这样，控制器130确定第一车辆运输第一集装箱。控制器130确定第二车辆和第二集装箱能够同时满足上述的条件1至条件4。这样控制器130确定第二车辆运输第二集装箱。

本实施方式中，视觉目标识别的集装箱智能提箱方法可以通过对第一图片和第二图片进行处理，进而确定离开站点的车辆运输的集装箱，这样，能够自动记录离开站点车辆和该车辆运输的集装箱，无需人工记录，工作效率高，方便放置集装箱的站点的对集装箱管理。

优选地，请返回图2，摄像头包括前侧摄像头122、后侧摄像头123、左侧摄像头124、右侧摄像头125，以及上侧摄像头121。沿闸口110的通道的延伸方向，前侧摄像头122和上侧摄像头121位于闸口110的通道的前方，后侧摄像头123位于闸口110的通道的后方，上侧摄像头121位于前侧摄像头122的靠近后侧摄像头123的一侧。沿闸口110的通道的宽度方向，左侧摄像头124位于闸口110的通道的左侧，右侧摄像头125位于闸口110的通道的右侧。运输集装箱的车辆通过闸口110的通道时，前侧摄像头122的位置、后侧摄像头123的位置、左侧摄像头124的位置、右侧摄像头125的位置，以及上侧摄像头121的位置均高于车辆和集装箱构成的整体。

本文中，车辆位于出站闸口的通道内，并经由出站闸口的通道离开出站闸口时，沿车辆的行驶方向，位于车辆的上游的侧方为前方，位于车辆的下游的侧方为后方。车辆位于出站闸口通道内，并经由出站闸口的通道离开出站闸口时，位于车辆的前方，并朝向车辆观察时，沿出站闸口的宽度方向，位于车辆的左侧的摄像头为左侧摄像头124，位于车辆的右侧的摄像头为右侧摄像头125。

控制器130电连接至前侧摄像头122、后侧摄像头123、左侧摄像头124、右侧摄像头125，以及上侧摄像头121。控制器130能够基于RTSP协议（Real Time Streaming Protocol，实时流传输协议）同时获取前侧摄像头122、后侧摄像头123、左侧摄像头124、右侧摄像头125，以及上侧摄像头121采集的视频。

入站闸口和出站闸口可以分别设置前侧摄像头122、后侧摄像头123、左侧摄像头124、右侧摄像头125，以及上侧摄像头121。在未示出的实施方式中，在闸口110处只设置一组前侧摄像头122、后侧摄像头123、左侧摄像头124、右侧摄像头125，以及上侧摄像头121，以同时采集入站视频和出站视频。此时，后续处理时可以根据图片中的车辆的朝向确定车辆是出站或者入站。

沿闸口110的通道的延伸方向，前侧摄像头122和后侧摄像头123之间的距离为标准集装箱的长度的1.5倍至2倍。上侧摄像头121和地面之间的距离为5m-6.5m。沿闸口110的宽度方向，左侧摄像头124和右侧摄像头125之间的距离为闸口110的宽度尺寸。标准集装箱是由国际标准化组织（ISO，International Organization for Standardization）规定的标准集装箱。例如45尺标准集装箱。

优选地，如图4和图5所示，步骤3中，根据公式一确定第一位置参数。根据公式二确定第二位置参数。

公式一为：

F1=(X1-x1)*(X1-x1)+(Y1-y1)*(Y1-y1)；

其中，F1为第一位置参数；X1为第一图片的车辆的横坐标；Y1为第一图片的车辆的纵坐标；x1为第一图片的集装箱的横坐标；y1为第一图片的集装箱的纵坐标。

公式二为：

F2=(X2-x2)*(X2-x2)+(Y2-y2)*(Y2-y2)；

其中，F2为第二位置参数；X2为第二图片的车辆的横坐标；Y2为第二图片的车辆的纵坐标；x2为第二图片的集装箱的横坐标；y2为第二图片的集装箱的纵坐标。

由此，能够更加准确地确定匹配结果。

需要说明的是，本文中，“*”为乘。

可以理解，在车辆出站时，沿车辆的移动方向，车辆运输的集装箱位于该车辆的车头的下游。

优选地，若出站图片的拍摄方向为由出站闸口的通道的前侧上方拍摄（出站视频由前侧摄像头122拍摄）或上前方拍摄（出站视频由上侧摄像头121拍摄），则图片坐标系如图8所示，待记录集装箱位于待记录车辆的车头的上方。此时，待记录车辆和待记录集装箱还满足Y1>y1的条件。这样，能够确定待记录集装箱位于待记录车辆的车头的沿待记录车辆的移动方向的下游。由此，能够更加准确的确定匹配结果。

若出站图片的拍摄方向为由出站闸口的通道的后侧上方拍摄（出站视频由后侧摄像头123拍摄），则图片坐标系如图9所示，待记录集装箱位于待记录车辆的车头的下方。此时，待记录车辆和待记录集装箱还满足Y1<y1的条件。这样，能够确定待记录集装箱位于待记录车辆的车头的沿待记录车辆的移动方向的下游。由此，能够更加准确的确定匹配结果。

若出站图片的拍摄方向为由出站闸口的通道的左侧上方拍摄（出站视频由左侧摄像头124拍摄），则图片坐标系如图10所示，待记录集装箱位于待记录车辆的车头的左侧。此时，待记录车辆和待记录集装箱还满足X1>x1的条件。这样，能够确定待记录集装箱位于待记录车辆的车头的沿待记录车辆的移动方向的下游。由此，能够更加准确的确定匹配结果。

若出站图片的拍摄方向为由出站闸口的通道的右侧上方拍摄（出站视频由右侧摄像头125拍摄），则图片坐标系如图11所示，待记录集装箱位于待记录车辆的车头的由侧。此时，待记录车辆和待记录集装箱还需要满足X1＜x1的条件。这样，能够确定待记录集装箱位于待记录车辆的车头的沿待记录车辆的移动方向的下游。由此，能够更加准确的确定匹配结果。

可以理解，运输集装箱的车辆在移动的过程中，集装箱的移动方向和车辆的移动方向相同。

优选地，请参考图4至图11，若出站图片的拍摄方向为由出站闸口的通道的前侧上方拍摄（出站视频由前侧摄像头122拍摄）、后侧上方（出站视频由后侧摄像头123拍摄）或上前方拍摄（出站视频由上侧摄像头121拍摄），则待记录车辆和待记录集装箱还需要Y1-Y2>0且y1-y2>0的条件或者满足Y1-Y2<0且y1-y2<0的条件。这样，能够确定待记录车辆和待记录集装箱的移动方向相同。由此，能够更加准确的确定匹配结果。

若出站图片的拍摄方向为由闸口110的通道的左侧上方拍摄（出站视频由左侧摄像头124拍摄）或右侧上方拍摄（出站视频由右侧摄像头125拍摄），则待记录车辆和待记录集装箱还需要X1-X2>0且x1-x2>0的条件或者X1-X2<0且x1-x2<0的条件。这样，能够确定待确定车辆和待确定集装箱的移动方向相同。由此，能够更加准确的确定匹配结果。

优选地，步骤1在获取闸口110的出站图片之前，步骤1还包括：

采集闸口110的出站视频，获取出站视频的当前帧图片和位于当前帧图片的前一帧图片，确定当前帧图片和前一帧图片的差异值，若差异值小于预设阈值，则确定当前帧图片为待处理出站图片，根据待处理出站图片获取出站图片。

控制器130内可以根据需要预先设置预设阈值。控制器130确定出站视频的相邻帧的两幅图片的差异值。如果当前帧图片和前一帧图片的差异值小于预设阈值，则表示当前帧图片和前一帧图片的差异较大，当前帧图片可以作为出站图片使用。此时，可以将当前帧图片确定为待处理出站图片。如果当前帧图片和前一帧图片的差异值大于或等于预设阈值，则表示当前帧图片和前一帧图片的差异较小。表示当前帧图片的内容和前一帧图片的内容差异较小，当前帧图片可以不作为出站图片使用，以减小控制器130的运算量。

在遍历出站视频的每一帧图片后，通过确定的所有待处理出站图片获取出站图片。由此，能够减小控制器130的运算量。

进一步优选地，可以通过哈希差异算法确定相邻帧图片的差异值。由此，可以准确地确定相邻帧图片的差异值。

优选地，第一图片为第二图片的前一帧图片。由此，可以准确地确定匹配结果。

优选地，在步骤3之后，视觉目标识别的集装箱智能提箱方法还包括正确匹配步骤。

正确匹配步骤、确定在预设时长内匹配结果中的数量最多的一个作为在预设时长内的正确匹配结果。

对于出站视频，在预设时长内，匹配结果可能出现多个。例如可能出现前述的第一车辆运输第一集装箱，也可以出现第一车辆运输第二集装箱。为此，将在预设时长内出现的数量最多的匹配结果作为正确匹配结果。由此，可以准确地确定出站视频的匹配结果。

进一步优选地，预设时长为10s。由此，可以准确地确定正确匹配结果。

进一步优选地，正确匹配步骤之后，视觉目标识别的集装箱智能提箱方法还包括最终匹配步骤。

最终匹配步骤、控制器130通过前侧摄像头122、后侧摄像头123、左侧摄像头124、右侧摄像头125，以及上侧摄像头121采集的视频确定的正确匹配结果中数量最多的一个为最终匹配结果。由此，能够更加准确地确定匹配结果。

控制器130记录最终匹配结果对应的车牌号、箱号、箱型、照片、出站时间、闸口110编号等信息。控制器130自动控制闸口110放行。

优选地，运输集装箱的车辆出站前，视觉目标识别的集装箱智能提箱方法还包括：

预约提箱时间段，需要提取的集装箱的箱型，以及提供提箱的车辆的车牌号：

获取车辆的入站图片，并通过入站图片确定车辆的车牌号，判断具有该车牌号的车辆是否在当前时刻预约提箱，若是则放行具有该车牌号的车辆，并提示具有该车牌号的车辆预约提取的箱型的位置。

在提箱前，用户可以通过移动端150（例如手机）设置的软件预约提箱，在预约提箱时，需要预约提箱时间段，需要提取的集装箱的箱型，以及提供提箱的车辆的车牌号。

用户驾驶车辆到达入站闸口提箱时，控制器130获取入站闸口处的入站视频，进而获取入站图片。控制器130通过AI（人工智能，Artificial Intelligence）算法对入站图片进行识别，以确定当前车辆的车牌号。

控制器130根据数据库内存储的预约数据判断具有当前车牌号的车辆是否在当前时刻预约提箱；若是，则控制入站闸口对当前车辆放行，以使当前车辆能入站。控制器130还向用户的移动端150发送当前车辆预约的需要提取的箱型的放置位置，以方便用户提箱。控制器130控制集装箱搬运设备（堆高机或岸吊）将需要提取的箱型对应的集装箱搬运至车辆。

这样，用户可以根据需要预约提箱。在预约时间段内到站点提箱，无需等待。如果站点没有预约需要提取的箱型，则站点工作人员可以在提箱前在站点存放预约需要提取的箱型，以避免提箱时没有预约需要的箱型。无需用户跟站点的工作人员反复通过电话、邮件、微信与纸张等方式人工确认提箱事宜，提箱的工作效率高。

此外，通过预约提箱的方式，可以避免闸口110出现车辆排队进场情况；能够避免出现站点有箱的时候，没有人提箱；站点没箱的时候有人来提箱的事件。此外，本实施方式的视觉目标识别的集装箱智能提箱方法，在车辆和集装箱进出闸口110时无需人工登记。

本申请还提供了一种视觉目标识别的集装箱智能提箱系统。视觉目标识别的集装箱智能提箱系统由前述的视觉目标识别的集装箱智能提箱方法控制。

视觉目标识别的集装箱智能提箱系统由前述的视觉目标识别的集装箱智能提箱方法控制，视觉目标识别的集装箱智能提箱方法可以通过对第一图片和第二图片进行处理，进而确定离开站点的车辆运输的集装箱，这样，能够自动记录离开站点车辆和该车辆运输的集装箱，无需人工记录，工作效率高，方便放置集装箱的站点的对集装箱管理。

优选地，如图2所示，视觉目标识别的集装箱智能提箱系统还包括后端展示装置140和前述的移动端150。后端展示装置140电连接至控制器130。控制器130能够和后端展示装置140通信。后端展示装置140包括显示屏。显示屏用于显示各个摄像头采集的视频，还可以显示正确匹配结果或追踪匹配结果。

本申请已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本申请限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本申请并不局限于上述实施例，根据本申请的教导还可以做出更多种的变型和修改，这些变型和修改均落在本申请所要求保护的范围以内。本申请的保护范围由附属的权利要求书及其等效范围所界定。

除非另有定义，本文中所使用的技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本文中使用的术语只是为了描述具体的实施目的，不是旨在限制本申请。本文中出现的诸如“部件”等术语既可以表示单个的零件，也可以表示多个零件的组合。本文中出现的诸如“安装”、“设置”等术语既可以表示一个部件直接附接至另一个部件，也可以表示一个部件通过中间件附接至另一个部件。本文中在一个实施方式中描述的特征可以单独地或与其它特征结合地应用于另一个实施方式，除非该特征在该另一个实施方式中不适用或是另有说明。

Claims (10)

1.一种视觉目标识别的集装箱智能提箱方法，其特征在于，所述视觉目标识别的集装箱智能提箱方法包括：

步骤1、获取闸口的出站图片，所述出站图片包括第一图片和第二图片，所述第一图片对应的时刻和所述第二图片对应的时刻间隔设置；

步骤2、对所述出站图片进行目标识别，以确定所述出站图片中的集装箱的箱位置和车辆的车辆位置，为所述出站图片中的所述车辆分配车辆特征码，为所述出站图片中的所述集装箱分配箱特征码；

步骤3、根据所述第一图片中的所述箱位置和所述车辆位置，确定所述第一图片中的任意一个所述集装箱和任意一个所述车辆之间的第一位置参数，根据所述第二图片中的所述箱位置和所述车辆位置，确定所述第二图片中的任意一个所述集装箱和任意一个所述车辆之间的第二位置参数，确定待记录车辆和待记录集装箱，确定所述待记录车辆运输所述待记录集装箱的匹配结果；

其中，所述待记录车辆和所述待记录集装箱满足以下条件，

所述待记录车辆在所述第一图片和所述第二图片中的所述车辆特征码相同；

所述待记录集装箱在所述第一图片和所述第二图片中的所述箱特征码相同；

根据所述第一图片的所述待记录车辆的所述车辆位置和所述待记录集装箱的所述箱位置确定的所述第一位置参数小于预设值，根据所述第二图片的所述待记录车辆的所述车辆位置和所述待记录集装箱的所述箱位置确定的所述第二位置参数小于预设值。

2.根据权利要求1所述的视觉目标识别的集装箱智能提箱方法，其特征在于，

根据公式一确定所述第一位置参数，所述公式一为：

F1=(X1-x1)*(X1-x1)+(Y1-y1)*(Y1-y1)；

其中，F1为第一位置参数；X1为所述第一图片的所述车辆的横坐标；Y1为所述第一图片的所述车辆的纵坐标；x1为所述第一图片的所述集装箱的横坐标；y1为所述第一图片的所述集装箱的纵坐标，

根据公式二确定所述第二位置参数，所述公式二为：

F2=(X2-x2)*(X2-x2)+(Y2-y2)*(Y2-y2)；

其中，F2为第二位置参数；X2为所述第二图片的所述车辆的横坐标；Y2为所述第二图片的所述车辆的纵坐标；x2为所述第二图片的所述集装箱的横坐标；y2为所述第二图片的所述集装箱的纵坐标。

3.根据权利要求2所述的视觉目标识别的集装箱智能提箱方法，其特征在于，

若所述出站图片的拍摄方向为由所述闸口的通道的前侧上方或上前方拍摄，则所述待记录车辆和所述待记录集装箱还满足，Y1>y1， 或者

若所述出站图片的拍摄方向为由所述闸口的通道的后侧上方拍摄，则所述待记录车辆和所述待记录集装箱还满足，Y1<y1，或者

若所述出站图片的拍摄方向为由所述闸口的通道的左侧上方拍摄，则所述待记录车辆和所述待记录集装箱还满足，X1>x1，或者

若所述出站图片的拍摄方向为由所述闸口的通道的右侧上方拍摄，则所述待记录车辆和所述待记录集装箱还满足，X1＜x1。

4.根据权利要求2所述的视觉目标识别的集装箱智能提箱方法，其特征在于，

若所述出站图片的拍摄方向为由所述闸口的通道的前侧上方、后侧上方或上前方拍摄，则所述待记录车辆还满足，Y1-Y2>0且y1-y2>0或者Y1-Y2<0且y1-y2<0，或者

若所述出站图片的拍摄方向为由所述闸口的通道的左侧上方或右侧上方拍摄，则所述待记录集装箱还满足，X1-X2>0且x1-x2>0或者X1-X2<0且x1-x2<0。

5.根据权利要求1所述的视觉目标识别的集装箱智能提箱方法，其特征在于，获取闸口的出站图片之前，所述步骤1还包括：

采集所述闸口的出站视频，获取所述出站视频的当前帧图片和位于所述当前帧图片的前一帧图片，确定所述当前帧图片和所述前一帧图片的差异值，若所述差异值小于预设阈值，则确定所述当前帧图片为待处理出站图片，根据所述待处理出站图片获取所述出站图片。

6.根据权利要求1所述的视觉目标识别的集装箱智能提箱方法，其特征在于，所述第一图片为所述第二图片的前一帧图片。

7.根据权利要求6所述的视觉目标识别的集装箱智能提箱方法，其特征在于，确定所述匹配结果后，所述视觉目标识别的集装箱智能提箱方法还包括，确定在预设时长内的所述匹配结果中的数量最多的一个为在所述预设时长内的正确匹配结果。

8.根据权利要求1所述的视觉目标识别的集装箱智能提箱方法，其特征在于，运输集装箱的车辆出站前，所述视觉目标识别的集装箱智能提箱方法还包括：

预约提箱时间段，需要提取的集装箱的箱型，以及提供提箱的车辆的车牌号：

获取所述车辆的入站图片，并通过所述入站图片确定所述车辆的车牌号，判断具有所述车牌号的所述车辆是否在当前时刻预约提箱，若是则放行具有所述车牌号的所述车辆，并提示具有所述车牌号的所述车辆预约提取的箱型的位置。

9.一种视觉目标识别的集装箱智能提箱系统，其特征在于，所述视觉目标识别的集装箱智能提箱系统由权利要求1至8中任一项所述的视觉目标识别的集装箱智能提箱方法控制。

10.根据权利要求9所述的视觉目标识别的集装箱智能提箱系统，其特征在于，所述视觉目标识别的集装箱智能提箱系统包括摄像头，所述摄像头包括前侧摄像头、后侧摄像头、左侧摄像头、右侧摄像头与上侧摄像头，沿所述闸口的通道的延伸方向，所述前侧摄像头和所述后侧摄像头之间的最小尺寸为标准集装箱的长度的1.5倍至2倍，所述上侧摄像头和地面之间的距离为5m-6.5m。

Images