CN113409230A - 多图像匹配融合方法、装置、存储介质和物流揽收系统 - Google Patents

Abstract

本发明实施例中公开了一种多图像匹配融合方法，应用于控制设备，控制设备位于物流揽收系统，物流揽收系统还包括多个摄像装置和传送装置，摄像装置设置在传送装置的上方，多个摄像装置距离所述装置的高度均不相同，传送装置具有用于传送多个包裹的运输表面。该方法包括：获取多个所述摄像装置各自视野内在运输表面的初始图像，初始图像为多个；对多个初始图像进行归一化处理，得到多个第一图像；对多个第一图像进行拼接融合，得到输出图像；根据输出图像，判断运输表面上是否有包裹未被识别。该方法方便工作人员快速定位到未被识别的包裹，同时解决了现有技术下的图像拼接技术中，需要复杂图像特征才能精确识别图像的问题。

Description

多图像匹配融合方法、装置、存储介质和物流揽收系统

技术领域

本申请涉及图像识别领域，具体涉及一种多图像匹配融合方法、装置、存储介质和物流揽收系统。

背景技术

在物流分拣领域，中转场承担着大量的快件分拣任务。在整个分拣流程，揽收作为关键一环，决定了整个分拣速度的快慢。针对贵重的快件包裹，大多使用的人工逐一对包裹进行扫码揽收，也就是说人工操作快慢影响着包裹的送达时效。

为了加快揽收速度，物流领域出现了一种新的揽收系统，这种新的揽收系统使用多个相机进行扫码来完成揽收的工作。为了保证揽收的可靠性，需要对整个扫码情况进行一个人工核查校验。系统将多个扫码结果标注在图像上，提供给工作人员去定位未识别的包裹。这个过程就涉及到了一个多相机图像拼接显示的问题。而传统的图像拼接技术，图像融合效果差，且图像识别的准确度难以保证。

发明内容

本申请实施例中提供一种多图像匹配融合方法、装置、存储介质和物流揽收系统，旨在解决现有技术下的图像拼接方法，图像融合效果差，且图像识别的精度低的问题。

第一方面，本申请提供一种多图像匹配融合算法，应用于控制设备，所述控制设备位于物流揽收系统，所述物流揽收系统还包括多个摄像装置和传送装置，所述摄像装置设置在所述传送装置的上方，多个所述摄像装置距离所述传送装置的高度均不相同，所述传送装置具有用于传送多个包裹的运输表面；

所述方法包括：

获取多个所述摄像装置各自视野内在所述运输表面的初始图像，所述初始图像为多个；

对多个所述初始图像进行归一化处理，得到多个第一图像；

对多个所述第一图像进行拼接融合，得到输出图像；

根据所述输出图像，判断所述运输表面上是否有包裹未被识别。

进一步的，所述对多个所述初始图像进行归一化处理，得到多个第一图像包括：

选定多个摄像装置中，任意一个摄像装置为目标摄像装置；

根据所述目标摄像装置，确定图像标准高度；

获取所述目标摄像装置中预先拍摄的标准图像；

根据所述标准高度和所述标准图像，对多个所述初始图像进行归一化处理，得到多个第一图像。

进一步的，所述根据所述目标摄像装置，确定图像标准高度，包括：

获取所述目标摄像装置在第一时刻下的视野内，所述运输表面上的多个包裹中的最高包裹的高度，并以所述最高包裹的高度最为标准高度。

进一步的，所述根据所述标准高度和所述标准图像，对多个所述初始图像进行归一化处理，得到多个第一图像，包括：

获取多个所述摄像装置中除了所述目标摄像装置以外，其他摄像装置对应的初始高度，所述初始高度为多个；

根据所述初始高度和所述标准高度，计算得到高度变换关系；

根据所述高度变换关系，所述标准图像和多个所述初始图像，对多个所述初始图像进行图像变换，得到多个所述第一图像。

进一步的，所述获取多个所述摄像装置中除了所述目标摄像装置以外，其他摄像装置对应的初始高度，包括：

获取多个所述摄像装置中除了所述目标摄像装置以外，其他摄像装置在第一时刻下的各自对应的视野内，所述运输表面上的多个包裹中的最高包裹高度，以最高包裹的高度作为所述其他摄像装置对应的初始高度。

进一步的，所述对多个所述第一图像进行拼接融合，得到输出图像，包括：

确定多个所述第一图像的顺序；

确定多个所述摄像装置对应的理想区域，并根据所述理想区域对多个所述第一图像进行裁切，得到多个所述第二图像；

对多个所述第二图像进行拼接融合，得到所述输出图像。

进一步的，所述对多个所述第二图像进行拼接融合，得到所述输出图像，包括：

对多个所述第二图像的边缘进行平滑渐变处理，得到多个所述第三图像；

对多个所述第三图像进行拼接，得到所述输出图像。

进一步的，所述控制设备包括主控制设备和多个子控制设备，多个所述子控制设备与多个所述摄像装置一一对应设置；在所述通过多个所述摄像装置分别获取各自视野内所述运输表面的初始图像，所述初始图像为多个之后，所述方法还包括：

通过所述子控制设备分别对多个初始图像进行解码，得到多个第一解码结果，多个所述初始图像包括所述摄像装置对各自视野内的包裹识别的第一解码结果。

进一步的，所述输出图像中包括多个第一解码结果；所述根据所述输出图像，判断所述运输表面上是否有包裹未被识别，包括：

通过所述主控制设备识别所述输出图像中的多个第一解码结果，判断是否有包裹未被识别。

进一步的，所述根据所述输出图像，判断所述运输表面上是否有包裹未被识别，包括：

对所述输出图像进行解码，得到第二解码结果；

根据所述第二解码结果，判断是否有包裹未被识别。

进一步的，所述根据所述输出图像，判断所述运输表面上是否有包裹未被识别，包括：

在所述输出图像中，所述输出图像中的显示有识别标记的包裹判断为被识别的包裹，未显示识别标记的包裹则判断为未被识别的包裹。

第二方面，本申请提供一种多图像匹配融合装置，所述装置包括：

摄像模块，所述摄像模块用于获取摄像装置视野内在所述运输表面的初始图像；

归一化模块，所述归一化模块用于所述对初始图像进行归一化处理，得到第一图像；

处理模块，所述处理模块用于第一图像进行拼接融合，得到输出图像；

判断模块，所述判断模块用于根据所述输出图像判断所述运输表面上是否有包裹未被识别。

第三方面，本申请还提供一种存储介质，所述存储介质存储有计算机程序，该计算机程序包括被多图像匹配融合装置操作时实现所述多图像匹配融合算法中的步骤。

第四方面，本申请还提供一种物流揽收系统，所述物流揽收系统包括控制设备、多个摄像装置、传送装置和存储介质，所述摄像装置设置在所述传送装置的上方，多个所述摄像装置距离所述传送装置的高度均不相同，所述传送装置具有用于传送多个包裹的运输表面；所述控制设备用于：

获取多个所述摄像装置各自视野内在所述运输表面的初始图像，所述初始图像为多个；

对多个所述初始图像进行归一化处理，得到多个第一图像；

对多个所述第一图像进行拼接融合，得到输出图像；

根据所述输出图像，判断所述运输表面上是否有包裹未被识别。

本申请实施例中提供一种多图像拼接融合方法，通过设置不同高度的多个摄像装置，获取不同高度下的多个初始图像，选定任意一个初始图像作为标准图像，并获取标准图像对应的摄像装置的高度，以标准图像为基准对多个初始图像进行归一化处理，得到多个第一图像，对多个第一图像进行拼接融合，得到最终的输出图像，最终的输出图像中包括有对多个包裹进行识别的结果，方便工作人员快速定位到未被识别的包裹，同时解决了现有技术下的图像拼接方法中，需要复杂图像特征才能精确识别图像的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的多图像匹配融合方法一实施例流程示意图；

图2为本发明提供的步骤11的一实施例流程示意图；

图3为本发明提供的得到输出图像一实施例流程示意图；

图4为本发明提供的揽收系统一实施例侧视图；

图5为本发明实施例所涉及到的服务器的结构示意图。

具体实施例

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本发明实施例提供一种多图像匹配融合方法，该方法应用于控制设备，而控制设备位于物流揽收系统，物流揽收系统用于对快件包裹进行揽收。物流揽收系统还包括多个摄像装置和传送装置，摄像装置摄像在传送装置的上方，且在本发明的实施例中，多个摄像装置距离传送装置的高度均不相同，摄像装置用于获取各自视野内的图像。而传送装置具有用于传送多个包裹的运输表面。

具体的，摄像装置可以为摄像机，多个摄像机设置在传送装置的上方，且多个摄像机距离传送装置的距离均不相同，摄像机用于对传送机上移动的包裹进行拍摄并生成包裹图像信息。且在本发明的实施例中，多个摄像装置需要相同，这样拍摄到的初始图像会是同一个分辨率的。

此外，在本发明的实施例中，传送装置可以为带式传送机、辊式传送机、调运式传送机和轮式传送机中的一种。传送装置有用于运输包裹的运输表面，摄像装置对各自视野内的运输表面进行拍摄，以得到各自视野内的初始图像。

如图1所示，为本发明提供的多图像匹配融合方法一实施例流程示意图，该方法包括：

10、获取多个摄像装置在各自视野内在运输表面的初始图像，初始图像为多个。

11、对多个初始图像进行归一化处理，得到多个第一图像。

12、对多个第一图像进行拼接融合，得到输出图像。

13、根据输出图像，判断运输表面上是否有包裹未被识别。

本发明实施例提供的多图像匹配融合方法，通过设置不同高度的多个摄像装置，获取不同高度下的多个初始图像，选定任意一个初始图像作为标准图像，并获取标准图像对应的摄像装置的高度，以标准图像为基准对多个初始图像进行归一化处理，得到多个第一图像，对多个第一图像进行拼接融合，得到最终的输出图像，最终的输出图像中包括有对多个包裹进行识别的结果，方便工作人员快速定位到未被识别的包裹，同时解决了现有技术下的图像拼接方法中，需要复杂图像特征才能精确识别图像的问题。

在本发明的实施例中，摄像装置对各自视野内进行拍摄，获取到各自视野内在运输表面的初始图像，每个摄像装置均对应一个初始图像。且由于传送装置是不断进行包裹传送的，因此，当包裹被放置在传送装置上后，传送装置会开始工作，对包裹进行传送，传送装置会以固定周期进行传送。当一个周期结束后，所有的包裹均暴露在摄像装置的视野内时，传送装置会停止传送，此时摄像装置才会进行拍摄。而当拍摄完成后，多个摄像装置均拍摄到了各自视野内的初始图像，此时传送装置会继续传送，将已经得到识别揽收的包裹从传送装置上取下，并将新的未被识别的包裹重新放置在传送装置的运输表面上，以供后续的拍摄，或是对未被识别的包裹进行人工识别。因此摄像装置在传送装置的传送周期内，只会获取各自对应视野内的一张初始图像。需要说明的是，传送装置的传送周期人为设定，可以随着实际传送情况的不同而改变。

当摄像装置拍摄到视野内的运输表面的初始图像后，摄像装置会将该初始图像发送至控制设备，以供后续的归一化处理，从而得到多个第一图像。

在本发明提供的实施例中，如图2所示，为本发明提供的步骤11的一实施例流程示意图，步骤11可以包括：

20、选定多个摄像装置中，任意一个摄像装置为目标摄像装置。

21、根据目标摄像装置，确定图像标准高度。

22、获取目标摄像装置中预先拍摄的标准图像。

23、根据标准高度和标准图像，对多个初始图像进行归一化处理，得到多个第一图像。

在本发明的实施例中，由于多个摄像装置距离传送装置的高度距离均不相同，因此不同摄像装置拍摄到的初始图像虽是同一个分辨率的，但是初始图像中的包裹的尺度大小却是不统一的，因此需要确定一个标准高度和标准图像，并以标准高度和标准图像为标准，对除了标准图像外的其他初始图像进行归一化处理，将初始图像进行尺度统一。

具体的，在本发明的一些实施例中，可以以与运输表面距离最远的摄像装置作为目标摄像装置；当然，也可以以与运输表面距离最近的摄像装置作为目标摄像装置；或是可以选择与运输表面任意距离的摄像装置作为目标摄像装置，只需要在后续处理过程中，以目标摄像装置作为标准，对其他摄像装置获取的初始图像进行归一化处理。目标摄像装置的确定可以根据实际情况来设定，此处不做任何的限定。

在本发明的一个具体实施例中，以与运输表面最远的摄像装置作为目标摄像装置为例，在确定了目标摄像装置后，可以确定图像的标准高度。而在本发明的实施例中，根据目标摄像装置，确定图像标准高度，可以为：

获取目标摄像装置在第一时刻下的视野内，运输表面上的多个包裹中的最高包裹的高度，并以最高包裹的高度最为标准高度。

在第一时刻下，摄像装置会对运输表面进行拍摄，以获取初始图像，而在确定了与运输表面最远的摄像装置作为目标摄像装置后，可以确定标准高度。具体的，在第一时刻下，目标摄像装置对应的视野内存在有多个包裹，确定在多个包裹中，包裹高度最高的包裹对应的包裹高度，作为标准高度H。包裹高度最高的包裹对应的包裹高度，即标准高度H，可以通过设置在传送装置上的光栅来进行确认。具体利用光栅确认不同包裹的高度的过程，可以参考现有技术，此处不做任何限定。而确定了目标摄像装置后，也可以获取目标摄像装置中预先拍摄到的初始图像，作为标准图像。

在本发明的实施例中，当确认了目标摄像装置，以及标准高度和标准图像后，需要根据以标准高度和标准图像为标准，对除标准图像外的其他初始图像进行归一化处理，将初始图像进行尺度统一。

而在本发明的实施例中，根据所述标准高度和所述标准图像，对多个所述初始图像进行归一化处理，得到多个第一图像，可以包括：

获取多个所述摄像装置中除了所述目标摄像装置以外，其他摄像装置对应的初始高度，初始高度为多个；根据初始高度和标准高度，计算得到高度变换关系；根据高度变换关系，标准图像和多个初始图像，对多个初始图像进行图像变换，得到多个第一图像。

在上述实施例中，获取多个摄像装置中除了目标摄像装置以外，其他摄像装置对应的初始高度，可以包括：获取多个摄像装置中除了目标摄像装置以外，其他摄像装置在第一时刻下的各自对应的视野内，运输表面上的多个包裹中最高包裹高度，以最高包裹的高度作为其他摄像装置对应的初始高度。

具体的，在上述实施例中，标准高度为第一时刻时目标摄像装置中，目标摄像装置对应的视野内的多个包裹中，包裹高度最高的包裹对应的包裹高度。因此，其他摄像装置对应的初始高度也为第一时刻下，其他摄像装置各自对应的视野内的多个包裹中，包裹高度最高的包裹对应的包裹高度，分别为h1、h2、h3…这些初始高度也可以利用光栅得到。

而将不同景深的初始图像变换为统一标准下的第一图像，需要确定初始图像中的像素在第一图像中的像素的位置，确定了初始图像中每一个像素在第一图像中的位置，即可以确定初始图像经过归一化处理后对应的第一图像。因此，可以将每个初始图像代入预设的计算公式中，得到初始图像中每个像素对应在第一图像中的像素的坐标。

首先，需要将摄像装置视野下包裹的真实的物理坐标转换为图像坐标，图像坐标为

该预设公式可以为：

其中，

为初始图像中的包裹在真实世界中的坐标，而计算得到的

为包裹对应在初始图像中的坐标。且M为摄像装置中的内参数矩阵，其中，摄像装置的内参数为摄像装置的焦距，摄像装置中传感器单位像素尺寸的大小等参数，不同的摄像装置中，摄像装置的内参数也均不相同。而在本发明的实施例中，为了达到最佳的变换效果，不同的摄像装置中的内参数设置相同。

而R为摄像装置的旋转矩阵，t为摄像装置的平移矩阵，其中旋转矩阵和平移矩阵可以通过计算得到，具体的计算过程可以参考现有技术，此时不做任何限定。

为了获得最佳的解码效果，同时为了获得统一景深的第一图像，公式中的S是需要实时进行修正。本发明实施例中，利用设置在传送装置上的光栅得到得了多个摄像装置中除了目标摄像装置外的多个初始高度，利用实时获取到的初始高度同标准高度h1、h2、h3…同标准高度H的比值(h1/H、h2/H、h3/H…)，即得到了新的比例系数S1、S2、S3…再将比例系数代入预设的计算公式中，得到新的图像变换公式，即可以得到初始图像与第一图像之间的变换公式，该公式为：

其中，由于不同的摄像装置对应不同的视野，即不同的摄像装置对应不同的揽收区域，因此可以知道每个揽收区域对应的角点坐标

因此利用该公式，可以得到每个初始图像对应的第一图像。

在本发明的实施例中，将不同景深的图像进行归一化处理，得到统一景深下的第一图像的具体过程，可以参考现有技术，此处不做任何限定。

在本发明的实施例中，在将所有的初始图像进行归一化处理，得到统一尺度下的多个第一图像后，还需要对多个第一图像进行拼接融合，得到输出图像。

具体的，如图3所示，为本发明提供的得到输出图像一实施例流程示意图，对多个第一图像进行拼接融合，得到输出图像，可以包括：

30、确定多个第一图像的顺序。

31、确定多个摄像装置对应的理想区域，并根据理想区域对多个第一图像进行裁切，得到多个第二图像。

32、对多个第二图像进行拼接融合，得到输出图像。

具体的，由于控制设备获取到多个摄像装置传送的第一图像，因此控制设备需要对多个第一图像进行排序，以便后续对第一图像进行拼接融合。优选的，可以以传送装置的传送方向为准，将多个摄像装置进行排序，以便对不同摄像装置拍摄的不同初始图像进行排序。

而在确定了多个第一图像的顺序后，还需要对第一图像进行裁切。如图4所示，为本发明提供的揽收系统一实施例侧视图，由于摄像装置的实际拍摄视野会大于理想状态下的摄像装置的拍摄视野，即不同摄像装置拍摄得到的初始图像之间会存在交叉，因此需要确定理想状态下，不同摄像装置各自分别对应的理想摄像区域，即不同摄像装置视野之间不存在交叉的理想摄像区域；这样不同摄像装置拍摄得到初始图像之间不会存在交叉区域。并根据理想区域对第一图像进行裁切，得到理想状态下的不同摄像装置各自对应的第二图像，第二图像为多个。

在上述实施例中，理想状态下不同摄像装置对应的理想摄像区域的大小可以根据实际情况来设定。且由于不同摄像装置距离传送装置的高度不同，因此，不同摄像装置对应的理想摄像区域的大小也是不同的。

在上述实施例中，得到多个摄像装置理想状态下对应的多个第二图像后，需要对多个第二图像按照已经确认的图像顺序，进行拼接融合，得到最终的输出图像，而工作人员就可以根据最终的输出图像来定位未被识别的包裹。

在本发明的实施例中，对多个第二图像进行拼接融合，得到输出图像，可以包括：对多个第二图像的边缘进行平滑渐变处理，得到多个第三图像；对多个第三图像进行拼接，得到输出图像。

在本发明实施例中，由于曝光补偿和光照强度不同等因素，第二图像会有不同程度的亮度差异，直接对多个第二图像进行拼接会有明显的缝隙。因此需要对多个第二图像的边缘进行平滑渐变处理，使得在对多个第三图像进行拼接时，不同第三图像的拼接处的图像过度更加的平滑，保证拼接得到的输出图像在拼接处的过度更平滑，且保证输出图像在过渡处的清晰度。具体的平滑渐变处理以及对多个第三图像进行拼接的过程可以参考现有技术，此处不做任何限定。

在本发明的实施例中，工作人员需要查看输出图像以确定哪些包裹未被识别。而工作人员只需要查看输出图像上的解码结果就可以直接确定哪些包裹未被识别。

当得到输出图像后，输出图像上包括被识别的包裹和未被识别的包裹，因此揽收系统可以直接读取输出图像，并根据输出图像定位未被识别的包裹，并进行警告，或是在定位到未被识别的包裹后，利用机械装置等直接选出未被识别的包裹。也可以将输出图像输出到揽收系统的显示界面，方便工作人员进行查看，使得工作人员可以快速定位未被识别的包裹，并对未被识别的包裹进行人工识别。

具体的，在本发明的一些实施例中，控制设备包括主控制设备和多个子控制设备，而多个子控制设备与多个摄像装置一一对应设置，子控制设备用于对多个初始图像进行解码，得到多个第一解码结果，且将该解码结果显示在拍摄装置拍摄到的初始图像上。由于每个包裹上用于识别的包裹条形码均不相同，因此，在摄像装置拍摄到初始图像后，子控制设备会对不同的包裹条形码进行解码识别，若解码识别成功，则子控制设备会在已经得到识别的包裹对应的图像区域进行标记，若包裹的对应的图像区域存在有标记，则说明该包裹识别成功。若不存在标记，则说明包裹未被识别，工作人员直接根据包裹对应的图像区域是否存在标记确定哪些包裹未被识别，进而定位未被识别的包裹。

在上述实施例中，多个子控制设备会分别对各自对应的摄像装置拍摄的初始图像进行解码识别，得到多个第一解码结果，并将多个第一解码结果以标记的形式分别体现在初始图像上，而子控制设备接着将包括有第一解码结果的初始图像发送至主控制设备。第一解码结果是对初始图像进行解码识别得到的，多个第一解码结果与多个初始图像一一对应。

具体的，不同的包裹可以分别对应一个条形码或是二维码，子控制设备可以对这些条形码或二维码进行解码识别，得到第一解码结果，进而判断是否有包裹未被识别。对条形码和二维码进行解码识别的过程可以参考现有技术，此处不做限定。

在主控制设备获取到多个包括第一解码结果的初始图像后，在主控制设备中对多个初始图像进行归一化处理，得到多个第一图像，并对多个第一图像进行拼接融合得到输出图像，其中，输出图像包括多个第一解码结果。而根据输出图像，判断是否有包裹未被识别，可以包括：通过主控制设备识别输出图像中的多个第一解码结果，判断是否有包裹未被识别。

而在本发明的另一些实施例中，控制设备仅包括主控制设备，而根据输出图像，判断运输表面上是否有包裹未被识别，可以包括：对输出图像进行解码，得到第二解码结果；根据第二解码结果，判断是否有包裹未被识别。

具体的，主控制设备获取到多个初始图像，并根据多个初始图像得到输出图像，在该实施例中，多个初始图像中不包括各自的解码结果；而是在得到输出图像后，主控制设备对输出图像进行解码，得到第二解码结果，并将第二解码结果以标记的形式展现在输出图像上，工作人员根据输出图像，判断是否有包裹未被识别，其中，第二解码结果是对输出图像进行解码识别得到的。

在本发明的实施例中，根据输出图像，判断运输表面上是否有包裹未被识别，可以包括：在输出图像中，显示有识别标记的包裹判断为被识别的包裹，未显示识别标记的包裹则判断为未被识别的包裹。

具体的，在输出图像中，解码的结果以标记的形式展现在输出图像中，若包裹被识别，则会在已经被识别的包裹对应的图像区域上设置标记；即若包裹周围存在有标记，则说明该包裹被识别，即包裹揽收成功。而未被识别的包裹周围不会设置标记，说明该包裹未揽收成功。

在本发明的实施例中，工作人员可以直接通过查看输出图像来判断是否有包裹未被识别，且由于输出图像是由多个摄像装置拍摄的初始图像按照一定的顺序进行拼接融合得到，工作人员在确定有包裹未被识别后，不需要对所有的摄像装置进行检查，可以根据输出图像直接定位到未被识别的包裹对应的摄像装置，进而确定未被识别的包裹，单独对未被识别的包裹进行人工揽收，节省了人力物力。

需要说明的是，在本发明实施例中，对初始图像进行归一化处理得到第一图像，对多个第一图像进行拼接融合并得到输出图像的过程，均在主控制设备中进行。

本发明还提供一种多图像匹配融合装置，该装置包括：

摄像模块，所述摄像模块用于获取摄像装置视野内在所述运输表面的初始图像；

归一化模块，所述归一化模块用于所述对初始图像进行归一化处理，得到第一图像；

处理模块，所述处理模块用于第一图像进行拼接融合，得到输出图像；

判断模块，所述判断模块用于根据所述输出图像判断所述运输表面上是否有包裹未被识别。

本发明实施例提供的多图像匹配融合装置，通过设置不同高度的多个摄像装置，获取不同高度下的多个初始图像，选定任意一个初始图像作为标准图像，并获取标准图像对应的摄像装置的高度，以标准图像为基准对多个初始图像进行归一化处理，得到多个第一图像，对多个第一图像进行拼接融合，得到最终的输出图像，最终的输出图像中包括有对多个包裹进行识别的结果，方便工作人员快速定位到未被识别的包裹，同时解决了现有技术下的图像拼接方法中，需要复杂图像特征才能精确识别图像的问题。

具体的，在本发明的实施例中，归一化模块具体可以用于：选定多个摄像装置中，任意一个摄像装置为目标摄像装置；根据目标摄像装置，确定图像标准高度；获取目标摄像装置中预先拍摄的标准图像；根据标准高度和标准图像，对多个初始图像进行归一化处理，得到多个第一图像。

其中，归一化模块根据目标摄像装置，确定图像标准高度可以包括：获取目标摄像装置在第一时刻下的视野内，运输表面上的多个包裹中的最高包裹的高度，并以最高包裹的高度最为标准高度。

而归一化模块根据标准高度和标准图像，对多个初始图像进行归一化处理，得到多个第一图像，可以包括：

获取多个摄像装置中除了目标摄像装置以外，其他摄像装置对应的初始高度，初始高度为多个；根据初始高度和标准高度，计算得到高度变换关系；根据高度变换关系，标准图像和多个初始图像，对多个初始图像进行图像变换，得到多个第一图像。

在上述实施例中，归一化模块获取多个摄像装置中除了目标摄像装置以外，其他摄像装置对应的初始高度，可以包括：

获取多个摄像装置中除了目标摄像装置以外，其他摄像装置在第一时刻下的各自对应的视野内，运输表面上的多个包裹中的最高包裹高度，以最高包裹的高度作为其他摄像装置对应的初始高度。

在本发明的另一些实施例中，处理模块用于第一图像进行拼接融合，得到输出图像，具体的，处理模块对多个第一图像进行拼接融合，得到输出图像，可以包括：

确定多个第一图像的顺序；确定多个摄像装置对应的理想区域，并根据理想区域对多个第一图像进行裁切，得到多个第二图像；对多个第二图像进行拼接融合，得到输出图像。

在上述实施例中，处理模块对多个第二图像进行拼接融合，得到输出图像，可以包括：对多个第二图像的边缘进行平滑渐变处理，得到多个第三图像；对多个第三图像进行拼接，得到输出图像。

在本发明的实施例中，输出图像中包括有多个第一解码结果，根据解码结果，可以判断是否有包裹未被识别。即判断模块根据所述输出图像判断所述运输表面上是否有包裹未被识别，可以包括：通过主控制设备识别输出图像中的多个第一解码结果，判断是否有包裹未被识别。

具体的，判断模块根据输出图像，判断运输表面上是否有包裹未被识别，可以包括：对输出图像进行解码，得到第二解码结果；根据第二解码结果，判断是否有包裹未被识别。

在本发明的实施例中，未被识别的包裹会被加上识别标记，根据识别标记的有无，操作人员可以更加直观的区分被识别和未被识别的包裹。

本申请还提供一种物流揽收系统，该系统包括控制设备、多个摄像装置，传送装置以及存储介质，多个摄像装置设置在传送装置的上方，且多个摄像装置距离传送装置的高度均不相同，传送装置具有用于传送多个包裹的运输表面，而控制设备用于：

获取多个摄像装置各自视野内在所述运输表面的初始图像，初始图像为多个；

对多个初始图像进行归一化处理，得到多个第一图像；

对多个第一图像进行拼接融合，得到输出图像；

根据输出图像，判断运输表面上是否有包裹未被识别。

本申请还提供一种服务器，该服务器位于主机监控系统，而主机监控系统还包括与服务器网络连接的多个主机，服务器可以包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现前述的主机监控方法。

本申请提供一种服务器，其集成了本申请实施例所提供的任一种系统监控装置，如图5所示，其示出了本发明实施例所涉及到的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图5中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中：

处理器501是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器501可包括一个或多个处理核心；处理器601可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是物流件的体积测量设备的控制中心，利用各种接口和线路连接整个设备的各个部分。优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。

服务器还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

获取多个摄像装置在各自视野内在运输表面的初始图像，初始图像为多个。

对多个初始图像进行归一化处理，得到多个第一图像。

对多个第一图像进行拼接融合，得到输出图像。

根据输出图像，判断运输表面上是否有包裹未被识别。

本申请还提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。存储介质存储有计算机程序，该计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种主机监控方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：

获取多个摄像装置在各自视野内在运输表面的初始图像，初始图像为多个。

对多个初始图像进行归一化处理，得到多个第一图像。

对多个第一图像进行拼接融合，得到输出图像。

根据输出图像，判断运输表面上是否有包裹未被识别。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上对本申请实施例所提供的一种主机监控方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施例进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施例及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种多图像匹配融合方法，其特征在于，应用于控制设备，所述控制设备位于物流揽收系统，所述物流揽收系统还包括多个摄像装置和传送装置，所述摄像装置设置在所述传送装置的上方，多个所述摄像装置距离所述传送装置的高度均不相同，所述传送装置具有用于传送多个包裹的运输表面；

所述方法包括：

获取多个所述摄像装置各自视野内在所述运输表面的初始图像，所述初始图像为多个；

对多个所述初始图像进行归一化处理，得到多个第一图像；

对多个所述第一图像进行拼接融合，得到输出图像；

根据所述输出图像，判断所述运输表面上是否有包裹未被识别。

2.根据权利要求1所述的多图像匹配融合方法，其特征在于，所述对多个所述初始图像进行归一化处理，得到多个第一图像包括：

选定多个摄像装置中，任意一个摄像装置为目标摄像装置；

根据所述目标摄像装置，确定图像标准高度；

获取所述目标摄像装置中预先拍摄的标准图像；

根据所述标准高度和所述标准图像，对多个所述初始图像进行归一化处理，得到多个第一图像。

3.根据权利要求2所述的多图像匹配融合方法，其特征在于，所述根据所述目标摄像装置，确定图像标准高度，包括：

获取所述目标摄像装置在第一时刻下的视野内，所述运输表面上的多个包裹中的最高包裹的高度，并以所述最高包裹的高度最为标准高度。

4.根据权利要求2所述的多图像匹配融合方法，其特征在于，所述根据所述标准高度和所述标准图像，对多个所述初始图像进行归一化处理，得到多个第一图像，包括：

获取多个所述摄像装置中除了所述目标摄像装置以外，其他摄像装置对应的初始高度，所述初始高度为多个；

根据所述初始高度和所述标准高度，计算得到高度变换关系；

根据所述高度变换关系，所述标准图像和多个所述初始图像，对多个所述初始图像进行图像变换，得到多个所述第一图像。

5.根据权利要求4所述的多图像拼接融合方法，其特征在于，所述获取多个所述摄像装置中除了所述目标摄像装置以外，其他摄像装置对应的初始高度，包括：

获取多个所述摄像装置中除了所述目标摄像装置以外，其他摄像装置在第一时刻下的各自对应的视野内，所述运输表面上的多个包裹中的最高包裹高度，以最高包裹的高度作为所述其他摄像装置对应的初始高度。

6.根据权利要求1所述的多图像匹配融合方法，其特征在于，所述对多个所述第一图像进行拼接融合，得到输出图像，包括：

确定多个所述第一图像的顺序；

确定多个所述摄像装置对应的理想区域，并根据所述理想区域对多个所述第一图像进行裁切，得到多个所述第二图像；

对多个所述第二图像进行拼接融合，得到所述输出图像。

7.根据权利要求6所述的多图像拼接融合方法，其特征在于，所述对多个所述第二图像进行拼接融合，得到所述输出图像，包括：

对多个所述第二图像的边缘进行平滑渐变处理，得到多个所述第三图像；

对多个所述第三图像进行拼接，得到所述输出图像。

8.根据权利要求1所述的多图像匹配融合方法，其特征在于，所述控制设备包括主控制设备和多个子控制设备，多个所述子控制设备与多个所述摄像装置一一对应设置；在所述通过多个所述摄像装置分别获取各自视野内所述运输表面的初始图像，所述初始图像为多个之后，所述方法还包括：

通过所述子控制设备分别对多个初始图像进行解码，得到多个第一解码结果，多个所述初始图像包括所述摄像装置对各自视野内的包裹识别的第一解码结果。

9.根据权利要求8所述的多图像匹配融合方法，其特征在于，所述输出图像中包括多个第一解码结果；所述根据所述输出图像，判断所述运输表面上是否有包裹未被识别，包括：

通过所述主控制设备识别所述输出图像中的多个第一解码结果，判断是否有包裹未被识别。

10.根据权利要求1所述的多图像匹配融合方法，其特征在于，所述根据所述输出图像，判断所述运输表面上是否有包裹未被识别，包括：

对所述输出图像进行解码，得到第二解码结果；

根据所述第二解码结果，判断是否有包裹未被识别。

11.根据权利要求1所述的多图像匹配融合方法，其特征在于，所述根据所述输出图像，判断所述运输表面上是否有包裹未被识别，包括：

在所述输出图像中，显示有识别标记的包裹判断为被识别的包裹，未显示识别标记的包裹则判断为未被识别的包裹。

12.一种多图像匹配融合装置，其特征在于，所述装置包括：

摄像模块，所述摄像模块用于获取摄像装置视野内在所述运输表面的初始图像；

归一化模块，所述归一化模块用于对初始图像进行归一化处理，得到第一图像；

处理模块，所述处理模块用于第一图像进行拼接融合，得到输出图像；

判断模块，所述判断模块用于根据所述输出图像判断所述运输表面上是否有包裹未被识别。

13.一种存储介质，其特征在于，所述存储介质存储有计算机程序，该计算机程序包括被多图像匹配融合装置操作时实现所述多图像匹配融合算法中的步骤。

14.一种物流揽收系统，其特征在于，所述物流揽收系统包括控制设备、多个摄像装置、传送装置和存储介质，所述摄像装置设置在所述传送装置的上方，多个所述摄像装置距离所述传送装置的高度均不相同，所述传送装置具有用于传送多个包裹的运输表面；所述控制设备用于：

获取多个所述摄像装置各自视野内在所述运输表面的初始图像，所述初始图像为多个；

对多个所述初始图像进行归一化处理，得到多个第一图像；

对多个所述第一图像进行拼接融合，得到输出图像；

根据所述输出图像，判断所述运输表面上是否有包裹未被识别。

Images