CN113362227B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备及存储介质，涉及图像处理领域，尤其涉及图像拼接及智能分析领域。具体实现方案为：获取针对目标场景的多张局部图像；针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果；对多张局部图像进行图像拼接，得到目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为用于表征该局部图像与全局图像的位置映射关系的信息；基于所获得的辅助信息，将各个局部图像的处理结果融合到全局图像中。通过本方案，可以实现在无需采集超大尺寸的全局图像的前提下，对场景进行有效的智能分析。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及图像拼接及智能分析领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

针对包含大尺寸对象或者属于较大区域范围的场景而言，为了对场景进行智能分析，通常需要采集整个场景的全局图像，然后对全局图像进行预定图像处理，得到处理结果，从而将处理结果作为关于场景的智能分析结果。其中，预定图像处理可以属于对象检测、图像语义分割等的处理。

发明内容

本公开提供了一种图像处理方法、装置、电子设备及存储介质。具体方案如下：

根据本公开的一方面，提供了一种图像处理方法，所述方法包括：

获取针对目标场景的多张局部图像；其中，所述多张局部图像能够完整覆盖所述目标场景的场景区域；

针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果；

对所述多张局部图像进行图像拼接，得到所述目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为用于表征该局部图像与所述全局图像的位置映射关系的信息；

基于所获得的辅助信息，将各个局部图像的处理结果融合到所述全局图像中。

根据本公开的另一方面，提供了一种图像处理装置，所述装置包括：

图像获取模块，用于获取针对目标场景的多张局部图像；其中，所述多张局部图像能够完整覆盖所述目标场景的场景区域；

图像处理模块，用于针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果；

图像拼接模块，用于对所述多张局部图像进行图像拼接，得到所述目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为用于表征该局部图像与所述全局图像的位置映射关系的信息；

结果融合模块，用于基于所获得的辅助信息，将各个局部图像的处理结果融合到所述全局图像中。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像处理方法的步骤。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的图像处理方法的步骤。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的图像处理方法的步骤。

本方案中，对目标场景的多张局部图像进行预定图像处理，得到每个局部图像的处理结果，并且，利用多张局部图像拼接得到全局图像；进而，基于每一局部图像对应的辅助信息，将各个局部图像的处理结果融合到全局图像中，从而得到目标场景的智能分析结果。可见，通过本方案，可以实现在无需采集全局图像的前提下，对场景进行有效的智能分析。

另外，由于本方案在对场景进行智能分析时，无需使用专业的用于采集超大尺寸图像的采集设备，因此，硬件成本较低；并且，本方案中，分别对每个局部图像进行预定图像处理，相对于对全局图像进行预定图像处理而言，算法复杂度和计算资源占用均较低。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例所提供的一种图像处理方法的流程图；

图2为本公开实施例所提供的一种图像处理方法的另一流程图；

图3为本公开实施例所提供的一种图像处理方法的另一流程图；

图4为本公开实施例所提供的一种图像处理方法的一种示意图；

图5为本公开实施例所提供的一种图像处理装置的结构示意图；

图6为本公开实施例所提供的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

针对包含大尺寸对象或者属于较大区域范围的场景而言，为了实现对场景的智能分析，相关技术中，通常需要采集整个场景的全局图像，该全局图像通常为超大尺寸的图像。但是，通过专业的采集设备才能够采集到全局图像，而专业的采集设备的成本较高，最终导致智能分析的成本较高。

因此，在无需采集超大尺寸的全局图像的前提下，如何对场景进行有效的智能分析，是亟待解决的问题。

为了实现在无需采集超大尺寸的全局图像的前提下，对场景进行有效的智能分析，本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质。下面首先对本公开实施例所提供的一种图像处理方法进行介绍。

其中，本公开实施例所提供的一种图像处理方法应用于电子设备。在具体应用中，该电子设备可以为具有数据处理功能的任一类设备，例如：各种形态的计算机、各种形态的移动装置、图像采集设备等等。

并且，本公开实施例所提供方案中的目标场景可以为包含大尺寸对象或者属于较大区域范围的场景，当然并不局限于此。其中，超大尺寸对象为：通过普通采集设备的视场范围无法覆盖全部对象区域的对象，所述较大区域范围为：通过普通采集设备的视场范围无法覆盖全部区域的区域范围。示例性的，目标场景可以为包含长货架、建筑物等大尺寸对象的场景，或者，目标场景也可以为属于较大区域范围的道路场景、地块场景等。

基于上述描述，本公开实施例提供的一种图像处理方法，可以包括如下步骤：

获取针对目标场景的多张局部图像；其中，所述多张局部图像能够完整覆盖所述目标场景的场景区域；

针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果；

对所述多张局部图像进行图像拼接，得到所述目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为表征该局部图像与所述全局图像的位置映射关系的信息；

基于所获得的辅助信息，将各个局部图像的处理结果融合到所述全局图像中。

本方案中，对目标场景的多张局部图像进行预定图像处理，得到每个局部图像的处理结果，并且，利用多张局部图像拼接得到全局图像；进而，基于每一局部图像对应的辅助信息，将各个局部图像的处理结果融合到全局图像中，从而得到目标场景的智能分析结果。可见，通过本方案，可以实现在无需采集全局图像的前提下，对场景进行有效的智能分析。

另外，由于本方案在对场景进行智能分析时，无需使用专业的用于采集超大尺寸图像的采集设备，因此，硬件成本较低；并且，本方案中，分别对每个局部图像进行预定图像处理，相对于对全局图像进行预定图像处理而言，算法复杂度和计算资源占用均较低。

下面结合附图，对本公开实施例所提供的一种图像处理方法进行介绍。

如图1所示，本公开实施例所提供的一种图像处理方法，可以包括如下步骤：

S101，获取针对目标场景的多张局部图像；其中，该多张局部图像能够完整覆盖该目标场景的场景区域；

当需要针对目标场景进行智能分析时，本实施例所提供的方案中，无需采集目标场景的全局图像，而是获取针对目标场景的、能够完整覆盖目标场景的场景区域的多张局部图像，进而基于该多张局部图像来实现对整个目标场景的智能分析。其中，针对目标图像的全局图像可以认为是超大尺寸的图像，通常需要通过专业的采集设备才能够采集到。

其中，所谓局部图像是指：图像内容为该目标场景的部分场景区域的图像，也就是，局部图像所表征的场景区域仅仅是目标场景的部分区域。并且，多张局部图像能够完整覆盖该目标场景的场景区域具体指：多张局部图像所包含的场景区域之和为目标场景的场景区域。

可以理解的是，若目标场景为包含超大尺寸对象的场景，由于每张局部图像的图像内容为目标场景的部分场景区域，那么，每张局部图像中均可以包含该大尺寸对象的部分对象区域；并且，多张局部图像所包含的部分对象区域的区域的集合可以覆盖该大尺寸对象的全部对象区域，该全部区域为需要进行智能分析的区域，例如：针对长货架而言，该全部区域可以为该。而若目标场景为较大范围区域的场景，则每张局部图像均可以包含该场景的部分区域；并且，多张局部图像所包含的部分区域的区域的集合可以覆盖该场景的全部场景区域。

另外，针对该目标场景，可以预先安装部署能够采集到部分场景区域的多个采集设备，如：摄像头，进而，通过该多个采集设备可以采集到多张局部图像，这样，该电子设备能够获取到多张局部图像。在进行安装部署时，相邻的采集设备的采集区域可以存在重叠，从而保证多张局部图像能够完整覆盖到目标场景。其中，多张局部图像的数量与安装部署的采集设备的数量相同，在保证多张局部图像能够完整覆盖到目标场景的前提下，本公开不对安装部署的采集设备的数量和位置进行限定。

并且，在具体应用中，在多个采集设备采集到局部图像后，该电子设备获取由多个采集设备所采集到的多张局部图像的方式存在多种。示例性的，在一种实现方式中，该电子设备可以作为各个采集设备的后台服务器，每一采集设备在获取到局部图像后，可以通过有线方式或无线方式，向该电子设备上传所采集到的局部图像，从而该电子设备能够获取到针对目标场景的多张局部图像。在该种实现方式中，该电子设备可以向各个采集设备下发图像采集指令，从而，各个采集设备在接收到图像采集指令后，可以对目标场景进行图像采集，得到局部图像。示例性的，在另一种实现方式中，该电子设备并非各个采集设备的后台服务器，而与后台服务器相通信，此时，该电子设备可以从后台服务器中请求获得该多张局部图像。

上述的该电子设备获取由多个采集设备所采集到的多张局部图像的实现方式仅仅作为示例，并不应该构成对本公开的限定。

S102，针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果；

由于需要对目标场景进行智能分析，而智能分析结果可以为针对目标场景的全景图像的图像处理结果，因此，在获取到多张局部图像后，可以对每张局部图像进行预定图像处理，得到每张局部图像的处理结果，进而基于每张局部图像的处理结果，来实现对于目标场景的智能分析。

可选地，在一种实现方式中，预定图像处理可以属于对象检测，此时，该预定图像处理具体包括用于检测预定类别的对象的子处理操作，该局部图像的处理结果包括：该局部图像所包含所述预定类别的对象的检测框。该方法中，通过应用该预定图像处理，可以确定出目标场景对应全局图像中预定类别的对象的位置。例如：若目标场景为道路场景，针对每一局部图像，可以检测该局部图像中的行人，得到局部图像中所包括行人的检测框。又例如：若目标场景为包含长货架的场景，针对每一局部图像，可以检测该局部图像中的货品A，得到该局部图像中所包含的货品A的检测框。

可选地，在另一种实现方式中，预定图像处理可以属于语义分割处理，此时，该预定图像处理具体包括用于对图像内容进行语义分割的子处理操作，该局部图像的处理结果包括：该局部图像中对象的分割掩码。该方法中，通过应用该预定图像处理，可以确定出目标场景对应全局图像中对象的区域。例如：若目标场景为道路场景，针对每一局部图像，检测该局部图像中行人所在的区域，得到该局部图像所包含行人的分割掩码。又例如：若目标场景为包含长货架的场景，针对每一局部图像，检测该局部图像中货物A所在的区域，得到该局部图像所包含货物A的分割掩码。

上述关于预定图像处理的具体图像分析的说明，仅仅作为示例，并不应该构成对本公开的限定。例如：该预定图像处理也可以包括用于检测图像中的对象的类别的子处理操作，此时，局部图像的处理结果包括对象类别，等等。

另外，为了丰富智能分析结果，可选地，针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果，可以包括：

针对每一局部图像，对该局部图像进行多种预定图像处理，得到该局部图像的多个处理结果；其中，不同预定图像处理用于对该局部图像进行不同方式的图像分析。其中，每一种预定图像处理对应有一个处理结果。

示例性的，多种预定图像处理可以均属于对象检测，也就是，该多种预定图像处理均是针对局部图像，执行检测预定类别的对象的子处理操作；并且，不同预定图像处理所涉及到图像分析的具体方式不同。例如：目标场景为道路场景，针对每一局部图像，对该局部图像进行两种预定图像处理：检测该局部图像中的行人，以及检测该局部图像中的车辆，也就是说，针对该局部图像进行两种方式的图像分析：检测该局部图像中的行人，以及检测该局部图像中的车辆；此时，得到该局部图像的两个处理结果：该局部图像中的行人的检测框和车辆的检测框。又如：目标场景为包含长货架的场景，针对每一局部图像，对该局部图像进行两种预定图像处理：检测该局部图像中的货物A，以及检测该局部图像中的每层货架，也就是说，针对该局部图像进行两种方式的图像分析：检测该局部图像中的货物A，以及检测该局部图像中的每层货架；此时，得到该局部图像的两个处理结果：该局部图像中的货物A的检测框和每层货架的检测框。

示例性的，多种预定图像处理可以均属于语义分割，也就是，该多种预定图像处理均是针对局部图像，执行图像内容进行语义分割的子处理操作；并且，不同预定图像处理所涉及到图像分析的具体方式不同。例如：目标场景为道路场景，针对每一局部图像，对该局部图像进行两种预定图像处理：检测该局部图像中的行人所在的区域，以及检测该局部图像中的车辆所在的区域，也就是说，针对该局部图像进行两种方式的图像分析：检测该局部图像中的行人所在的区域，以及检测该局部图像中的车辆所在的区域；此时，得到该局部图像的两个处理结果：该局部图像中的行人的分割掩码和车辆的分割掩码。又如：目标场景为包含长货架的场景，针对每一局部图像，对该局部图像进行两种预定图像处理：检测该局部图像中的货物A所在区域，以及检测该局部图像中的每层货架所在区域，也就是说，针对该局部图像进行两种方式的图像分析：检测该局部图像中的货物A所在区域，以及检测该局部图像中的每层货架所在区域；此时，得到该局部图像的两个处理结果：该局部图像中的货物A的分割掩码和每层货架的分割掩码。

示例性的，多种预定图像处理中，一部分属于对象检测，另一部分属于语义分割也就是，该多种预定图像处理既包括针对局部图像，执行检测预定类别的对象的子处理操作，又包括针对局部图像，执行图像内容进行语义分割的子处理操作；并且，不同预定图像处理所涉及到图像分析的具体方式不同。例如：目标场景为道路场景，针对每一局部图像，对该局部图像进行两种预定图像处理：检测该局部图像中的行人，以及检测该局部图像中的车辆所在的区域，也就是说，针对该局部图像进行两种方式的图像分析：检测该局部图像中的行人，以及检测该局部图像中的车辆所在的区域；此时，得到该局部图像的两个处理结果：该局部图像中的行人的检测框和车辆的分割掩码。又如：目标场景为包含长货架的场景，针对每一局部图像，对该局部图像进行两种预定图像处理：检测该局部图像中的货物A，以及检测该局部图像中每层货架所在区域，也就是说，针对该局部图像进行两种方式的图像分析：检测该局部图像中的货物A，以及检测该局部图像中每层货架所在区域；此时，得到该局部图像的两个处理结果：该局部图像中的货物A的检测框和每层货架的分割掩码。

另外，不同局部图像所进行的多种预定图像处理相同或不同，这样可以基于不同局部图像所表征场景区域选择相同或不同的图像处理，使得智能分析更加灵活且符合实际场景内容；并且，由于对不同局部图像可以进行不同的预定图像处理，因此，能够基于不同局部区域的实际分析需求，为目标场景的不同局部区域来设定不同的预定图像处理，使得针对目标场景的智能分析可以更加全面且贴合实际场景需求。其中，不同局部图像所进行预定图像处理相同具体指：不同局部图像所进行的预定图像处理的种类数量相同且每种预定图像处理的分析内容相同；不同局部图像所进行预定图像处理不同具体指：不同局部图像所进行的预定图像处理的种类数量不同，或者，不同局部图像所进行预定图像处理的种类数量相同但所涉及到的图像分析不同。

S103，对多张局部图像进行图像拼接，得到目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为表征该局部图像与全局图像的位置映射关系的信息；

其中，该电子设备可以采用任一种图像拼接方式，对多张局部图像进行图像拼接，得到目标场景的全局图像，从而在全局图像中表征针对目标场景的智能分析结果。并且，为了将各个局部图像的处理结果融合到全局图像中，可以获得每一局部图像对应的辅助信息。

示例性的，在一种实现方式中，若该局部图像的处理结果为：该局部图像所包含所述预定类别的对象的检测框，或者，该局部图像中对象的分割掩码，则辅助信息可以为用于将该局部图像中的坐标映射到全局图像中的参数信息。当然，若该局部图像的处理结果可以为对象类别，则辅助信息可以包括该局部图像对应的目标区域位置，该目标区域位置为在全局图像中的、该局部图像与其他局部图像未发生重叠的区域位置。

另外，每一局部图像对应的辅助信息均可以在将多张局部图像进行图像拼接的拼接过程中所确定，本公开对于具体的确定方式不做限定。为了方案清楚及布局清晰，下文示例性介绍图像拼接的拼接原理。并且，针对每一局部图像对应的辅助信息可以为用于将该局部图像中的坐标映射到全局图像中的参数信息的情况，下文对每一局部图像对应的辅助信息进行示例性介绍。

并且，需要强调的是，步骤S102和步骤S103并不存在严格的执行顺序，例如：步骤S102可以先于步骤S103执行，或者，步骤S103可以先于步骤S102执行，或者，步骤S102和步骤S103可以并行执行。

S104，基于所获得的辅助信息，将各个局部图像的处理结果融合到该全局图像中。

在将各个局部图像的处理结果融合到该全局图像中后，可以通过该全局图像中所融合的处理结果，来表征针对目标场景的智能分析结果。

若每一局部图像的处理结果为该局部图像所包含预定类别的对象的检测框，或者，该局部图像中对象的分割掩码，那么，所谓的基于所获得的辅助信息，将各个局部图像的处理结果融合到该全局图像中，具体指：基于所获得的辅助信息，将各个局部图像的处理结果平移到该全局图像中。

若每一局部图像的处理结果为对象类别，那么，所谓的基于所获得的辅助信息，将各个局部图像的处理结果融合到该全局图像中，具体指：基于所获得的辅助信息，将各个局部图像的处理结果融合为该全局图像的对象类别。示例性的，针对每一局部图像的处理结果为对象类别而言，针对每一局部图像，确定该局部图像对应的目标区域位置在该局部图像中的区域占比，基于区域占比与关于处理结果的置信度的对应关系，确定每一局部图像的对象类别的置信度；进而，将各张局部图像的对象类别中，置信度总和最高的对象类别，确定为该全局图像的对象类别；其中，区域占比越大，处理结果的置信度越高。例如：对各个局部图像所包括的对象的对象类别进行识别，得到各个局部图像的处理结果：局部图像1的对象类别为猫，局部图像2的对象类别为狗，局部图像3的对象类别为狗，局部图像4的对象类别为猫，若局部图像1、2、3和4对应的目标区域位置对应的区域占比可以为50%、80%、70%、40%，基于区域占比与处理结果的置信度的对应关系，可知，对象类别为狗的置信度总和最高，因此，狗为全局图像所包含对象的对象类别。

另外，若所述预定图像处理的种类为多种，此时，可选的，本公开所提供的方法还可以包括：

对全局图像中融合得到的、各种预定图像处理的处理结果进行分析，得到所述目标场景对应的分析结果。

通过对全局图像中融合得到的、各种预定图像处理的处理结果进行分析，可以有效利用全局图像的处理结果，对目标场景进行更深层次的分析。

仍以上述示例进行说明，若每一局部图像的两个处理结果为：该局部图像中的行人的检测框和车辆的检测框，那么，对全局图像中融合得到的、各种预定图像处理的处理结果进行分析，得到目标场景对应的分析结果具体可以指：基于行人的检测框和车辆的检测框，统计该目标场景中行人和车辆的数量比值；若每一局部图像的两个出结果为：该局部图像中的货物A的检测框和每层货架的检测框，那么，对全局图像中融合得到的、各种预定图像处理的处理结果进行分析，得到目标场景对应的分析结果具体可以指：基于货物A的检测框和每层货架的检测框，识别每层货架中货物A的放置数量。

需要强调的是，在具体应用中，可以根据实际需求选择分析策略，对全局图像中融合得到的结果进行分析，本公开实施例对此不做限定。

本公开实施例所提供的方案中，对目标场景的多张局部图像进行预定图像处理，得到每个局部图像的处理结果，并且，利用多张局部图像拼接得到全局图像；进而，基于每一局部图像对应的辅助信息，将各个局部图像的处理结果融合到全局图像中，从而得到目标场景的智能分析结果。可见，通过本方案，可以实现在无需采集超大尺寸的全局图像的前提下，对场景进行有效的智能分析。

另外，由于本方案在对场景进行智能分析时，无需使用专业的用于采集超大尺寸图像的采集设备，因此，硬件成本较低；并且，本方案中，分别对每个局部图像进行预定图像处理，相对于对全局图像进行预定图像处理而言，算法复杂度和计算资源占用均较低。

可选地，在本公开的另一实施例中，针对每一局部图像的处理结果为：该局部图像所包含预定类别的对象的检测框或该局部图像中对象的分割掩码而言，每一局部图像的处理结果可以通过目标坐标进行表征。相应的，如图2所示，上述的S104可以包括如下步骤S1041-S1042：

S1041，针对每一局部图像，基于该局部图像对应的辅助信息，将该局部图像的目标坐标，依次转换至预定的校准坐标系和全局图像坐标系，得到该局部图像的目标坐标在该全局图像中的映射坐标；其中，该全局图像坐标系为以该全局图像左上角为原点的坐标系。

其中，将目标坐标转换至预定的校准坐标系的目的是将关于每一局部图像的目标坐标转换到同一坐标系下；并且，由于预定的校准坐标系通常不是以全局图像的左上角为原点的坐标系，也就是，校准坐标系与全局图像坐标系的原点不同，因此，在将目标坐标转换到校准坐标系后，可以将目标坐标在预定的校准坐标系下的坐标，转换到全局图像坐标系，从而保证处理结果在全局图像的有效映射。

S1042，基于所得到的映射坐标，在该全局图像中生成与该局部图像的处理结果相对应的映射结果。

其中，在全局图像中生成与该局部图像的处理结果对应的映射结果，具体可以为：在全局图像中的映射坐标所在的位置进行与预定图像处理对应的处理，例如：检测框标定，或者，分割掩码标定，等等。

示例性的，在一种实现方式中，该局部图像对应的辅助信息可以包括：该局部图像对应的参数组，以及，该全局图像对应的坐标调整参数；其中，该参考组包括外在参数矩阵、内在参数矩阵和坐标缩放参数；

其中，该外在参数矩阵为：该局部图像的图像坐标系和相机坐标系之间进行坐标转换所利用的参数矩阵；该内在参数矩阵为：该相机坐标系与该校准坐标系之间进行坐标转换所利用的参数矩阵；该坐标缩放参数为：在图像拼接时该局部图像中的坐标进行缩放时所利用的参数；

该坐标调整参数为：用于将该校准坐标系中的坐标，调整到该全局图像坐标系下所利用的参数。相应的，基于该局部图像对应的辅助信息，将该局部图像的目标坐标，依次转换至预定的校准坐标系和该全局图像坐标系，得到该局部图像的目标坐标在全局图像中的映射坐标，可以包括步骤A1-A2：

步骤A1，基于该局部图像对应的外在参数矩阵、内在参数矩阵和坐标缩放参数，将该局部图像的目标坐标转换至该校准坐标系下；

示例性的，所述基于该局部图像对应的外在参数矩阵、内在参数矩阵和坐标缩放参数，将该局部图像的目标坐标转换至所述校准坐标系下，可以包括：

利用该局部图像对应的外在参数矩阵，将该局部图像的目标坐标转换到相机坐标系，得到第一类坐标；

利用该局部图像对应的内在参数矩阵，将该第一类坐标转换到预定的校准坐标系下，得到第二类坐标；

按照该坐标缩放参数，对该第二类坐标进行坐标缩放，作为转换至该校准坐标系下的坐标。

步骤A2，按照该坐标调整参数，对转换至该校准坐标系下的坐标进行调整，得到该局部图像的目标坐标在该全局图像中的映射坐标。

其中，该局部图像对应的参数组中的各个参数是图像拼接时，所采集用的拼接算法可以给定的参数。

另外，示例性的，该坐标调整参数的确定方式可以包括：确定位于全局图像中的第一个拼接位置的局部图像，作为目标局部图像；利用目标局部图像对应的外在参数矩阵，将坐标（0,0）转换到相机坐标系下，得到坐标（0,0）对应的第一类坐标；利用目标图像对应的内在参数矩阵，将坐标（0,0）对应的第二类坐标；利用目标局部图像对应的坐标缩放参数，对坐标（0,0）对应的第二类坐标进行坐标缩放，得到坐标调整参数。

本公开实施例所提供的方案中，基于每一局部图像对应的辅助信息，将各个局部图像的处理结果融合到全局图像中，从而得到目标场景的智能分析结果；具体而言，针对每一局部图像，基于该局部图像对应的辅助信息，将该局部图像的目标坐标，依次转换至预定的校准坐标系和全局图像坐标系，得到该局部图像的目标坐标在所述全局图像中的映射坐标； 基于所得到的映射坐标，在全局图像中生成与该局部图像的处理结果相对应的映射结果。可见，通过本方案，可以实现在无需采集超大尺寸的全局图像的前提下，对场景进行有效的针对对象检测或图像语义分割的智能分析。

可选地，在本公开的另一实施例中，如图3所示，上述的S102可以包括步骤S1021：

S1021，针对每一局部图像，利用预先训练的用于进行预定图像处理的目标人工智能AI模型，对每个局部图像进行预定图像处理，得到该局部图像的处理结果；

其中，该目标人工智能AI模型为基于样本图像和样本图像对应的标定结果，对初始AI模型进行训练所得到的模型。其中，样本图像对应的标定结果为针对该预定图像处理的处理结果的标定。

其中，可以通过在线或离线的方式，利用预先训练的用于进行预定图像处理的目标人工智能AI模型，对每个局部图像进行预定图像处理，得到该局部图像的处理结果。在保证样本图像的标定结果是针对预定图像处理的标定结果的前提下，样本图像的具体采集方式，本公开不做限定。例如：若预定图像处理是货物检测，那么，样本图像为包含有货物的图像，样本图像的标定结果为货物的检测框，样本图像的采集方式不做限定；若预定图像处理为车辆检测，那么，样本图像为包含车辆的图像，样本图像的标定结果为车辆的检测框，样本图像的采集方式不做限定。

其中，任一目标人工智能AI模型的训练过程可以包括：

将样本图像输入初始AI模型，得到AI模型针对预定图像处理的输出结果；

基于输出结果和样本图像的标定结果，确定损失值；

若损失值小于预定阈值，则认为AI模型收敛，得到训练完成的目标人工智能AI模型；否则，调整训练中的初始AI模型的模型参数，继续进行训练。

另外，目标人工智能AI模型可以通过对任一种神经网络模型训练得到，神经网络模型的网络结构，可以根据实际情况设定，本公开不做限定。并且，在确定损失值时，可以根据预定图像处理所实现的功能来选择相匹配的任一种损失函数来确定。示例性的，损失函数可以为均方差损失（Mean Squared Loss）、平均绝对误差损失（Mean AbsoluteErrorLoss）、分位数损失 （Quantile Loss）、交叉熵损失函数（Cross Entropy Loss）等等中的任一种。

另外，由于预定图像处理的种类有多种，不同的预定图像处理可以对应于不同的目标人工智能AI模型。例如：若目标场景为道路场景，针对每一局部图像，对该局部图像进行两种预定图像处理：检测该局部图像中的行人，以及检测该局部图像中的车辆所在的区域，那么，可以构建两个目标人工智能AI模型：一个目标人工智能AI模型用于检测局部图像中的行人，另一个目标人工智能AI模型用于检测局部图像中的车辆所在的区域。

当使用多种目标人工智能AI模型对每个局部图像进行多种预定图像处理时，各个目标人工智能AI模型互不依赖，可并行化实现预定图像处理，有效提升图像处理的效率。

本实施例中，通过目标人工智能AI模型对每个局部图像进行预定图像处理，可以使得保证图像处理的处理效率和准确性。并且，本实施例中，目标人工智能AI模型只处理尺寸较小的局部图像，这样可以保证目标人工智能AI模型的处理性能，避免资源占用过高；同时，相对于现有技术，为了保证处理性能和避免资源占用过高，而将超大尺寸的全局图像进行缩小后，再输入模型而言，以局部图像作为目标人工智能AI模型的输入，可以避免输入图像的信息丢失，以及精度变差的问题。

为了方便理解方案，下面结合图4所示的原理图，对本公开实施例所提供的一种图像处理方法进行介绍。

如图4所示，一种图像处理方法，可以包括如下步骤：

步骤一，获得针对目标场景的4张局部图像；其中，该4张局部图像能够完整覆盖目标场景的场景区域。

步骤二，将4张局部图像均输入预先训练好的N个目标人工智能AI模型当中，得到每张局部图像的目标N个处理结果。其中，该N个目标人工智能AI模型包括模型1-模型N，对应于预定图像处理1-预定图像处理N，例如预定图像处理可以是对象检测、图像语义分割等。并且，模型1-模型N是由针对预定图像处理1-预定图像处理N构建的算法1-算法N训练得到的。

其中，每一局部图像的处理结果可以通过目标坐标进行表征。

步骤三，在对局部图像进行处理的同时，对4张局部图像进行图像拼接，得到目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为表征该局部图像与所述全局图像的位置映射关系的信息；

步骤四，基于局部图像对应的辅助信息，对每张局部图像的N个处理结果进行校准，即融合到全局图像，全局图像为图4中的完整大尺寸图像；

步骤五，对全局图像中通过每种目标人工智能AI模型得到的处理结果进行分析，即AI能力整合，最终输出融合有处理结果的全局图像，以及分析结果，

即最终能力输出。

通过上述实施例，通过多个目标人工智能AI模型对目标场景的多张局部图像进行多种预定图像处理，得到每个局部图像的多个处理结果，并且，利用多张局部图像拼接得到全局图像；进而，基于每一局部图像对应的辅助信息，将各个局部图像的处理结果融合到全局图像中，从而得到目标场景的多种智能分析结果。可见，通过本方案，可以实现在无需采集超大尺寸的全局图像的前提下，对目标场景进行有效的智能分析。

另外，为了方案清楚及布局清晰，下述示例性介绍三种图像拼接的拼接原理：

全局对齐方法：以一个单应性矩阵对齐图像（即上述的局部图像），然后采用光束平差法求解每幅图像的相机参数（即上述的局部图像对应的参数组），采用柱面或者球面投影对图像进行变形，最后采用多频带拉普拉斯金字塔的方法对变形后的图像进行融合，得到最终的拼接图像（即上述的全局图像）。

空域变化绘制方法：将图像（即上述的局部图像）划分为密集的网格，每个网格都用一个单应性矩阵对齐，然后对每个网格进行优化变形，采用全局对齐类似的方法对网格图像进行拼接，得到最终的拼接图像（即上述的全局图像）。

缝合线主导方法：以匹配图像（即上述的局部图像）之间的缝合线为主导，不用严格去对齐整个重叠区域，而是只对齐缝合线附近的区域，通过缝合线实现图像的拼接，得到最终的拼接图像（即上述的全局图像）。

上述的图像拼接的拼接原理，仅仅作为示例，并不应该构成对本公开的实施例的限定。

基于相同的发明构思，根据上述图像处理方法实施例，本公开实施例还提供了一种图像处理装置，参见图5，可以包括以下模块：

图像获取模块510，用于获取针对目标场景的多张局部图像；其中，所述多张局部图像能够完整覆盖所述目标场景的场景区域；

图像处理模块520，用于针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果；

图像拼接模块530，用于对所述多张局部图像进行图像拼接，得到所述目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为用于表征该局部图像与所述全局图像的位置映射关系的信息；

结果融合模块540，用于基于所获得的辅助信息，将各个局部图像的处理结果融合到所述全局图像中。

可选地，所述预定图像处理包括用于检测预定类别的对象的子处理操作；该局部图像的处理结果包括：该局部图像所包含所述预定类别的对象的检测框。

可选地，所述预定图像处理包括用于对图像内容进行语义分割的子处理操作；该局部图像的处理结果包括：该局部图像中对象的分割掩码。

可选地，所述图像处理模块520进一步用于：针对每一局部图像，对该局部图像进行多种预定图像处理，得到该局部图像的多个处理结果；其中，不同预定图像处理用于对该局部图像进行不同方式的图像分析。

可选地，不同局部图像所进行的多种预定图像处理相同或不同。

可选地，所述装置还包括：

分析模块，用于对所述全局图像中融合得到的、各种预定图像处理的处理结果进行分析，得到所述目标场景对应的分析结果。

可选地，所述图像处理模块520进一步用于：

针对每一局部图像，利用预先训练的用于进行预定图像处理的目标人工智能AI模型，对每个局部图像进行预定图像处理，得到该局部图像的处理结果；

其中，所述目标人工智能AI模型为基于样本图像和所述样本图像对应的标定结果，对初始AI模型进行训练所得到的模型，所述样本图像对应的标定结果为针对所述预定图像处理的处理结果的标定。

可选地，所述预定图像处理的种类为多种，不同的预定图像处理对应于不同的目标人工智能AI模型。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

本公开的一实施例，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像处理方法。

本公开的一实施例，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的图像处理方法。

本公开的另一实施例，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的图像处理方法。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器（ROM）602中的计算机程序或者从存储单元608加载到随机访问存储器（RAM）603中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (8)

1.一种图像处理方法，所述方法包括：

获取针对目标场景的多张局部图像；其中，所述多张局部图像能够完整覆盖所述目标场景的场景区域；

针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果；

对所述多张局部图像进行图像拼接，得到所述目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为用于表征该局部图像与所述全局图像的位置映射关系的信息；

基于所获得的辅助信息，将各个局部图像的处理结果融合到所述全局图像中；

其中，所述针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果，包括：针对每一局部图像，对该局部图像进行多种预定图像处理，得到该局部图像的多个处理结果；其中，不同预定图像处理用于对该局部图像进行不同方式的图像分析；相应的，所述方法还包括：对所述全局图像中融合得到的、各种预定图像处理的处理结果进行分析，得到所述目标场景对应的分析结果；

或者，

所述针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果，包括：针对每一局部图像，利用预先训练的用于进行预定图像处理的目标人工智能AI模型，对每个局部图像进行预定图像处理，得到该局部图像的处理结果；

其中，所述目标人工智能AI模型为基于样本图像和所述样本图像对应的标定结果，对初始AI模型进行训练所得到的模型，所述样本图像对应的标定结果为针对所述预定图像处理的处理结果的标定；所述预定图像处理的种类为多种，不同的预定图像处理对应于不同的目标人工智能AI模型。

2.根据权利要求1所述的方法，其中，所述预定图像处理包括用于检测预定类别的对象的子处理操作；

该局部图像的处理结果包括：该局部图像所包含所述预定类别的对象的检测框。

3.根据权利要求1或2所述的方法，其中，所述预定图像处理包括用于对图像内容进行语义分割的子处理操作；

该局部图像的处理结果包括：该局部图像中对象的分割掩码。

4.一种图像处理装置，所述装置包括：

图像获取模块，用于获取针对目标场景的多张局部图像；其中，所述多张局部图像能够完整覆盖所述目标场景的场景区域；

图像处理模块，用于针对每一局部图像，对该局部图像进行预定图像处理，得到该局部图像的处理结果；

图像拼接模块，用于对所述多张局部图像进行图像拼接，得到所述目标场景的全局图像，并获得每一局部图像对应的辅助信息；其中，每一局部图像对应的辅助信息为用于表征该局部图像与所述全局图像的位置映射关系的信息；

结果融合模块，用于基于所获得的辅助信息，将各个局部图像的处理结果融合到所述全局图像中；

其中，所述图像处理模块用于：针对每一局部图像，对该局部图像进行多种预定图像处理，得到该局部图像的多个处理结果；其中，不同预定图像处理用于对该局部图像进行不同方式的图像分析；相应的，所述装置还包括：分析模块，用于对所述全局图像中融合得到的、各种预定图像处理的处理结果进行分析，得到所述目标场景对应的分析结果；

或者，所述图像处理模块用于：

针对每一局部图像，利用预先训练的用于进行预定图像处理的目标人工智能AI模型，对每个局部图像进行预定图像处理，得到该局部图像的处理结果；

其中，所述目标人工智能AI模型为基于样本图像和所述样本图像对应的标定结果，对初始AI模型进行训练所得到的模型，所述样本图像对应的标定结果为针对所述预定图像处理的处理结果的标定；所述预定图像处理的种类为多种，不同的预定图像处理对应于不同的目标人工智能AI模型。

5.根据权利要求4所述的装置，其中，所述预定图像处理包括用于检测预定类别的对象的子处理操作；

该局部图像的处理结果包括：该局部图像所包含所述预定类别的对象的检测框。

6.根据权利要求4或5所述的装置，其中，所述预定图像处理包括用于对图像内容进行语义分割的子处理操作；

该局部图像的处理结果包括：该局部图像中对象的分割掩码。

7.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。