CN113344957A - 图像处理方法、图像处理装置和非瞬时性存储介质 - Google Patents

Abstract

一种图像处理方法、图像处理装置和非瞬时性存储介质。图像处理方法包括：获取输入图像；利用目标检测模型对输入图像进行检测，以得到N1个第一候选检测框；在N1大于1时，响应于N1个第一候选检测框为目标检测模型首次对输入图像进行目标检测得到的候选检测框，且N1个第一候选检测框中的一部分为N2个边缘第一候选检测框：将输入图像沿分割线进行分割，以得到第一分割图像和第二分割图像，将第一分割图像和第二分割图像进行拼接以得到拼接后的输入图像；利用目标检测模型对拼接后的输入图像进行检测，以得到M1个第二候选检测框；基于N1个第一候选检测框和M1个第二候选检测框，确定P个目标检测框；获取P个目标检测框在输入图像中的坐标。

Description

图像处理方法、图像处理装置和非瞬时性存储介质

技术领域

本公开的实施例涉及一种图像处理方法、图像处理装置和非瞬时性存储介质。

背景技术

目标检测(Object Detection)的任务是找出图像中所有感兴趣的目标(物体)，确定目标的类别和位置等。目标检测是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，以及成像时光照、遮挡等因素的干扰，从而造成基于图像的目标检测具有一定的难度。目标检测一直是计算机视觉领域最具有挑战性的问题之一。

发明内容

本公开至少一实施例提供一种图像处理方法，包括：获取输入图像，其中，所述输入图像为等距柱状投影图，在所述输入图像的宽度方向上，所述输入图像包括彼此相对的第一图像边缘和第二图像边缘；利用目标检测模型对所述输入图像进行检测，以得到N1个第一候选检测框；在N1大于1时，响应于所述N1个第一候选检测框为所述目标检测模型首次对所述输入图像进行目标检测得到的候选检测框，且所述N1个第一候选检测框中的一部分为N2个边缘第一候选检测框：将所述输入图像沿平行于所述第一图像边缘的分割线进行分割，以得到第一分割图像和第二分割图像，将所述第一分割图像和所述第二分割图像进行拼接以得到拼接后的输入图像，其中，在所述拼接后的输入图像的宽度方向上，所述第一图像边缘和所述第二图像边缘彼此直接相接，每个边缘第一候选检测框包括在所述输入图像的宽度方向上彼此相对的第一框边缘和第二框边缘，在所述输入图像中，所述第一框边缘和所述第一图像边缘之间的距离小于所述第二框边缘和所述第一图像边缘之间的距离，所述N2个边缘第一候选检测框包括第一边缘第一候选检测框和第二边缘第一候选检测框，所述第一边缘第一候选检测框的第一框边缘与所述第一图像边缘之间的距离小于等于距离阈值，所述第二边缘第一候选检测框的第二框边缘与所述第二图像边缘之间的距离小于等于所述距离阈值；利用所述目标检测模型对所述拼接后的输入图像进行检测，以得到M1个第二候选检测框；基于所述N1个第一候选检测框和所述M1个第二候选检测框，确定P个目标检测框；根据所述P个目标检测框和所述输入图像，得到所述P个目标检测框在所述输入图像中的坐标，其中，P、N1、N2和M1均为正整数，且N2大于1。

例如，在本公开至少一实施例提供的图像处理方法中，在N2小于N1时，基于所述N1个第一候选检测框和所述M1个第二候选检测框，确定P个目标检测框，包括：获取所述M1个第二候选检测框中的至少一个非边缘第二候选检测框，其中，在所述拼接后的输入图像的宽度方向上，所述拼接后的输入图像包括彼此相对的第三图像边缘和第四图像边缘，每个非边缘第二候选检测框包括在所述拼接后的输入图像的宽度方向上彼此相对的第三框边缘和第四框边缘，在所述拼接后的输入图像中，所述第三框边缘和所述第三图像边缘之间的距离小于所述第四框边缘和所述第三图像边缘之间的距离，每个非边缘第二候选检测框的第三框边缘与所述第三图像边缘之间的距离大于所述距离阈值，且每个非边缘第二候选检测框的第四框边缘与所述第四图像边缘之间的距离大于所述距离阈值；获取所述N1个第一候选检测框中除了所述N2个边缘第一候选检测框之外的第一候选检测框以得到至少一个非边缘第一候选检测框；基于所述输入图像和所述拼接后的输入图像，确定所述拼接后的输入图像到所述输入图像的映射关系；在将所述至少一个非边缘第二候选检测框基于所述映射关系映射至所述输入图像，以得到与所述至少一个非边缘第二候选检测框对应的M2个映射候选检测框的情况下，对所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框进行合并去重处理，以确定所述P个目标检测框，其中，M2为正整数。

例如，在本公开至少一实施例提供的图像处理方法中，对所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框进行合并去重处理，以确定所述P个目标检测框，包括：基于所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框，确定至少一个候选检测框对，其中，每个候选检测框对包括一个非边缘第一候选检测框和一个映射候选检测框，且每个候选检测框对中的非边缘第一候选检测框和映射候选检测框至少部分重叠；针对所述至少一个候选检测框对中的第i个候选检测框对，获取所述第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠比例；响应于所述重叠比例大于等于重叠阈值：获取所述目标检测模型输出的所述第i个候选检测框对中的非边缘第一候选检测框的概率得分和所述第i个候选检测框对中的映射候选检测框的概率得分；若所述第i个候选检测框对中的非边缘第一候选检测框的概率得分大于所述第i个候选检测框对中的映射候选检测框的概率得分，则将所述第i个候选检测框对中的非边缘第一候选检测框作为所述第i个候选检测框对对应的目标候选检测框；若所述第i个候选检测框对中的非边缘第一候选检测框的概率得分小于等于所述第i个候选检测框对中的映射候选检测框的概率得分，则将所述第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为所述第i个候选检测框对对应的目标候选检测框；响应于所述重叠比例小于所述重叠阈值：将所述第i个候选检测框对中的非边缘第一候选检测框和所述第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为所述第i个候选检测框对对应的目标候选检测框；基于所述至少一个非边缘第一候选检测框、所述至少一个非边缘第二候选检测框和所述至少一个候选检测框对对应的目标候选检测框，确定所述P个目标检测框。

例如，在本公开至少一实施例提供的图像处理方法中，对所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框进行合并去重处理，以确定所述P个目标检测框，包括：基于所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框，确定至少一个候选检测框对，其中，每个候选检测框对包括一个非边缘第一候选检测框和一个映射候选检测框，且每个候选检测框对中的非边缘第一候选检测框和映射候选检测框至少部分重叠；针对所述至少一个候选检测框对中的第i个候选检测框对，获取所述第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠比例；响应于所述重叠比例大于等于重叠阈值：将所述第i个候选检测框对中的非边缘第一候选检测框或所述第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为所述第i个候选检测框对对应的目标候选检测框；响应于所述重叠比例小于所述重叠阈值：将所述第i个候选检测框对中的非边缘第一候选检测框和所述第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为所述第i个候选检测框对对应的目标候选检测框；基于所述至少一个非边缘第一候选检测框、所述至少一个非边缘第二候选检测框和所述至少一个候选检测框对对应的目标候选检测框，确定所述P个目标检测框。

例如，在本公开至少一实施例提供的图像处理方法中，基于所述至少一个非边缘第一候选检测框、所述至少一个非边缘第二候选检测框和所述至少一个候选检测框对对应的目标候选检测框，确定所述P个目标检测框，包括：响应于所述至少一个非边缘第一候选检测框还包括除了所述至少一个候选检测框对中的非边缘第一候选检测框之外的剩余非边缘第一候选检测框且所述至少一个非边缘第二候选检测框包括除了所述至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框之外的剩余非边缘第二候选检测框，将所述剩余非边缘第一候选检测框、所述剩余非边缘第二候选检测框以及所述至少一个候选检测框对对应的目标候选检测框作为所述P个目标检测框；或者，响应于所述至少一个非边缘第一候选检测框还包括除了所述至少一个候选检测框对中的非边缘第一候选检测框之外的剩余非边缘第一候选检测框，而所述至少一个非边缘第二候选检测框仅包括所述至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框，将所述剩余非边缘第一候选检测框以及所述至少一个候选检测框对对应的目标候选检测框作为所述P个目标检测框；或者，响应于所述至少一个非边缘第一候选检测框仅包括所述至少一个候选检测框对中的非边缘第一候选检测框，而所述至少一个非边缘第二候选检测框包括除了所述至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框之外的剩余非边缘第二候选检测框，将所述剩余非边缘第二候选检测框以及所述至少一个候选检测框对对应的目标候选检测框作为所述P个目标检测框。

例如，在本公开至少一实施例提供的图像处理方法中，所述重叠比例为所述第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的交并比。

例如，在本公开至少一实施例提供的图像处理方法中，基于所述N1个第一候选检测框和所述M1个第二候选检测框，确定P个目标检测框，还包括：在将所述至少一个非边缘第二候选检测框基于所述映射关系映射至所述输入图像之后，不能得到与所述至少一个非边缘第二候选检测框对应的映射候选检测框的情况下，将所述至少一个非边缘第一候选检测框和所述至少一个非边缘第二候选检测框作为所述P个目标检测框。

例如，在本公开至少一实施例提供的图像处理方法中，在N2等于N1时，基于所述N1个第一候选检测框和所述M1个第二候选检测框，确定P个目标检测框，包括：将所述M1个第二候选检测框作为所述P个目标检测框。

例如，本公开至少一实施例提供的图像处理方法还包括：在N1大于1时，响应于所述N1个第一候选检测框为所述目标检测模型首次对所述输入图像进行目标检测得到的候选检测框，且所述N1个第一候选检测框不包括边缘第一候选检测框：将所述N1个第一候选检测框作为所述P个目标检测框。

例如，本公开至少一实施例提供的图像处理方法还包括：在N1等于1时，响应于所述N1个第一候选检测框为所述目标检测模型首次对所述输入图像进行目标检测得到的候选检测框，将所述N1个第一候选检测框作为所述P个目标检测框。

例如，在本公开至少一实施例提供的图像处理方法中，根据所述P个目标检测框和所述输入图像，得到所述P个目标检测框在所述输入图像中的坐标，包括：响应于所述P个目标检测框包括至少一个第一候选检测框和至少一个第二候选检测框，将所述至少一个第二候选检测框映射至所述输入图像以得到所述至少一个第二候选检测框在所述输入图像中的坐标，以及获取所述至少一个第一候选检测框在所述输入图像中的坐标，响应于所述P个目标检测框仅包括第一候选检测框，获取所述P个目标检测框在所述输入图像中的坐标；响应于所述P个目标检测框仅包括第二候选检测框，将所述P个目标检测框映射至所述输入图像以得到所述P个目标检测框在所述输入图像中的坐标。

例如，本公开至少一实施例提供的图像处理方法还包括：响应于所述N1个第一候选检测框不是所述目标检测模型首次对所述输入图像进行目标检测得到的候选检测框：获取所述目标检测模型首次对所述输入图像进行目标检测以得到的至少一个第三候选检测框，基于所述N1个第一候选检测框和所述至少一个第三候选检测框，确定所述P个目标检测框。

例如，在本公开至少一实施例提供的图像处理方法中，在所述输入图像的宽度方向上，所述第一图像边缘与所述分割线之间的距离和所述第一图像边缘与所述第二图像边缘之间的距离的比值处于0.25到0.5之间。

例如，在本公开至少一实施例提供的图像处理方法中，所述距离阈值为20像素。

本公开至少一实施例还提供一种图像处理装置，包括：存储器，非瞬时性地存储有计算机可执行指令；处理器，配置为运行所述计算机可执行指令，其中，所述计算机可执行指令被所述处理器运行时实现根据上述任一实施例所述的图像处理方法。

本公开至少一实施例还提供一种非瞬时性存储介质，非瞬时性存储介质存储有计算机可执行指令，所述计算机可执行指令由计算机执行时可以执行根据上述任一实施例所述的图像处理方法。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1为本公开至少一实施例提供的一种图像处理方法的示意图；

图2A为本公开一些实施例提供的一种输入图像的示意图；

图2B为本公开一些实施例提供的对输入图像进行分割的示意图；

图3为图2B所示的输入图像对应的拼接后的输入图像的示意图；

图4A为本公开一些实施例提供的包括第一候选检测框的输入图像的一种示意图；

图4B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的一种示意图；

图4C为将图4B所示的非边缘第二候选检测框映射到图4A所示的输入图像时的示意图；

图5A为本公开一些实施例提供的包括第一候选检测框的输入图像的另一种示意图；

图5B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的另一种示意图；

图5C为将图5B所示的非边缘第二候选检测框映射到图5A所示的输入图像时的示意图；

图6A为本公开一些实施例提供的包括第一候选检测框的输入图像的又一种示意图；

图6B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的又一种示意图；

图6C为将图6B所示的非边缘第二候选检测框映射到图6A所示的输入图像时的示意图；

图7A为本公开一些实施例提供的包括第一候选检测框的输入图像的再一种示意图；

图7B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的再一种示意图；

图8A为本公开一些实施例提供的包括第一候选检测框的输入图像的再一种示意图；

图8B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的再一种示意图；

图9为本公开一实施例提供的一种图像处理装置的示意图；

图10为本公开至少一实施例提供的一种非瞬时性存储介质的示意图；

图11为本公开一实施例提供的一种电子装置的示意图。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。

全景图像是一种等距圆柱投影图，全景图像通过广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多地表现出周围的环境。全景图像具有360度环视的效果，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间并呈现给观看者。

由于全景图像自身的特点，场景中的目标物体可能分布在全景图像的边缘，例如，左右两侧边缘，从而导致在对全景图像进行目标检测时，对于被分割且处于全景图像的边缘的目标物体，只能检测出该目标物体的一部分，或者检测出两个物体，从而造成目标检测出现错误。当目标检测应用在图像分类、目标定位及检测、语义分割、实例分割等领域时，则可能造成图像分类不准确、目标定位不准确、语义分割不准确、实例分割不准确等问题。

本公开的至少一个实施例提供一种图像处理方法、图像处理装置和非瞬时性存储介质，该图像处理方法包括：获取输入图像，其中，输入图像为等距柱状投影图，在输入图像的宽度方向上，输入图像包括彼此相对的第一图像边缘和第二图像边缘；利用目标检测模型对输入图像进行检测，以得到N1个第一候选检测框；在N1大于1时，响应于N1个第一候选检测框为目标检测模型首次对输入图像进行目标检测得到的候选检测框，且N1个第一候选检测框中的一部分为N2个边缘第一候选检测框：将输入图像沿平行于第一图像边缘的分割线进行分割，以得到第一分割图像和第二分割图像，将第一分割图像和第二分割图像进行拼接以得到拼接后的输入图像，其中，在拼接后的输入图像的宽度方向上，第一图像边缘和第二图像边缘彼此直接相接，每个边缘第一候选检测框包括在输入图像的宽度方向上彼此相对的第一框边缘和第二框边缘，在输入图像中，第一框边缘和第一图像边缘之间的距离小于第二框边缘和第一图像边缘之间的距离，N2个边缘第一候选检测框包括第一边缘第一候选检测框和第二边缘第一候选检测框，第一边缘第一候选检测框的第一框边缘与第一图像边缘之间的距离小于等于距离阈值，第二边缘第一候选检测框的第二框边缘与第二图像边缘之间的距离小于等于距离阈值；利用目标检测模型对拼接后的输入图像进行检测，以得到M1个第二候选检测框；基于N1个第一候选检测框和M1个第二候选检测框，确定P个目标检测框；根据P个目标检测框和输入图像，得到P个目标检测框在输入图像中的坐标。P、N1、N2和M1均为正整数，且N2大于1。

在本公开的实施例中，利用转动图像的方法对原始输入图像进行转动以获得拼接后的输入图像，然后对拼接后的输入图像进行目标检测，并结合对原始输入图像进行目标检测的结果，从而可以使得处于原始输入图像的边缘处的物体能够被准确地检测，提高目标检测的准确性，解决在对全景图像进行目标检测时，处于全景图像的边缘的物体检测不准确的问题。

下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。

图1为本公开至少一实施例提供的一种图像处理方法的示意图。图2A为本公开一些实施例提供的一种输入图像的示意图；图2B为本公开一些实施例提供的对输入图像进行分割的示意图。

如图1所示，在本公开的一些实施例中，图像处理方法包括以下步骤S10-S13。

如图1所示，在步骤S10：获取输入图像。在步骤S10中，输入图像为等距柱状投影图，例如，输入图像为360度全景图像。输入图像可以为空间物体的图像，空间物体可以为房屋，例如，商品样板房等。

例如，如图2A所示，在一些实施例中，输入图像100的形状为矩形，输入图像100在其宽度方向X上的尺寸约为输入图像100在其高度方向Y上的尺寸的两倍，即输入图像100的宽高比为2:1。

例如，如图2A所示，在输入图像100的宽度方向X上，输入图像100包括彼此相对的第一图像边缘100A和第二图像边缘100B。第一图像边缘100A和第二图像边缘100B彼此大致平行。

如图1所示，在步骤S11：利用目标检测模型对输入图像进行检测，以得到N1个第一候选检测框。

例如，在步骤S11中，目标检测模型可以基于目标检测算法(Object Detection)的神经网络模型实现并且例如运行在通用计算装置或专用计算装置上，在一些实施例中，目标检测模型是基于卷积神经网络(CNN)、Faster-RCNN(Regions with CNN features)、或Mask-RCNN等模型实现的。

例如，每个第一候选检测框的形状可以为矩形。

例如，如图1所示，在N1大于1时，该图像处理方法执行步骤S12，在步骤S12中，响应于N1个第一候选检测框为目标检测模型首次对输入图像进行目标检测得到的候选检测框，且N1个第一候选检测框中的一部分为N2个边缘第一候选检测框，则执行以下步骤S121-S124。

步骤S121：将输入图像沿平行于第一图像边缘的分割线进行分割，以得到第一分割图像和第二分割图像。

步骤S122：将第一分割图像和第二分割图像进行拼接以得到拼接后的输入图像。

步骤S123：利用目标检测模型对拼接后的输入图像进行检测，以得到M1个第二候选检测框。

步骤S124：基于N1个第一候选检测框和M1个第二候选检测框，确定P个目标检测框。

例如，在步骤S121中，如图2B所示，可以将输入图像100沿分割线DL进行分割，以得到第一分割图像101和第二分割图像102。分割线DL平行于第一图像边缘100A。在输入图像100的宽度方向X上，第一分割图像101的彼此相对的边缘为第一图像边缘100A和分割线DL，第二分割图像102的彼此相对的边缘为第二图像边缘100B和分割线DL。第一分割图像101的形状和第二分割图像102的形状均为矩形。

需要说明的是，在本公开的实施例中，“分割线DL平行于第一图像边缘100A”表示分割线DL大致平行于第一图像边缘100A，也就是说，分割线DL可以完全平行于第一图像边缘100A，分割线DL和第一图像边缘100A之间也可以形成一定夹角，该夹角的范围可以根据实际情况确认，例如，该夹角可以为-10°到10°范围内。当分割线DL和第一图像边缘100A之间具有一定夹角时，第一分割图像101的形状和第二分割图像102的形状为梯形。

例如，如图2B所示，在输入图像100的宽度方向X上，第一图像边缘100A与分割线DL之间的距离d1和第一图像边缘100A与第二图像边缘100B之间的距离d2的比值处于0.25到0.5之间，包括0.25和0.5，此时，第一分割图像101的面积小于等于第二分割图像102的面积。例如，当d1和d2之间的比值为0.5时，第一分割图像101的形状和第二分割图像102的形状均为正方形，且第一分割图像101的面积和第二分割图像102的面积相等。

需要说明的是，本公开的实施例不限于此，在另一些实施例中，第二图像边缘100B与分割线DL之间的距离和第一图像边缘100A与第二图像边缘100B之间的距离d2的比值处于0.25到0.5之间，此时，第一分割图像101的面积则大于等于第二分割图像102的面积。

例如，如图2B所示，在输入图像的高度方向Y上，第一分割图像101包括位于两侧且彼此相对的边缘1011和边缘1012，第二分割图像102包括位于两侧且彼此相对的边缘1021和边缘1022，第一分割图像101的边缘1011和第二分割图像102包括边缘1021位于同一侧，第一分割图像101的边缘1012和第二分割图像102包括边缘1022位于同一侧。

图3为图2B所示的输入图像对应的拼接后的输入图像的示意图。

例如，在步骤S122中，如图3所示，在拼接后的输入图像200的宽度方向X'上，输入图像100的第一图像边缘100A和第二图像边缘100B彼此直接相接，此时，第一图像边缘100A和第二图像边缘100B位于拼接后的输入图像200的中间。例如，第一图像边缘100A在拼接后的输入图像200的宽度方向X'上的正投影和第二图像边缘100B在拼接后的输入图像200的宽度方向X'上的正投影彼此完全重叠。

例如，如图3所示，在拼接后的输入图像的高度方向Y'上，第一分割图像101的边缘1011和第二分割图像102的边缘1021仍然位于同一侧，第一分割图像101的边缘1012和第二分割图像102的边缘1022仍然位于同一侧。

例如，如图3所示，在拼接后的输入图像200的宽度方向X'上，拼接后的输入图像200包括彼此相对的第三图像边缘200A和第四图像边缘200B，第三图像边缘200A和第四图像边缘200B均为上述分割线DL。

例如，在步骤S121和步骤S122中，由于输入图像为全景图像，获取拼接后的输入图像的方式可以为将输入图像顺时针或逆时针转动一定的角度(90度～180度)后得到的等距柱状投影图。

例如，宽度方向X和宽度方向X'彼此平行，高度方向Y和拼接后的输入图像200的高度方向Y'也彼此平行。在一些实施例中，宽度方向X和宽度方向X'均为水平方向。高度方向Y和高度方向Y'均为竖直方向。

图4A为本公开一些实施例提供的包括第一候选检测框的输入图像的一种示意图，图4A所示的输入图像即为图2A和图2B所示的输入图像。

例如，如图4A所示，在一些实施例中，第一候选检测框的数量为3，即N1为3，N1个第一候选检测框中的2个第一候选检测框为第一候选检测框，即N1个第一候选检测框包括2个边缘第一候选检测框，N2为2。2个边缘第一候选检测框分别为边缘第一候选检测框t1和边缘第一候选检测框t2。

需要说明的是，在本公开的实施例中，N1个第一候选检测框可以被划分为边缘第一候选检测框和非边缘第一候选检测框，“N1个第一候选检测框中的一部分为N2个边缘第一候选检测框”表示N1个第一候选检测框中的N2个第一候选检测框为边缘第一候选检测框。

例如，每个边缘第一候选检测框包括在输入图像100的宽度方向X上彼此相对的第一框边缘和第二框边缘，如图4A所示，以边缘第一候选检测框t1为例，在输入图像100的宽度方向X上，边缘第一候选检测框t1包括彼此相对于的第一框边缘t11和第二框边缘t12。在输入图像100中，每个边缘第一候选检测框的第一框边缘(例如，图4A所示的第一框边缘t11)和第一图像边缘100A之间的距离小于每个边缘第一候选检测框的第二框边缘(例如，图4A所示的第二框边缘t12)和第一图像边缘100A之间的距离，即在宽度方向X上，每个边缘第一候选检测框的第一框边缘位于第一图像边缘100A和每个边缘第一候选检测框的第二框边缘之间。例如，在图4A所示的示例中，每个边缘第一候选检测框的第一框边缘为左侧框边缘，每个边缘第一候选检测框的第二框边缘为右侧框边缘。

例如，每个边缘第一候选检测框的第一框边缘和第二框边缘彼此平行，例如，在一些实施例中，边缘第一候选检测框的第一框边缘和第二框边缘可以平行于第一图像边缘100A，如图4A所示，边缘第一候选检测框t1的第一框边缘t11和第二框边缘t12均平行于第一图像边缘100A。需要说明的是，在另一些实施例中，边缘第一候选检测框的第一框边缘和第二框边缘可以不平行于第一图像边缘100A，此时，边缘第一候选检测框的第一框边缘和第一图像边缘100A之间的距离可以为该边缘第一候选检测框的第一框边缘和第一图像边缘100A之间的最小距离(或最大距离或平均距离)，边缘第一候选检测框的第二框边缘和第一图像边缘100A之间的距离也可以为该边缘第一候选检测框的第二框边缘和第一图像边缘100A之间的最小距离(或最大距离或平均距离)。

例如，N2个边缘第一候选检测框包括第一边缘第一候选检测框和第二边缘第一候选检测框，第一边缘第一候选检测框的第一框边缘与第一图像边缘之间的距离小于等于距离阈值，第二边缘第一候选检测框的第二框边缘与第二图像边缘之间的距离小于等于距离阈值。在图4A所示的实施例中，边缘第一候选检测框t1为第一边缘第一候选检测框，边缘第一候选检测框t2为第二边缘第一候选检测框。

需要说明的是，N2个边缘第一候选检测框包括至少一个第一边缘第一候选检测框和至少一个第二边缘第一候选检测框，也就是说，N2个边缘第一候选检测框中的一部分为第一边缘第一候选检测框，另一部分为第二边缘第一候选检测框。

例如，距离阈值为15～20像素，例如，15像素、20像素等。

例如，输入图像100的尺寸和拼接后的输入图像200的尺寸相同，从而在本公开的图像处理方法中，不会增加目标检测模型的计算量，可以提高计算速度，此外还可以节省内存。

例如，P、N1、N2和M1均为正整数，且N2大于1。

例如，在步骤S123中，利用目标检测模型对拼接后的输入图像进行检测的方式与步骤S11中利用目标检测模型对输入图像进行检测的方式相同。

例如，在一些实施例中，在N2小于N1时，步骤S124包括：获取M1个第二候选检测框中的至少一个非边缘第二候选检测框；获取N1个第一候选检测框中除了N2个边缘第一候选检测框之外的第一候选检测框以得到至少一个非边缘第一候选检测框；基于输入图像和拼接后的输入图像，确定拼接后的输入图像到输入图像的映射关系；在将至少一个非边缘第二候选检测框基于映射关系映射至输入图像，以得到与至少一个非边缘第二候选检测框对应的M2个映射候选检测框的情况下，对至少一个非边缘第一候选检测框和M2个映射候选检测框进行合并去重处理，以确定P个目标检测框。例如，M2为正整数。

例如，如图4A所示，N1个第一候选检测框的一个第一候选检测框t3为非边缘第一候选检测框，即N1个第一候选检测框包括非边缘第一候选检测框t3。

需要说明的是，在本公开的实施例中，M1个第二候选检测框可以被划分为边缘第二候选检测框和非边缘第二候选检测框。

例如，由于对输入图像和拼接后的输入图像进行检测时，可能出现对同一个目标物体进行检测以得到第一候选检测框和第二候选检测框，此时，则需要对该同一个目标物体对应的第一候选检测框和第二候选检测框进行去重处理，以避免检测错误。在一些实施例中，图像处理方法还可以包括：存储至少一个非边缘第一候选检测框，以供后续进行合并去重处理。例如，可以存储非边缘第一候选检测框的四个顶点的坐标。

需要说明的是，在目标检测模型进行目标检测时，目标检测模型可以输出多个坐标组，每个坐标组包括四个点的坐标，同时目标检测模型可以确定每个坐标组中的四个点的相对位置关系，由此，每个坐标组中的四个点即可以确定一个候选检测框(第一候选检测框或第二候选检测框)，也就是说，每个坐标组对应一个候选检测框。

图4B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的一种示意图，例如，图4B所示的拼接后的输入图像与图4A所示的输入图像对应，也就是说，图4B所示的拼接后的输入图像为对图4A所示的输入图像进行处理得到的图像，即图4B所示的拼接后的输入图像即为图3所示的拼接后的输入图像。

例如，如图4B所示，M1个第二候选检测框中的两个第二候选检测框p1和p2为非边缘第二候选检测框，即M1个第二候选检测框包括非边缘第二候选检测框p1和非边缘第二候选检测框p2。

例如，在拼接后的输入图像的宽度方向X'上，每个非边缘第二候选检测框包括彼此相对的第三框边缘和第四框边缘。例如，如图4B所示，以非边缘第二候选检测框p1为例，在拼接后的输入图像的宽度方向X'上，非边缘第二候选检测框p1包括彼此相对的第三框边缘p11和第四框边缘p12。

例如，在拼接后的输入图像中，第三框边缘和第三图像边缘200A之间的距离小于第四框边缘和第三图像边缘200B之间的距离，即在宽度方向X'上，每个非边缘第二候选检测框的第三框边缘位于第三图像边缘200A和每个非边缘第二候选检测框的第四框边缘之间。例如，在图4B所示的示例中，每个非边缘第二候选检测框的第三框边缘为左侧框边缘，每个非边缘第二候选检测框的第四框边缘为右侧框边缘。

例如，每个非边缘第二候选检测框的第三框边缘和第四框边缘彼此平行，例如，在一些实施例中，非边缘第二候选检测框的第三框边缘和第四框边缘可以平行于第三图像边缘200A，如图4B所示，非边缘第二候选检测框p1的第三框边缘p11和第四框边缘p12均平行于第三图像边缘200A。需要说明的是，在另一些实施例中，非边缘第二候选检测框的第三框边缘和第四框边缘可以不平行于第三图像边缘200A，此时，非边缘第二候选检测框的第三框边缘和第三图像边缘200A之间的距离可以为该非边缘第二候选检测框的第三框边缘和第三图像边缘200A之间的最小距离(或最大距离或平均距离)，非边缘第二候选检测框的第四框边缘和第三图像边缘200A之间的距离也可以为该非边缘第二候选检测框的第四框边缘和第三图像边缘200A之间的最小距离(或最大距离或平均距离)。

例如，每个非边缘第二候选检测框的第三框边缘与第三图像边缘之间的距离大于距离阈值，且每个非边缘第二候选检测框的第四框边缘与第四图像边缘之间的距离大于距离阈值。如图4B所示，非边缘第二候选检测框p1的第三框边缘p11与第三图像边缘200A之间的距离大于距离阈值，非边缘第二候选检测框p1的第四框边缘p12与第四图像边缘200B之间的距离大于距离阈值。

值得注意的是，在本公开的实施例中，边缘候选检测框(边缘第一候选检测框或边缘第二候选检测框)表示：在宽度方向(X或X')上，该边缘候选检测框的至少一个框边缘与一个图像边缘之间的距离小于等于距离阈值；而非边缘候选检测框(非边缘第一候选检测框或非边缘第二候选检测框)表示：在宽度方向(X或X')上，该边缘候选检测框的任何一个框边缘与任一图像边缘之间的距离均大于距离阈值。

图4C为将图4B所示的非边缘第二候选检测框映射到图4A所示的输入图像时的示意图。

例如，在一些实施例中，在步骤S124中，将非边缘第二候选检测框映射至输入图像的过程中，将非边缘第二候选检测框的四个顶点的坐标映射至输入图像中。如图4C所示，在将非边缘第二候选检测框p1映射至图4A所示的输入图像时，可以得到映射候选检测框pp1，而在将非边缘第二候选检测框p2映射至图4A所示的输入图像时，则得到非边缘第二候选检测框p2的四个顶点k1、k2、k3和k4分别对应的四个映射点kk1、kk2、kk3和kk4，基于四个顶点k1、k2、k3和k4之间的相对位置关系可知，顶点k1和k2位于顶点k3和k4的靠近非边缘第二候选检测框p1的一侧，即图中的左侧，顶点k3和k4位于顶点k1和k2的远离非边缘第二候选检测框p1的一侧，即图中的右侧，而在图4C中，顶点k1和k2对应的映射点kk1和kk2则位于顶点k3和k4对应的映射点kk3和kk4的远离映射候选检测框pp1的一侧，映射点kk3和kk4则位于映射点kk1和kk2的靠近映射候选检测框pp1的一侧，由此可知，该四个映射点kk1、kk2、kk3和kk4无法形成一个矩形框，此时，将非边缘第二候选检测框p2映射至图4A所示的输入图像时无法得到对应的映射候选检测框。

例如，在一些实施例中，在步骤S124中，对至少一个非边缘第一候选检测框和M2个映射候选检测框进行合并去重处理，以确定P个目标检测框，包括：基于至少一个非边缘第一候选检测框和M2个映射候选检测框，确定至少一个候选检测框对，其中，每个候选检测框对包括一个非边缘第一候选检测框和一个映射候选检测框，且每个候选检测框对中的非边缘第一候选检测框和映射候选检测框至少部分重叠；针对至少一个候选检测框对中的第i个候选检测框对，获取第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠比例；响应于重叠比例大于等于重叠阈值：获取目标检测模型输出的第i个候选检测框对中的非边缘第一候选检测框的概率得分和第i个候选检测框对中的映射候选检测框的概率得分；若第i个候选检测框对中的非边缘第一候选检测框的概率得分大于第i个候选检测框对中的映射候选检测框的概率得分，则将第i个候选检测框对中的非边缘第一候选检测框作为第i个候选检测框对对应的目标候选检测框；若第i个候选检测框对中的非边缘第一候选检测框的概率得分小于等于第i个候选检测框对中的映射候选检测框的概率得分，则将第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为第i个候选检测框对对应的目标候选检测框；响应于重叠比例小于重叠阈值：将第i个候选检测框对中的非边缘第一候选检测框和第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为第i个候选检测框对对应的目标候选检测框；基于至少一个非边缘第一候选检测框、至少一个非边缘第二候选检测框和至少一个候选检测框对对应的目标候选检测框，确定P个目标检测框。

例如，如图4C所示，映射候选检测框pp1和非边缘第一候选检测框t3构成一个候选检测框对。

例如，在对输入图像进行目标检测时，目标检测模型可以输出第一候选检测框以及该第一候选检测框对应的概率得分，该概率得分表示第一候选检测框包括目标物体的概率，例如，若需要检测输入图像中的电视机，则目标检测模型需要对输入图像进行目标检测以得到包括电视机的第一候选检测框，该第一候选检测框的概率得分则表示该第一候选检测框对应的区域包含电视机的概率。类似地，在对拼接后的输入图像进行目标检测时，目标检测模型可以输出第二候选检测框以及该第二候选检测框对应的概率得分。

例如，当第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠比例大于等于重叠阈值时，其表示第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠区域较大，则第i个候选检测框对中的非边缘第一候选检测框和第i个候选检测框对中的映射候选检测框对应的第二候选检测框很大概率是同一个目标物体的检测框，此时，可以根据第i个候选检测框对中的非边缘第一候选检测框的概率得分和映射候选检测框的概率得分确定第i个候选检测框对对应的目标候选检测框。

相反，当第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠比例小于重叠阈值时，其表示第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠区域较小，则第i个候选检测框对中的非边缘第一候选检测框和第i个候选检测框对中的映射候选检测框对应的第二候选检测框很大概率是不同目标物体的检测框，此时，第i个候选检测框对中的非边缘第一候选检测框和第i个候选检测框对中的映射候选检测框对应的第二候选检测框均作为第i个候选检测框对对应的目标候选检测框。

例如，在另一些实施例中，在步骤S124中，对至少一个非边缘第一候选检测框和M2个映射候选检测框进行合并去重处理，以确定P个目标检测框，包括：基于至少一个非边缘第一候选检测框和M2个映射候选检测框，确定至少一个候选检测框对，其中，每个候选检测框对包括一个非边缘第一候选检测框和一个映射候选检测框，且每个候选检测框对中的非边缘第一候选检测框和映射候选检测框至少部分重叠；针对至少一个候选检测框对中的第i个候选检测框对，获取第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠比例；响应于重叠比例大于等于重叠阈值：将第i个候选检测框对中的非边缘第一候选检测框或第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为第i个候选检测框对对应的目标候选检测框；响应于重叠比例小于重叠阈值：将第i个候选检测框对中的非边缘第一候选检测框和第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为第i个候选检测框对对应的目标候选检测框；基于至少一个非边缘第一候选检测框、至少一个非边缘第二候选检测框和至少一个候选检测框对对应的目标候选检测框，确定P个目标检测框。

例如，重叠阈值可以为0.8～1。

例如，重叠比例为第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的交并比(Intersection over Union，IOU)，即重叠比例为第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的交集与并集之间的比例。

例如，基于至少一个非边缘第一候选检测框、至少一个非边缘第二候选检测框和至少一个候选检测框对对应的目标候选检测框，确定P个目标检测框，包括：响应于至少一个非边缘第一候选检测框还包括除了至少一个候选检测框对中的非边缘第一候选检测框之外的剩余非边缘第一候选检测框且至少一个非边缘第二候选检测框包括除了至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框之外的剩余非边缘第二候选检测框，将剩余非边缘第一候选检测框、剩余非边缘第二候选检测框以及至少一个候选检测框对对应的目标候选检测框作为P个目标检测框；或者，响应于至少一个非边缘第一候选检测框还包括除了至少一个候选检测框对中的非边缘第一候选检测框之外的剩余非边缘第一候选检测框，而至少一个非边缘第二候选检测框仅包括至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框，将剩余非边缘第一候选检测框以及至少一个候选检测框对对应的目标候选检测框作为P个目标检测框；或者，响应于至少一个非边缘第一候选检测框仅包括至少一个候选检测框对中的非边缘第一候选检测框，而至少一个非边缘第二候选检测框包括除了至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框之外的剩余非边缘第二候选检测框，将剩余非边缘第二候选检测框以及至少一个候选检测框对对应的目标候选检测框作为P个目标检测框。

例如，在一些实施例中，如图4A-4C所示，至少一个非边缘第一候选检测框仅包括非边缘第一候选检测t3，至少一个非边缘第二候选检测框包括非边缘第二候选检测框p1和非边缘第二候选检测框p2，非边缘第二候选检测框p1对应映射候选检测框pp1，基于至少一个非边缘第一候选检测框和M2个映射候选检测框可以确定一个候选检测框对，该候选检测框对包括非边缘第一候选检测t3和映射候选检测框pp1，在这种情况下，至少一个非边缘第一候选检测框仅包括该候选检测框对中的非边缘第一候选检测框t3，而至少一个非边缘第二候选检测框包括除了该候选检测框对中的映射候选检测框pp1对应的非边缘第二候选检测框p1之外的剩余非边缘第二候选检测框，即非边缘第二候选检测框p2，此时，则可以将剩余非边缘第二候选检测框p2以及该候选检测框对对应的目标候选检测框作为P个目标检测框，例如，若该候选检测框对对应的目标候选检测框为非边缘第一候选检测t3，则剩余非边缘第二候选检测框p2以及非边缘第一候选检测t3作为P个目标检测框。

图5A为本公开一些实施例提供的包括第一候选检测框的输入图像的另一种示意图，图5B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的另一种示意图，图5C为将图5B所示的非边缘第二候选检测框映射到图5A所示的输入图像时的示意图。例如，图5B所示的拼接后的输入图像与图5A所示的输入图像对应。

例如，在一些实施例中，如图5A所示，输入图像110对应的第一候选检测框包括边缘第一候选检测框t4、边缘第一候选检测框t5、非边缘第一候选检测框t6和非边缘第一候选检测框t7，如图5B所示，拼接后的输入图像200'对应的第二候选检测框包括边缘第二候选检测框p3、边缘第二候选检测框p4、非边缘第二候选检测框p5和非边缘第二候选检测框p6。如图5C所示，在将非边缘第二候选检测框p5和非边缘第二候选检测框p6映射至拼接后的输入图像210之后，可以得到与非边缘第二候选检测框p6对应的映射候选检测框pp6。

例如，如图5A-5C所示，至少一个非边缘第一候选检测框包括非边缘第一候选检测框t6和非边缘第一候选检测框t7，至少一个非边缘第二候选检测框包括非边缘第二候选检测框p5和非边缘第二候选检测框p6，非边缘第二候选检测框p6对应映射候选检测框pp6，此时，基于至少一个非边缘第一候选检测框和M2个映射候选检测框可以确定一个候选检测框对，该候选检测框对包括非边缘第一候选检测t7和映射候选检测框pp6，在这种情况下，至少一个非边缘第一候选检测框包括该候选检测框对中的非边缘第一候选检测框t7，还包括除了该候选检测框对中的非边缘第一候选检测框t7之外的剩余非边缘第一候选检测框，即非边缘第一候选检测框t6，至少一个非边缘第二候选检测框包括除了该候选检测框对中的映射候选检测框pp6对应的非边缘第二候选检测框p6之外的剩余非边缘第二候选检测框，即非边缘第二候选检测框p5，此时，则可以将剩余非边缘第一候选检测框t6、剩余非边缘第二候选检测框p5以及该候选检测框对对应的目标候选检测框作为P个目标检测框，例如，若该候选检测框对对应的目标候选检测框为非边缘第二候选检测框p6，则剩余非边缘第一候选检测框t6、剩余非边缘第二候选检测框p5以及非边缘第二候选检测框p6作为P个目标检测框。

图6A为本公开一些实施例提供的包括第一候选检测框的输入图像的又一种示意图，图6B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的又一种示意图，图6C为将图6B所示的非边缘第二候选检测框映射到图6A所示的输入图像时的示意图。例如，图6B所示的拼接后的输入图像与图6A所示的输入图像对应。

例如，在一些实施例中，如图6A所示，输入图像120对应的第一候选检测框包括边缘第一候选检测框t8、边缘第一候选检测框t9、非边缘第一候选检测框t10和非边缘第一候选检测框t11，如图6B所示，拼接后的输入图像220对应的第二候选检测框包括边缘第二候选检测框p8、边缘第二候选检测框p9、边缘第二候选检测框p10和非边缘第二候选检测框p7。如图6C所示，在将非边缘第二候选检测框p7映射至拼接后的输入图像220之后，可以得到与非边缘第二候选检测框p7对应的映射候选检测框pp7。

例如，如图6A-6C所示，至少一个非边缘第一候选检测框包括非边缘第一候选检测框t10和非边缘第一候选检测框t11，至少一个非边缘第二候选检测框包括非边缘第二候选检测框p7，非边缘第二候选检测框p7对应映射候选检测框pp7，此时，基于至少一个非边缘第一候选检测框和M2个映射候选检测框可以确定一个候选检测框对，该候选检测框对包括非边缘第一候选检测t10和映射候选检测框pp7，在这种情况下，至少一个非边缘第一候选检测框包括该候选检测框对中的非边缘第一候选检测框t10，还包括除了该候选检测框对中的非边缘第一候选检测框t10之外的剩余非边缘第一候选检测框，即非边缘第一候选检测框t11，而至少一个非边缘第二候选检测框仅包括该候选检测框对中的映射候选检测框pp7对应的非边缘第二候选检测框p7，此时，则可以将剩余非边缘第一候选检测框t11以及该候选检测框对对应的目标候选检测框作为P个目标检测框，例如，该候选检测框对对应的目标候选检测框为非边缘第一候选检测t10和非边缘第二候选检测框p7，即剩余非边缘第一候选检测框t11、非边缘第一候选检测t10和非边缘第二候选检测框p7作为P个目标检测框。

需要说明的是，在图4C、图5C和图6C中，为了清楚示出每个候选检测框对中的非边缘第一候选检测框和映射候选检测框，每个候选检测框对中的非边缘第一候选检测框和映射候选检测框彼此并没有完全重叠，然而，应该知道的是，在一些情况下，候选检测框对中的非边缘第一候选检测框和映射候选检测框可以彼此完全重叠。

例如，在一些实施例中，步骤S124还包括：在将至少一个非边缘第二候选检测框基于映射关系映射至输入图像之后，不能得到与至少一个非边缘第二候选检测框对应的映射候选检测框的情况下，将至少一个非边缘第一候选检测框和至少一个非边缘第二候选检测框作为P个目标检测框。

图7A为本公开一些实施例提供的包括第一候选检测框的输入图像的再一种示意图，图7B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的再一种示意图。例如，图7B所示的拼接后的输入图像与图7A所示的输入图像对应。

例如，在一些实施例中，如图7A所示，输入图像130对应的第一候选检测框包括边缘第一候选检测框t12、边缘第一候选检测框t13和非边缘第一候选检测框t14，如图7B所示，拼接后的输入图像230对应的第二候选检测框包括边缘第二候选检测框p11、边缘第二候选检测框p12和非边缘第二候选检测框p13。在将非边缘第二候选检测框p13映射至拼接后的输入图像230之后，无法得到与非边缘第二候选检测框p13对应的映射候选检测框。在此情况下，可以直接将非边缘第一候选检测框t14和非边缘第二候选检测框p13作为P个目标检测框。

以上实施例描述了N2小于N1的情况，在一些实施例中，N2可以等于N1。例如，在N2等于N1时，步骤S124包括：将M1个第二候选检测框作为P个目标检测框。

图8A为本公开一些实施例提供的包括第一候选检测框的输入图像的再一种示意图，图8B为本公开一些实施例提供的包括第二候选检测框的拼接后的输入图像的再一种示意图。例如，图8B所示的拼接后的输入图像与图8A所示的输入图像对应。

例如，在一些实施例中，如图8A所示，输入图像140对应的第一候选检测框包括边缘第一候选检测框t15、边缘第一候选检测框t16和边缘第一候选检测框t17，即输入图像140对应的第一候选检测框不包括非边缘第一候选检测框。如图8B所示，拼接后的输入图像240对应的第二候选检测框包括非边缘第二候选检测框p14和非边缘第二候选检测框p15。若在将非边缘第二候选检测框p14和非边缘第二候选检测框p15映射至拼接后的输入图像240之后，无法得到与非边缘第二候选检测框p14和非边缘第二候选检测框p15对应的映射候选检测框，在此情况下，可以直接将拼接后的输入图像240对应的第二候选检测框(即非边缘第二候选检测框p14和非边缘第二候选检测框p15)作为P个目标检测框。需要说明的是，如图8A所示，虽然第一候选检测框t17可以对应一个完整的目标物体，即第一候选检测框t17中的目标物体并没有被分割为两部分，但是由于第一候选检测框t17的一侧框边缘(右侧边缘)和输入图像140的一个图像边缘(右侧边缘)之间的距离小于等于距离阈值，从而该第一候选检测框t17也为边缘第一候选检测框。

例如，如图8A和图8B所示，若N1个第一候选检测框均为边缘第一候选检测框，此时，即使将非边缘第二候选检测框p15映射至拼接后的输入图像240之后可以得到与非边缘第二候选检测框p15对应的映射候选检测框，此时，也可以直接将拼接后的输入图像240对应的第二候选检测框(即非边缘第二候选检测框p14和非边缘第二候选检测框p15)作为P个目标检测框。

例如，在一些实施例中，图像处理方法还包括：在N1大于1时，响应于N1个第一候选检测框为目标检测模型首次对输入图像进行目标检测得到的候选检测框，且N1个第一候选检测框不包括边缘第一候选检测框：将N1个第一候选检测框作为P个目标检测框。例如，在本公开的实施例中，若输入图像对应的所有第一候选检测框均不为边缘第一候选检测框，则可以直接将输入图像对应的所有第一候选检测框作为P个目标检测框。

以上实施例描述了N1大于1的情况，在一些实施例中，N1可以等于1。例如，在N1等于1时，图像处理方法还包括：响应于N1个第一候选检测框为目标检测模型首次对输入图像进行目标检测得到的候选检测框，将N1个第一候选检测框作为P个目标检测框。例如，当对输入图像进行目标检测仅得到一个第一候选检测框，则可能表示该输入图像仅包括一个目标物体，且该目标物体并没有被分割为两部分，则此时，可以直接将该一个第一候选检测框作为目标检测框。

例如，如图1所示，步骤S13：根据P个目标检测框和输入图像，得到P个目标检测框在输入图像中的坐标。

例如，步骤S13包括：响应于P个目标检测框包括至少一个第一候选检测框和至少一个第二候选检测框，将至少一个第二候选检测框映射至输入图像以得到至少一个第二候选检测框在输入图像中的坐标，以及获取至少一个第一候选检测框在输入图像中的坐标，响应于P个目标检测框仅包括第一候选检测框，获取P个目标检测框在输入图像中的坐标；响应于P个目标检测框仅包括第二候选检测框，将P个目标检测框映射至输入图像以得到P个目标检测框在输入图像中的坐标。

例如，在一些实施例中，图像处理方法还包括：响应于N1个第一候选检测框不是目标检测模型首次对输入图像进行目标检测得到的候选检测框：获取目标检测模型首次对输入图像进行目标检测以得到的至少一个第三候选检测框，基于N1个第一候选检测框和至少一个第三候选检测框，确定P个目标检测框。需要说明的是，关于基于N1个第一候选检测框和至少一个第三候选检测框，确定P个目标检测框的具体过程可以参看上面对于基于N1个第一候选检测框和M1个第二候选检测框确定P个目标检测框的说明，重复之处不再赘述。

在本公开的实施例中，通过对输入图像进行两次目标检测，从而可以使得处于原始输入图像的边缘处的物体能够被准确地检测，提高目标检测的准确性，解决在对全景图像进行目标检测时，处于全景图像的边缘的物体检测不准确的问题。

本公开的实施例提供的图像处理方法可以应用于行人计数、场景理解、空间识别、安防等领域，例如，基于本公开的实施例提供的图像处理方法可以确定空间场景(例如，房间、商场等空间)中的目标(例如，人)的数量，从而实现行人计数。此外，基于本公开的实施例提供的图像处理方法，还实现场景理解，例如，图像处理方法可以检测房间中的电视的数量、沙发的数量、冰箱的数量以及桌子的数量等，由此判断房间的类型，例如，客厅、厨房、卧室等。基于本公开的实施例提供的图像处理方法，还可以实现功能识别，例如，空间识别，有利于房屋的交易过程(例如，卖房、买房、租房等)，该的图像处理方法可以实现对房源进行智能分类，从而可以使得用户可以基于具体的要求准确找寻所有相关房源，例如，购房人在选择房屋时，仅仅对客厅有一定要求，则可以基于购房人的需要快速找到所有房源的客厅，以供购房人查看选择。再次，在安防领域，基于本公开的实施例提供的图像处理方法，可以计算人口密度、异常物体检测(例如，机场、商场等区域)、危险物品检测等。

本公开至少一实施例还提供一种图像处理装置。图9为本公开一实施例提供的一种图像处理装置的示意图。

例如，如图9所示，图像处理装置900可以包括存储器901和处理器902。应当注意，图9所示的图像处理装置900的组件只是示例性的，而非限制性的，根据实际应用需要，该图像处理装置900还可以具有其他组件。

例如，存储器901用于非瞬时性地存储有计算机可执行指令；处理器902用于运行计算机可执行指令，计算机可执行指令被处理器902运行时执行根据上述任一实施例所述的图像处理方法中的一个或多个步骤。

例如，处理器902和存储器901等组件之间可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。

例如，处理器902可以控制图像处理装置900中的其它组件以执行期望的功能。处理器902可以是中央处理单元(CPU)、张量处理器(TPU)或者图形处理器(GPU)等具有数据处理能力和/或程序执行能力的器件。中央处理元(CPU)可以为X86或ARM架构等。GPU可以单独地直接集成到主板上，或者内置于主板的北桥芯片中。GPU也可以内置于中央处理器(CPU)上。

例如，存储器901可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器902可以运行所述计算机可读指令，以实现图像处理装置900的各种功能。在存储介质中还可以存储各种应用程序和各种数据等。

例如，关于图像处理装置900执行图像处理方法的过程的详细说明可以参考图像处理方法的实施例中的相关描述，重复之处不再赘述。

图10为本公开至少一实施例提供的一种非瞬时性存储介质的示意图。例如，如图10所示，在非瞬时性存储介质1000上可以非暂时性地存储一个或多个计算机可执行指令1001。例如，当计算机可执行指令1001由处理器执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。

例如，该非瞬时性存储介质1000可以应用于上述图像处理装置中，例如，其可以包括图像处理装置中的存储器。

例如，关于非瞬时性存储介质1000的说明可以参图像处理装置900的实施例中对于存储器的描述，重复之处不再赘述。

下面参考图11，其示出了适于用来实现本公开实施例的电子装置600的结构示意图。本公开实施例中的图像处理装置可以包括但不限于诸如智能手机、笔记本电脑、PAD(平板电脑)等等的移动终端以及诸如台式计算机等等的固定终端。图11示出的电子装置600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。例如，本公开的实施例中的图像处理装置900可以应用在电子装置600上。

如图11所示，电子装置600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置606加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子装置600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；存储装置606；以及通信装置609。存储装置606可以包括不同形式的程序储存单元以及数据储存单元，例如磁带、硬盘、只读存储器(ROM)、随机存取存储器(RAM)，能够用于存储计算机处理和/或通信使用的各种数据文件，以及601所执行的可能的程序指令。通信装置609可以允许电子装置600与其他设备进行无线或有线通信以交换数据，例如发送和接收信息及数据。虽然图11示出了具有各种装置的电子装置600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机程序。例如，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置606被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的远程展示方法中限定的上述功能。

需要说明的是，本公开实施例提供的电子装置600可以采用安卓(Android)系统、IOS系统、Linux系统、Windows系统等。

对于本公开，还有以下几点需要说明：

(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。

(2)为了清晰起见，在用于描述本发明的实施例的附图中，层或结构的厚度和尺寸被放大。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”，或者可以存在中间元件。

(3)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，包括：

获取输入图像，其中，所述输入图像为等距柱状投影图，在所述输入图像的宽度方向上，所述输入图像包括彼此相对的第一图像边缘和第二图像边缘；

利用目标检测模型对所述输入图像进行检测，以得到N1个第一候选检测框；

在N1大于1时，响应于所述N1个第一候选检测框为所述目标检测模型首次对所述输入图像进行目标检测得到的候选检测框，且所述N1个第一候选检测框中的一部分为N2个边缘第一候选检测框：

将所述输入图像沿平行于所述第一图像边缘的分割线进行分割，

以得到第一分割图像和第二分割图像，

将所述第一分割图像和所述第二分割图像进行拼接以得到拼接后的输入图像，其中，在所述拼接后的输入图像的宽度方向上，所述第一图像边缘和所述第二图像边缘彼此直接相接，每个边缘第一候选检测框包括在所述输入图像的宽度方向上彼此相对的第一框边缘和第二框边缘，在所述输入图像中，所述第一框边缘和所述第一图像边缘之间的距离小于所述第二框边缘和所述第一图像边缘之间的距离，所述N2个边缘第一候选检测框包括第一边缘第一候选检测框和第二边缘第一候选检测框，所述第一边缘第一候选检测框的第一框边缘与所述第一图像边缘之间的距离小于等于距离阈值，所述第二边缘第一候选检测框的第二框边缘与所述第二图像边缘之间的距离小于等于所述距离阈值；

利用所述目标检测模型对所述拼接后的输入图像进行检测，以得到M1个第二候选检测框；

基于所述N1个第一候选检测框和所述M1个第二候选检测框，确定P个目标检测框；

根据所述P个目标检测框和所述输入图像，得到所述P个目标检测框在所述输入图像中的坐标，

其中，P、N1、N2和M1均为正整数，且N2大于1。

2.根据权利要求1所述的图像处理方法，其中，在N2小于N1时，

基于所述N1个第一候选检测框和所述M1个第二候选检测框，确定P个目标检测框，包括：

获取所述M1个第二候选检测框中的至少一个非边缘第二候选检测框，其中，在所述拼接后的输入图像的宽度方向上，所述拼接后的输入图像包括彼此相对的第三图像边缘和第四图像边缘，每个非边缘第二候选检测框包括在所述拼接后的输入图像的宽度方向上彼此相对的第三框边缘和第四框边缘，在所述拼接后的输入图像中，所述第三框边缘和所述第三图像边缘之间的距离小于所述第四框边缘和所述第三图像边缘之间的距离，每个非边缘第二候选检测框的第三框边缘与所述第三图像边缘之间的距离大于所述距离阈值，且每个非边缘第二候选检测框的第四框边缘与所述第四图像边缘之间的距离大于所述距离阈值；

获取所述N1个第一候选检测框中除了所述N2个边缘第一候选检测框之外的第一候选检测框以得到至少一个非边缘第一候选检测框；

基于所述输入图像和所述拼接后的输入图像，确定所述拼接后的输入图像到所述输入图像的映射关系；

在将所述至少一个非边缘第二候选检测框基于所述映射关系映射至所述输入图像，以得到与所述至少一个非边缘第二候选检测框对应的M2个映射候选检测框的情况下，对所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框进行合并去重处理，以确定所述P个目标检测框，

其中，M2为正整数。

3.根据权利要求2所述的图像处理方法，其中，对所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框进行合并去重处理，以确定所述P个目标检测框，包括：

基于所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框，确定至少一个候选检测框对，其中，每个候选检测框对包括一个非边缘第一候选检测框和一个映射候选检测框，且每个候选检测框对中的非边缘第一候选检测框和映射候选检测框至少部分重叠；

针对所述至少一个候选检测框对中的第i个候选检测框对，获取所述第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠比例；

响应于所述重叠比例大于等于重叠阈值：

获取所述目标检测模型输出的所述第i个候选检测框对中的非边缘第一候选检测框的概率得分和所述第i个候选检测框对中的映射候选检测框的概率得分；

若所述第i个候选检测框对中的非边缘第一候选检测框的概率得分大于所述第i个候选检测框对中的映射候选检测框的概率得分，则将所述第i个候选检测框对中的非边缘第一候选检测框作为所述第i个候选检测框对对应的目标候选检测框；

若所述第i个候选检测框对中的非边缘第一候选检测框的概率得分小于等于所述第i个候选检测框对中的映射候选检测框的概率得分，则将所述第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为所述第i个候选检测框对对应的目标候选检测框；

响应于所述重叠比例小于所述重叠阈值：将所述第i个候选检测框对中的非边缘第一候选检测框和所述第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为所述第i个候选检测框对对应的目标候选检测框；

基于所述至少一个非边缘第一候选检测框、所述至少一个非边缘第二候选检测框和所述至少一个候选检测框对对应的目标候选检测框，确定所述P个目标检测框。

4.根据权利要求2所述的图像处理方法，其中，对所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框进行合并去重处理，以确定所述P个目标检测框，包括：

基于所述至少一个非边缘第一候选检测框和所述M2个映射候选检测框，确定至少一个候选检测框对，其中，每个候选检测框对包括一个非边缘第一候选检测框和一个映射候选检测框，且每个候选检测框对中的非边缘第一候选检测框和映射候选检测框至少部分重叠；

针对所述至少一个候选检测框对中的第i个候选检测框对，获取所述第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的重叠比例；

响应于所述重叠比例大于等于重叠阈值：将所述第i个候选检测框对中的非边缘第一候选检测框或所述第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为所述第i个候选检测框对对应的目标候选检测框；

响应于所述重叠比例小于所述重叠阈值：将所述第i个候选检测框对中的非边缘第一候选检测框和所述第i个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框作为所述第i个候选检测框对对应的目标候选检测框；

基于所述至少一个非边缘第一候选检测框、所述至少一个非边缘第二候选检测框和所述至少一个候选检测框对对应的目标候选检测框，确定所述P个目标检测框。

5.根据权利要求3或4所述的图像处理方法，其中，基于所述至少一个非边缘第一候选检测框、所述至少一个非边缘第二候选检测框和所述至少一个候选检测框对对应的目标候选检测框，确定所述P个目标检测框，包括：

响应于所述至少一个非边缘第一候选检测框还包括除了所述至少一个候选检测框对中的非边缘第一候选检测框之外的剩余非边缘第一候选检测框且所述至少一个非边缘第二候选检测框包括除了所述至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框之外的剩余非边缘第二候选检测框，将所述剩余非边缘第一候选检测框、所述剩余非边缘第二候选检测框以及所述至少一个候选检测框对对应的目标候选检测框作为所述P个目标检测框；或者，

响应于所述至少一个非边缘第一候选检测框还包括除了所述至少一个候选检测框对中的非边缘第一候选检测框之外的剩余非边缘第一候选检测框，而所述至少一个非边缘第二候选检测框仅包括所述至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框，将所述剩余非边缘第一候选检测框以及所述至少一个候选检测框对对应的目标候选检测框作为所述P个目标检测框；或者，

响应于所述至少一个非边缘第一候选检测框仅包括所述至少一个候选检测框对中的非边缘第一候选检测框，而所述至少一个非边缘第二候选检测框包括除了所述至少一个候选检测框对中的映射候选检测框对应的非边缘第二候选检测框之外的剩余非边缘第二候选检测框，将所述剩余非边缘第二候选检测框以及所述至少一个候选检测框对对应的目标候选检测框作为所述P个目标检测框。

6.根据权利要求3或4所述的图像处理方法，其中，所述重叠比例为所述第i个候选检测框对中的非边缘第一候选检测框和映射候选检测框之间的交并比。

7.根据权利要求2所述的图像处理方法，其中，基于所述N1个第一候选检测框和所述M1个第二候选检测框，确定P个目标检测框，还包括：

在将所述至少一个非边缘第二候选检测框基于所述映射关系映射至所述输入图像之后，不能得到与所述至少一个非边缘第二候选检测框对应的映射候选检测框的情况下，将所述至少一个非边缘第一候选检测框和所述至少一个非边缘第二候选检测框作为所述P个目标检测框。

8.根据权利要求1所述的图像处理方法，其中，在N2等于N1时，

基于所述N1个第一候选检测框和所述M1个第二候选检测框，确定P个目标检测框，包括：

将所述M1个第二候选检测框作为所述P个目标检测框。

9.根据权利要求1所述的图像处理方法，还包括：在N1大于1时，响应于所述N1个第一候选检测框为所述目标检测模型首次对所述输入图像进行目标检测得到的候选检测框，且所述N1个第一候选检测框不包括边缘第一候选检测框：

将所述N1个第一候选检测框作为所述P个目标检测框。

10.根据权利要求1所述的图像处理方法，还包括：在N1等于1时，响应于所述N1个第一候选检测框为所述目标检测模型首次对所述输入图像进行目标检测得到的候选检测框，将所述N1个第一候选检测框作为所述P个目标检测框。

11.根据权利要求1-4和7-10中任一项所述的图像处理方法，其中，根据所述P个目标检测框和所述输入图像，得到所述P个目标检测框在所述输入图像中的坐标，包括：

响应于所述P个目标检测框包括至少一个第一候选检测框和至少一个第二候选检测框，将所述至少一个第二候选检测框映射至所述输入图像以得到所述至少一个第二候选检测框在所述输入图像中的坐标，以及获取所述至少一个第一候选检测框在所述输入图像中的坐标，

响应于所述P个目标检测框仅包括第一候选检测框，获取所述P个目标检测框在所述输入图像中的坐标；

响应于所述P个目标检测框仅包括第二候选检测框，将所述P个目标检测框映射至所述输入图像以得到所述P个目标检测框在所述输入图像中的坐标。

12.根据权利要求1所述的图像处理方法，还包括：

响应于所述N1个第一候选检测框不是所述目标检测模型首次对所述输入图像进行目标检测得到的候选检测框：

获取所述目标检测模型首次对所述输入图像进行目标检测以得到的至少一个第三候选检测框，

基于所述N1个第一候选检测框和所述至少一个第三候选检测框，确定所述P个目标检测框。

13.根据权利要求1-4和7-10中任一项所述的图像处理方法，其中，在所述输入图像的宽度方向上，所述第一图像边缘与所述分割线之间的距离和所述第一图像边缘与所述第二图像边缘之间的距离的比值处于0.25到0.5之间。

14.根据权利要求1-4和7-10中任一项所述的图像处理方法，其中，所述距离阈值为20像素。

15.一种图像处理装置，包括：

存储器，非瞬时性地存储有计算机可执行指令；

处理器，配置为运行所述计算机可执行指令，

其中，所述计算机可执行指令被所述处理器运行时实现根据权利要求1-14任一项所述的图像处理方法。

16.一种非瞬时性存储介质，其中，所述非瞬时性存储介质存储有计算机可执行指令，所述计算机可执行指令由计算机执行时可以执行根据权利要求1-14任一项所述的图像处理方法。

Images