CN114972769A - 图像处理方法、三维地图生成方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、三维地图生成方法、装置、电子设备、存储介质以及程序产品，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实等技术领域，可应用于三维感知、3D视觉等场景。具体实现方案为：对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合；根据多个特征点集合和多个线集合，从多个线集合中确定多个初始平行线组，每个初始平行线组包括彼此平行的多个线；确定多个初始平行线组中每个初始平行线组的平行线组类型，得到多个平行线组类型；以及基于多个平行线组类型，从多个初始平行线组中确定目标平行线组。

Description

图像处理方法、三维地图生成方法、装置、设备及介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实等技术领域，可应用于三维感知、3D(Dimensions)视觉等场景。具体涉及图像处理方法、三维地图生成方法、装置、电子设备、存储介质以及程序产品。

背景技术

计算机视觉技术为解放人力提供巨大潜力。计算机视觉是一门研究如何使用电子设备“看”的科学，即，利用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等的科学技术。利用计算机视觉技术，正确、快速地识别目标的特征信息，成为研究热点。

发明内容

本公开提供了一种图像处理方法、三维地图生成方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种图像处理方法，包括：对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合；根据上述多个特征点集合和上述多个线集合，从上述多个线集合中确定多个初始平行线组，每个上述初始平行线组包括彼此平行的多个线；确定上述多个初始平行线组中每个初始平行线组的平行线组类型，得到多个平行线组类型；以及基于上述多个平行线组类型，从上述多个初始平行线组中确定目标平行线组。

根据本公开的另一方面，提供了一种三维地图生成方法，包括：利用多个基准图像，确定三维地图空间中的目标三维特征点的初始位置信息；利用上述图像处理方法，从上述多个基准图像中确定多个平行线组；确定上述目标三维特征点和上述多个平行线组彼此之间的关联关系；以及基于上述关联关系修正上述目标三维特征点的初始位置信息，得到上述目标三维特征点的目标位置信息。

根据本公开的另一方面，提供了一种图像处理装置，包括：第一处理模块，用于对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合；第一确定模块，用于根据上述多个特征点集合和上述多个线集合，从上述多个线集合中确定多个初始平行线组，每个上述初始平行线组包括彼此平行的多个线；第三确定模块，用于确定上述多个初始平行线组中每个初始平行线组的平行线组类型，得到多个平行线组类型；以及第四确定模块，用于基于上述多个平行线组类型，从上述多个初始平行线组中确定目标平行线组。

根据本公开的另一方面，提供了一种三维地图生成装置，包括：位置确定模块，用于利用多个基准图像，确定三维地图空间中的目标三维特征点的初始位置信息；线组确定模块，用于利用上述图像处理装置，从上述多个基准图像中确定多个平行线组；关系确定模块，用于确定上述目标三维特征点和上述多个平行线组彼此之间的关联关系；以及修正模块，用于基于上述关联关系修正上述目标三维特征点的初始位置信息，得到上述目标三维特征点的目标位置信息。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如本公开的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如本公开的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如本公开的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用图像处理方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的图像处理方法的流程图；

图3示意性示出了根据本公开实施例的确定初始平行线组的示意图；

图4示意性示出了根据本公开实施例的多个初始平行线组的示意图；

图5示意性示出了根据本公开实施例的图像处理方法的流程的流程图；

图6示意性示出了根据本公开另一实施例的处理水平方向类型的初始平行线组的示意图；

图7示意性示出了根据本公开实施例的三维地图生成方法的流程图；

图8示意性示出了根据本公开实施例的图像处理装置的框图；

图9示意性示出了根据本公开实施例的三维地图生成装置的框图；以及

图10示意性示出了根据本公开实施例的适于实现图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种图像处理方法、三维地图生成方法、装置、电子设备、存储介质以及程序产品。

根据本公开的实施例，提供了一种图像处理方法，包括：对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合；根据多个特征点集合和多个线集合，从多个线集合中确定多个初始平行线组，每个初始平行线组包括彼此平行的多个线；确定多个初始平行线组中的每个初始平行线组的平行线组类型，得到多个平行线组类型；以及基于多个平行线组类型，从多个初始平行线组中确定目标平行线组。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图1示意性示出了根据本公开实施例的可以应用图像处理方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用图像处理方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的图像处理方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的图像处理方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的图像处理装置也可以设置于终端设备101、102、或103中。

或者，本公开实施例所提供的图像处理方法一般也可以由服务器105执行。相应地，本公开实施例所提供的图像处理装置一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，终端设备101、102、103可以通过装载的摄像装置直接获取目标对象的图像，生成待处理图像，也可以通过接收来自外源数据的方式获取待处理图像。然后将待处理图像发送给服务器105，由服务器105对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合；根据多个特征点集合和多个线集合，从多个线集合中确定多个初始平行线组，每个初始平行线组包括多个彼此平行的线；确定多个初始平行线组中每个初始平行线组的平行线组类型，得到多个平行线组类型；以及基于多个平行线组类型，从多个初始平行线组中确定目标平行线组。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群对待处理图像进行图像处理，并最终从多个初始平行线组中确定目标平行线组。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本公开实施例的图像处理方法的流程图。

如图2所示，该方法包括操作S210～S240。

在操作S210，对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合。

在操作S220，根据多个特征点集合和多个线集合，从多个线集合中确定多个初始平行线组，每个初始平行线组包括多个彼此平行的线。

在操作S230，确定多个初始平行线组中的每个初始平行线组的平行线组类型，得到多个平行线组类型。

在操作S240，基于多个平行线组类型，从多个初始平行线组中确定目标平行线组。

根据本公开的其他实施例，可以根据多个特征点集合和多个线集合，利用消失点法，例如基于射影几何中的消失点假设，多个平行线在2D射影空间中相交于同一点的原理，从多个线集合中确定多个初始平行线组，将多个初始平行线组作为三维空间中的目标平行线组。

根据本公开的其他实施例，还可以根据多个特征点集合和多个线集合，利用方向聚类方法，确定多个线集合中的每个线在三维空间中的线方向，基于线方向，对多个线集合中的多个线进行聚类，确定三维空间中的目标平行线组。

根据本公开的实施例，可以利用方向聚类方法或者消失点法，根据多个特征点集合和多个线集合，确定目标平行线组。

根据本公开的实施例，与消失点法或者方向聚类方法相比，采用本公开实施例提供的图像处理方法，能够将从多个线集合中确定的平行线组作为初始平行线组。根据平行线组类型对初始平行线组进行处理，得到目标平行线组。由此利用平行线组类型在初始平行线组的基础上，经过再次确定的方式得到目标平行线组。使得确定的目标平行线组的噪声小、误差小、且稳定性高。

根据本公开的实施例，根据多个特征点集合和多个线集合，从多个线集合中确定多个初始平行线组，可以利用消失点法或者聚类方法，但是并不局限于此，还可以利用如下图3所示的方法。

图3示意性示出了根据本公开实施例的确定初始平行线组的示意图。

如图3所示，对多个待处理图像310分别进行处理，得到多个待处理图像310中的每个待处理图像的特征点集合和线集合，进而得到与多个待处理图像310一一对应的多个特征点集合320和与多个待处理图像310一一对应的多个线集合330。针对多个待处理图像310中的待处理图像，基于待处理图像的线集合，确定彼此之间具有平行关系的多个初始平行线组340。

根据本公开的实施例，可以利用线提取方法从待处理图像中得到多个线提取结果。基于多个线提取结果，确定线集合。线集合中包括多个线提取结果，多个线提取结果中的每个线提取结果包括线段的两个端点的端点位置结果以及线段的长度结果。

根据本公开的实施例，线提取方法不做限定，例如，可以利用LSD(Line SegmentDetector)算法，但是并不局限于此，只要是能够从待处理图像中提取到线的线提取方法即可。

根据本公开的实施例，可以利用消失点方法，确定待处理图像的线集合中的彼此具有平行关系的多个初始平行线。多个初始平行线与消失点相交。在实际情况中，待处理图像中有可能存在多个消失点，每个消失点与多个初始平行线相交。例如，消失点A与多个A初始平行线相交，消失点B与多个B初始平行线相交，消失点C与多个C初始平行线相交。可以分别计算与多个消失点中每个消失点相交的线数量，将线数量大于相交线阈值的多个初始平行线作为待处理图像中具有平行关系的多个初始平行线。例如，多个C初始平行线的线数量和多个B初始平行线的线数量均大于相交线阈值。可以将多个C初始平行线作为待处理图像中具有平行关系的第一初始平行线集合，将多个B初始平行线作为待处理图像中具有平行关系的第二初始平行线集合。则与待处理图像相对应的初始平行线集合包括2个。如图3所示，得到多个待处理图像的多个初始平行线集合350。每个待处理图像中可以包括至少一个初始平行线集合。

根据本公开的实施例，多个初始平行线中每个初始平行线均可以利用二维直线方程表示。

根据本公开的实施例，可以基于待处理图像的特征点集合和线集合，确定特征点集合中的多个特征点与多个初始平行线彼此之间的点线匹配关系。

根据本公开的实施例，待处理图像中的特征点集合，可以用特征点提取方法，从待处理图像中提取得到。特征点提取方法不做限定，例如可以包括Harris(角点检测)方法、SIFT(Scale-invariant feature transform，尺度不变性特征变换)方法、SURF(SpeededUp Robust Features，SIFT改进版本)方法等。但是并不局限于此。还可以采用深度学习的方法来进行特征点提取，例如Super Point或者ASLFeat(Learning Local Features ofAccurate Shape and Localization)等特征点提取方法。特征点集合包括多个特征点，多个特征点中的每个特征点包括特征点位置和特征点描述符。

根据本公开的实施例，可以基于待处理图像的多个特征点和待处理图像的多个初始平行线，即初始平行线集合，确定待处理图像中的多个特征点与多个初始平行线彼此之间的点线匹配关系。

根据本公开的实施例，在二维坐标系下，可以基于特征点位置和多个初始平行线中每个初始平行线的直线方程，确定特征点与初始平行线之间的垂直距离d。可以基于垂直距离d来确定特征点与初始平行线之间的点线匹配关系。在确定垂直距离小于距离阈值的情况下，说明该特征点与该初始平行线相距很近，或者该特征点属于该初始平行线上的一点，则确定两者之间的点线匹配关系用于表征该特征点属于该初始平行线上。反之，在确定垂直距离大于或者等于距离阈值的情况下，确定两者之间的点线匹配关系用于表征该特征点与该初始平行线不相关。类似地，确定多个特征点与多个初始平行线彼此之间的点线匹配关系。

如图3所示，可以基于多个特征点集合320，确定多个待处理图像之间的特征点匹配关系370。

根据本公开的实施例，可以对多个待处理图像中的待处理图像的特征点进行特征点匹配，确定多个待处理图像中的待处理图像的特征点之间的特征点匹配关系。

根据本公开的实施例，基于点线匹配关系360和特征点匹配关系370，从多个初始平行线集合中确定多个初始平行线组340。

如图3所示，基于点线匹配关系360，可以确定待处理图像311中的多个初始平行线中的初始平行线3111上具有特征点P11，特征点P12以及特征点P12。可以确定待处理图像312中的多个初始平行线中的初始平行线3121上具有特征点P21，特征点P22以及特征点P23。

如图3所示，可以基于特征点匹配关系370，确定特征点P11与特征点P21为具有匹配关系的两个特征点，确定为同一个点。特征点P12与特征点P22为具有匹配关系的两个特征点，确定为同一个点。特征点P13与特征点P23为具有匹配关系的两个特征点，确定为同一个点。

如图3所示，基于点线匹配关系360和特征点匹配关系370，可以确定初始平行线3111和初始平行线3121为同一条线。则与初始平行线3111存在平行关系的多个初始平行线和与初始平行线3121存在平行关系的多个初始平行线，彼此之间存在平行关系。

根据本公开的实施例，利用待处理图像内的点、线之间的点线匹配关系，以及多个待处理图像中每个待处理图像的多个特征点之间的特征点匹配关系，将二维信息扩展到三维信息，由此使得确定的多个初始平行线组的精确度高。

图4示意性示出了根据本公开实施例的多个初始平行线组的示意图。

如图4所示，多个初始平行线组包括多个线。可以基于多个线中的每个线的多个三维特征点中的每个三维特征点的位置信息，确定多个线中的每个线的三维直线方程。可以设定多个线与足够大的球例如地球，的球表面410均存在相交点。以多个线中的每个线与球表面410之间的相交点作为标识点420、并结合多个线中的每个线的线方向例如含有方向的箭头(图未示)，来表示多个线。则通过本公开实施例提供的图像处理方法处理多个待处理图像，得到的多个初始平行线组。

如图4所示，多个初始平行线组中多个噪声线430。噪声线可以指：与多个初始平行线组中的任一初始平行线组中的多个线不平行的至少一个线。在对多个待处理图像进行图像处理的过程中，因噪声影响，可能会导致初始平行线组中存在噪声线的问题。

根据本公开的实施例，该噪声线的存在，将降低平行线的聚类效果，进而影响目标平行线组的应用。

根据本公开的实施例，针对多个初始平行线组中的每个初始平行线组，可以利用进一步处理的方式，从多个初始平行线组中将噪声线删除，保留目标平行线组，以提高目标平信线组的确定精度。

根据本公开的实施例，对初始平行线组进行处理时，可以针对初始平行线组的平行线组类型，确定目标处理模式，按照与初始平行线组相匹配的目标处理模式来进行处理。

例如，针对多个初始平行线组中的每个初始平行线组，基于与初始平行线组相匹配的平行线组类型，确定与初始平行线组相匹配的目标处理模式。按照目标处理模式，对初始平行线组进行处理，得到处理结果。基于多个处理结果，从多个初始平行线组中确定目标平行线组。

根据本公开的实施例，可以预先设定多个平行线组类型，并预先设定多个处理模式。多个平行线组类型可以与多个处理模式一一对应，建立多个平行线组类型与多个处理模式的映射关系。在确定初始平行线组的平行线组类型的情况下，根据映射关系，基于平行线组类型，确定与初始平行线组相匹配的目标处理模式。

根据本公开的实施例，为多个平行线组类型设置多个处理模式，可以为多种类型的初始平行线组设置对应的处理模式，使得处理范围广、且适应性强。按照与平行线组类型相匹配的目标处理模式来处理了初始平行线组中的多个线，使得处理具有针对性。

图5示意性示出了根据本公开另一实施例的图像处理方法的流程图。

如图5所示，该方法包括操作S510～S550。

在操作S510，针对多个初始平行线组中的每个初始平行线组，确定初始平行线组的线方向。

根据本公开的实施例，可以利用线方向来确定平行线组类型。例如，在获得多个初始平行线组中的多个线，以及多个线中的每个线的三维直线方程的情况下，确定多个初始平行线组中的每个初始平行线组的线方向，得到与多个初始平行线组一一对应的多个线方向。

根据本公开的实施例，多个线中的每个线的三维直线方程，可以通过线上的多个特征点的位置来确定。

根据本公开的实施例，可以基于多个特征点集合，确定三维特征点集合。基于三维特征点集合和点线匹配关系，确定初始平行线组的线方向，得到与多个初始平行线组一一对应的多个线方向。

根据本公开的实施例，可以利用特征点三角化方法，将多个特征点集合中具有特征点匹配关系的二维特征点进行关联，确定与具有匹配关系的多个二维特征点相对应的三维特征点。确定三维特征点的三维坐标系下的位置。基于点线匹配关系，确定初始平行线组中线的多个已知位置的三维特征点。由此确定多个线中的每个线的三维直线方程，进而确定每个初始平行线组的线方向。

在操作S520，基于线方向，确定初始平行线组的平行线类型。

根据本公开的实施例，可以预先按照线方向来划分平行线组类型。例如，将平行线组类型划分为竖直方向类型、水平方向类型、和倾斜方向类型。上述平行线组类型可以通过线方向来确定。针对线方向为与水平面平行的初始平行线组，将其平行线组类型确定为水平方向类型。针对线方向为与水平面垂直的初始平行线组，将其平行线组类型确定为竖直方向类型。针对线方向与水平面呈夹角的初始平行线组，将其平行线组类型确定为倾斜方向类型。

例如，按照上述的平行线组类型与线方向的映射关系，可以基于多个线中每个线的线方向，确定多个初始平行线组中的每个初始平行线组的平行线类型。

根据本公开的实施例，按照线方向来确定平行线组类型，可以与实际相结合，使得对噪声线的识别精准。

在操作S530，基于与初始平行线组相匹配的平行线组类型，确定与初始平行线组相匹配的目标处理模式。在确定目标处理模式为与竖直方向类型相匹配的模式的情况下，执行操作S541。在确定目标处理模式为与水平方向类型相匹配的模式的情况下，执行操作S542。在确定目标处理模式为与倾斜方向类型相匹配的模式的情况下，执行操作S543。

在操作S541，按照与竖直方向类型相匹配的目标处理模式，对初始平行线组进行处理，得到处理结果。

在操作S542，按照与水平方向类型相匹配的目标处理模式，对初始平行线组进行处理，得到处理结果。

在操作S543，按照与倾斜方向类型相匹配的目标处理模式，对初始平行线组进行处理，得到处理结果。

在操作S550，基于多个初始平行线组的多个处理结果，从多个初始平行线组中确定目标平行线组。

根据本公开的实施例，针对操作S541，可以将与竖直方向类型相匹配的目标处理模式设置为空的处理模式，即，对与竖直方向类型相匹配的初始平行线组不做处理，直接将该初始平行线组的处理结果确定为：用于表征初始平行线组中包括彼此平行的多个线。

根据本公开的实施例，针对操作S542，按照与水平方向类型相匹配的目标处理模式对初始平行线组进行处理，得到处理结果，可以包括：按照多个预定角度阈值，基于初始平行线组中的多个线中的每个线的线方向，确定多个预定角度阈值中每个预定角度阈值的线数量。基于每个预定角度阈值的线数量，得到处理结果。

根据本公开的实施例，水平方向类型的初始平行线组中的多个线均与水平面平行，但是与水平面平行的多个线彼此之间可能并不平行而是相交。在这种情况下，需要将与水平面平行、但是与多个线中的其他线相交的噪声线删除掉，精准地得到水平方向类型的多个平行线。

根据本公开的实施例，可以预先将360°分为N等份，每份为预定角度阈值，例如0°～10°的预定角度阈值或者0°～20°的预定角度阈值。只要是能够均分且能够合理地识别到噪声线的预定角度阈值即可。

根据本公开的实施例，基于初始平行线组中多个线中每个线的线方向，确定多个预定角度阈值中每个预定角度阈值的线数量。每个预定角度阈值的线数量为线方向满足预定角度阈值的线的数量。

根据本公开的实施例，将线数量最大的至少一组线作为多个平行线。

图6示意性示出了根据本公开实施例的处理水平方向类型的初始平行线组的示意图。

如图6所示，以与水平方向类型相匹配的初始平行线组与球表面的最大水平截面610相交为例。初始平行线组的多个线包括与X轴平行的多个平行线620，还包括与X轴相交的多个噪声线630。

如图6所示，可以预先设置多个预定角度阈值，例如多个预定角度阈值分别为0°～10°、10°～20°、...、350°～360°。基于多个线中每个线的线方向和多个预定角度阈值，生成线方向直方图640。线方向直方图640的横坐标为多个预定角度阈值，竖坐标为线数量。根据每个预定角度阈值对应的线数量，可以确定在预定角度阈值为(0°～10°)+(180°～190°)的线数量最多，则认为线方向为(0°～10°)+(180°～190°)的多个线为彼此平行的多个平行线。

根据本公开的实施例，在初始平行线组表征的为三维空间中的道路线或者机场跑道线等的多个线的情况下，则可能从与水平方向类型的初始平行线组中确定一个平行线组。但是并不局限于此。在初始平行线组表征的为三维空间的建筑例如商场、医院、学校等边界的多个线的情况下，则可能从水平方向类型的初始平行线组中确定多个平行线组例如两个平行线组。且两个平行线组彼此之间呈90°夹角关系。

根据本公开的实施例，可以统计(i*10)、和(i+18)*10线方向附近的线数量，(i+9)*10、和(i+27)*10方向附近的线数量，i为0、1、2、3、4、5、6、7、或者8。从水平方向类型的初始平行线组中确定两个平行线组。

根据本公开的实施例，在对初始平行线组按照目标处理模式进行处理的情况下，能够与实际情况紧密结合，使得处理精准的同时，提高处理效率。

根据本公开的实施例，针对操作S543，按照与倾斜方向类型相匹配的目标处理模式对初始平行线组进行处理，得到处理结果，可以包括：基于初始平行线中的多个线中的每个线的线方向，确定初始平行线组的方向方差。基于方向方差和预定方差阈值，得到处理结果。

根据本公开的实施例，倾斜方向类型的初始平行线组中，可能存在噪声线。在噪声线的线数量较多的情况下，将导致该初始平行线组的用于聚类的结果并不理想。可以利用初始平行线组的多个线中每个线的线方向，确定方向方差。在方向方差大于预定方差阈值的情况下，说明该初始平行线组的噪声线的线数量较多，则得到用于表征初始平行线组中包括多个噪声线的处理结果。可以将该初始平行线组删除。在方向方差小于或者等于预定方差阈值的情况下，说明该初始平行线组的噪声线的线数量较少，说明聚类效果好，则得到用于表征初始平行线组中包括彼此平行的多个线的处理结果。可以将初始平行线组中的多个线保留，进行后续处理。

根据本公开的实施例，方向方差可以利用方差公式计算得到，只要是能够基于方向方差，得到处理结果的计算方式即可，在此不再赘述。

根据本公开的实施例，针对上述操作S541、上述操作S542、以及上述操作S543中的至少一项，在确定处理结果用于表征初始平行线组中包括彼此平行的多个线的情况下，可以确定多个线的线数量。在确定线数量大于预定阈值的情况下，将多个线作为目标平行线组。

根据本公开的实施例，在确定处理结果用于表征初始平行线组中没有彼此平行的至少两个线的情况下，可以将该初始平行线组中的多个线作均作为噪声线，删除该初始平行线组。

根据本公开的实施例，对多个初始平行线组中的每个初始平行线组按照目标处理模式进行处理，得到处理结果，实现由线集合聚类为初始平行线组、由初始平行线组聚类为彼此平行的多个线的多级聚类，进而使得目标平行线组的确定在保证具有针对性的同时，提高聚类精度。此外，在得到彼此平行的多个线的情况下，可以利用预定线数量阈值对彼此平行的多个线进行筛选，保证目标平行线组的线数量，由此来进一步保证聚类准确度。

图7示意性示出了根据本公开实施例的三维地图生成方法的流程图。

如图7所示，该方法包括操作S710～S740。

在操作S710，利用多个基准图像，确定三维地图空间中的目标三维特征点的初始位置信息。

在操作S720，利用图像处理方法，从多个基准图像中确定多个平行线组。

在操作S730，确定目标三维特征点和多个平行线组彼此之间的关联关系。

在操作S740，基于关联关系修正目标三维特征点的初始位置信息，得到目标三维特征点的目标位置信息。

根据本公开的实施例，利用上述方式生成的三维地图，可以从多个基准图像中确定多个平行线组，可以可应用于与建筑相关的三维地图的生成场景中，例如应用于室内或者室外的商区的点线地图联合构建的场景中。

根据本公开的其他实施例，可以利用多个基准图像，根据三角化方法，确定三维地图空间中的目标三维特征点的位置信息，将该位置信息作为目标三维特征点的目标位置信息。

根据本公开的实施例，还可以将利用三角化方法得到的三维地图空间中的目标三维特征点的位置信息，作为目标三维特征点的初始目标位置信息。利用本公开实施例提供的图像处理方法，确定多个平行线组，以及多个平行线组与目标三维特征点彼此之间的关联关系。该关联关系可以指点线匹配关系。例如，利用目标三维特征点与多个平行线组彼此之间的关联关系，可以确定目标三维特征点是否位于多个平行线组中的一个目标线。在确定目标三维特征点为目标线的一个点的情况下，可以利用目标线的三维直线方程，来修正目标三维特征点的初始目标位置信息，由此得到目标三维特征点的目标位置信息。

根据本公开的实施例，与仅利用三角化方法得到三维地图中的三维特征点的目标位置信息相比，利用本公开实施例提供的三维地图生成方法，能够对初始位置信息进行修正，使得得到的目标位置信息更为精准，进而有利于提升三维地图的生成质量。

图8示意性示出了根据本公开实施例的图像处理装置的框图。

如图8所示，图像处理装置800，包括：第一处理模块810、第一确定模块820、第三确定模块830、第四确定模块840。

第一处理模块810，用于对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合。

第一确定模块820，用于根据多个特征点集合和多个线集合，从多个线集合中确定多个初始平行线组，每个初始平行线组包括彼此平行的多个线。

第三确定模块830，用于确定多个初始平行线组中每个初始平行线组的平行线组类型，得到多个平行线组类型。

第四确定模块840，用于基于多个平行线组类型，从多个初始平行线组中确定目标平行线组。

根据本公开的实施例，第三确定模块包括：方向确定单元、类型确定单元。

方向确定单元，用于针对多个初始平行线组中每个初始平行线组，确定初始平行线组的线方向。

类型确定单元，用于基于线方向，确定初始平行线组的平行线组类型。

根据本公开的实施例，第四确定模块包括：模式确定单元、处理单元、线组确定单元。

针对多个初始平行线组中的每个初始平行线组。

模式确定单元，用于基于与初始平行线组相匹配的平行线组类型，确定与初始平行线组相匹配的目标处理模式。

处理单元，用于按照目标处理模式，对初始平行线组进行处理，得到处理结果。

线组确定单元，用于基于多个处理结果，从多个初始平行线组中确定目标平行线组。

根据本公开的实施例，线组确定单元包括：第一线数量确定子单元、线组确定子单元。

针对多个初始平行线组中的每个初始平行线组。

第一线数量确定子单元，用于在确定初始平行线组的处理结果用于表征初始平行线组中包括彼此平行的多个线的情况下，确定多个线的线数量。

线组确定子单元，用于在确定线数量大于预定阈值的情况下，将多个线作为目标平行线组。

根据本公开的实施例，平行线组类型包括倾斜方向类型，倾斜方向类型用于表征初始平行线组的线方向与水平面呈夹角的类型。

根据本公开的实施例，处理单元包括：方差确定子单元、第一结果确定子单元。

方差确定子单元，用于基于初始平行线组中的多个线中每个线的线方向，确定初始平行线组的方向方差。

第一结果确定子单元，用于基于方向方差和预定方差阈值，得到处理结果，其中，处理结果用于表征初始平行线组中是否包括彼此平行的多个线。

根据本公开的实施例，平行线组类型包括水平方向类型，其中，水平方向类型用于表征初始平行线组的平行线与水平面平行的类型。

根据本公开的实施例，处理单元包括：第二线数量确定子单元、第二结果确定子单元。

第二线数量确定子单元，用于按照多个预定角度阈值，基于初始平行线组中的多个线中每个线的线方向，确定多个预定角度阈值中每个预定角度阈值的线数量，得到多个线数量，其中，每个线数量用于表征线方向与预定角度阈值相匹配的线的数量。

第二结果确定子单元，用于基于多个线数量，得到处理结果，其中，处理结果用于表征初始平行线组中是否包括彼此平行的多个线。

根据本公开的实施例，第一确定模块包括：第一确定单元、第二确定单元、第三确定单元、第四确定单元。

针对多个待处理图像中的每个待处理图像。

第一确定单元，用于基于待处理图像的线集合，确定具有平行关系的多个初始平行线，得到初始平行线集合。

第二确定单元，用于基于待处理图像的特征点集合和线集合，确定特征点集合中的多个特征点与多个初始平行线彼此之间的点线匹配关系。

第三确定单元，用于确定多个特征点集合中的多个特征点之间的特征点匹配关系。

第四确定单元，用于基于点线匹配关系和特征点匹配关系，从多个初始平行线集合中确定多个初始平行线组。

根据本公开的实施例，方向确定单元包括：集合确定子单元、方向确定子单元。

集合确定子单元，用于基于多个特征点集合，确定三维特征点集合。

方向确定子单元，用于基于三维特征点集合和点线匹配关系，确定初始平行线组的线方向。

图9示意性示出了根据本公开实施例的三维地图生成装置的框图。

如图9所示，三维地图生成装置900包括：位置确定模块910、线组确定模块920、关系确定模块930、修正模块940。

位置确定模块910，用于利用多个基准图像，确定三维地图空间中的目标三维特征点的初始位置信息。

线组确定模块920，用于利用图像处理装置，从多个基准图像中确定多个平行线组。

关系确定模块930，用于确定目标三维特征点和多个平行线组彼此之间的关联关系。

修正模块940，用于基于关联关系修正目标三维特征点的初始位置信息，得到目标三维特征点的目标位置信息。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例的方法。

图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像处理方法或者三维地图生成方法。例如，在一些实施例中，图像处理方法或者三维地图生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的图像处理方法或者三维地图生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法或者三维地图生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种图像处理方法，包括：

对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合；

根据所述多个特征点集合和所述多个线集合，从所述多个线集合中确定多个初始平行线组，每个所述初始平行线组包括彼此平行的多个线；

确定所述多个初始平行线组中每个初始平行线组的平行线组类型，得到多个平行线组类型；以及

基于所述多个平行线组类型，从所述多个初始平行线组中确定目标平行线组。

2.根据权利要求1所述的方法，其中，所述确定所述多个初始平行线组中每个初始平行线组的平行线组类型，得到多个平行线组类型，包括：

针对所述多个初始平行线组中每个初始平行线组，确定所述初始平行线组的线方向；以及

基于所述线方向，确定所述初始平行线组的平行线组类型。

3.根据权利要求2所述的方法，其中，所述基于所述多个平行线组类型，从所述多个初始平行线组中确定目标平行线组，包括：

针对所述多个初始平行线组中的每个初始平行线组，

基于与所述初始平行线组相匹配的平行线组类型，确定与所述初始平行线组相匹配的目标处理模式；

按照所述目标处理模式，对所述初始平行线组进行处理，得到处理结果；以及

基于多个所述处理结果，从所述多个初始平行线组中确定目标平行线组。

4.根据权利要求3所述的方法，其中，所述基于多个所述处理结果，从所述多个初始平行线组中确定目标平行线组，包括：

针对所述多个初始平行线组中的每个初始平行线组，

在确定所述初始平行线组的处理结果用于表征所述初始平行线组中包括彼此平行的多个线的情况下，确定所述多个线的线数量；以及

在确定所述线数量大于预定阈值的情况下，将所述多个线作为所述目标平行线组。

5.根据权利要求3或4所述的方法，其中，所述平行线组类型包括倾斜方向类型，所述倾斜方向类型用于表征所述初始平行线组的线方向与水平面呈夹角的类型；

所述按照所述目标处理模式，对所述初始平行线组进行处理，得到处理结果，包括：

基于所述初始平行线组中的多个线中每个线的线方向，确定所述初始平行线组的方向方差；以及

基于所述方向方差和预定方差阈值，得到所述处理结果，其中，所述处理结果用于表征所述初始平行线组中是否包括彼此平行的多个线。

6.根据权利要求3或4所述的方法，其中，所述平行线组类型包括水平方向类型，其中，所述水平方向类型用于表征所述初始平行线组的平行线与水平面平行的类型；

所述按照所述目标处理模式，对所述初始平行线组进行处理，得到处理结果，包括：

按照多个预定角度阈值，基于所述初始平行线组中的多个线中每个线的线方向，确定所述多个预定角度阈值中每个预定角度阈值的线数量，得到多个线数量，其中，每个所述线数量用于表征线方向与预定角度阈值相匹配的线的数量；以及

基于所述多个线数量，得到所述处理结果，其中，所述处理结果用于表征所述初始平行线组中是否包括彼此平行的多个线。

7.根据权利要求2所述的方法，其中，所述根据所述多个特征点集合和所述多个线集合，从所述多个线集合中确定多个初始平行线组，包括：

针对所述多个待处理图像中的每个待处理图像，

基于所述待处理图像的线集合，确定具有平行关系的多个初始平行线，得到初始平行线集合；

基于所述待处理图像的特征点集合和所述线集合，确定所述特征点集合中的多个特征点与所述多个初始平行线彼此之间的点线匹配关系；

确定所述多个特征点集合中的多个特征点之间的特征点匹配关系；以及

基于所述点线匹配关系和所述特征点匹配关系，从多个所述初始平行线集合中确定所述多个初始平行线组。

8.根据权利要求7所述的方法，其中，所述针对所述多个初始平行线组中每个初始平行线组，确定所述初始平行线组的线方向，包括：

基于所述多个特征点集合，确定三维特征点集合；以及

基于所述三维特征点集合和所述点线匹配关系，确定所述初始平行线组的线方向。

9.一种三维地图生成方法，包括：

利用多个基准图像，确定三维地图空间中的目标三维特征点的初始位置信息；

利用所述权利要求1至8中任一项所述的图像处理方法，从所述多个基准图像中确定多个平行线组；

确定所述目标三维特征点和所述多个平行线组彼此之间的关联关系；以及

基于所述关联关系修正所述目标三维特征点的初始位置信息，得到所述目标三维特征点的目标位置信息。

10.一种图像处理装置，包括：

第一处理模块，用于对多个待处理图像分别进行处理，得到多个特征点集合和多个线集合；

第一确定模块，用于根据所述多个特征点集合和所述多个线集合，从所述多个线集合中确定多个初始平行线组，每个所述初始平行线组包括彼此平行的多个线；

第三确定模块，用于确定所述多个初始平行线组中每个初始平行线组的平行线组类型，得到多个平行线组类型；以及

第四确定模块，用于基于所述多个平行线组类型，从所述多个初始平行线组中确定目标平行线组。

11.根据权利要求10所述的装置，其中，所述第三确定模块包括：

方向确定单元，用于针对所述多个初始平行线组中每个初始平行线组，确定所述初始平行线组的线方向；

类型确定单元，用于基于所述线方向，确定所述初始平行线组的平行线组类型。

12.根据权利要求11所述的装置，其中，所述第四确定模块包括：

针对所述多个初始平行线组中的每个初始平行线组，

模式确定单元，用于基于与所述初始平行线组相匹配的平行线组类型，确定与所述初始平行线组相匹配的目标处理模式；

处理单元，用于按照所述目标处理模式，对所述初始平行线组进行处理，得到处理结果；以及

线组确定单元，用于基于多个所述处理结果，从所述多个初始平行线组中确定目标平行线组。

13.根据权利要求12所述的装置，其中，所述线组确定单元包括：

针对所述多个初始平行线组中的每个初始平行线组，

第一线数量确定子单元，用于在确定所述初始平行线组的处理结果用于表征所述初始平行线组中包括彼此平行的多个线的情况下，确定所述多个线的线数量；以及

线组确定子单元，用于在确定所述线数量大于预定阈值的情况下，将所述多个线作为所述目标平行线组。

14.根据权利要求12或13所述的装置，其中，所述平行线组类型包括倾斜方向类型，所述倾斜方向类型用于表征所述初始平行线组的线方向与水平面呈夹角的类型；

所述处理单元包括：

方差确定子单元，用于基于所述初始平行线组中的多个线中每个线的线方向，确定所述初始平行线组的方向方差；以及

第一结果确定子单元，用于基于所述方向方差和预定方差阈值，得到所述处理结果，其中，所述处理结果用于表征所述初始平行线组中是否包括彼此平行的多个线。

15.根据权利要求12或13所述的装置，其中，所述平行线组类型包括水平方向类型，其中，所述水平方向类型用于表征所述初始平行线组的平行线与水平面平行的类型；

所述处理单元包括：

第二线数量确定子单元，用于按照多个预定角度阈值，基于所述初始平行线组中的多个线中每个线的线方向，确定所述多个预定角度阈值中每个预定角度阈值的线数量，得到多个线数量，其中，每个所述线数量用于表征线方向与预定角度阈值相匹配的线的数量；以及

第二结果确定子单元，用于基于所述多个线数量，得到处理结果，其中，所述处理结果用于表征所述初始平行线组中是否包括彼此平行的多个线。

16.根据权利要求11所述的装置，其中，所述第一确定模块包括：

针对所述多个待处理图像中的待处理图像，

第一确定单元，用于基于所述待处理图像的线集合，确定具有平行关系的多个初始平行线，得到初始平行线集合；

第二确定单元，用于基于所述待处理图像的特征点集合和所述线集合，确定所述特征点集合中的多个特征点与所述多个初始平行线彼此之间的点线匹配关系；

第三确定单元，用于确定所述多个特征点集合中的多个特征点之间的特征点匹配关系；以及

第四确定单元，用于基于所述点线匹配关系和所述特征点匹配关系，从多个所述初始平行线集合中确定所述多个初始平行线组。

17.根据权利要求16所述的装置，其中，所述方向确定单元包括：

集合确定子单元，用于基于所述多个特征点集合，确定三维特征点集合；以及

方向确定子单元，用于基于所述三维特征点集合和所述点线匹配关系，确定所述初始平行线组的线方向。

18.一种三维地图生成装置，包括：

位置确定模块，用于利用多个基准图像，确定三维地图空间中的目标三维特征点的初始位置信息；

线组确定模块，用于利用所述权利要求10至17中任一项所述的图像处理装置，从所述多个基准图像中确定多个平行线组；

关系确定模块，用于确定所述目标三维特征点和所述多个平行线组彼此之间的关联关系；以及

修正模块，用于基于所述关联关系修正所述目标三维特征点的初始位置信息，得到所述目标三维特征点的目标位置信息。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的方法。

Images