CN110246163B - 图像处理方法及其装置、设备、计算机存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法及其装置、设备、计算机存储介质，其中，所述方法包括：获取待识别图像的第一特征点集合；基于所述第一特征点集合与各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像；获取所述目标参考图像的中各个第二特征点的三维空间信息；基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息。

Description

图像处理方法及其装置、设备、计算机存储介质

技术领域

本申请涉及图像处理领域，涉及但不限于一种图像处理方法及其装置、设备、计算机存储介质。

背景技术

增强现实(Augmented Reality，AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着AR技术的发展，在AR眼镜的应用也越来越广泛。在AR眼镜的应用场景中，首先需要识别出物体，然后才能准确地计算出物体相对采集装置的位姿，再根据位姿信息做进一步的虚实叠加处理。显然，三维物体识别和确定采集装置的位姿是非常核心的环节。

目前，在确定与待识别图像匹配的特征点时，是直接将待识别图像中的各个特征点与特征库中的特征点依次进行匹配。但是特征库中的特征点数量很大，匹配很耗时。而且特征库中的特征点是由不同角度的物体图像提取得到的，这些特征点交杂在一起，与识别图像进行匹配，会有巨大的信息冗余，错误匹配的情况也会增多。

发明内容

有鉴于此，本申请实施例提供一种图像处理方法及其装置、设备、计算机存储介质。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，包括：

获取待识别图像的第一特征点集合；

基于所述第一特征点集合与各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像；

获取所述目标参考图像的中各个第二特征点的三维空间信息；

基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息。

本申请实施例提供一种图像处理装置，包括：

第一获取模块，用于获取待识别图像的第一特征点集合；

第一确定模块，用于基于所述第一特征点集合与各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像；

第二获取模块，用于获取所述目标参考图像的中各个第二特征点的三维空间信息；

第二确定模块，用于基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息。

本申请实施例提供一种图像处理设备，包括：

处理器和配置为存储可执行指令的存储介质，其中：所述处理器配置为执行存储的可执行指令；

所述可执行指令配置为执行本申请实施例提供的图像处理方法。

本申请实施例提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行本申请实施例所提供的图像处理方法。

本申请实施例提供一种图像处理方法及其装置、设备、计算机存储介质，其中，在获取到待识别图像的第一特征点集合之后，是将第一特征点集合与对应于各个参考图像的第二特征点进行特征匹配，在确定出与待识别图像匹配的目标参考图像之后，再将目标参考图像中与各个第一特征点匹配的第二特征点的三维空间信息确定为相应第一特征点的三维空间信息，进而再利用第一特征点的二维位置信息、三维空间信息和采集装置的内部参数信息确定出采集装置采集所述待识别图像时的位置姿态信息，由于在确定与第一特征点匹配的第二特征点时不是与特征库中所有的特征点进行特征匹配，从而能够减少信息冗余量，还能够提高识别准确性和识别效率。

附图说明

图1A为本申请实施例图像处理方法的一种网络架构示意图；

图1B为本申请实施例图像处理方法的另一种网络架构示意图；

图2为本申请实施例图像处理方法的一种实现流程示意图；

图3为本申请实施例生成参考图像特征库的实现流程示意图；

图4为本申请实施例图像处理方法的另一种实现流程示意图；

图5为本申请实施例图像处理方法的再一个实现流程示意图；

图6为本申请实施例特征匹配的实现流程示意图；

图7为本申请实施例图像处理装置的组成结构示意图；

图8为本申请实施例图像处理设备的组成结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

图1A为本申请实施例图像处理方法的一种网络架构示意图，如图1A所示，在该网络架构中，包括：终端101和服务器102。其中，终端101可以是移动电话(手机)、平板电脑、笔记本电脑等具有无线通信能力的移动终端，还可以是AR眼镜。终端101至少包括采集装置，用户可以通过终端101中的采集装置采集图像。再图1A中示例性的将终端101以AR眼镜的形式示出。服务器102可以是指一台服务器，也可以是由多台服务器构成的服务器集群、云计算中心等等，在此不加以限定。终端101和服务器102通过网络建立有通信连接，该网络可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。

在该网络架构中，可以是由终端101采集待识别图像，然后将待识别图像发送给服务器102，进而由服务器获取待识别图像的第一特征点集合，并基于第一特征点集合与自身存储的图库中的参考图像进行特征匹配，得到第一特征点集合的三维空间信息，再进一步确定采集装置采集所述待识别图像时的位置姿态信息，服务器102在确定出位置姿态信息后，将位置姿态信息发送给终端101，由终端101基于采集装置的位置姿态信息和预设的虚拟模型进行虚实叠加处理，得到增强现实图像，然后由终端101输出增强现实图像。

示例性地，在图1A中示出，用户通过AR眼镜参看辽三彩印花盘的场景，当AR眼镜获取到辽三彩印花盘的图像后，服务器基于该图像和目标参考图像中特征点的三维空间信息确定出采集装置的位置姿态信息之后，将位置姿态信息发送给AR眼镜，AR眼镜根据位置姿态信息、待识别图像和预设的虚拟模型，得到了AR图像。在图1A中对于叠加的虚拟的文字介绍部分的显示方式仅仅是示例性示出，实际的显示位置应该与用户佩戴的AR眼镜的姿势对应。

在该应用场景下，还可以是服务器102在确定出位置姿态信息后，基于采集装置的位置姿态信息和预设的虚拟模型进行虚实叠加处理，得到增强现实图像，然后将增强现实图像发送给终端101。

图1B为本申请实施例图像处理方法的另一种网络架构示意图，如图1B所示，在该网络架构中，包括：终端111。终端111至少包括采集装置，用户可以通过终端111中的采集装置采集图像。在图1B中同样示例性地将终端111以AR眼镜的形式示出。由终端111采集待识别图像，然后获取待识别图像的第一特征点集合，并基于第一特征点集合与自身存储的图库中的参考图像进行特征匹配，得到第一特征点集合的三维空间信息，再进一步确定采集装置采集所述待识别图像时的位置姿态信息，在确定出位置姿态信息后，基于采集装置的位置姿态信息和预设的虚拟模型进行虚实叠加处理，得到增强现实图像，最后由终端111输出增强现实图像。在图1B中对于叠加的虚拟的文字介绍部分的显示方式同样仅仅是示例性示出，实际的显示位置应该与用户佩戴的AR眼镜的姿势对应。

需要说明的是，在图1B所示的网络架构中，对终端111的计算效率、存储空间等要求较高，因此，一般采用图1A所示的网络架构。

结合图1A和图1B所示的应用场景示意图，以下对图像处理方法及图像处理装置、设备的各实施例进行说明。

本实施例提供一种图像处理方法，该方法应用于图像处理设备，图像处理设备可以是如图1A中所示的服务器，还可以是如图1B中所示的终端。该图像处理方法所实现的功能可以通过图像处理设备中的处理装置调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该图像处理设备至少包括处理装置和存储介质。

图2为本申请实施例图像处理方法的一种实现流程示意图，如图2所示，该方法包括以下步骤：

步骤S201，获取待识别图像的第一特征点集合。

这里，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像的特征点能够反映图像本质特征，从而能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。

步骤S201在实现时，可以是对待识别图像进行特征提取，以获取待识别图像的第一特征点集合，进一步地，可以是利用诸如尺度不变特征变换(Scale-Invariant FeatureTransform，SIFT)、具有鲁棒特性的加速特征算法(Speed Up Robust Features，SURF)、FAST角点检测与BRIEF特征(Oriented FAST and Rotated BRIEF，ORB)的特征提取算法，提取所述待识别图像的第一特征点集合。在一些实施例中，还可以是人为标记出待识别图像的特征点，从而根据标记出的特征点确定第一特征点集合。

这里获取到的第一特征点集合中包括多个第一特征点，每个第一特征点具有二维空间信息，该二维空间信息能够表征第一特征点在所述待识别图像中所处的位置，在实际应用中，二维空间信息可以是第一特征点在待识别图像中的坐标信息，例如一个第一特征点的二维空间信息可以是(20，30)，该二维空间信息可以表征该第一特征点是第20行第30列的像素点。

在一些实施例中，在步骤S201之前，所述方法还包括：获取待识别图像。当获取待识别图像是服务器实现时，可以是接收终端发送的待识别图像，当获取待识别图像是终端实现时，可以是终端通过自身的采集装置采集待识别图像。

步骤S202，基于所述第一特征点集合与各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像。

这里，步骤S202在实现时，可以是基于所述第一特征点集合与各个参考图像的特征点集合进行特征匹配，从而确定出与待识别图像匹配的目标参考图像。进一步地，可以是依次计算第一特征点集合中与各个参考图像的特征点相匹配的第一特征点的个数，并基于该个数确定与待识别图像匹配的目标参考图像。

在本实施例中，是将待识别图像的第一特征点集合与各个参考图像对应的特征点进行特征匹配，而不是如相关技术中那样跟所有的特征点进行匹配，从而能够极大地降低计算量，从而提高匹配识别速度。

步骤S203，获取所述目标参考图像的中与第一特征点匹配的各个第二特征点的三维空间信息。

这里，在图像处理设备中存储有参考图像库，其中，在参考图像库中至少存储有各个参考图像的各个第二特征点的灰度信息、二维空间信息和三维空间信息。其中，参考图像中第二特征点的三维空间信息是由第二特征点的二维位置信息结合采集装置采集该参考图像时的位置姿态信息、采集装置的内部参数信息和深度信息得到的，三维空间信息可以是该第二特征点在现实中的世界坐标。

由于在步骤S202的实现过程中，会确定出与各个第一特征点相匹配的各个第二特征点，那么步骤S203在实现时，会根据步骤S202确定出的匹配对应关系，获取目标参考图像的中与第一特征点匹配的各个第二特征点的三维空间信息。

步骤S204，基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息。

这里，采集装置的内部参数信息可以是与采集装置自身特性相关的参数，比如采集装置的焦距、像素大小等。具体来说，采集装置的内部参数可以包括：1/dx、1/dy、u₀、v₀、f，其中，dx和dy分别表示x方向和y方向的一个像素分别占多少长度单位，即一个像素代表的实际物理值的大小，dx和dy是实现图像物理坐标系与像素坐标系转换的关键。u₀，v₀表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，f为焦距。在一些实施例中，内部参数信息还可以包括畸变参数，畸变参数又进一步包括径向畸变系数和切向畸变系数。径向畸变发生在相机坐标系转图像物理坐标系的过程中。而切向畸变是发生在相机制作过程，其是由于感光元平面跟透镜不平行而造成的。

由于目标参考图像是与待识别图像匹配的图像，那么可以认为目标参考图像中与第一特征点相匹配的第二特征点的三维空间信息，也可以相应作为第一特征点的三维空间信息。那么在已知了待识别图像的第一特征点的二维位置信息、三维位置信息和采集装置的内部参数信息后，可以利用PNP算法，确定出采集装置采集所述待识别图像时的位置姿态信息，其中位置姿态信息可以包括采集装置的位置、旋转方向等。

在一些实施例中，在确定出采集装置采集所述待识别图像时的位置姿态信息之后，可以再根据采集装置的位置姿态信息确定出增强现实图像。

在本申请实施例提供的图像处理方法中，在获取到待识别图像的第一特征点集合之后，是将第一特征点集合与对应于各个参考图像的第二特征点进行特征匹配，在确定出与待识别图像匹配的目标参考图像之后，再将目标参考图像中与各个第一特征点匹配的第二特征点的三维空间信息确定为相应第一特征点的三维空间信息，进而再利用第一特征点的二维位置信息、三维空间信息和采集装置的内部参数信息确定出采集装置采集所述待识别图像时的位置姿态信息，由于在确定与第一特征点匹配的第二特征点时不是与特征库中所有的特征点进行特征匹配，从而能够减少信息冗余量，还能够提高识别准确性和识别效率。

在一些实施例中，在步骤S203获取所述目标参考图像的中各个第二特征点的三维空间信息之前或者在步骤S202之前，还需要基于各个参考图像生成参考图像特征库，图3为本申请实施例生成参考图像特征库的实现流程示意图，如图3所示，所述方法还包括：

步骤S11，获取参考图像和采集所述参考图像时采集装置的内部参数信息、位置姿态信息和深度信息。

这里，采集所述参考图像时采集装置的内部参数信息可以是采集装置的焦距、分辨率，进一步地，可以包括如上所述的1/dx、1/dy、u0、v0、f。

采集装置的位置姿态信息也可以是认为是采集装置的外部参数信息，可以包括采集装置的位置、旋转角度等。具体来说采集装置的外部参数信息可以包括三个轴的旋转参数信息和三个轴的平移参数信息。其中，三个轴的旋转参数信息的矩阵R，大小是3*3，三个轴的平移参数T(Tx、Ty、Tz)，R、T组合成的3*4的矩阵即为采集装置的外部参数信息。

图像的深度信息可以是指与视点的场景对象的表面的距离有关的信息。

步骤S12，获取所述参考图像的参考特征点集合。

这里，步骤S12在实现时，可以是利用特征提取算法提取所述参考图像的参考特征点，还可以是人为或者按照预设规则指定出参考图像中的一些像素点作为参考特征点。一般情况下，为了保证获取的参考特征点能够反映图像的特征，会采用预设的特征提取算法来获取参考图像的参考特征点。

步骤S13，基于所述参考特征点集合中的各个参考特征点的二维位置信息、内部参数信息、位置姿态信息和深度信息，确定所述各个参考特征点的三维空间信息。

这里，步骤S13在实现时，可以根据各个参考特征点的二维位置信息、内部参数信息、位置姿态信息和深度信息，利用反向传播公式，确定各个参考特征点的三维空间信息。

步骤S14，依次计算各个参考图像的参考特征点的三维空间信息，并至少将与各个参考图像对应的参考特征点的二维位置信息、三维空间信息、像素值形成参考图像特征库。

通过步骤S11至步骤S14，能够得到由各个参考图像对应的参考特征点的二维位置信息、三维空间信息、像素值形成参考图像特征库，从而在获取到待识别图像的第一特征点集合之后，确定与第一特征点集合匹配的特征点时，依次与各个参考图像的参考特征点匹配即可，而不需要盲目地跟大量的独立特征点进行匹配，这样不仅能够提高匹配速率，并且还能减少错误匹配，从而提高匹配准确度。

在一些实施例中，步骤S202基于所述第一特征点集合与各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像，可以通过以下步骤实现：

步骤S2021，获取各个参考图像对应的各个参考特征点集合。

这里，每一参考特征点对应有该参考特征点的二维位置信息、三维空间信息和像素值。

步骤S2022，将所述第一特征点集合依次与所述排序后的各个参考图像对应各个参考特征点集合进行匹配，确定与所述待识别图像匹配的目标参考图像。

在本申请实施例中，为了进一步提高匹配速度，可以在确定与待识别图像匹配的目标参考图像之前，基于采集装置采集各个参考图像的位置姿态信息，对各个参考图像进行排序，在实现时，可以按照位置信息的差异度大小从大到小进行排序，那么，待识别图像与第一个参考图像进行匹配，若匹配失败，则下一次与第一个参考图像位置差异最大的参考图像进行匹配，以此类推，直至确定出与待识别图像匹配的目标参考图像，这样能够有效提高匹配效率。

在一些实施例中，可以通过以下步骤对各个参考图像进行排序，以提高匹配速度：

步骤31，获取采集装置采集各个参考图像的位置姿态信息。

步骤32，从所述各个参考图像中，按照预设规则确定第一个参考图像。

这里，预设规则可以是随机获取一个参考图像作为第一个参考图像，当然预设规则还可以是基于采集各个参考图像的位置姿态信息，确定出一个正面拍摄的参考图像。

步骤33，基于所述第一个参考图像对应的位置姿态信息，与除第一个参考图像之前的其他参考图像的位置姿态信息，对所述其他参考图像进行排序，得到排序后的各个参考图像。

在实际实现过程中，可以通过这样的方式来实现上述的步骤33：

步骤331，基于第一至第i个参考图像对应的位置姿态信息，与除第一至第i个参考图像之外的其他参考图像的位置姿态信息，分别确定各个其他参考图像与所述第一至第i个参考图像之间的位置差异信息。

这里，i＝1，2，…，(N-1)，N为参考图像的总个数。两个参考图像之间的位置差异信息可以认为是采集装置采集这两个参考图像时旋转角度的差值以及平移信息的差值。一个其他参考图像与第一至第i个参考图像之间的位置差异信息可以认为是该其他参考图像与第一个参考图像之间位置差异信息至该其他参考图像与第i个参考图像之间位置差异信息的总和。

步骤332，基于各个位置差异信息，确定第i+1个参考图像。

其中，第i+1个参考图像与所述第一至第i个参考图像之间的位置差异信息满足差异条件。该差异条件可以是位置差异最大。

通过步骤331至步骤332，在第一次排序中，可以是基于第一个参考图像对应的位置姿态信息，从除第一个参考图像之前的其他参考图像中确定出与第一参考图像的位置姿态信息差异最大的参考图像作为第二个参考图像；在第二次排序中，再从除第一个参考图像和第二个参考图像之前的其他参考图像中确定出与第一参考图像和第二参考图像的位置姿态差异最大的参考图像作为第三个参考图像，依次类推，直至得到排序后的各个参考图像。

在一些实施例中，可以通过以下方式实现上述的步骤S204所述基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息：

步骤S2041，确定与各个第一特征点匹配的第二特征点。

这里，步骤S2041在实现时，可以是采用暴力匹配算法(Brute-Force Matcher)或者是采用K最近邻(k-Nearest Neighbor，KNN)匹配算法确定与各个第一特征点匹配的第二特征点。

当利用暴力匹配方法实现步骤S2041时，计算第一特征点与目标参考图像中各个第二特征点之间的距离，然后将得到的距离进行排序，取距离最近的一个第二特征点作为第一特征点的匹配点。这种匹配方法简单粗暴，并且容易出现大量的错误匹配，因此在还需要使用一些机制来过滤掉错误的匹配。

当利用KNN匹配算法实现步骤S2041时，计算第一特征点与目标参考图像中各个第二特征点之间的汉明距离，再将得到的汉明距离从小到大进行排序，如果最小距离小于第一距离阈值，且次小距离大于第二距离阈值，那么将最小距离对应的第二特征点确定为该第一特征点的匹配点。利用KNN匹配算法能够有效降低错误匹配率。

步骤S2042，将所述与各个第一特征点匹配的第二特征点的三维空间信息确定为所述各个第一特征点的三维空间信息。

步骤S2043，基于所述各个第一特征点的二维位置信息、三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的旋转矩阵和平移信息。

这里，步骤S2043在实现时，可以是利用透视n点(Perspective n Points)PnP算法确定所述采集装置采集所述待识别图像时的旋转矩阵和平移信息。PnP算法是通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参(也即采集装置的位置姿态信息)的算法。PnP算法的输入至少为第一特征点的二维位置信息和三维空间信息，输出为采集装置的旋转矩阵和平移矩阵。

在一些实施例中，如图4所示，在步骤S204确定出所述采集装置采集所述还可以执行以下流程：

步骤S205，获取预设的虚拟模型。

步骤S206，根据所述位置姿态信息、虚拟模型和所述待识别图像，进行虚实叠加处理，得到增强现实图像。

这里，步骤S206在实现时，可以是根据采集装置的位置姿态信息，将虚拟模型和待识别图像进行虚拟现实融合，从而得到增强现实图像。

步骤S207，输出所述增强现实图像。

这里，如果步骤S207是由图1A所示的服务器实现的，那么输出所述增强现实图像可以是服务器将增强现实图像发送给终端，进而由终端进一步输出显示增强现实图像。

本申请实施例再提供一种图像处理方法，应用于如图1A所示的网络架构，图5为本申请实施例图像处理方法的再一个实现流程示意图，如图5所示，所述方法包括：

步骤S501，终端通过自身的采集装置采集待识别图像。

这里，终端可以是AR眼镜，终端的采集装置可以是图像采集装置，例如可以是摄像头。

步骤S502，终端将所述待识别图像发送给服务器。

步骤S503，服务器对所述待识别图像进行特征提取，获取所述待识别图像的第一特征点集合。

这里，服务器可以根据预设的特征提取算法对所述待识别图像进行特征提取，以获取待识别图像的第一特征点集合。

步骤S504，服务器基于所述第一特征点集合与各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像。

这里，服务器中存储有根据各个参考图像训练好的参考图像特征库，在所述参考图像特征库中存储有各个参考图像对应的参考特征点集合，及各个参考特征点的二维位置信息和三维空间信息以及像素值。

步骤S504在实现时，可以是基于第一特征点集合中各个第一特征点的二维位置信息和像素值，与各个参考图像的参考特征点进行特征匹配，以确定与所述待识别图像匹配的目标参考图像。

步骤S505，服务器获取所述目标参考图像的中各个第二特征点的三维空间信息。

这里，当确定出目标参考图像之后，服务器可以从参考图像特征库中获取目标参考图像的各个第二特征点的三维空间信息。

步骤S506，服务器确定与各个第一特征点匹配的第二特征点。

这里，可以是采用暴力匹配算法(Brute-Force Matcher)或者是采用K最近邻(k-Nearest Neighbor，KNN)匹配算法确定与各个第一特征点匹配的第二特征点。

步骤S507，服务器将所述与各个第一特征点匹配的第二特征点的三维空间信息确定为所述各个第一特征点的三维空间信息。

步骤S508，服务器基于所述各个第一特征点的二维位置信息、三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的旋转矩阵和平移信息。

这里，服务器可以利用PnP算法确定采集装置采集所述待识别图像时的旋转矩阵和平移信息。在一些实施例中，还可以用其他算法确定采集装置采集所述识别图像时的位置姿态信息，例如可以是利用EPnP算法。

步骤S509，服务器将所述采集装置采集所述待识别图像时的旋转矩阵和平移信息发送给终端。

步骤S510，终端获取预设的虚拟模型。

步骤S510，终端根据所述旋转矩阵和平移信息、虚拟模型和所述待识别图像，进行虚实叠加处理，得到增强现实图像。

步骤S511，终端输出所述增强现实图像。

需要说明的是，本申请实施例中与其它实施例中相同步骤或概念的解释可以参考其它实施例中的描述。

在本申请实施例提供的图像处理方法中，在终端通过摄像头采集到待识别图像之后，将待识别图像发送给服务器，由服务器根据提取到的待识别图像中的第一特征点集合与自身存储的参考图像特征库中的各个参考图像进行特征匹配，以确定与待识别图像匹配的目标参考图像，进而在将与各个第一特征点相匹配的目标参考图像中的第二特征点的三维空间信息确定为第一特征点的三维空间信息，至此就能够获取到待识别图像中第一特征点的二维位置信息、三维空间信息，进而再利用PnP算法确定出采集装置的位置姿态信息，服务器将位置姿态信息发送给终端，以使得终端基于位置姿态信息进行虚拟现实融合，得到增强现实图像，由于服务器在进行特征匹配时，是将特征点还原到各个参考图像，与参考图像进行特征匹配，而不是与大量的独立的特征点进行匹配，能够极大地提供匹配效率并且降低误配率，从而能够生成更加精确的增强现实图像，提高用户的观看体验。

基于前述的实施例，本申请实施例再提供一种图像处理方法，在本申请实施例提供的图像处理方法中，首先要获取待识别图像，以及待识别图像的特征点，并确定出特征库中与待识别图像特征点相匹配的特征点。在每次匹配时，不再与特征库中的所有特征点进行匹配，而是将特征库中的特征点分配还原到每张训练图像上。

比如，特征库中共20000个特征点，训练图像共40张，平均下来每张图有500个特征点(实际情况不是如此均匀)。在匹配的时候，每次只和一张图像进行匹配，如果匹配成功，则根据与待识别图像中特征点相匹配的特征点的三维空间信息确定出相机的位姿，并停止匹配；否则，继续与下一张图像进行匹配。

图6为本申请实施例特征匹配的实现流程示意图，如图6所示，包括：

步骤S601：训练样本数据，提取特征。

这里，样本数据即为其他实施例中的各个参考图像。

步骤S602：对特征点结合相机内外参以及深度信息，由反向传播公式计算出特征点的3D点，生成特征库。

这里，步骤S602在实现时，是将各个特征点的2D坐标(对应其他实施例中的二维位置信息)、相机内参(相当于其他实施例中的内部参数信息)、相机外参(对应其他实施例中的位置姿态信息)和深度信息，计算特征点的3D坐标(对应其他实施例中的三维空间信息)。

步骤S603：将特征点分配还原到每一张训练图像，分别保存，后续识别匹配时，也分别加载；同时对所有的训练图像根据位置信息进行排序，按照差异度大小从大到小排序。

这里，排序后的第i个训练图像，是与前(i-1)个训练图像的差异最大的一个训练图像。

步骤S604：在识别时，将识别图像与训练样本按图依次分别进行匹配。

这里，为了尽快的匹配成功，已经对所有的训练图像根据位置信息按照差异度大小从大到小排序。因此步骤S604在实现时，第一次与第一张训练图像匹配，若未得到结果，则下一次则与和第一张训练图像位置差异最大的那张训练图像进行匹配，然后以此类推，直至确定出与待识别图像匹配的训练图像，或者直至与所有的训练图像匹配失败。

步骤S605，判断是否匹配成功。

这里，如果匹配成功，进入步骤S606，如果匹配失败，进入步骤S604。

步骤S606，识别下一帧图像。

这里，下一帧图像可以是利用AR采集的下一个待识别图像。

在步骤S601至步骤S606所在的实施例中，在每次匹配时，不再与特征库中的所有特征点进行匹配，而是将特征库中的特征点分配还原到每张训练图像上。并且还根据图像的位置信息按照差异度从大到小进行了排序，从而能够明显提高物体识别的速度。在相同测试环境下，与原始算法相比，速度提升至少一倍。同时，由于冗余信息减少，错误匹配也得到了减少，识别率也得到提高。

本申请实施例提供一种图像处理装置，图7为本申请实施例图像处理装置的组成结构示意图，如图7所示，所述图像处理装置700至少包括：第一获取模块701、第一确定模块702、第二获取模块703和第二确定模块704，其中：

第一获取模块701，用于获取待识别图像的第一特征点集合；

第一确定模块702，用于基于所述第一特征点集合与各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像；

第二获取模块703，用于获取所述目标参考图像的中各个第二特征点的三维空间信息；

第二确定模块704，用于基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息。

在其他实施例中，所述装置还包括：

第三获取模块，用于获取参考图像和采集所述参考图像时采集装置的内部参数信息、位置姿态信息和深度信息；

第四获取模块，用于获取所述参考图像的参考特征点集合；

第三确定模块，用于基于所述参考特征点集合中的各个参考特征点的二维位置信息、内部参数信息、位置姿态信息和深度信息，确定所述各个参考特征点的三维空间信息。

在其他实施例中，所述第一确定模块702，进一步包括：

第一获取单元，用于获取各个参考图像对应的各个参考特征点集合；

第一确定单元，用于将所述第一特征点集合依次与所述排序后的各个参考图像对应各个参考特征点集合进行匹配，确定与所述待识别图像匹配的目标参考图像。

在其他实施例中，所述装置还包括：

第五获取模块，用于获取采集装置采集各个参考图像的位置姿态信息；

第四确定模块，用从所述各个参考图像中，按照预设规则确定第一个参考图像；

排序模块，用于基于所述第一个参考图像对应的位置姿态信息，与除第一个参考图像之前的其他参考图像的位置姿态信息，对所述其他参考图像进行排序，得到排序后的各个参考图像。

在其他实施例中，所述排序模块进一步包括：

第二确定单元，用于基于第一至第i个参考图像对应的位置姿态信息，与除第一至第i个参考图像之外的其他参考图像的位置姿态信息，分别确定各个其他参考图像与所述第一至第i个参考图像之间的位置差异信息，其中i＝1，2，…，(N-1)，N为参考图像的总个数；

第三确定单元，用于基于各个位置差异信息，确定第i+1个参考图像，其中，第i+1个参考图像与所述第一至第i个参考图像之间的位置差异信息满足差异条件。

在其他实施例中，所述第二确定模块704，进一步包括：

第四确定单元，用于确定与各个第一特征点匹配的第二特征点；

第五确定单元，用于将所述与各个第一特征点匹配的第二特征点的三维空间信息确定为所述各个第一特征点的三维空间信息；

第六确定单元，用于基于所述各个第一特征点的二维位置信息、三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的旋转矩阵和平移信息。

在其他实施例中，所述装置还包括：

第六获取模块，用于获取预设的虚拟模型；

虚实处理模块，用于根据所述位置姿态信息、虚拟模型和所述待识别图像，进行虚实叠加处理，得到增强现实图像；

输出模块，用于输出所述增强现实图像。

这里需要指出的是：以上图像处理装置实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果。对于本申请图像处理装置实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解。

基于前述的实施例，本申请实施例提供一种图像处理设备，图8为本申请实施例图像处理设备的组成结构示意图，如图8所示，该图像处理设备800至少包括：

处理器801和配置为存储可执行指令的存储器802，其中：所述处理器配置为执行存储的可执行指令；

所述可执行指令配置为执行本申请实施例所提供的图像处理方法。

这里需要指出的是：以上图像处理设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果。对于本申请图像处理设备实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解。

相应地，本申请实施例再提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述该计算机可执行指令被处理装置执行时实现上述实施例提供的图像处理方法的步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种图像处理方法，所述方法包括：

获取待识别图像的第一特征点集合；

获取采集装置采集各个参考图像的位置姿态信息，从所述各个参考图像中，按照预设规则确定第一个参考图像；基于所述第一个参考图像对应的位置姿态信息，与除第一个参考图像之前的其他参考图像的位置姿态信息，对所述其他参考图像进行排序，得到排序后的各个参考图像；

基于所述第一特征点集合与所述排序后的各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像；

获取所述目标参考图像中的各个第二特征点的三维空间信息；

基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息。

2.根据权利要求1中所述的方法，在获取所述目标参考图像的中各个第二特征点的三维空间信息之前，所述方法还包括：

获取参考图像和采集所述参考图像时采集装置的内部参数信息、位置姿态信息和深度信息；

获取所述参考图像的参考特征点集合；

基于所述参考特征点集合中的各个参考特征点的二维位置信息、内部参数信息、位置姿态信息和深度信息，确定所述各个参考特征点的三维空间信息。

3.根据权利要求1中所述的方法，所述基于所述第一特征点集合与各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像，包括：

获取各个参考图像对应的各个参考特征点集合；

将所述第一特征点集合依次与所述排序后的各个参考图像对应各个参考特征点集合进行匹配，确定与所述待识别图像匹配的目标参考图像。

4.根据权利要求1中所述的方法，所述基于所述第一个参考图像对应的位置姿态信息，与除第一个参考图像之外的其他参考图像的位置姿态信息，对参考图像进行排序，得到排序后的各个参考图像，包括：

基于第一至第i个参考图像对应的位置姿态信息，与除第一至第i个参考图像之外的其他参考图像的位置姿态信息，分别确定各个其他参考图像与所述第一至第i个参考图像之间的位置差异信息，其中i=1，2，…，（N-1），N为参考图像的总个数；

基于各个位置差异信息，确定第i+1个参考图像，其中，第i+1个参考图像与所述第一至第i个参考图像之间的位置差异信息满足差异条件。

5.根据权利要求1中所述的方法，所述基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息，包括：

确定与各个第一特征点匹配的第二特征点；

将所述与各个第一特征点匹配的第二特征点的三维空间信息确定为所述各个第一特征点的三维空间信息；

基于所述各个第一特征点的二维位置信息、三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的旋转矩阵和平移信息。

6.根据权利要求1至5中任一项所述的方法，在确定出所述采集装置采集所述待识别图像时的位置姿态信息之后，还包括：

获取预设的虚拟模型；

根据所述位置姿态信息、虚拟模型和所述待识别图像，进行虚实叠加处理，得到增强现实图像；

输出所述增强现实图像。

7.一种图像处理装置，所述装置包括：

第一获取模块，用于获取待识别图像的第一特征点集合；

第五获取模块，用于获取采集装置采集各个参考图像的位置姿态信息；

第四确定模块，用从所述各个参考图像中，按照预设规则确定第一个参考图像；

排序模块，用于基于所述第一个参考图像对应的位置姿态信息，与除第一个参考图像之前的其他参考图像的位置姿态信息，对所述其他参考图像进行排序，得到排序后的各个参考图像；

第一确定模块，用于基于所述第一特征点集合与所述排序后的各个参考图像进行特征匹配，确定与所述待识别图像匹配的目标参考图像；

第二获取模块，用于获取所述目标参考图像中的各个第二特征点的三维空间信息；

第二确定模块，用于基于所述第一特征点集合中各个第一特征点的二维位置信息、各个第二特征点的三维空间信息和采集装置的内部参数信息，确定所述采集装置采集所述待识别图像时的位置姿态信息。

8.一种图像处理设备，所述设备包括：处理器和配置为存储可执行指令的存储介质，其中：所述处理器配置为执行存储的可执行指令；

所述可执行指令配置为执行上述权利要求1至6任一项所提供的图像处理方法。

9.一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行上述权利要求1至6任一项所提供的图像处理方法。

Images