CN111754543B - 图像处理方法、装置及系统 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置及系统，属于图像处理领域。所述方法包括：获取第一图像中目标的第一特征点；在获取第二图像中目标的第二特征点的过程中，在所述第一图像和所述第二图像之间的多帧图像中，获取所述多帧图像中所述第一特征点的位置，所述第一图像、所述多帧图像和所述第二图像由图像传感器对同一场景进行图像采集得到；根据所述多帧图像的任一帧图像中所述第一特征点的位置，对所述第一特征点对应的目标进行识别，得到目标识别结果。本发明中特征点的获取过程、跟踪过程和识别过程可以并行运行，大大缩短了整个过程的处理时间，能够满足增强现实对实时性和低延时的较高要求。

Description

图像处理方法、装置及系统

技术领域

本发明涉及图像处理领域，尤其涉及一种图像处理方法、装置及系统。

背景技术

AR(Augmented Reality，增强现实)是一种通过计算机系统提供的虚拟信息增强用户对现实世界感知的技术，将虚拟信息与现实世界进行结合，在展现现实世界的同时，将虚拟信息显示出来，带给使用者超越现实的感官体验。在实现增强现实的过程中，需要通过图像处理对现实世界中的目标进行识别和跟踪，以产生虚实结合的效果。

相关技术中，通过图像处理进行目标识别和跟踪的方法如下：将视频流的每预设数量帧划分为一个图像组，对于每一个图像组，将该图像组的第一帧作为关键帧，其他帧作为非关键帧。针对关键帧，依次通过目标检测、特征提取和目标识别等多个处理步骤，得到目标识别结果；针对非关键帧，通过对关键帧检测到的目标进行跟踪，得到目标跟踪结果。

上述技术将视频流分为图像组来处理，一个图像组的关键帧处理完后，再处理该图像组的各个非关键帧，然后再处理下一个图像组的关键帧和下一个图像组的各个非关键帧，每个图像组的关键帧均需要进行多个处理步骤，在处理关键帧的时间段内，得不到任何结果，整个过程耗时较长。

发明内容

本发明实施例提供了一种图像处理方法、装置及系统，可以解决相关技术耗时较长的问题。所述技术方案如下：

第一方面，提供了一种图像处理方法，所述方法包括：

获取第一图像中目标的第一特征点；

在获取第二图像中目标的第二特征点的过程中，在所述第一图像和所述第二图像之间的多帧图像中，获取所述多帧图像中所述第一特征点的位置，所述第一图像、所述多帧图像和所述第二图像由图像传感器对同一场景进行图像采集得到；

根据所述多帧图像的任一帧图像中所述第一特征点的位置，对所述第一特征点对应的目标进行识别，得到目标识别结果。

在一种可能实现方式中，所述在获取第二图像中目标的第二特征点的过程中，在所述第一图像和所述第二图像之间的多帧图像中，获取所述多帧图像中所述第一特征点的位置，包括：

通过所述第一线程对所述第二图像进行目标检测和特征提取，得到所述第二特征点，通过第二线程在所述多帧图像中对所述第一特征点进行跟踪，得到所述多帧图像中所述第一特征点的位置，所述第一线程和所述第二线程并行运行。

在一种可能实现方式中，所述根据所述多帧图像的任一帧图像中所述第一特征点的位置，对所述第一特征点对应的目标进行识别包括：

通过第三线程根据所述第一特征点的位置，对所述第一特征点对应的目标进行识别，所述第三线程与所述第一线程和所述第二线程并行运行。

在一种可能实现方式中，所述方法还包括：

对于连续图像序列中的每帧图像，根据所述图像中所述第一特征点的位置，获取所述第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，所述连续图像序列包含所述第一图像、所述多帧图像和所述第二图像；

根据所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果。

在一种可能实现方式中，所述根据所述图像中所述第一特征点的位置，获取所述第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，包括：

根据所述图像中所述第一特征点的位置、所述场景的深度信息以及所述图像传感器和所述增强现实显示器之间的相对位置关系，获取所述对应的位置。

在一种可能实现方式中，所述根据所述目标识别结果和所述对应的位置，绘制所述虚拟图像，包括：

根据所述深度信息、所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果和所述深度信息。

在一种可能实现方式中，所述方法还包括：

当获取到所述第二特征点后，在获取第三图像中目标的第三特征点的过程中，在所述第二图像和所述第三图像之间的多帧图像中，获取所述第二特征点的位置。

第二方面，提供了一种图像处理装置，所述装置包括：

获取模块，用于获取第一图像中目标的第一特征点；

所述获取模块，还用于在获取第二图像中目标的第二特征点的过程中，在所述第一图像和所述第二图像之间的多帧图像中，获取所述多帧图像中所述第一特征点的位置，所述第一图像、所述多帧图像和所述第二图像由图像传感器对同一场景进行图像采集得到；

识别模块，用于根据所述多帧图像的任一帧图像中所述第一特征点的位置，对所述第一特征点对应的目标进行识别，得到目标识别结果。

在一种可能实现方式中，所述获取模块用于通过所述第一线程对所述第二图像进行目标检测和特征提取，得到所述第二特征点，通过第二线程在所述多帧图像中对所述第一特征点进行跟踪，得到所述多帧图像中所述第一特征点的位置，所述第一线程和所述第二线程并行运行。

在一种可能实现方式中，所述识别模块用于通过第三线程根据所述第一特征点的位置，对所述第一特征点对应的目标进行识别，所述第三线程与所述第一线程和所述第二线程并行运行。

在一种可能实现方式中，所述装置还包括：

所述获取模块还用于对于连续图像序列中的每帧图像，根据所述图像中所述第一特征点的位置，获取所述第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，所述连续图像序列包含所述第一图像、所述多帧图像和所述第二图像；

绘制模块，用于根据所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果。

在一种可能实现方式中，所述获取模块用于根据所述图像中所述第一特征点的位置、所述场景的深度信息以及所述图像传感器和所述增强现实显示器之间的相对位置关系，获取所述对应的位置。

在一种可能实现方式中，所述绘制模块用于根据所述深度信息、所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果和所述深度信息。

在一种可能实现方式中，所述获取模块还用于当获取到所述第二特征点后，在获取第三图像中目标的第三特征点的过程中，在所述第二图像和所述第三图像之间的多帧图像中，获取所述第二特征点的位置。

第三方面，提供了一种图像处理系统，所述系统包括图像传感器和处理器，所述图像传感器用于对同一场景进行图像采集；

所述处理器用于获取所述图像传感器采集到的第一图像中目标的第一特征点；

所述处理器还用于在获取第二图像中目标的第二特征点的过程中，在所述第一图像和所述第二图像之间的多帧图像中，获取所述多帧图像中所述第一特征点的位置，所述第一图像、所述多帧图像和所述第二图像由图像传感器对同一场景进行图像采集得到；

所述处理器还用于根据所述多帧图像的任一帧图像中所述第一特征点的位置，对所述第一特征点对应的目标进行识别，得到目标识别结果。

在一种可能实现方式中，所述系统还包括增强现实显示器，

所述处理器还用于对于连续图像序列中的每帧图像，根据所述图像中所述第一特征点的位置，获取所述第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，所述连续图像序列包含所述第一图像、所述多帧图像和所述第二图像；根据所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果。

所述增强现实显示器用于对所述虚拟图像进行显示。

在一种可能实现方式中，所述图像传感器、所述处理器和所述增强现实显示器的帧率等于或大于60Hz。

第四方面，提供了一种处理器，所述处理器用于执行至少一条指令，实现第一方面任一种实现方式所述的方法步骤。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有至少一条指令，所述至少一条指令被处理器执行时实现第一方面任一种实现方式所述的方法步骤。

本发明实施例提供的技术方案带来的有益效果至少包括：

通过在获取当前图像中目标的特征点的过程中，根据已获取到的上一个图像中目标的特征点，在两个图像之间的多帧图像中对特征点的位置进行跟踪，并根据对任一帧图像的跟踪结果，对目标进行识别。上述方案中特征点的获取过程、跟踪过程和识别过程可以并行运行，大大缩短了整个过程的处理时间，能够满足增强现实对实时性和低延时的较高要求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理系统的示意图；

图2是本发明实施例提供的一种图像处理系统的示意图；

图3是本发明实施例提供的一种图像处理方法的流程图；

图4是本发明实施例提供的一种图像处理方法的流程图；

图5是本发明实施例提供的一种图像处理的整体流程图；

图6是本发明实施例提供的一种图像处理装置的结构示意图；

图7是本发明实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明实施例提供的一种图像处理系统的示意图，该图像处理系统可以包括图像传感器101、处理器102和增强现实显示器103。

其中，图像传感器101用于对现实场景进行图像采集，并将采集到的图像发送给处理器102。图像传感器101包括但不限于相机。

处理器102用于接收图像传感器发送的图像，对图像进行处理，生成虚拟图像，并将虚拟图像发送给增强现实显示器103。处理器102可以是单独的一个计算机设备，包括但不限于移动嵌入式设备(如手机)、PC(Personal Computer，个人计算机)和服务器(如云端的远程服务器)。

增强现实显示器103用于接收处理器102发送的虚拟图像，并对虚拟图像进行显示，同时由于用户通过增强现实显示器103能够直接看到现实世界，因而可以实现虚拟和现实的结合。增强现实显示器103包括但不限于穿透式的眼镜或头盔，可以是单目显示，也可以是双目显示。

可选地，该图像处理系统还可以包括另一个图像传感器与图像传感器101组成双目系统，以获取场景深度信息，或者，该图像处理系统还可以包括一个能够单独获取场景深度信息的深度信息获取设备，如ToF(Time of Flight，飞行时间)相机，ToF相机通过测量发出的红外光线照射到现实场景后反射回来的时间差，来计算场景深度信息。相应地，增强现实显示器103可以是能够提供三维信息的立体眼镜等设备。

需要说明的是，图像传感器101和增强现实显示器103应当保持相对位置关系固定，并朝向同一个方向，使得两者的视场应当有大部分区域重合，以便图像传感器得到的图像能够通过计算，定位到增强现实显示器103所显示图像中对应的位置上。为了实现低延时，图像传感器101、处理器102和增强现实显示器103的帧率可以等于或大于60Hz(赫兹)。

图像传感器101、处理器102和增强现实显示器103可以是功能独立的三个设备，各个设备之间可以通过有线或无线的方式连接，如图2所示，图像传感器101与处理器102之间连接，处理器102与增强现实显示器103之间连接，图像传感器101安装在增强现实显示器103上。可以理解的是，处理器102也可以与增强现实显示器103集成在一个设备中，或者，处理器102也可以与图像传感器101和增强现实显示器103集成在一个设备中，本发明实施例对此不做限定。

图3是本发明实施例提供的一种图像处理方法的流程图。参见图3，该方法包括：

301、获取第一图像中目标的第一特征点；

302、在获取第二图像中目标的第二特征点的过程中，在该第一图像和该第二图像之间的多帧图像中，获取该多帧图像中该第一特征点的位置，该第一图像、该多帧图像和该第二图像由图像传感器对同一场景进行图像采集得到；

303、根据该多帧图像的任一帧图像中该第一特征点的位置，对该第一特征点对应的目标进行识别，得到目标识别结果。

本发明实施例提供的方法，通过在获取当前图像中目标的特征点的过程中，根据已获取到的上一个图像中目标的特征点，在两个图像之间的多帧图像中对特征点的位置进行跟踪，并根据对任一帧图像的跟踪结果，对目标进行识别。上述方案中特征点的获取过程、跟踪过程和识别过程可以并行运行，大大缩短了整个过程的处理时间，能够满足增强现实对实时性和低延时的较高要求。

在一种可能实现方式中，该在获取第二图像中目标的第二特征点的过程中，在该第一图像和该第二图像之间的多帧图像中，获取该多帧图像中该第一特征点的位置，包括：

通过该第一线程对该第二图像进行目标检测和特征提取，得到该第二特征点，通过第二线程在该多帧图像中对该第一特征点进行跟踪，得到该多帧图像中该第一特征点的位置，该第一线程和该第二线程并行运行。

在一种可能实现方式中，该根据该多帧图像的任一帧图像中该第一特征点的位置，对该第一特征点对应的目标进行识别包括：

通过第三线程根据该第一特征点的位置，对该第一特征点对应的目标进行识别，该第三线程与该第一线程和该第二线程并行运行。

在一种可能实现方式中，该方法还包括：

对于连续图像序列中的每帧图像，根据该图像中该第一特征点的位置，获取该第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，该连续图像序列包含该第一图像、该多帧图像和该第二图像；

根据该目标识别结果和该对应的位置，绘制该虚拟图像，该虚拟图像中该对应的位置处显示有该目标识别结果。

在一种可能实现方式中，该根据该图像中该第一特征点的位置，获取该第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，包括：

根据该图像中该第一特征点的位置、该场景的深度信息以及该图像传感器和该增强现实显示器之间的相对位置关系，获取该对应的位置。

在一种可能实现方式中，该根据该目标识别结果和该对应的位置，绘制该虚拟图像，包括：

根据该深度信息、该目标识别结果和该对应的位置，绘制该虚拟图像，该虚拟图像中该对应的位置处显示有该目标识别结果和该深度信息。

在一种可能实现方式中，该方法还包括：

当获取到该第二特征点后，在获取第三图像中目标的第三特征点的过程中，在该第二图像和该第三图像之间的多帧图像中，获取该第二特征点的位置。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

图4是本发明实施例提供的一种图像处理方法的流程图。该图像处理方法可以用于图1所示的图像处理系统中。参见图4，该方法可以包括：

400、图像传感器进行图像采集，将采集到的图像发送给处理器。

本发明实施例中，图像传感器可以对现实场景进行实时的图像采集，并将采集到的图像实时发送给处理器。

需要说明的是，该步骤400为可选步骤，本发明实施例是以图像传感器执行图像采集的步骤，将采集到的图像实时发送给处理器，由处理器执行后续的图像处理步骤为例进行说明，可以理解的是，图像采集和图像处理的步骤也可以由一个设备来执行，只要该设备同时具有图像传感器的图像采集功能和处理器的图像处理功能即可。

401、处理器获取第一图像中目标的第一特征点。

其中，该第一图像可以是图像传感器采集到的第一帧图像，也即是，处理器接收到的第一帧图像，当然，该第一图像也可以是第一帧图像之后的某一帧图像。

其中，该目标可以是现实场景中存在的物体，包括但不限于人脸、车牌和某个特定的物品等多种类型。本发明实施例中，该目标可以预先进行指定，例如，该目标可以指定为一种类型，如人脸，则处理器可以仅获取第一图像中人脸的特征点。当然，该目标也可以指定为多种类型，则处理器可以获取第一图像中多种类型的目标的特征点。

本发明实施例中，处理器可以对第一图像进行目标检测和特征提取，得到第一特征点。例如，处理器可以采用目标检测算法，对第一图像中的目标进行目标检测，采用特征提取算法，从检测到的目标中提取出该第一特征点，该第一特征点可以包括一个或多个特征点。以目标为人脸为例，该第一特征点可以为人脸中用于代表眼睛、鼻子和嘴巴的特征点。

402、处理器在获取第二图像中目标的第二特征点的过程中，在该第一图像和该第二图像之间的多帧图像中，获取该多帧图像中该第一特征点的位置，该第一图像、该多帧图像和该第二图像由图像传感器对同一场景进行图像采集得到。

本发明实施例中，处理器每完成对一帧图像的目标检测和特征提取过程后，可以继续对下一帧图像进行目标检测和特征提取。该下一帧图像可以是处理器在处理完当前图像后，在当前时刻从图像传感器接收到的图像，也即是，图像传感器在该当前时刻采集到的图像。相应地，该第二图像可以是处理器在处理完第一图像后，也即是，获取到第一特征点后，在当前时刻从图像传感器接收到的图像。处理器在接收到第一图像之后，在接收到第二图像之间，还可以接收到多帧图像，该多帧图像由图像传感器在第一图像的采集时刻和第二图像的采集时刻之间的时间段内采集得到。

本发明实施例中，处理器可以对第二图像进行目标检测和特征提取，得到第二特征点。考虑到目标检测和特征提取的速度一般较慢，如果在对某一帧图像进行目标检测和特征提取的过程中，不对其他帧图像进行处理，则会导致图像处理的整体耗时较长，图像处理的整体效率较低，因此，为了减少图像处理的整体耗时，提高图像处理的整体效率，处理器可以在获取到第一图像的第一特征点之后，获取到第二图像的第二特征点之前，采用基于特征点的目标跟踪算法，在第一图像和第二图像之间的多帧图像中，对第一特征点进行跟踪，以确定该多帧图像中该第一特征点所在的位置，从而实现对第一特征点对应的目标的跟踪。

在一种可能实现方式中，处理器可以开启多个线程，并行执行不同的任务，其中一个线程执行对图像进行目标检测和特征提取，得到特征点的任务，其他线程并行执行其他任务。相应地，该步骤402可以包括：通过该第一线程对该第二图像进行目标检测和特征提取，得到该第二特征点，通过第二线程在该多帧图像中对该第一特征点进行跟踪，得到该多帧图像中该第一特征点的位置，该第一线程和该第二线程并行运行。

该第一线程用于执行对图像进行目标检测和特征提取，得到图像中目标的特征点的任务，相应地，上述步骤401可以由该第一线程来执行。第二线程用于执行在图像中对特征点进行跟踪，得到图像中特征点的位置的任务。

需要说明的是，处理器在获取到该第二特征点后，可以继续获取第三图像中目标的第三特征点，并在获取第三图像中目标的第三特征点的过程中，在该第二图像和该第三图像之间的多帧图像中，获取该第二特征点的位置。同理，该第三图像可以是处理器在处理完第二图像后，也即是，获取到第二特征点后，在当前时刻从图像传感器接收到的图像。以此类推，处理器可以不断地在目标检测和特征提取过程中，并行执行目标跟踪的过程。

403、处理器根据该多帧图像的任一帧图像中该第一特征点的位置，对该第一特征点对应的目标进行识别，得到目标识别结果。

本发明实施例中，处理器在执行步骤402的过程中，在获取到该多帧图像的任一帧图像中第一特征点的位置时，执行该步骤403。

处理器可以采用目标识别算法，对该任一帧图像中第一特征点的位置对应的目标进行识别，得到目标识别结果。在一种可能实现方式中，识别过程可以包括：计算第一特征点的位置对应的目标的特征值，将该特征值与数据库中多个已知目标的特征值进行比对，确定相似度最高的已知目标，并获取该已知目标的信息，将该已知目标的信息作为该目标识别结果。其中，该数据库中用于记录多个已知目标的特征值以及该多个已知目标的信息，该信息可以是标识信息，也可以是属性信息，还可以是目标对应的其他信息，本发明实施例对此不做限定。例如，如果目标为人脸，则该目标的信息可以为人脸的身份，如果目标为车牌，则该目标的信息可以为车牌号码，如果目标为物品，则该目标目标的信息可以为物品的种类等。

针对处理器可以开启多个线程，并行执行不同的任务，在一种可能实现方式中，该步骤403可以包括：通过第三线程根据该第一特征点的位置，对该第一特征点对应的目标进行识别，该第三线程与该第一线程和该第二线程并行运行。

需要说明的是，处理器在完成对第一特征点对应的目标的识别过程后，可以继续对第二特征点对应的目标进行识别，得到目标识别结果，对于第二图像和第三图像之间的每帧图像执行后续步骤404。

404、对于连续图像序列中的每帧图像，处理器根据该图像中该第一特征点的位置，获取该第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，该连续图像序列包含该第一图像、该多帧图像和该第二图像。

本发明实施例中，虽然图像传感器和增强现实显示器之间的相对位置关系固定，两者的视场有大部分区域重合，但两者的视场并不是完全一样，因此，现实场景中的同一个目标在图像传感器的视场中的位置与其在增强现实显示器的视场中的位置并不相同，该目标在图像传感器所采集到的图像中的位置与其在增强现实显示器所显示的图像中的位置不同，处理器需要将图像传感器所采集到的图像中第一特征点的位置转换为增强现实显示器待显示的图像(也即是处理器待绘制的虚拟图像)中对应的位置。

在一种可能实现方式中，该步骤404可以包括：对于连续图像序列中的每帧图像，根据该图像中该第一特征点的位置、场景的深度信息以及图像传感器和增强现实显示器之间的相对位置关系，获取该对应的位置。

针对图像传感器和增强现实显示器之间的相对位置关系，该相对位置关系可以通过采用预设标定算法，获取到图像传感器和增强现实显示器的信息，如角度、位置和姿态等信息，根据这些信息计算得到后，存储在处理器上。

针对场景的深度信息，该场景为该图像传感器进行图像采集的场景，该深度信息用于指示该场景中目标与该图像传感器的距离。其中，该场景的深度信息可以由处理器接收图像传感器发送的图像后，对图像进行计算得到，也可以由其他设备进行计算，得到该场景的深度信息后发送给处理器。其中，用于计算场景的深度信息的图像可以是组成双目系统的两个图像传感器同时采集到的两个图像，计算方法可以为双目测距原理的方法。当然，该场景的深度信息也可以由ToF相机获取后发送给处理器，本发明实施例对场景的深度信息的获取方式不做限定，例如，该场景的深度信息也可以通过一些先验信息进行估算，如人的双眼距离相对固定，或者目标的尺寸大小已知，则可以通过双眼距离或者目标在图像上的像素宽度估算出深度信息。

由于图像传感器和增强现实显示器在三维空间中的相对位置关系固定，处理器在获取到深度信息后，可以根据该深度信息和图像传感器所采集的图像中第一特征点的位置(二维图像坐标)，计算出图像传感器视角下该第一特征点对应的目标的空间位置(三维空间坐标)，然后根据图像传感器和增强现实显示器之间的相对位置关系，计算出在增强现实显示器视角下该目标的空间位置(三维空间坐标)，最后将该三维空间坐标转换为二维图像坐标，也即得到了该目标在增强现实显示器待显示的虚拟图像中对应的位置。通过利用深度信息进行位置转换，使得获取到的位置更准确。

405、根据该目标识别结果和该对应的位置，处理器绘制该虚拟图像，该虚拟图像中该对应的位置处显示有该目标识别结果。

本发明实施例中，处理器可以将目标识别结果，也即是，目标的信息作为虚拟信息，对其进行图像转化，绘制得到虚拟图像。如处理器可以在一个背景图像上的该对应位置处绘制该虚拟信息，得到虚拟图像，该背景图像上可以仅显示有该虚拟信息。

在一种可能实现方式中，该根据该目标识别结果和该对应位置，绘制该虚拟图像，包括：根据场景的深度信息、该目标识别结果和该对应位置，绘制该虚拟图像，该虚拟图像中该对应位置处显示有该目标识别结果和该深度信息。通过深度信息可以获得场景中的目标相对于图像传感器的距离，利用该深度信息可以进行立体图像或距离信息的绘制，获得更真实立体的增强现实效果。

406、处理器将该虚拟图像发送给增强现实显示器。

本发明实施例中，处理器对于图像传感器采集到的每帧图像，基于每帧图像中目标的位置以及目标识别结果绘制得到虚拟图像后，可以将虚拟图像发送给增强现实显示器，通过其将虚拟图像与现实场景进行叠加显示，从而实现增强现实的效果。

407、当接收到处理器发送的虚拟图像时，增强现实显示器对该虚拟图像进行显示。

本发明实施例中，用户佩戴该增强现实显示器时，该增强现实显示器可以将该虚拟图像投影到其显示屏上，并将该虚拟图像反射进人眼，使得用户可以看到前方显示的该虚拟图像，同时用户可以观察到现实场景，这样屏幕上的虚拟图像能够与现实场景进行结合。以该增强现实显示器为穿透式的眼镜为例，该显示屏可以是眼镜的镜片。

需要说明的是，该步骤404至步骤407为可选步骤。通过将图像传感器采集到的图像作为输入，通过在输入与输出之间进行图像处理，得到能与现实场景相结合的虚拟图像，将虚拟图像绘制到增强现实显示器上作为输出，这样可以实现增强现实显示效果。

为了便于更直观的理解本发明实施例提供的技术方案，下面结合图4，从方案整体上进行说明。参见图5，提供了一种图像处理的整体流程图，如图5所示，处理器可以包括目标检测和特征提取、目标跟踪、目标识别和虚拟图像绘制等多个模块，还可以包括用于计算深度信息的深度计算模块。图像传感器采集到的图像作为输入，通过处理器的多个模块对图像输入进行处理后生成虚拟图像，用于增强现实显示器进行显示。

其中，目标检测和特征提取模块用于对图像传感器输入的图像中的目标进行位置和检测，并对特征点进行提取。目标跟踪模块用于接收目标检测和特征提取模块得到的特征点，在图像传感器采集到的多帧图像序列中，对这些特征点进行跟踪，以确定每帧图像中这些特征点的位置。目标识别模块用于接收目标追踪模块提供的特征点的位置，然后在对应的图像中对这些特征点对应的目标进行识别，并通过数据库对比得到该目标的具体信息，如人脸的身份、车牌号码、物品种类等。虚拟图像绘制模块用于接收目标追踪模块提供的特征点的位置和目标识别模块提供的目标的具体信息，计算得到增强现实显示器中该物体的对应位置，并在对应位置上绘制相应的信息，最后将绘制结果提供给增强现实显示器显示。额外地，如果需要计算深度信息，深度计算模块对图像传感器采集到的图像进行计算，得到场景的深度信息，并提供给其余各个需要深度信息的模块进行后续处理。

其中，处理器包括的多个模块可以划分为前台模块和后台模块，其中，目标跟踪模块和虚拟图像绘制模块的运行帧率能够与硬件输入和输出的帧率相当，对每帧图像都要进行处理，作为前台模块；目标检测和特征提取模块、目标识别模块以及深度计算模块的运行帧率比硬件输入和输出的帧率低，作为后台模块，当然整个系统还可以根据需要添加其他后台模块。

相应地，整个系统的流程可以分为前台流程(主流程)和后台流程两种，系统的前台流程将由硬件模块(包括图像传感器和增强现实显示器)和前台模块组成。系统从图像传感器等输入硬件获得数据后，将逐一经过与硬件的运行帧率相当的前台模块，然后直接到达增强现实显示器等输出硬件进行显示输出。这意味着从硬件输入到硬件输出的链路较短，可以实现低延时的数据流程。而后台流程则是独立于主流程异步执行，由后台模块接收前台模块提供的数据进行处理，然后将处理结果返回给前台模块，以便前台模块进行数据的更新，如目标跟踪模块根据目标检测和特征提取模块最新提供的特征点更新上一次提供的特征点，对最新提供的特征点进行跟踪。在系统运行时，系统的资源优先保证前台模块的实时运行，而后台模块则以较低帧率来更新前台模块的数据。

最终决定系统最大运行帧率的是系统的硬件模块的帧率，即作为数据来源的图像传感器输入图像的帧率和作为最终结果的增强现实显示器输出显示图像的帧率。同时，硬件模块的帧率也决定了硬件本身的数据延时。配合硬件模块进行数据处理的后台模块决定了从硬件输入到输出之间的延时，以及实际数据处理的速度能否跟得上硬件的速度。本发明实施例中，为了实现低延时的输入和输出，图像传感器的帧率需要达到60Hz或以上，相应地，增强现实显示器的帧率(刷新率)也同样需要达到60Hz或以上。此时，系统的主流程为：图像传感器获取图像数据后提供给目标跟踪模块；目标跟踪模块针对上一帧图像当中的特征点对当前帧图像进行特征点跟踪，然后将跟踪结果提供给虚拟图像绘制模块；虚拟图像绘制模块根据跟踪结果在正确的位置绘制目标的相关信息；最后将绘制好的虚拟图像送到增强现实显示器进行显示。可见，在前台流程中，只有图像采集、目标跟踪、图像绘制和图像显示四个模块，均以较高的帧率运行，可以保证系统的实时性和低延时。

从以上的前台流程可以看到，目标跟踪模块本身并不提供特征点，因此需要后台流程的目标检测和特征提取模块接收图像采集模块提供的图像，对图像当中目标进行检测，再从检测到的目标当中提取特征点，最后将这些特征点提供给目标跟踪模块。由于目标检测和特征提取的速度较慢，无法实时运行，因此某次特征提取结果提供给目标跟踪模块后，到下一次特征提取结果得到之前，将通过目标跟踪模块跟踪这两者之间的几帧图像的特征信息，以得到这几帧图像中目标的位置，供虚拟图像绘制模块在正确位置绘制目标的信息。

而目标识别模块的运行速度一般比目标检测和特征提取模块更慢，因此也置于后台运行。目标识别模块从目标跟踪模块得到图像当中目标的位置，然后对该位置的目标进行识别，并将识别结果返回给虚拟图像绘制模块，以在对应的目标位置处正确绘制目标的相关信息。由于运行速度较慢，在下一次目标识别结果得到之前，将通过目标跟踪模块保证目标位置和目标信息的一一对应。

额外地，如果增强现实显示器是能够提供三维信息的立体眼镜等设备，或者是实际应用当中需要绘制目标的距离信息，则需要知道目标的深度信息，可以在后台流程增加一个深度计算模块。深度计算模块通过双目相机、ToF相机等形式获取并计算场景的深度，并通过目标跟踪模块确定目标的位置，最后返回给虚拟图像绘制模块进行立体图像或距离相关信息的绘制。

本发明实施例提出了一整套用于增强现实显示的目标跟踪和识别方案，包含硬件和软件两部分，其中硬件部分包含帧率达到60Hz或以上的图像传感器、帧率达到60Hz或以上的增强现实显示器，以及能够实现帧率达到60Hz或以上的计算结果输出的处理器；软件部分是在处理器当中运行的各个模块，其中对每一帧都需要进行处理的模块作为前台模块，以达到60Hz或以上的帧率输出，其他作为后台模块，前台和后台之间并行运行。

该方案当图像传感器采集到场景中的变化后，可以及时地将针对变化的处理结果通过增强现实显示器显示到相应位置上，产生虚拟结合的效果，能够提高整个处理流程的实时性，缩短从图像输入到图像输出之间的延时，使得场景的变化能够更快地得到相应的计算结果，以达到更为逼真的虚实结合效果并能在移动平台上应用。

通过将整个目标识别流程当中的每一个步骤分为前台或者后台两种，只有能够实时高帧率运行并且每一帧都需要进行处理的模块放在前台，其余放在后台，前台和后台模块异步运行，极大缩短了数据的实时处理时间，能够有效地实现实时、低延时的增强现实显示效果，提升虚实结合的体验。

另外，在前台模块实时高帧率运行的状态下，可以方便地在后台添加更多的计算模块，以实现更为丰富的功能，而不会对前台的处理流程产生明显影响。如添加深度计算模块，可以得到更为准确的目标位置，提高虚实叠加的精度。

本发明实施例提供的方法，通过在获取当前图像中目标的特征点的过程中，根据已获取到的上一个图像中目标的特征点，在两个图像之间的多帧图像中对特征点的位置进行跟踪，并根据对任一帧图像的跟踪结果，对目标进行识别。上述方案中特征点的获取过程、跟踪过程和识别过程可以并行运行，大大缩短了整个过程的处理时间，能够满足增强现实对实时性和低延时的较高要求。

图6是本发明实施例提供的一种图像处理装置的结构示意图。参照图6，该装置包括：

获取模块601，用于获取第一图像中目标的第一特征点；

该获取模块601，还用于在获取第二图像中目标的第二特征点的过程中，在该第一图像和该第二图像之间的多帧图像中，获取该多帧图像中该第一特征点的位置，该第一图像、该多帧图像和该第二图像由图像传感器对同一场景进行图像采集得到；

识别模块602，用于根据该多帧图像的任一帧图像中该第一特征点的位置，对该第一特征点对应的目标进行识别，得到目标识别结果。

在一种可能实现方式中，该获取模块601用于通过该第一线程对该第二图像进行目标检测和特征提取，得到该第二特征点，通过第二线程在该多帧图像中对该第一特征点进行跟踪，得到该多帧图像中该第一特征点的位置，该第一线程和该第二线程并行运行。

在一种可能实现方式中，该识别模块602用于通过第三线程根据该第一特征点的位置，对该第一特征点对应的目标进行识别，该第三线程与该第一线程和该第二线程并行运行。

在一种可能实现方式中，参见图7，该装置还包括：

该获取模块601还用于对于连续图像序列中的每帧图像，根据该图像中该第一特征点的位置，获取该第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，该连续图像序列包含该第一图像、该多帧图像和该第二图像；

绘制模块603，用于根据该目标识别结果和该对应的位置，绘制该虚拟图像，该虚拟图像中该对应的位置处显示有该目标识别结果。

在一种可能实现方式中，该获取模块601用于根据该图像中该第一特征点的位置、该场景的深度信息以及该图像传感器和该增强现实显示器之间的相对位置关系，获取该对应的位置。

在一种可能实现方式中，该绘制模块603用于根据该深度信息、该目标识别结果和该对应的位置，绘制该虚拟图像，该虚拟图像中该对应的位置处显示有该目标识别结果和该深度信息。

在一种可能实现方式中，该获取模块601还用于当获取到该第二特征点后，在获取第三图像中目标的第三特征点的过程中，在该第二图像和该第三图像之间的多帧图像中，获取该第二特征点的位置。

本发明实施例提供的装置，通过在获取当前图像中目标的特征点的过程中，根据已获取到的上一个图像中目标的特征点，在两个图像之间的多帧图像中对特征点的位置进行跟踪，并根据对任一帧图像的跟踪结果，对目标进行识别。上述方案中特征点的获取过程、跟踪过程和识别过程可以并行运行，大大缩短了整个过程的处理时间，能够满足增强现实对实时性和低延时的较高要求。

需要说明的是：上述实施例提供图像处理装置在图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，还提供了一种处理器。处理器可以是PLD(programmablelogic device，可编程逻辑器件)。举例来说，该PLD包括但不限于CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑器件)、FPGA(Field Programmable GateArray，现场可编程门阵列)、EPLD(Erase Programmable Logic Device，可擦除的可编程逻辑器件)等。处理器还可以是嵌入了计算机程序的固定逻辑器件，该固定逻辑器件可以执行该计算机程序，以实现上述图像处理方法。举例来说，该固定逻辑器件包括但不限于嵌入式系统等。

在示例性实施例中，处理器可以加载并执行存储器存储的指令，以实现上述图像处理方法。其中，存储器可以与处理器集成在一起，或者存储器与处理器分离设置，本申请对存储器与处理器的设置方式以及存储器的类型不做限定。

在示例性实施例中，还提供了一种存储有至少一条指令的计算机可读存储介质，例如存储有至少一条指令的存储器，上述至少一条指令被处理器执行时实现上述实施例中的图像处理方法。例如，该计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，上述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像中目标的第一特征点；

通过第一线程对第二图像进行目标检测和特征提取，得到所述目标的第二特征点，在所述第一图像和所述第二图像之间的多帧图像中通过第二线程对所述第一特征点进行跟踪，得到所述多帧图像中所述第一特征点的位置，所述第一线程和所述第二线程并行运行，所述第一图像、所述多帧图像和所述第二图像由图像传感器对同一场景进行图像采集得到；

通过第三线程根据所述多帧图像的任一帧图像中所述第一特征点的位置，对所述第一特征点对应的目标进行识别，得到目标识别结果，所述第三线程与所述第一线程和所述第二线程并行运行；

对于连续图像序列中的每帧图像，根据所述图像中所述第一特征点的位置，获取所述第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，所述连续图像序列包含所述第一图像、所述多帧图像和所述第二图像；

根据所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像中所述第一特征点的位置，获取所述第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，包括：

根据所述图像中所述第一特征点的位置、所述场景的深度信息以及所述图像传感器和所述增强现实显示器之间的相对位置关系，获取所述对应的位置。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标识别结果和所述对应的位置，绘制所述虚拟图像，包括：

根据所述场景的深度信息、所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果和所述深度信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当获取到所述第二特征点后，在获取第三图像中所述目标的第三特征点的过程中，在所述第二图像和所述第三图像之间的多帧图像中，获取所述第二特征点的位置。

5.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取第一图像中目标的第一特征点；

所述获取模块，还用于通过第一线程对第二图像进行目标检测和特征提取，得到所述目标的第二特征点，在所述第一图像和所述第二图像之间的多帧图像中通过第二线程对所述第一特征点进行跟踪，得到所述多帧图像中所述第一特征点的位置，所述第一线程和所述第二线程并行运行，所述第一图像、所述多帧图像和所述第二图像由图像传感器对同一场景进行图像采集得到；

识别模块，用于通过第三线程根据所述多帧图像的任一帧图像中所述第一特征点的位置，对所述第一特征点对应的目标进行识别，得到目标识别结果，所述第三线程与所述第一线程和所述第二线程并行运行；

所述获取模块还用于对于连续图像序列中的每帧图像，根据所述图像中所述第一特征点的位置，获取所述第一特征点对应的目标在增强现实显示器待显示的虚拟图像中对应的位置，所述连续图像序列包含所述第一图像、所述多帧图像和所述第二图像；

绘制模块，用于根据所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果。

6.根据权利要求5所述的装置，其特征在于，所述获取模块用于根据所述图像中所述第一特征点的位置、所述场景的深度信息以及所述图像传感器和所述增强现实显示器之间的相对位置关系，获取所述对应的位置。

7.根据权利要求5所述的装置，其特征在于，所述绘制模块用于根据所述场景的深度信息、所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果和所述深度信息。

8.根据权利要求5所述的装置，其特征在于，所述获取模块还用于当获取到所述第二特征点后，在获取第三图像中所述目标的第三特征点的过程中，在所述第二图像和所述第三图像之间的多帧图像中，获取所述第二特征点的位置。

9.一种图像处理系统，其特征在于，所述系统包括图像传感器、处理器和增强现实显示器，

所述图像传感器用于对同一场景进行图像采集；

所述处理器用于获取所述图像传感器采集到的第一图像中目标的第一特征点；

所述处理器还用于通过第一线程对第二图像进行目标检测和特征提取，得到所述目标的第二特征点，在所述第一图像和所述第二图像之间的多帧图像中通过第二线程对所述第一特征点进行跟踪，得到所述多帧图像中所述第一特征点的位置，所述第一线程和所述第二线程并行运行，所述第一图像、所述多帧图像和所述第二图像由所述图像传感器对同一场景进行图像采集得到；

所述处理器还用于通过第三线程根据所述多帧图像的任一帧图像中所述第一特征点的位置，对所述第一特征点对应的目标进行识别，得到目标识别结果，所述第三线程与所述第一线程和所述第二线程并行运行；

所述处理器还用于对于连续图像序列中的每帧图像，根据所述图像中所述第一特征点的位置，获取所述第一特征点对应的目标在所述增强现实显示器待显示的虚拟图像中对应的位置，所述连续图像序列包含所述第一图像、所述多帧图像和所述第二图像；根据所述目标识别结果和所述对应的位置，绘制所述虚拟图像，所述虚拟图像中所述对应的位置处显示有所述目标识别结果；

所述增强现实显示器用于对所述虚拟图像进行显示。

10.根据权利要求9所述的系统，其特征在于，所述图像传感器、所述处理器和所述增强现实显示器的帧率等于或大于60Hz。