CN105701828B - 一种图像处理方法和装置 - Google Patents

Abstract

本申请提供了一种图像处理方法和装置，通过在目标图像中提取一个目标标志物以及该目标标志物中至少三个目标位置点的二维坐标；获取用户指定的渲染位置点的二维坐标；分别将渲染位置点以及目标位置点的二维坐标转换为三维坐标；分别将目标位置点对应的三维坐标转换为第一矩阵，并将渲染位置点对应的三维坐标转换为第二矩阵；计算每个第一矩阵与第二矩阵之间的变换量，基于变换量对第一矩阵进行变换得到第三矩阵，基于得到的至少三个第三矩阵所转换出的至少三个三维坐标，将至少一个虚拟模型渲染到至少三个三维坐标所构成的平面上。该方法和装置可以实现通过一个标志物来标识一个平面，完成图像与虚拟模型的无缝拼接。

Description

一种图像处理方法和装置

技术领域

本申请涉及图像处理技术领域，更具体的说是涉及一种图像处理方法和装置。

背景技术

增强现实(AR，Augmented Reality)是将虚拟实物叠加到真实环境中从而实现虚拟融合效果。

基于视觉跟踪的增强现实系统中，为了达到实时的、鲁棒的跟踪效果，需要在场景中预先布置标志物，以采用标志物来解决跟踪问题。在实际应用中一般需要识别出真实环境摄取到的图像中的多个标志物，并确定这多个标志物的坐标；在获取虚拟模型中虚拟物体的坐标系后，通过坐标系之间的对应关系，将该虚拟模型渲染到该图像所在的平面上，实现无缝拼接。

然而现有的增强现实技术中识别多个标志物必然导致了识别时间过长，而且标志物过多还可能会影响融合的效果和实物中的大量布局空间的浪费。

发明内容

有鉴于此，本申请提供了一种图像处理方法和装置，以实现通过一个标志物来标识一个平面，完成图像与虚拟模型的无缝拼接。

为实现上述目的，本申请提供如下技术方案：一种图像处理方法，包括：

从目标图像中提取一个目标标志物，其中所述目标图像为待融合至预设的至少一个虚拟模型中的图像；

确定所述目标标志物中至少三个目标位置点在所述目标图像中的二维坐标；

检测用户在所述目标图像中指出的渲染位置点，并确定所述渲染位置点的二维坐标；

基于反投影技术，分别将所述渲染位置点的二维坐标以及所述目标位置点的二维坐标转换为三维坐标；

分别将每个所述目标位置点对应的三维坐标转换为第一矩阵，并将所述渲染位置点对应的三维坐标转换为第二矩阵；

分别计算每个所述第一矩阵与所述第二矩阵之间的变换量，其中，所述变换量包括偏移量和/或缩放量；

对于任意一个所述第一矩阵，基于所述第一矩阵对应的变换量，对所述第一矩阵进行变换得到第三矩阵，最终获得至少三个第三矩阵；

将每个所述第三矩阵转换为三维坐标，得到所述至少三个第三矩阵对应的至少三个三维坐标；

将所述至少一个虚拟模型渲染到所述至少三个三维坐标所构成的平面上。

优选的，所述确定所述目标标志物中至少三个目标位置点在所述目标图像中的二维坐标，包括：

确定所述目标标志物的四个顶点在所述目标图像中的二维坐标。

优选的，所述基于所述第一矩阵对应的变换量，对所述第一矩阵进行变换得到第三矩阵，包括：

根据所述第一矩阵对应的变换量，构建变换矩阵，将所述第一矩阵与所述变换矩阵相乘得到第三矩阵。

优选的，所述根据所述第一矩阵对应的变换量，构建变换矩阵，将所述第一矩阵与所述变换矩阵相乘得到第三矩阵，包括：

当所述变换量为偏移量时，根据所述偏移量构建平移矩阵Jp，将所述第一矩阵J1与所述平移矩阵J相乘得到第三矩阵J3；

其中，dx，dy，dz分别为x，y，z轴的偏移量；

当所述变换量为缩放量时，根据所述缩放量构建缩放矩阵Js，将所述第一矩阵J1与所述缩放矩阵Js相乘得到第三矩阵J3；

其中，Sx，Sy，Sz分别为x，y，z轴的缩放比例。

优选的，在所述将所述至少一个虚拟模型渲染到所述至少三个三维坐标所在的平面上之后，还包括：

存储所述目标标志物与所述至少三个三维坐标所在的平面的对应关系。

另一方面，本申请实施例还提供了一种图像处理装置，包括：

标志提取单元，用于从目标图像中提取一个目标标志物，其中所述目标图像为待融合至预设的至少一个虚拟模型中的图像；

标志坐标确定单元，用于确定所述目标标志物中至少三个目标位置点在所述目标图像中的二维坐标；

渲染点确定单元，用于检测用户在所述目标图像中指出的渲染位置点，并确定所述渲染位置点的二维坐标；

第一坐标转换单元，用于基于反投影技术，分别将所述渲染位置点的二维坐标以及所述目标位置点的二维坐标转换为三维坐标；

第一矩阵转换单元，用于分别将每个所述目标位置点对应的三维坐标转换为第一矩阵，并将所述渲染位置点对应的三维坐标转换为第二矩阵；

变换量计算单元，用于分别计算每个所述第一矩阵与所述第二矩阵之间的变换量，其中，所述变换量包括偏移量和/或缩放量；

第二矩阵转换单元，用于对于任意一个所述第一矩阵，基于所述第一矩阵对应的变换量，对所述第一矩阵进行变换得到第三矩阵，最终获得至少三个第三矩阵；

第二坐标转换单元，用于将每个所述第三矩阵转换为三维坐标，得到所述至少三个第三矩阵对应的至少三个三维坐标；

模型渲染单元，用于将所述至少一个虚拟模型渲染到所述第二坐标转换单元转换出的所述至少三个三维坐标所构成的平面上。

优选的，所述标志坐标确定单元，包括：

标志坐标确定子单元，用于确定所述目标标志物的四个顶点在所述目标图像中的二维坐标。

优选的，所述第二矩阵变换单元，包括：

第二矩阵变换子单元，用于对于任意一个所述第一矩阵，根据所述第一矩阵对应的变换量，构建变换矩阵，将所述第一矩阵与所述变换矩阵相乘得到第三矩阵。

优选的，所述第二矩阵变换子单元，包括：

平移子单元，用于当所述变换量为偏移量时，根据所述偏移量构建平移矩阵Jp，将所述第一矩阵J1与所述平移矩阵J相乘得到第三矩阵J3；

其中，dx，dy，dz分别为x，y，z轴的偏移量；

和/或，缩放子单元，用于当所述变换量为缩放量时，根据所述缩放量构建缩放矩阵Js，将所述第一矩阵J1与所述缩放矩阵Js相乘得到第三矩阵J3；

其中，Sx，Sy，Sz分别为x，y，z轴的缩放比例。

优选的，还包括：

关系存储单元，用于在所述模型渲染单元将所述至少一个虚拟模型渲染到所述至少三个三维坐标所在的平面上之后，存储所述目标标志物与所述至少三个三维坐标所在的平面的对应关系。

经由上述的技术方案可知，在本申请实施例中从目标图像中提取出一个目标标志物，并基于该目标标志物中至少三个目标位置点的二维坐标以及用户指定的渲染位置点的二维坐标，进行相应变换，确定出虚拟模型所需渲染到的平面，并将该虚拟模型渲染到该平面，从而可以将一个标志物所在平面上的任何位置作为渲染虚拟模型的位置，实现了通过一个标志物来标识该标志物所在的整个平面，避免了通过多个标志物标识平面所导致的识别时间过长、影响融合效果和浪费布局空间的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请一种图像处理方法一个实施例的流程示意图；

图2示出了本申请一种图像处理装置一个实施例的结构示意图。

具体实施方式

本申请实施例提供了一种图像处理方法和装置，以实现通过一个标志物来标识一个平面，完成图像与虚拟模型的无缝拼接。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请的一种图像处理方法进行介绍。

参见图1，其示出了本申请一种图像处理方法一个实施例的流程示意图，本实施例的方法可以包括：

101，从目标图像中提取一个目标标志物。

其中，该目标图像为待融合至预设的至少一个虚拟模型中的图像。

在获取到待融合至虚拟模型中的目标图像之后，在本申请实施例仅仅从该图像中提取出一个目标标志物。

可以理解的是，该目标标志物可以根据需要选定，如该目标标志物可以为二维码、指定图片或者照片等等。

102，确定目标标志物中至少三个目标位置点在目标图像中的二维坐标。

在目标图像中存在目标标志物时，提取该目标标志物上至少三个位置点的二维坐标，通过三个位置点的坐标可以标示出该目标标志物当前所在的平面。其中，为了便于区分，将从该目标标志物中提取出的位置点称为目标位置点。

可以理解的是，确定目标位置点的二维坐标的方式可以与现有的提取位置点的二维坐标的方式相似，如，可以通过关键点匹配算法计算出该目标标志物中至少三个目标位置点所在的二维坐标。

可选的，该至少三个目标标志点可以包括：目标标志物中四个顶点。相应的，可以提取该目标标志物的四个顶点的二维坐标。

103，检测用户在该目标图像中指出的渲染位置点，并确定该渲染位置点的二维坐标。

其中，用户可以指定需要将虚拟模型等虚拟素材渲染到的位置点，本申请实施例中，将用户指出的该位置点成为渲染位置点。例如，用户可以通过鼠标在目标图像中某个位置点进行点击。

104，分别将该渲染位置点的二维坐标以及目标位置点的二维坐标转换为三维坐标。

如，可以基于反投影技术，将二维坐标转换为三维坐标。

105，分别将每个目标位置点对应的三维坐标转换为第一矩阵，并将该渲染位置点对应的三维坐标转换为第二矩阵。

由于三维渲染需要三维坐标和三维的矩阵信息，因此，需要将渲染位置点以及每个目标位置点的二维坐标均转换为三维坐标，然后对于转换出的每一个三维坐标，分别确定三维坐标对应的矩阵。

在本申请实施例中，将目标位置点对应的三维坐标转换出的矩阵称为第一矩阵，而将渲染位置点对应的三维坐标转换出的矩阵称为第二矩阵，该第一矩阵和第二矩阵仅仅是为了便于区分不同位置点所对应的矩阵，并不具有其他限定作用。

106，分别计算每个第一矩阵与第二矩阵之间的变换量。

其中，该变换量可以包括第一矩阵与第二矩阵之间的偏移量、第一矩阵与第二矩阵的缩放量，以及不规则变换等中的一个或多个。

107，对于任意一个第一矩阵，基于该第一矩阵对应的变换量，对该第一矩阵进行变换得到第三矩阵，最终获得至少三个第三矩阵。

将第一矩阵按照该变换量进行变化，得到第三矩阵实际上是将标志物所在的平面进行平移或缩放，以重新确定可以绘制虚拟图像的区域中相应点所对应的矩阵。

108，将每个第三矩阵转换为三维坐标，得到该至少三个第三矩阵对应的至少三个三维坐标。

109，将该至少一个虚拟模型渲染到该至少三个三维坐标所构成的平面上。

在得到第三矩阵之后，还需要将每个三维矩阵分别转换为三维坐标。

该虚拟模型可以是由用户设定的，具体可以根据需要设定，如该虚拟模型可以为视频、图片等等。

其中，将第一矩阵进行平移、缩放等变换后，可以将目标标志物标记到三维空间的任意一个地方。这样，将至少三个第三矩阵转换出的至少三个三维坐标所在的平面就可以理解为需要将虚拟素材渲染到的目标平面。

可以理解的是，一个目标位置点对应了一个第三矩阵，如，当提取的是目标标志物的四个顶点时，则可以得到四个第三矩阵，相应的，四个第三矩阵转换出四个三维坐标。

其中，确定出该至少三个三维坐标所在的平面之后，将该虚拟模型渲染到该平面上的具体过程可以与现有将虚拟模型渲染到该平面上的过程相似，在此不再赘述。

可见，在本申请实施例中，从目标图像中提取出一个目标标志物，并基于目标标志物中至少三个目标位置点的二维坐标以及用户指定的渲染位置点的二维坐标，进行相应变换，确定出虚拟模型所需渲染到的平面，并将该虚拟模型渲染到该平面，从而可以将一个标志物对应的平面上的任何位置作为渲染虚拟模型的位置，实现了通过一个标志物来标识该标志物所在的整个平面，避免了通过多个标志物标识平面所导致的识别时间过长、影响融合效果和浪费布局空间的问题。

可以理解的是，在将至少一个虚拟模型渲染到所述至少三个三维坐标所在的平面上之后，还可以存储该目标标志物与该虚拟模型的对应关系。根据存储该对应关系，可以确定标志物所在平面上所融合的多个虚拟模型。

当然，还可以为融合到该标志物所在平面上的虚拟模型添加提取算法，当检测到点击某个虚拟模型的操作时，根据当前所点击的模拟模型，作出相应的响应，具体可以与现有方式相似。

可选的，在本申请实施例中，基于所述第一矩阵对应的变换量，对第一矩阵进行变换得到第三矩阵，可以为：

根据第一矩阵对应的变换量，构建变换矩阵，将该第一矩阵与该变换矩阵相乘得到第三矩阵。

具体的，当该变换量为偏移量时，根据偏移量构建平移矩阵Jp，将第一矩阵J1与平移矩阵J相乘得到第三矩阵J3。

其中，dx，dy，dz分别为x，y，z轴的偏移量。

相应的，当变换量为缩放量时，根据缩放量构建缩放矩阵Js，将第一矩阵J1与缩放矩阵Js相乘得到第三矩阵J3。

其中，Sx，Sy，Sz分别为x，y，z轴的缩放比例。

可以理解的是，在本申请以上实施例中，在从目标图像中提取一个目标标志物之前，还可以获取目标图像，如，可以检测当前是否有摄像头接入，若有，则可以则调整摄像头的分辨率至合适的分辨率，并进行摄像，摄取目标图像。

对应本申请的一种图像处理方法，本申请实施例还提供了一种图像处理装置。

参见图2，其示出了本申请一种图像处理装置一个实施例的结构示意图，本实施例的装置可以包括：

标志提取单元201，用于从目标图像中提取一个目标标志物，其中所述目标图像为待融合至预设的至少一个虚拟模型中的图像；

标志坐标确定单元202，用于确定所述目标标志物中至少三个目标位置点在所述目标图像中的二维坐标；

渲染点确定单元203，用于检测用户在所述目标图像中指出的渲染位置点，并确定所述渲染位置点的二维坐标；

第一坐标转换单元204，用于基于反投影技术，分别将所述渲染位置点的二维坐标以及所述目标位置点的二维坐标转换为三维坐标；

第一矩阵转换单元205，用于分别将每个所述目标位置点对应的三维坐标转换为第一矩阵，并将所述渲染位置点对应的三维坐标转换为第二矩阵；

变换量计算单元206，用于分别计算每个所述第一矩阵与所述第二矩阵之间的变换量，其中，所述变换量包括偏移量和/或缩放量；

第二矩阵转换单元207，用于对于任意一个所述第一矩阵，基于所述第一矩阵对应的变换量，对所述第一矩阵进行变换得到第三矩阵，最终获得至少三个第三矩阵；

第二坐标转换单元208，用于将每个所述第三矩阵转换为三维坐标，得到所述至少三个第三矩阵对应的至少三个三维坐标；

模型渲染单元208，用于将所述至少一个虚拟模型渲染到所述第二坐标转换单元转换出的所述至少三个三维坐标所构成的平面上。

优选的，所述标志坐标确定单元，包括：

标志坐标确定子单元，用于确定所述目标标志物的四个顶点在所述目标图像中的二维坐标。

优选的，所述第二矩阵变换单元，包括：

第二矩阵变换子单元，用于对于任意一个所述第一矩阵，根据所述第一矩阵对应的变换量，构建变换矩阵，将所述第一矩阵与所述变换矩阵相乘得到第三矩阵。

进一步的，所述第二矩阵变换子单元，包括：

平移子单元，用于当所述变换量为偏移量时，根据所述偏移量构建平移矩阵Jp，将所述第一矩阵J1与所述平移矩阵J相乘得到第三矩阵J3；

其中，dx，dy，dz分别为x，y，z轴的偏移量；

和/或，缩放子单元，用于当所述变换量为缩放量时，根据所述缩放量构建缩放矩阵Js，将所述第一矩阵J1与所述缩放矩阵Js相乘得到第三矩阵J3；

其中，Sx，Sy，Sz分别为x，y，z轴的缩放比例。

优选的，所述装置还可以包括：

关系存储单元，用于在所述模型渲染单元将所述至少一个虚拟模型渲染到所述至少三个三维坐标所在的平面上之后，存储所述目标标志物与所述至少三个三维坐标所在的平面的对应关系。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

从目标图像中提取一个目标标志物，其中所述目标图像为待融合至预设的至少一个虚拟模型中的图像；

确定所述目标标志物中至少三个目标位置点在所述目标图像中的二维坐标；

检测用户在所述目标图像中指出的渲染位置点，并确定所述渲染位置点的二维坐标；

分别将所述渲染位置点的二维坐标以及所述目标位置点的二维坐标转换为三维坐标；

分别将每个所述目标位置点对应的三维坐标转换为第一矩阵，并将所述渲染位置点对应的三维坐标转换为第二矩阵；

分别计算每个所述第一矩阵与所述第二矩阵之间的变换量，其中，所述变换量包括偏移量和/或缩放量；

对于任意一个所述第一矩阵，基于所述第一矩阵对应的变换量，对所述第一矩阵进行变换得到第三矩阵，最终获得至少三个第三矩阵；其中，所述第三矩阵用于根据所述变换量将所述标志物所在的平面进行平移或缩放；

将每个所述第三矩阵转换为三维坐标，得到所述至少三个第三矩阵对应的至少三个三维坐标；

将所述至少一个虚拟模型渲染到所述至少三个三维坐标所构成的平面上。

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标标志物中至少三个目标位置点在所述目标图像中的二维坐标，包括：

确定所述目标标志物的四个顶点在所述目标图像中的二维坐标。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一矩阵对应的变换量，对所述第一矩阵进行变换得到第三矩阵，包括：

根据所述第一矩阵对应的变换量，构建变换矩阵，将所述第一矩阵与所述变换矩阵相乘得到第三矩阵。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一矩阵对应的变换量，构建变换矩阵，将所述第一矩阵与所述变换矩阵相乘得到第三矩阵，包括：

当所述变换量为偏移量时，根据所述偏移量构建平移矩阵Jp，将所述第一矩阵J1与所述平移矩阵J相乘得到第三矩阵J3；

其中，dx，dy，dz分别为x，y，z轴的偏移量；

当所述变换量为缩放量时，根据所述缩放量构建缩放矩阵Js，将所述第一矩阵J1与所述缩放矩阵Js相乘得到第三矩阵J3；

其中，Sx，Sy，Sz分别为x，y，z轴的缩放比例。

5.根据权利要求1所述的方法，其特征在于，在所述将所述至少一个虚拟模型渲染到所述至少三个三维坐标所在的平面上之后，还包括：

存储所述目标标志物与所述至少三个三维坐标所在的平面的对应关系。

6.一种图像处理装置，其特征在于，包括：

标志提取单元，用于从目标图像中提取一个目标标志物，其中所述目标图像为待融合至预设的至少一个虚拟模型中的图像；

标志坐标确定单元，用于确定所述目标标志物中至少三个目标位置点在所述目标图像中的二维坐标；

渲染点确定单元，用于检测用户在所述目标图像中指出的渲染位置点，并确定所述渲染位置点的二维坐标；

第一坐标转换单元，用于分别将所述渲染位置点的二维坐标以及所述目标位置点的二维坐标转换为三维坐标；

第一矩阵转换单元，用于分别将每个所述目标位置点对应的三维坐标转换为第一矩阵，并将所述渲染位置点对应的三维坐标转换为第二矩阵；

变换量计算单元，用于分别计算每个所述第一矩阵与所述第二矩阵之间的变换量，其中，所述变换量包括偏移量和/或缩放量；

第二矩阵转换单元，用于对于任意一个所述第一矩阵，基于所述第一矩阵对应的变换量，对所述第一矩阵进行变换得到第三矩阵，最终获得至少三个第三矩阵；其中，所述第三矩阵用于根据所述变换量将所述标志物所在的平面进行平移或缩放；

第二坐标转换单元，用于将每个所述第三矩阵转换为三维坐标，得到所述至少三个第三矩阵对应的至少三个三维坐标；

模型渲染单元，用于，将所述至少一个虚拟模型渲染到所述第二坐标转换单元转换出的所述至少三个三维坐标所构成的平面上。

7.根据权利要求6所述的装置，其特征在于，所述标志坐标确定单元，包括：

标志坐标确定子单元，用于确定所述目标标志物的四个顶点在所述目标图像中的二维坐标。

8.根据权利要求6所述的装置，其特征在于，所述第二矩阵变换单元，包括：

第二矩阵变换子单元，用于对于任意一个所述第一矩阵，根据所述第一矩阵对应的变换量，构建变换矩阵，将所述第一矩阵与所述变换矩阵相乘得到第三矩阵。

9.根据权利要求8所述的装置，其特征在于，所述第二矩阵变换子单元，包括：

平移子单元，用于当所述变换量为偏移量时，根据所述偏移量构建平移矩阵Jp，将所述第一矩阵J1与所述平移矩阵J相乘得到第三矩阵J3；

其中，dx，dy，dz分别为x，y，z轴的偏移量；

和/或，缩放子单元，用于当所述变换量为缩放量时，根据所述缩放量构建缩放矩阵Js，将所述第一矩阵J1与所述缩放矩阵Js相乘得到第三矩阵J3；

其中，Sx，Sy，Sz分别为x，y，z轴的缩放比例。

10.根据权利要求6所述的装置，其特征在于，还包括：

关系存储单元，用于在所述模型渲染单元将所述至少一个虚拟模型渲染到所述至少三个三维坐标所在的平面上之后，存储所述目标标志物与所述至少三个三维坐标所在的平面的对应关系。