CN114022349A - 一种基于透视投影的平面图像处理方法及装置 - Google Patents

Abstract

本发明涉及一种基于透视投影的平面图像处理方法及装置，属于图像处理技术领域。方法包括：获取拍摄平面图像时相机的参数信息；在一个三维空间中，根据相机的参数信息构建一个虚拟相机，并将拍摄的平面图像置于虚拟相机的视锥体剪裁平面上；预设将平面图像还原三维场景下的虚拟平面距离地面的高度；虚拟平面与平面图像平行，且虚拟平面距离地面的高度小于虚拟相机距离地面的高度；以虚拟相机为起点，向平面图像各条边上的点发射射线，基于透视投影的原理，结合三角函数计算出虚拟平面各条边上的点的三维坐标，进而得到虚拟平面各条边的三维数据。本发明得到的虚拟平面在视觉上能达到替换平面图像的效果，整体平面图像的处理过程操作简单。

Description

一种基于透视投影的平面图像处理方法及装置

技术领域

本发明涉及一种基于透视投影的平面图像处理方法及装置，属于图像处理技术领域。

背景技术

传统的平面图像处理技术倾向于利用算法，对图片所包含的所有数据进行整合计算。例如：目前主流的第三方图像处理软件PS等。

图片处理时，经常需要将图片上增加某些三维信息等，例如家居导购场景下，如何为一张空床铺上床上用品，现有的平面图像处理方法在繁杂的数据中抽取可以利用的信息(如图像的灰度等)，对图片本身所要表达的信息以及图片中包含的特定三维信息(如某一物体，某一条线或者面)进行识别，以实现图片的处理。

然而现有的平面图像处理方式对图片二次处理时，对特定的三维信息进行识别流程非常繁琐，且需要很高的学习成本。

发明内容

本申请的目的在于提供一种基于透视投影的平面图像处理方法及装置，用以解决现有图像处理繁琐的问题。

为实现上述目的，本申请提出了一种基于透视投影的平面图像处理方法的技术方案，包括以下步骤：

1)获取拍摄平面图像时相机的参数信息；

2)在一个三维空间中，根据相机的参数信息构建一个虚拟相机，并将拍摄的平面图像置于虚拟相机的视锥体剪裁平面上；预设将平面图像还原三维场景下的虚拟平面距离地面的高度；虚拟平面与平面图像平行，且虚拟平面距离地面的高度小于虚拟相机距离地面的高度；

3)以虚拟相机为起点，向平面图像各条边上的点发射射线，基于透视投影的原理，结合三角函数计算出虚拟平面各条边上的点的三维坐标，进而得到虚拟平面各条边的三维数据。

本发明的基于透视投影的平面图像处理方法的技术方案的有益效果是：本发明通过获取平面图像在拍摄时的相机参数，进而在一个三维空间中，构建了虚拟相机，并且将所拍摄的平面图像置于虚拟相机的拍摄范围内，在预设拟合的虚拟平面的高度后，通过虚拟相机向平面图像上的各条边上的点发射射线即可得到虚拟平面各条边的三维数据，该虚拟平面在视觉上能达到替换平面图像的效果，进而可以对该虚拟平面进行后续处理的步骤，整体平面图像的处理过程操作简单。

进一步地，虚拟平面各条边的三维数据的计算过程为：

其中，

为虚拟相机相对于坐标原点的向量；(x,y,z)为虚拟相机的三维坐标；

为虚拟平面的点相对于坐标原点的向量；(x′,y′,z′)为虚拟平面的点的三维坐标；

为虚拟平面的点相对于虚拟相机的向量；k为向量

的模；

为向量

的单位向量；H为虚拟相机距离地面的高度；h′为虚拟片面距离地面的高度；α为向量

与地面的夹角。

进一步地，拍摄平面图像时，通过陀螺仪采集相机的参数信息。

进一步地，该方法还包括：将得到的虚拟平面各条边的三维数据与待组合物体的三维模型进行结合，得到组合模型的三维数据，将组合模型的三维数据投影为二维数据，得到处理后的组合平面图像。

进一步地，该方法还包括对虚拟平面的三维数据进行纹理填充的步骤。

另外，本申请还提出一种基于透视投影的平面图像处理装置的技术方案，包括处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：

1)获取拍摄平面图像时相机的参数信息；

2)在一个三维空间中，根据相机的参数信息构建一个虚拟相机，并将拍摄的平面图像置于虚拟相机的视锥体剪裁平面上；预设将平面图像还原三维场景下的虚拟平面距离地面的高度；虚拟平面与平面图像平行，且虚拟平面距离地面的高度小于虚拟相机距离地面的高度；

3)以虚拟相机为起点，向平面图像各条边上的点发射射线，基于透视投影的原理，结合三角函数计算出虚拟平面各条边上的点的三维坐标，进而得到虚拟平面各条边的三维数据。

本发明的基于透视投影的平面图像处理装置的技术方案的有益效果是：本发明通过获取平面图像在拍摄时的相机参数，进而在一个三维空间中，构建了虚拟相机，并且将所拍摄的平面图像置于虚拟相机的拍摄范围内，在预设拟合的虚拟平面的高度后，通过虚拟相机向平面图像上的各条边上的点发射射线即可得到虚拟平面各条边的三维数据，该虚拟平面在视觉上能达到替换平面图像的效果，进而可以对该虚拟平面进行后续处理的步骤，整体平面图像的处理过程简单。

进一步地，虚拟平面各条边的三维数据的计算过程为：

其中，

为虚拟相机相对于坐标原点的向量；(x,y,z)为虚拟相机的三维坐标；

为虚拟平面的点相对于坐标原点的向量；(x′,y′,z′)为虚拟平面的点的三维坐标；

为虚拟平面的点相对于虚拟相机的向量；k为向量

的模；

为向量

的单位向量；H为虚拟相机距离地面的高度；h′为虚拟片面距离地面的高度；α为向量

与地面的夹角。

进一步地，拍摄平面图像时，通过陀螺仪采集相机的参数信息。

进一步地，该方法还包括：将得到的虚拟平面各条边的三维数据与待组合物体的三维模型进行结合，得到组合模型的三维数据，将组合模型的三维数据投影为二维数据，得到处理后的组合平面图像。

进一步地，该方法还包括对虚拟平面的三维数据进行纹理填充的步骤。

附图说明

图1是本发明三维空间的剖面图；

图2是本发明虚拟平面三维数据的求解原理图；

图3是本发明基于透视投影的平面图像处理装置的结构示意图。

具体实施方式

基于透视投影的平面图像处理方法实施例：

透视投影属于中心投影。透视投影图是从某个投射中心将物体投射到单一投影面上所得到的图形。透视图与人们观看物体时所产生的视觉效果非常接近，所以它能更加生动形象地表现建筑外貌及内部装饰。在已有实景实物的情况下，通过拍照或摄像得到的照片即是透视图。

因此本发明的主要构思在于，基于拍摄平面图像时的相机参数，在三维空间中建立虚拟相机，进而将平面图像置于虚拟相机的视锥体剪裁平面上、预设虚拟平面的高度后，以虚拟相机为起点，向平面图像发射射线，基于透视投影的原理，结合三角函数计算出虚拟平面的三维数据，虚拟平面在视觉上替换了平面图像，因此后续对虚拟平面的处理达到对平面图像处理的效果。

具体的，基于透视投影的平面图像处理方法，包括以下步骤：

1)获取拍摄平面图像时相机的参数信息。

这里相机的参数信息包括相机的拍摄角度以及拍摄高度等参数，可以在相机拍摄时，在相机上放置陀螺仪采集相机的参数信息。

当然，也可以首先设置好相机的参数后进行拍摄，参数信息即为设定的参数、获取采用自动获取参数的相机，在相机拍摄时即可显示相机参数，本发明对相机参数的获取过程不做限制。

2)构建一个三维空间，以模拟拍摄时的拍摄环境。

3)在三维空间中，根据相机的参数信息构建一个虚拟相机，并将拍摄的平面图像置于虚拟相机的视锥体剪裁平面上，同时预设虚拟平面距离地面的高度。

本步骤中，三维空间如图1所示，c点为虚拟相机，虚拟相机的拍摄角度以及虚拟相机距离地面的高度H通过步骤1)中得到的实际相机的参数信息进行设定，同时设定虚拟相机的三维坐标，确定虚拟相机的位置。P为虚拟相机的视锥体(也即虚拟相机的拍摄范围)，其特点为一个以虚拟相机为顶点的四棱锥截成的四棱台，在该视锥体内部的所有物体的顶点将按照透视投影原理投影至视锥体的近剪裁面，并最终通过渲染管线渲染至显示器。

将拍摄的平面图像置于虚拟相机的视锥体远剪裁平面上(这里的近剪裁面和远裁剪面向相对于虚拟相机的距离来确定，离虚拟相机近的平面为近剪裁面，离虚拟相机远的平面为远裁剪面)。图1中S为拍摄的平面图像，其距离地面的高度h是个未知数，S′为虚拟平面，该虚拟平面为将平面图像还原三维场景下的虚拟平面，虚拟平面距离地面的高度h′可以根据需要进行设定，但是虚拟平面距离地面的高度h′＜虚拟相机距离地面的高度H。

4)以虚拟相机c为起点，向平面图像S各条边上的点发射射线，基于透视投影的原理，结合三角函数计算出虚拟平面S′各条边上的点的三维坐标，进而得到虚拟平面S′各条边的三维数据。

如图1所示，以平面图像上某条边的m点，计算与其对应的虚拟平面的a的三维坐标为例，对虚拟平面的三维数据的计算过程进行详细说明。

虚拟相机与三维空间的水平基平面(即地面)形成的垂线与拟合平面的交点为b，cb的长度为H减去h’，以虚拟相机为顶点，向平面图像上的m点发射射线，该射线与虚拟平面的交点为a点，通过API可以获得该射线的方向向量

并以反三角函数计算可得该射线与水平面的夹角α，再使用三角函数计算可得向量

的模长为k，则

即为向量

进而如图2所示，通过向量加法，即可计算得出向量

即为拟合平面的a点的三维坐标，计算过程如下：

其中，

为虚拟相机相对于坐标原点的向量；(x,y,z)为虚拟相机的三维坐标；

为虚拟平面的点相对于坐标原点的向量；(x′,y′,z′)为虚拟平面的点的三维坐标；

为虚拟平面的点相对于虚拟相机的向量；k为向量

的模；

为向量

的单位向量；H为虚拟相机距离地面的高度；h′为虚拟片面距离地面的高度；α为向量

与地面的夹角。

以此类推，分别计算得出拟合平面各条边上的点的三维坐标，即可得到虚拟平面S’的三维数据，该平面与被拟合平面S平行，并且根据透视投影原理，在视锥体近剪裁面上的投影与被拟合平面完全重合，即可看做用S’替代了图片中的平面S。

5)通过步骤4)得到的虚拟平面S′各条边的三维数据，可以对此虚拟平面S′进行处理。

这里的处理包括对虚拟平面S′填充纹理，或将得到的虚拟平面S′各条边的三维数据与待组合物体的三维模型进行结合，得到组合模型的三维数据，将组合模型的三维数据投影为二维数据，得到处理后的组合平面图像。

例如：为一张空床上铺上床上用品，对空床进行拍摄，得到包含空床的平面图像，利用上述的方法得到空床对应的虚拟平面的三维数据之后，结合床上用品的三维模型，使得床上用品对空床进行遮盖，进而达到“铺床”的目的，之后将包含空床以及床上用品的组合三维模型重新投影为二维图片，得到了“铺床”后的平面图像。

上述步骤4)中虚拟相机c向平面图像S各条边上的点发射射线，这里的各条边可以是整张平面图像的各条边、也可以是平面图像中某个待处理的物体的各条边，可以根据需要进行设定，并且平面图像上电的选取是通过对显示设备的屏幕上的图像进行点击实现的，操作简单，进而计算得到对应的虚拟平面的三维数据，实现图像处理。

本发明使用平面图像拍摄时的相机参数，在三维空间中构建虚拟相机，同时利用透视投影原理进行计算，得到构建得到一平行于平面图像S的虚拟平面S’，相当于在三维空间中还原了现实中的拍摄场景，由于透视投影原理，射线与虚拟平面的交点即可认为是“真实”平面的顶点，在视觉上虚拟平面S’完全等效平面图像S。

本发明利用计算机图形学原理及软件技术，对特定图片中某一区域或者整个区域进行处理，使用简单，易于理解，同时很好的达到了目的，本发明的图像处理方法可适用于家居设计、服装设计等各种领域，适用范围广。

基于透视投影的平面图像处理装置实施例：

基于透视投影的平面图像处理装置，如图3所示，包括处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现基于透视投影的平面图像处理方法。

基于透视投影的平面图像处理方法的具体实施过程以及效果在上述基于透视投影的平面图像处理方法实施例中介绍，这里不做赘述。

也就是说，以上基于透视投影的平面图像处理方法实施例中的方法应理解可由计算机程序指令实现基于透视投影的平面图像处理方法的流程。可提供这些计算机程序指令到处理器(如通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备等)，使得通过处理器执行这些指令产生用于实现上述方法流程所指定的功能。

本实施例所指的处理器是指微处理器MCU或可编程逻辑器件FPGA等的处理装置；

本实施例所指的存储器用于存储实现基于透视投影的平面图像处理方法而形成的计算机程序指令，包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。例如：利用电能方式存储信息的各式存储器，RAM、ROM等；利用磁能方式存储信息的的各式存储器，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的各式存储器，CD或DVD。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。

通过上述存储有实现基于透视投影的平面图像处理方法而形成的计算机程序指令的存储器、处理器构成的基于透视投影的平面图像处理装置，在计算机中由处理器执行相应的程序指令来实现，计算机可使用windows操作系统、linux系统、或其他，例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。

作为其他实施方式，基于透视投影的平面图像处理装置还可以包括其他的处理硬件，如数据库或多级缓存、GPU等，本发明并不对基于透视投影的平面图像处理装置的结构做具体的限定。

Claims (10)

1.一种基于透视投影的平面图像处理方法，其特征在于，包括以下步骤：

1)获取拍摄平面图像时相机的参数信息；

2)在一个三维空间中，根据相机的参数信息构建一个虚拟相机，并将拍摄的平面图像置于虚拟相机的视锥体剪裁平面上；预设将平面图像还原三维场景下的虚拟平面距离地面的高度；虚拟平面与平面图像平行，且虚拟平面距离地面的高度小于虚拟相机距离地面的高度；

3)以虚拟相机为起点，向平面图像各条边上的点发射射线，基于透视投影的原理，结合三角函数计算出虚拟平面各条边上的点的三维坐标，进而得到虚拟平面各条边的三维数据。

2.根据权利要求1所述的基于透视投影的平面图像处理方法，其特征在于，虚拟平面各条边的三维数据的计算过程为：

其中，

为虚拟相机相对于坐标原点的向量；(x,y,z)为虚拟相机的三维坐标；

为虚拟平面的点相对于坐标原点的向量；(x′,y′,z′)为虚拟平面的点的三维坐标；

为虚拟平面的点相对于虚拟相机的向量；k为向量

的模；

为向量

的单位向量；H为虚拟相机距离地面的高度；h′为虚拟片面距离地面的高度；α为向量

与地面的夹角。

3.根据权利要求1所述的基于透视投影的平面图像处理方法，其特征在于，拍摄平面图像时，通过陀螺仪采集相机的参数信息。

4.根据权利要求1所述的基于透视投影的平面图像处理方法，其特征在于，该方法还包括：将得到的虚拟平面各条边的三维数据与待组合物体的三维模型进行结合，得到组合模型的三维数据，将组合模型的三维数据投影为二维数据，得到处理后的组合平面图像。

5.根据权利要求1所述的基于透视投影的平面图像处理方法，其特征在于，该方法还包括对虚拟平面的三维数据进行纹理填充的步骤。

6.一种基于透视投影的平面图像处理装置，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：

1)获取拍摄平面图像时相机的参数信息；

2)在一个三维空间中，根据相机的参数信息构建一个虚拟相机，并将拍摄的平面图像置于虚拟相机的视锥体剪裁平面上；预设将平面图像还原三维场景下的虚拟平面距离地面的高度；虚拟平面与平面图像平行，且虚拟平面距离地面的高度小于虚拟相机距离地面的高度；

3)以虚拟相机为起点，向平面图像各条边上的点发射射线，基于透视投影的原理，结合三角函数计算出虚拟平面各条边上的点的三维坐标，进而得到虚拟平面各条边的三维数据。

7.根据权利要求6所述的基于透视投影的平面图像处理装置，其特征在于，虚拟平面各条边的三维数据的计算过程为：

其中，

为虚拟相机相对于坐标原点的向量；(x,y,z)为虚拟相机的三维坐标；

为虚拟平面的点相对于坐标原点的向量；(x′,y′,z′)为虚拟平面的点的三维坐标；

为虚拟平面的点相对于虚拟相机的向量；k为向量

的模；

为向量

的单位向量；H为虚拟相机距离地面的高度；h′为虚拟片面距离地面的高度；α为向量

与地面的夹角。

8.根据权利要求6所述的基于透视投影的平面图像处理装置，其特征在于，拍摄平面图像时，通过陀螺仪采集相机的参数信息。

9.根据权利要求6所述的基于透视投影的平面图像处理装置，其特征在于，该方法还包括：将得到的虚拟平面各条边的三维数据与待组合物体的三维模型进行结合，得到组合模型的三维数据，将组合模型的三维数据投影为二维数据，得到处理后的组合平面图像。

10.根据权利要求6所述的基于透视投影的平面图像处理装置，其特征在于，该方法还包括对虚拟平面的三维数据进行纹理填充的步骤。

Images