CN115471550B

CN115471550B - 2.5维图像空间几何方位角校正方法、装置、设备及介质

Info

Publication number: CN115471550B
Application number: CN202211055145.2A
Authority: CN
Inventors: 付永锋; 孙建平; 吴玉华; 付小峰
Original assignee: Beijing Zhongtu Kechuang Information Technology Co ltd; Beijing Geo Vision Tech Co ltd
Current assignee: Beijing Zhongtu Kechuang Information Technology Co ltd; Beijing Geo Vision Tech Co ltd
Priority date: 2022-08-31
Filing date: 2022-08-31
Publication date: 2023-05-26
Anticipated expiration: 2042-08-31
Also published as: CN115471550A

Abstract

本申请涉及一种2.5维图像空间几何方位角校正方法、装置、设备及介质，应用于图像处理技术领域，其方法包括：实时获取2.5维图像虚拟眼点的投影矩阵、观察矩阵和待校正像素点，其中，所述待校正像素点为2.5维图像中的像素点；基于所述投影矩阵和所述观察矩阵计算2.5维坐标转空间坐标矩阵；基于所述2.5维坐标转空间坐标矩阵计算所述待校正像素点对应的空间坐标；基于所述空间坐标计算所述待校正像素点对应的方位角。本申请具有实现实时视景图像的空间几何方位角校正的效果。

Description

2.5维图像空间几何方位角校正方法、装置、设备及介质

技术领域

本申请涉及图像处理的技术领域，尤其是涉及一种2.5维图像空间几何方位角校正方法、装置、设备及介质。

背景技术

对于专业飞行模拟器视景图像的空间几何方位角校正中，需要对显示的2.5维图像进行精确的空间位置校正，因此需要能够实时生成和显示一个基于虚拟眼点的正确的方位角来做为校正依据。

当前飞行模拟器的空间几何方位角校正主要通过事先在其他建模软件中生成一张静态方位角图，或者使用非模拟本身用的视景软件生成方位角图。由于所生成的方位角图像是静态图像，在校正过程中，基于虚拟眼点的视场角参数无法直接修改，若要进行参数修改，则需要重新生成一张方位角图，此时校正工作重新开始，并且生成的方位角图像脱离模拟器真正视景软件，因此存在校正偏差的问题。

采用现有技术进行校正时，不但校正过程繁琐，而且容易产生看似参考方位角校正完成，但真正显示时仍然出现空间位置错误的情况，由于无法在真正的视景画面上直接显示方位角信息，使得无法对几何校正结果进行检测，从而对后期项目验收造成纠纷，现亟需一种实现实时视景图像的空间几何方位角校正的技术。

发明内容

为了实现实时视景图像的空间几何方位角校正，本申请提供一种2.5维图像空间几何方位角校正方法、装置、设备及介质。

第一方面，本申请提供一种2.5维图像空间几何方位角校正方法，采用如下的技术方案：

一种2.5维图像空间几何方位角校正方法，包括：

实时获取2.5维图像虚拟眼点的投影矩阵、观察矩阵和待校正像素点，其中，所述待校正像素点为2.5维图像中的像素点；

基于所述投影矩阵和所述观察矩阵计算2.5维坐标转空间坐标矩阵；

基于所述2.5维坐标转空间坐标矩阵计算所述待校正像素点对应的空间坐标；

基于所述空间坐标计算所述待校正像素点对应的方位角。

通过采用上述技术方案，直接在显卡内完成2.5维图像空间几何方位角的校正显示，实时的将基于虚拟眼点的方位角直接叠加到2.5维图像的视景图像上，从而实现实时视景图像的空间几何方位角校正，并且方便后期对后期结果的验证。

可选的，所述基于所述投影矩阵和所述观察矩阵计算2.5维坐标转空间坐标矩阵包括：

将所述投影矩阵和所述观察矩阵相乘，生成空间坐标转2.5维坐标矩阵；

对所述空间坐标转2.5维坐标矩阵进行取逆计算，生成所述2.5维坐标转空间坐标矩。

可选的，所述对所述空间坐标转2.5维坐标矩阵进行取逆计算，生成所述2.5维坐标转空间坐标矩阵包括：

获取区块划分规则，按照所述区块划分规则将所述空间坐标转2.5维坐标矩阵划分为多个矩阵子区块，对每个所述矩阵子区块分别进行取逆计算；

将每个所述矩阵子区块的取逆结果按照所述区块划分规则反推拼接生成所述2.5维坐标转空间坐标矩阵。

可选的，所述基于所述2.5维坐标转空间坐标矩阵计算所述待校正像素点对应的空间坐标包括：

获取所述待校正像素点的深度值；

基于所述深度值确定所述待校正像素点的2.5维坐标；

基于所述待校正像素点的2.5维坐标和所述2.5维坐标转空间坐标矩阵计算所述待校正像素点对应的空间坐标。

可选的，所述基于所述空间坐标计算所述待校正像素点对应的方位角包括:

基于所述空间坐标计算所述待校正像素点的垂直角度；

基于所述空间坐标和所述垂直角度计算所述待校正像素点的水平角度；

基于所述垂直角度和所述水平角度生成所述待校正像素点的方位角。

第二方面，本申请提供一种2.5维图像空间几何方位角校正装置，采用如下的技术方案：

一种2.5维图像空间几何方位角校正装置，包括：

矩阵获取模块，用于实时获取2.5维图像虚拟眼点的投影矩阵、观察矩阵和待校正像素点，其中，所述待校正像素点为2.5维图像中的像素点；

矩阵计算模块，用于基于所述投影矩阵和所述观察矩阵计算2.5维坐标转空间坐标矩阵；

坐标计算模块，用于基于所述2.5维坐标转空间坐标矩阵计算所述待校正像素点对应的空间坐标；

方位计算模块，用于基于所述空间坐标计算所述待校正像素点对应的方位角。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

一种电子设备，包括处理器，所述处理器与存储器耦合；

所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行第一方面任一项所述的2.5维图像空间几何方位角校正方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任一项所述的2.5维图像空间几何方位角校正方法的计算机程序。

附图说明

图1是本申请实施例提供的一种2.5维图像空间几何方位角校正方法的流程示意图。

图2是本申请实施例提供的一种2.5维图像空间几何方位角校正装置的结构框图。

图3是本申请实施例提供的电子设备的结构框图。

具体实施方式

以下结合附图对本申请作进一步详细说明。

本申请实施例提供一种2.5维图像空间几何方位角校正方法，该2.5维图像空间几何方位角校正方法可由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云让算服务的云服务器。终端设备可以是智能手机、平板电脑、台式计算机等，但并不局限于此。

在本实施例中，该方法使用了与第三方应用程序本身无关的原则，并且该方法直接操作图形显示卡底层，直接在显卡内完成方位角显示，当任意一款软件在绘图完成后，必将渲染流推送到显卡GPU内，该方法在GPU内实现对2.5维图像的虚拟空间几何方位角的叠加和校正。

目前所有的2.5维程序在进行图像渲染时，一定会调用系统的库文件d3d9.dll或者库文件opengl32.dll，通过对系统的库文件d3d9.dll和库文件opengl32.dll的重新编写生成特定的库文件d3d9.dll和特定的库文件opengl32.dll来代替系统的系统的库文件d3d9.dll和库文件opengl32.dll，因此第三方2.5程序运行时将会直接调用特定的库文件d3d9.dll和特定的库文件opengl32.dll，从而实现对任意程序渲染流的获取，并且将特定的库文件d3d9.dll和特定的库文件opengl32.dll的GPU代码随第三方渲染流一起进入显示，从而实现对任意第三方程序输出图像在显卡GPU内部实现实时对2.5维图像的虚拟空间几何方位角的叠加和校正。

图1为本申请实施例提供的一种2.5维图像空间几何方位角校正方法的流程示意图。

如图1所示，该方法主要流程描述如下（步骤S101～S104）：

步骤S101，实时获取2.5维图像虚拟眼点的投影矩阵、观察矩阵和待校正像素点，其中，待校正像素点为2.5维图像中的像素点。

在本实施例中，投影矩阵和观察矩阵由特定的库文件d3d9.dll和特定的库文件opengl32.dll从GPU中直接获取使用，投影矩阵使用projMatrix进行表示，观察矩阵使用viewMatrix进行表示，投影矩阵projMatrix和观察矩阵viewMatrix均为包含16个元素的浮点数组类。

步骤S102，基于投影矩阵和观察矩阵计算2.5维坐标转空间坐标矩阵；

针对步骤S102，将投影矩阵和观察矩阵相乘，生成空间坐标转2.5维坐标矩阵；对空间坐标转2.5维坐标矩阵进行取逆计算，生成2.5维坐标转空间坐标矩阵。

进一步的，获取区块划分规则，按照区块划分规则将空间坐标转2.5维坐标矩阵划分为多个矩阵子区块，对每个矩阵子区块分别进行取逆计算；将每个矩阵子区块的取逆结果按照区块划分规则反推拼接生成2.5维坐标转空间坐标矩阵。

在本实施例中，Matrix m = projMatrix * viewMatrix，其中，m为空间坐标转2.5维坐标矩阵，按照矩阵运算法则对空间坐标转2.5维坐标矩阵取逆，从而计算得到2.5维转空间坐标矩阵。

区块划分规则为将4*4的空间坐标转2.5维坐标矩阵m中的16个元素按照矩阵顺序，等分为4个矩阵子区块，即将空间坐标转2.5维坐标矩阵m左上角的2*2矩阵定义为a矩阵子区块，将空间坐标转2.5维坐标矩阵m右上角的2*2矩阵定义为b矩阵子区块，将空间坐标转2.5维坐标矩阵m左下角的2*2矩阵定义为c矩阵子区块，将空间坐标转2.5维坐标矩阵m右下角的2*2矩阵定义为d矩阵子区块，将矩阵子区块进行取逆，并进行旋转和平移的操作得到一个2*2的取逆矩阵，对取逆矩阵进行取逆操作生成二次取逆矩阵，对二次取逆矩阵中的所有元素取反值，将取反值之后的二次取逆矩阵采用上述的旋转和平移操作，得到最终的取逆结果，将取逆结果按照矩阵子区块划分前的位置重新排列，生成2.5维坐标转空间坐标矩阵M。需要说明的是，矩阵子区块的划分和命名包括但不限于上述举例，并且旋转平移操作需要根据实际需求自行对不同的矩阵子区块进行选择，在此不作进一步举例说明和具体限定。

步骤S103，基于2.5维坐标转空间坐标矩阵计算待校正像素点对应的空间坐标；

针对步骤S103，获取待校正像素点的深度值；基于深度值确定待校正像素点的2.5维坐标；基于待校正像素点的2.5维坐标和2.5维坐标转空间坐标矩阵计算待校正像素点对应的空间坐标。

在本实施例中，深度值可以根据实际需要自行定义，根据待校正像素点未取深度值的坐标点posx和posy、深度值和2.5维坐标转空间坐标矩阵M，计算深度为当前深度值时的待校正像素点的空间矩阵。需要说明的是，同一2.5维图像中各个待校正像素点的深度值相同，具体深度值的取值在此不作具体限定。

步骤S104，基于空间坐标计算待校正像素点对应的方位角。

针对步骤S104，基于空间坐标计算待校正像素点的垂直角度；基于空间坐标和垂直角度计算待校正像素点的水平角度；基于垂直角度和水平角度生成待校正像素点的方位角。

在本实施例中，待校正像素点的垂直角度和水平角度均为浮点值，圆周率取小数点后四位，并计算待校正像素点的空间坐标的长度，根据空间坐标、空间坐标的长度和圆周率计算待校正像素点的垂直角度，根据孔家坐标、空间坐标的长度、圆周率和垂直角度计算待校正像素点的水平角度，其中，垂直角度用angley表示,水平角度用anglex表示。

在本实施例中，针对步骤S101至步骤S104进行实例说明。

计算2.5维图像中待校正像素点（posx,posy）位置所对应的方位角如下：

Matrix m = projMatrix * viewMatrix;//矩阵相乘生成空间坐标转2.5维坐标矩阵m，projMatrix 、 viewMatrix为包含16个元素的浮点数组类）

{ // 按矩阵运算法则对空间坐标转2.5维坐标矩阵m取逆，求出2.5维坐标转空间坐标矩阵M

//Matrix类 4*4矩阵16个元素按列顺序优先 { 0，4，8，12

1，5，9，13

2，6，10，14

3，7，11，15}

// Matrix2类 2*2矩阵4个元素，按列顺序优先 { 0，2

1，3 }

// 下面对4x4的空间坐标转2.5维坐标矩阵m 进行按分区块的进行逆矩阵

// 将4x4 矩阵m划分为 4 个 2x2 矩阵。

Matrix2 a(m[0], m[1], m[4], m[5]); //定义左上角2*2矩阵为a矩阵子区块

Matrix2 b(m[8], m[9], m[12], m[13]); //定义右上角2*2矩阵为b矩阵子区块

Matrix2 c(m[2], m[3], m[6], m[7]); //定义左下角2*2矩阵为c矩阵子区块

Matrix2 d(m[10], m[11], m[14], m[15]); //定义右下角2*2矩阵为d矩阵子区块

a.invert(); //对2x2矩阵a矩阵子区块取逆得到取逆后的a矩阵子区块

Matrix2 ab = a * b; //旋转

Matrix2 ca = c * a; //旋转

Matrix2 cab = ca * b; //旋转

Matrix2 dcab = d - cab; //平移

Matrix2 d1 = dcab;

d1.invert(); //对2x2矩阵d1取逆

Matrix2 d2 = -d1; //平移

Matrix2 c1 = d2 * ca; //旋转

Matrix2 b1 = ab * d2; //旋转

Matrix2 a1 = a - (ab * c1); //平移

//矩阵a1, b1,c1,d1对应为最终m的取逆后4x4矩阵的分区块，生成2.5维坐标转空间坐标矩阵M

m[0] = a1[0]; m[4] = a1[2]; m[8] = b1[0]; m[12]= b1[2];

m[1] = a1[1]; m[5] = a1[3]; m[9] = b1[1]; m[13]= b1[3];

m[2] = c1[0]; m[6] = c1[2]; m[10]= d1[0]; m[14]= d1[2];

m[3] = c1[1]; m[7] = c1[3]; m[11]= d1[1]; m[15]= d1[3];

}

float xyz={ posx , posxy, 1.0f }; //取深度值为1.0的2.5维图像待校正像素点坐标值

XYZ=M * xyz; //计算深度位为1.0时2.5维图像待校正像素点对应的空间坐标

//根据空间坐标算出此点对应的方位角

float angley= 180*(asin(xyz[1]/ length(xyz))/3.1416; //计算此点的垂个角度

float anglex= 180*(asin(xyz[1]/(length(xyz)*cos(angley))))/ 3.1416;//计算此点的水平角度

在GPU内部通道上述算法实现计算出2.5维图像待校正像素点(posx,posy)处对应的空间方位角为(anglex,angley)。

图2为申请实施例提供的一种2.5维图像空间几何方位角校正装置200的结构框图。

如图2所示，2.5维图像空间几何方位角校正装置200主要包括：

矩阵获取模块201，用于实时获取2.5维图像虚拟眼点的投影矩阵、观察矩阵和待校正像素点，其中，待校正像素点为2.5维图像中的像素点；

矩阵计算模块202，用于基于投影矩阵和观察矩阵计算2.5维坐标转空间坐标矩阵；

坐标计算模块203，用于基于2.5维坐标转空间坐标矩阵计算待校正像素点对应的空间坐标；

方位计算模块204，用于基于空间坐标计算待校正像素点对应的方位角。

作为本实施例的一种可选实施方式，矩阵计算模块202包括：

矩阵相乘模块，用于将投影矩阵和观察矩阵相乘，生成空间坐标转2.5维坐标矩阵；

矩阵取逆模块，用于对空间坐标转2.5维坐标矩阵进行取逆计算，生成2.5维坐标转空间坐标矩阵。

在本可选实施例中，矩阵取逆模块具体用于获取区块划分规则，按照区块划分规则将空间坐标转2.5维坐标矩阵划分为多个矩阵子区块，对每个矩阵子区块分别进行取逆计算；将每个矩阵子区块的取逆结果按照区块划分规则反推拼接生成2.5维坐标转空间坐标矩阵。

作为本实施例的一种可选实施方式，坐标计算模块203具体用于获取待校正像素点的深度值；基于深度值确定待校正像素点的2.5维坐标；基于待校正像素点的2.5维坐标和2.5维坐标转空间坐标矩阵计算待校正像素点对应的空间坐标。

作为本实施例的一种可选实施方式，方位计算模块204具体用于基于空间坐标计算待校正像素点的垂直角度；基于空间坐标和垂直角度计算待校正像素点的水平角度；基于垂直角度和水平角度生成待校正像素点的方位角。

在一个例子中，以上任一装置中的模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specificintegratedcircuit，ASIC)，或，一个或多个数字信号处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)，或这些集成电路形式中至少两种的组合。

再如，当装置中的模块可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图3为本申请实施例提供的电子设备300的结构框图。

如图3所示，电子设备300包括处理器301和存储器302，还可以进一步包括信息输入/信息输出(I/O)接口303、通信组件304中的一种或多种以及通信总线305。

其中，处理器301用于控制电子设备300的整体操作，以完成上述的2.5维图像空间几何方位角校正方法的全部或部分步骤；存储器302用于存储各种类型的数据以支持在电子设备300的操作，这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random AccessMemory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-Only Memory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。

I/O接口303为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件304用于电子设备300与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件104可以包括：Wi-Fi部件，蓝牙部件，NFC部件。

电子设备300可以被一个或多个应用专用集成电路 (Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的2.5维图像空间几何方位角校正方法。

通信总线305可包括一通路，在上述组件之间传送信息。通信总线305可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA (ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。通信总线305可以分为地址总线、数据总线、控制总线等。

电子设备300可以包括但不限于移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，还可以为服务器等。

本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的2.5维图像空间几何方位角校正方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器 (R ead-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种2.5维图像空间几何方位角校正方法，其特征在于，包括：

基于所述空间坐标计算所述待校正像素点对应的方位角；

所述基于所述投影矩阵和所述观察矩阵计算2.5维坐标转空间坐标矩阵包括：

对所述空间坐标转2.5维坐标矩阵进行取逆计算，生成所述2.5维坐标转空间坐标矩阵；

所述对所述空间坐标转2.5维坐标矩阵进行取逆计算，生成所述2.5维坐标转空间坐标矩阵包括：

将每个所述矩阵子区块的取逆结果按照所述区块划分规则反推拼接生成所述2.5维坐标转空间坐标矩阵；

所述基于所述2.5维坐标转空间坐标矩阵计算所述待校正像素点对应的空间坐标包括：

获取所述待校正像素点的深度值；

基于所述深度值确定所述待校正像素点的2.5维坐标；

基于所述待校正像素点的2.5维坐标和所述2.5维坐标转空间坐标矩阵计算所述待校正像素点对应的空间坐标；

所述基于所述空间坐标计算所述待校正像素点对应的方位角包括:

基于所述空间坐标计算所述待校正像素点的垂直角度；

2.一种2.5维图像空间几何方位角校正装置，其特征在于，包括：

方位计算模块，用于基于所述空间坐标计算所述待校正像素点对应的方位角；

矩阵计算模块包括：

矩阵取逆模块，用于对空间坐标转2.5维坐标矩阵进行取逆计算，生成2.5维坐标转空间坐标矩阵；

矩阵取逆模块具体用于获取区块划分规则，按照区块划分规则将空间坐标转2.5维坐标矩阵划分为多个矩阵子区块，对每个矩阵子区块分别进行取逆计算；将每个矩阵子区块的取逆结果按照区块划分规则反推拼接生成2.5维坐标转空间坐标矩阵；

坐标计算模块具体用于获取待校正像素点的深度值；基于深度值确定待校正像素点的2.5维坐标；基于待校正像素点的2.5维坐标和2.5维坐标转空间坐标矩阵计算待校正像素点对应的空间坐标；

方位计算模块具体用于基于空间坐标计算待校正像素点的垂直角度；基于空间坐标和垂直角度计算待校正像素点的水平角度；基于垂直角度和水平角度生成待校正像素点的方位角。

3.一种电子设备，其特征在于，包括处理器，所述处理器与存储器耦合；

所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如权利要求1所述的方法。

4.一种计算机可读存储介质，其特征在于，包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得所述计算机执行如权利要求1所述的方法。