CN115409693A - 一种基于三维图像中管道异物的二维定位方法 - Google Patents

一种基于三维图像中管道异物的二维定位方法 Download PDF

Info

Publication number
CN115409693A
CN115409693A CN202211048541.2A CN202211048541A CN115409693A CN 115409693 A CN115409693 A CN 115409693A CN 202211048541 A CN202211048541 A CN 202211048541A CN 115409693 A CN115409693 A CN 115409693A
Authority
CN
China
Prior art keywords
coordinates
coordinate
transformation
dimensional
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211048541.2A
Other languages
English (en)
Inventor
顾巍
康涛
郎立国
李旭
孙丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avic East China Photoelectric Shanghai Co ltd
Original Assignee
Avic East China Photoelectric Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avic East China Photoelectric Shanghai Co ltd filed Critical Avic East China Photoelectric Shanghai Co ltd
Priority to CN202211048541.2A priority Critical patent/CN115409693A/zh
Publication of CN115409693A publication Critical patent/CN115409693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于三维图像中管道异物的二维定位方法，包括通过软件模拟图形硬件的可编程渲染管线实现目标物体的三维物体坐标到二维视口变换坐标的变换。其优点在于：利用软件来模拟由图形硬件渲染管线所实现的从三维object坐标到二维viewport坐标的一系列坐标变换操作，首先正确获取目标物体的二维viewport坐标，从而实现实际三维空间异物到二维屏幕上异物的准确映射；进一步，用户通过选择二维屏幕上的异物即可定位到实际的三维空间异物，获取对应的异物照片，方便将异物照片所拍摄的范围与实际检测对象部分相对应，以此来对异物状态和位置进行详细判断和分析。

Description

一种基于三维图像中管道异物的二维定位方法
技术领域
本发明涉及管道异物检测技术领域，更具体地说，涉及一种基于三维图像中管道异物的二维定位方法。
背景技术
针对管道检测，当图像识别系统检测到异物后，可显示由识别系统拍摄的照片供用户甄别。但在管道较长或异物数量较多，拍摄的照片数量也较多的情况下，存在用户难以将某张异物照片所拍摄的范围与管道实际部分相对应的问题。
专利文献：CN113280209A，公告日：2021.08.20，公开了一种检测管道多余物的系统以及系统的使用方法、检测方法，解决了人工拾取管道多余物工作强度大且容易产生遗漏的问题。系统包括：移动载体模块，用于承载连接于其末端的六轴机械臂模块移动；3D视觉传感器模块，与六轴机械臂模块连接，用于探测多余物；拾取模块，与六轴机械臂模块连接，用于拾取多余物；控制器，用于控制移动载体模块和六轴机械臂模块进行操作，还包括数据处理模块和数据分析模块，数据处理模块用于接收和存储移动载体模块、六轴机械臂模块的运动数据，数据分析模块用于计算和分析运动数据。
优点在于：利用自动化的检测管道多余物的系统，降低人力资源投入，大大减轻了作业人员的工作强度及难度。但是，该技术方案并没有考虑到管道较长或异物数量较多，拍摄的照片数量也较多的情况下，存在用户难以将某张异物照片所拍摄的范围与管道实际部分相对应的问题。
专利文献：CN209296053U，公告日：2019.08.23，公开了一种分布式检测管道及系统，所述分布式检测管道包括管道主体和一条以上的光纤，所述光纤设置在所述管道主体的内壁上，和/或设置在所述管道的外壁上，和/或设置在所述管道主体的内壁和管道外壁之间。
优点在于：利用光纤对光信号的反射特性实现管道的远程分布式检测，通过多条光纤的螺旋结构设置、直线结构设置以及螺旋结构和直线结构复合的形式，对管道进行高精度的远端检测，具有管道检测连续性好、定位性能好等特点。但是，该技术方案不能对异物状态和准确位置进行详细判断和分析。
前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
发明内容
本发明的目的在于提供一种基于三维图像中管道异物的二维定位方法，该方法解决了用户难以将某张异物照片所拍摄的范围与管道实际部分相对应的问题。
本发明提供一种基于三维图像中管道异物的二维定位方法，包括以下步骤：S1：通过软件模拟图形硬件的可编程渲染管线实现目标物体的三维物体坐标到二维视口变换坐标的变换；
所述步骤S1包括：
S11：构建一仿射空间
Figure BDA0003819848500000021
其中
Figure BDA0003819848500000022
是向量空间的一组基，
Figure BDA0003819848500000023
为原点；构建一仿射变换矩阵
Figure BDA0003819848500000024
其左上3x3的子矩阵对仿射空间中的向量做线性变换，第4列用于移动仿射空间中的点，则可用A对
Figure BDA0003819848500000025
做仿射变换：
Figure BDA0003819848500000026
简记为
Figure BDA0003819848500000027
A；
S12：设物体坐标为
Figure BDA0003819848500000028
管道坐标为
Figure BDA0003819848500000029
O为
Figure BDA00038198485000000210
在
Figure BDA00038198485000000211
中的坐标矩阵：
Figure BDA00038198485000000212
即
Figure BDA00038198485000000213
为
Figure BDA00038198485000000214
的仿射变换：
Figure BDA00038198485000000215
当需要对物体做仿射变换时，仿射变换矩阵：
Figure BDA0003819848500000031
其中L实现线性变换，T实现非线性变换，可得
Figure BDA0003819848500000032
物体一顶点
Figure BDA0003819848500000033
在
Figure BDA0003819848500000034
中的坐标为c：
Figure BDA0003819848500000035
所以
Figure BDA0003819848500000036
在
Figure BDA0003819848500000037
中的坐标为OAc，可由软件构造上述矩阵，计算得到
Figure BDA0003819848500000038
的管道坐标OAc；
S13：在计算机图形中用一个右手标准正交原点来模拟实现相机，记为屏幕
Figure BDA0003819848500000039
E为
Figure BDA00038198485000000310
在
Figure BDA00038198485000000311
中的坐标矩阵：
Figure BDA00038198485000000312
即
Figure BDA00038198485000000313
为
Figure BDA00038198485000000314
的仿射变换：
Figure BDA00038198485000000315
当需要移动屏幕到不同的位置和视线方向，则需要对屏幕做仿射变换；若仿射变换矩阵为M，则
Figure BDA00038198485000000316
若物体一顶点
Figure BDA00038198485000000317
在
Figure BDA00038198485000000318
中的坐标为c，所以
Figure BDA00038198485000000319
可得
Figure BDA00038198485000000320
在
Figure BDA00038198485000000321
中的坐标为(EM)-1OAc；
可由软件构造上述矩阵，计算得到
Figure BDA00038198485000000322
的屏幕坐标(EM)-1OAc；
S14：确定视场角，在投影平面ze＝-1上界定ye于范围
Figure BDA00038198485000000323
则最终标准化设备坐标yn将被映射到范围(-1，1)；
确定视场角θ后，可根据所需确定投影平面的高宽比α，从而获得投影平面的偏移属性的屏幕坐标；
此时可得到投影矩阵
Figure BDA00038198485000000324
经过投影运算后可得到裁剪坐标与标准化设备坐标：
Figure BDA0003819848500000041
得到zc＝1，wn＝-ze；
变换可得
Figure BDA0003819848500000042
当ze趋于0时，zn趋于无穷，而当ze远离屏幕时，zn趋于0，在计算机有限精度的限制条件下，这样顶点的距离将变得难以比较，导致后续的深度测试失败；所以需要为投影过程指定前后距离限制，即为near-far平面，相对于屏幕的距离即为n和f，这是两个负值；
偏移属性位置及near-far平面即构成了投影所用的视图平截锥体；即得到了投影矩阵的完整形式：
Figure BDA0003819848500000043
其中，
Figure BDA0003819848500000044
决定了投影平面的位置和高宽比；
Figure BDA0003819848500000045
决定了投影平面的shift效果；
若没有做shift，则r＝-l，t＝-b，两个元素为0；
Figure BDA0003819848500000046
使得zn被映射到[-1，1]范围；而投影运算的最终效果是把屏幕中的视图平截锥体映射到归一化设备屏幕中的标准立方体，其右上近处角的标准化设备坐标为
Figure BDA0003819848500000047
其左下远处角的标准化设备坐标为
Figure BDA0003819848500000048
如视图平截锥体的右上近处角的屏幕坐标为
Figure BDA0003819848500000051
则投影结果为
Figure BDA0003819848500000052
而视图平截锥体的左下远处角的屏幕坐标为
Figure BDA0003819848500000053
则投影结果为
Figure BDA0003819848500000054
可得到物体一顶点
Figure BDA0003819848500000055
的裁切坐标：
Figure BDA0003819848500000056
可由软件构造上述矩阵，得到
Figure BDA0003819848500000057
的裁切坐标；
S15：投影平面上均匀间隔的像素可对应于屏幕中非均匀分布的点，所以裁切坐标
Figure BDA0003819848500000058
须变换成标准化设备坐标
Figure BDA0003819848500000059
使其映射到标准立方体，其右上近处角的坐标为
Figure BDA00038198485000000510
其左下远处角的坐标为
Figure BDA00038198485000000511
这一步是通过用裁切坐标的位置坐标除以齐次坐标得到的，即
Figure BDA00038198485000000512
S16：标准化设备坐标为设备无关的抽象单位坐标，须转换到实际的视口变换坐标才能在彩色缓冲器中显示，所以这一步变换是将归一化设备屏幕中的标准立方体映射到窗口屏幕上的一个矩形，即为一个12像素×8像素的窗口视口变换；
变换须在垂直和水平方向上做合适的缩放和移位；根据几何映射关系，若窗口视口变换的高宽为W和H，则可得到变换矩阵为：
Figure BDA0003819848500000061
所以可以算出
Figure BDA0003819848500000062
其中
Figure BDA0003819848500000063
即为物体某一顶点
Figure BDA0003819848500000064
的视口变换坐标，而zW将被写入深度缓冲器用于后续的深度测试操作；
可由软件构造上述矩阵，得到
Figure BDA0003819848500000065
的视口变换坐标；
S17：对于检测到的异物，可将其模拟成三维图形中的一个球体，其球心的目标框架坐标即为待匹配的三维坐标，经过上述步骤一系列变换后得到二维坐标；按照同样的原理，可将球体在物体坐标下的半径映射到二维屏幕上的视口变换匹配半径；
当移动鼠标时，程序根据鼠标的视口变换坐标与异物的球心视口变换坐标及匹配半径进行距离计算，即可准确匹配到鼠标选中的异物。
本发明提供的基于三维图像中管道异物的二维定位方法，利用软件来模拟由图形硬件渲染管线所实现的从三维object坐标到二维viewport坐标的一系列坐标变换操作，首先正确获取目标物体的二维viewport坐标，从而实现实际三维空间异物到二维屏幕上异物的准确映射；进一步，用户通过选择二维屏幕上的异物即可定位到实际的三维空间异物，获取对应的异物照片，方便将异物照片所拍摄的范围与实际检测对象部分相对应，以此来对异物状态和位置进行详细判断和分析。
附图说明
图1为本发明实施例提供的基于三维图像中管道异物的二维定位方法的流程示意图。
图2为硬件管线实现的坐标变换流程示意图。
图3为坐标系之间的相对关系示意图。
图4为eye视角中的三维场景示意图。
图5为选择eye视场角示意图。
图6为选择投影平面示意图。
图7为view frustum示意图。
图8为图形在投影平面的投影效果示意图。
图9为图8中图形的normalized device坐标映射示意图。
图10为一个12pixel×8pixel的window viewport示意图。
图11为异物选取实际效果示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
图1为本发明实施例提供的基于三维图像中管道异物的二维定位方法的流程示意图，请参照图1，本发明实施例提供的基于三维图像中管道异物的二维定位方法，包括以下步骤：
S1：通过软件模拟图形硬件的可编程渲染管线实现目标物体的三维物体坐标到二维视口变换坐标的变换；
步骤S1包括：
S11：构建一仿射空间
Figure BDA0003819848500000081
其中
Figure BDA0003819848500000082
是向量空间的一组基，
Figure BDA0003819848500000083
为原点；构建一仿射变换矩阵
Figure BDA0003819848500000084
其左上3x3的子矩阵对仿射空间中的向量做线性变换，第4列用于移动仿射空间中的点，则可用A对
Figure BDA0003819848500000085
做仿射变换：
Figure BDA0003819848500000086
简记为
Figure BDA0003819848500000087
图3为坐标系之间的相对关系示意图。如图3所示，图中object frame物体坐标系用图3中(a)表示，world frame世界坐标系(本发明对应为管道)用图3中(b)表示，eyeframe眼坐标系(本发明对应为屏幕)用图3中(c)表示。构建3D物体时，其vertices(顶点)的三维坐标是基于3D物体自身的object frame的，而物体间的关系是基于world frame的，所以须将object坐标变换成world坐标；
S12：(由object(物体)坐标变换成world(世界)坐标)设物体坐标为
Figure BDA0003819848500000088
管道坐标为
Figure BDA0003819848500000089
O为
Figure BDA00038198485000000810
在
Figure BDA00038198485000000811
中的坐标矩阵：
Figure BDA00038198485000000812
即
Figure BDA00038198485000000813
为
Figure BDA00038198485000000814
的仿射变换：
Figure BDA00038198485000000815
当需要对物体做仿射变换时，仿射变换矩阵：
Figure BDA00038198485000000816
其中L实现线性变换(如rotate，scale)，T实现非线性(translate)变换，可得
Figure BDA00038198485000000817
物体一顶点
Figure BDA00038198485000000818
在
Figure BDA00038198485000000819
中的坐标为c：
Figure BDA00038198485000000820
所以
Figure BDA00038198485000000821
在
Figure BDA00038198485000000822
中的坐标为OAc，可由软件构造上述矩阵，计算得到
Figure BDA00038198485000000823
的管道坐标OAc；
图4为eye视角中的三维场景示意图。如图4所示，把一个三维场景变成二维图像需要在场景中某处放置一个camera(如图4中的正方体)；从camera的位置(eye frame屏幕的原点)和视线方向看到的三维场景，所以场景中每个对象在二维图像中的位置取决于其在三维场景中相对于camera的位置关系；
S13：(由world(管道)坐标变换成eye frame(屏幕)坐标)在计算机图形中用一个右手标准正交原点(frame)来模拟实现相机(camera)，记为屏幕
Figure BDA0003819848500000091
E为
Figure BDA0003819848500000092
在
Figure BDA0003819848500000093
中的坐标矩阵：
Figure BDA0003819848500000094
即
Figure BDA0003819848500000095
为
Figure BDA0003819848500000096
的仿射变换：
Figure BDA0003819848500000097
当需要移动屏幕到不同的位置和视线方向，则需要对屏幕做仿射变换；若仿射变换矩阵为M，则
Figure BDA0003819848500000098
若物体一顶点
Figure BDA0003819848500000099
在
Figure BDA00038198485000000910
中的坐标为c，所以
Figure BDA00038198485000000911
可得
Figure BDA00038198485000000912
在
Figure BDA00038198485000000913
中的坐标为(EM)-1OAc；
可由软件构造上述矩阵，计算得到
Figure BDA00038198485000000916
的屏幕坐标(EM)-1OAc；
图5为选择eye视场角示意图。如图6所示，由物体vertex(顶点)的三维eye frame坐标变换成投影平面上的二维clipping坐标，是通过使用透视投影矩阵实现的。
S14：(由eye frame(屏幕)坐标变换成clipping(裁剪)坐标)确定视场角，在投影平面ze＝-1上界定ye于范围
Figure BDA00038198485000000914
则最终标准化设备坐标yn将被映射到范围(-1，1)；
确定视场角θ后，可根据所需确定投影平面的高宽比α，从而获得投影平面的偏移属性的屏幕坐标；结果如图6所示；
此时可得到投影矩阵
Figure BDA00038198485000000915
经过投影运算后可得到裁剪坐标与标准化设备坐标：
Figure BDA0003819848500000101
得到zc＝1，wn＝-ze；
变换可得
Figure BDA0003819848500000102
当ze趋于0时，zn趋于无穷，而当ze远离屏幕时，zn趋于0，在计算机有限精度的限制条件下，这样顶点的距离将变得难以比较，导致后续的深度测试失败；所以需要为投影过程指定前后距离限制，即为near-far平面，相对于屏幕的距离即为n和f，这是两个负值，如图7所示；
由图6和图7所示的偏移属性(top-bottom-left-right)位置及near-far平面即构成了投影所用的视图平截锥体；即得到了投影矩阵的完整形式：
Figure BDA0003819848500000103
其中，
Figure BDA0003819848500000104
决定了投影平面的位置和高宽比；
Figure BDA0003819848500000105
决定了投影平面的shift效果；
若没有做shift，则r＝-l，t＝-b，两个元素为0；
Figure BDA0003819848500000106
使得zn被映射到[-1，1]范围；而投影运算的最终效果是把屏幕中的视图平截锥体映射到归一化设备屏幕中的标准立方体，其右上近处角的标准化设备坐标为
Figure BDA0003819848500000107
其左下远处角的标准化设备坐标为
Figure BDA0003819848500000108
如视图平截锥体的右上近处角的屏幕坐标为
Figure BDA0003819848500000111
则投影结果为
Figure BDA0003819848500000112
而视图平截锥体的左下远处角的屏幕坐标为
Figure BDA0003819848500000113
则投影结果为
Figure BDA0003819848500000114
可得到物体一顶点
Figure BDA0003819848500000115
的裁切坐标：
Figure BDA0003819848500000116
可由软件构造上述矩阵，得到
Figure BDA0003819848500000117
的裁切坐标；
图8为图形在投影平面的投影效果示意图。如图8所示：
S15：(由clipping坐标变换成normalized device坐标)投影平面(film plane)上均匀间隔的像素可对应于屏幕中非均匀分布的点，所以裁切坐标
Figure BDA0003819848500000118
须变换成标准化设备坐标
Figure BDA0003819848500000119
使其映射到标准立方体(canonical cube)，其右上近处角的坐标为
Figure BDA00038198485000001110
其左下远处角的坐标为
Figure BDA00038198485000001111
这一步是通过用裁切坐标的位置坐标除以齐次坐标得到的，即
Figure BDA0003819848500000121
结果如图9所示。
S16：(由normalized device坐标变换成viewport坐标)标准化设备坐标为设备无关的抽象单位坐标，须转换到实际的视口变换坐标才能在彩色缓冲器中显示，所以这一步变换是将归一化设备屏幕中的标准立方体映射到窗口屏幕上的一个矩形，如图10所示即为一个12像素×8像素的窗口视口变换；
变换须在垂直和水平方向上做合适的缩放和移位；根据几何映射关系，若窗口视口变换的高宽为W和H，则可得到变换矩阵为：
Figure BDA0003819848500000122
所以可以算出
Figure BDA0003819848500000123
Figure BDA0003819848500000124
其中
Figure BDA0003819848500000125
即为物体某一顶点
Figure BDA0003819848500000126
的视口变换坐标，而zw将被写入深度缓冲器用于后续的深度测试操作；
可由软件构造上述矩阵，得到
Figure BDA0003819848500000127
的视口变换坐标；
S17：(实际匹配操作)对于检测到的异物，可将其模拟成三维图形中的一个球体，其球心的目标框架坐标即为待匹配的三维坐标，经过上述步骤一系列变换后得到二维坐标；按照同样的原理，可将球体在物体坐标下的半径映射到二维屏幕上的视口变换匹配半径；
当移动鼠标时，程序根据鼠标的视口变换坐标与异物的球心视口变换坐标及匹配半径进行距离计算，即可准确匹配到鼠标选中的异物；实际匹配效果如图11所示，图中右侧用立方体标识选中的异物。
基于上文的描述可知，本发明优点在于：
1、本发明提供的基于三维图像中管道异物的二维定位方法，利用软件来模拟由图形硬件渲染管线所实现的从三维object坐标到二维viewport坐标的一系列坐标变换操作，首先正确获取目标物体的二维viewport坐标，从而实现实际三维空间异物到二维屏幕上异物的准确映射；进一步，用户通过选择二维屏幕上的异物即可定位到实际的三维空间异物，获取对应的异物照片，方便将异物照片所拍摄的范围与实际检测对象部分相对应，以此来对异物状态和位置进行详细判断和分析。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (1)

1.一种基于三维图像中管道异物的二维定位方法，其特征在于，包括以下步骤：
S1：通过软件模拟图形硬件的可编程渲染管线实现目标物体的三维物体坐标到二维视口变换坐标的变换；
所述步骤S1包括：
S11：构建一仿射空间
Figure FDA0003819848490000011
其中
Figure FDA0003819848490000012
是向量空间的一组基，
Figure FDA0003819848490000013
为原点；构建一仿射变换矩阵
Figure FDA0003819848490000014
其左上3x3的子矩阵对仿射空间中的向量做线性变换，第4列用于移动仿射空间中的点，则可用A对
Figure FDA0003819848490000015
做仿射变换：
Figure FDA0003819848490000016
简记为
Figure FDA0003819848490000017
S12：设物体坐标为
Figure FDA0003819848490000018
管道坐标为
Figure FDA0003819848490000019
O为
Figure FDA00038198484900000110
在
Figure FDA00038198484900000111
中的坐标矩阵：
Figure FDA00038198484900000112
即
Figure FDA00038198484900000113
为
Figure FDA00038198484900000114
的仿射变换：
Figure FDA00038198484900000115
当需要对物体做仿射变换时，仿射变换矩阵：
Figure FDA00038198484900000116
其中L实现线性变换，T实现非线性变换，可得
Figure FDA00038198484900000117
物体一顶点
Figure FDA00038198484900000118
在
Figure FDA00038198484900000131
中的坐标为c：
Figure FDA00038198484900000120
所以
Figure FDA00038198484900000121
在
Figure FDA00038198484900000122
中的坐标为OAc，可由软件构造上述矩阵，计算得到
Figure FDA00038198484900000123
的管道坐标OAc；
S13：在计算机图形中用一个右手标准正交原点来模拟实现相机，记为屏幕
Figure FDA00038198484900000124
E为
Figure FDA00038198484900000125
在
Figure FDA00038198484900000126
中的坐标矩阵：
Figure FDA00038198484900000127
即
Figure FDA00038198484900000128
为
Figure FDA00038198484900000129
的仿射变换：
Figure FDA00038198484900000130
当需要移动屏幕到不同的位置和视线方向，则需要对屏幕做仿射变换；若仿射变换矩阵为M，则
Figure FDA0003819848490000021
若物体一顶点
Figure FDA0003819848490000022
在
Figure FDA0003819848490000023
中的坐标为c，所以
Figure FDA0003819848490000024
可得
Figure FDA0003819848490000025
在
Figure FDA0003819848490000026
中的坐标为(EM)-1OAc；
可由软件构造上述矩阵，计算得到
Figure FDA0003819848490000027
的屏幕坐标(EM)-1OAc；
S14：确定视场角，在投影平面ze＝-1上界定ye于范围
Figure FDA0003819848490000028
则最终标准化设备坐标yn将被映射到范围(-1，1)；
确定视场角θ后，可根据所需确定投影平面的高宽比α，从而获得投影平面的偏移属性的屏幕坐标；
此时可得到投影矩阵
Figure FDA0003819848490000029
经过投影运算后可得到裁剪坐标与标准化设备坐标：
Figure FDA00038198484900000210
得到zc＝1，wn＝-ze；
变换可得
Figure FDA00038198484900000211
当ze趋于0时，zn趋于无穷，而当ze远离屏幕时，zn趋于0，在计算机有限精度的限制条件下，这样顶点的距离将变得难以比较，导致后续的深度测试失败；所以需要为投影过程指定前后距离限制，即为near-far平面，相对于屏幕的距离即为n和f，这是两个负值；
偏移属性位置及near-far平面即构成了投影所用的视图平截锥体；即得到了投影矩阵的完整形式：
Figure FDA0003819848490000031
其中，
Figure FDA0003819848490000032
决定了投影平面的位置和高宽比；
Figure FDA0003819848490000033
决定了投影平面的shift效果；
若没有做shift，则r＝-l，t＝-b，两个元素为0；
Figure FDA0003819848490000034
使得zn被映射到[-1，1]范围；而投影运算的最终效果是把屏幕中的视图平截锥体映射到归一化设备屏幕中的标准立方体，其右上近处角的标准化设备坐标为
Figure FDA0003819848490000035
其左下远处角的标准化设备坐标为
Figure FDA0003819848490000036
如视图平截锥体的右上近处角的屏幕坐标为
Figure FDA0003819848490000037
则投影结果为
Figure FDA0003819848490000038
而视图平截锥体的左下远处角的屏幕坐标为
Figure FDA0003819848490000039
则投影结果为
Figure FDA00038198484900000310
可得到物体一顶点
Figure FDA0003819848490000041
的裁切坐标：
Figure FDA0003819848490000042
可由软件构造上述矩阵，得到
Figure FDA0003819848490000043
的裁切坐标；
S15：投影平面上均匀间隔的像素可对应于屏幕中非均匀分布的点，所以裁切坐标
Figure FDA0003819848490000044
须变换成标准化设备坐标
Figure FDA0003819848490000045
使其映射到标准立方体，其右上近处角的坐标为
Figure FDA0003819848490000046
其左下远处角的坐标为
Figure FDA0003819848490000047
这一步是通过用裁切坐标的位置坐标除以齐次坐标得到的，即
Figure FDA0003819848490000048
S16：标准化设备坐标为设备无关的抽象单位坐标，须转换到实际的视口变换坐标才能在彩色缓冲器中显示，所以这一步变换是将归一化设备屏幕中的标准立方体映射到窗口屏幕上的一个矩形，即为一个12像素×8像素的窗口视口变换；
变换须在垂直和水平方向上做合适的缩放和移位；根据几何映射关系，若窗口视口变换的高宽为W和H，则可得到变换矩阵为：
Figure FDA0003819848490000049
所以可以算出
Figure FDA00038198484900000410
其中
Figure FDA00038198484900000411
即为物体某一顶点
Figure FDA00038198484900000412
的视口变换坐标，而zw将被写入深度缓冲器用于后续的深度测试操作；
可由软件构造上述矩阵，得到
Figure FDA00038198484900000413
的视口变换坐标；
S17：对于检测到的异物，可将其模拟成三维图形中的一个球体，其球心的目标框架坐标即为待匹配的三维坐标，经过上述步骤一系列变换后得到二维坐标；按照同样的原理，可将球体在物体坐标下的半径映射到二维屏幕上的视口变换匹配半径；
当移动鼠标时，程序根据鼠标的视口变换坐标与异物的球心视口变换坐标及匹配半径进行距离计算，即可准确匹配到鼠标选中的异物。
CN202211048541.2A 2022-08-29 2022-08-29 一种基于三维图像中管道异物的二维定位方法 Pending CN115409693A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211048541.2A CN115409693A (zh) 2022-08-29 2022-08-29 一种基于三维图像中管道异物的二维定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211048541.2A CN115409693A (zh) 2022-08-29 2022-08-29 一种基于三维图像中管道异物的二维定位方法

Publications (1)

Publication Number Publication Date
CN115409693A true CN115409693A (zh) 2022-11-29

Family

ID=84164371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211048541.2A Pending CN115409693A (zh) 2022-08-29 2022-08-29 一种基于三维图像中管道异物的二维定位方法

Country Status (1)

Country Link
CN (1) CN115409693A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386016A (zh) * 2023-05-22 2023-07-04 杭州睿影科技有限公司 一种异物处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386016A (zh) * 2023-05-22 2023-07-04 杭州睿影科技有限公司 一种异物处理方法、装置、电子设备及存储介质
CN116386016B (zh) * 2023-05-22 2023-10-10 杭州睿影科技有限公司 一种异物处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111783820B (zh) 图像标注方法和装置
CN108717712B (zh) 一种基于地平面假设的视觉惯导slam方法
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
US20110235897A1 (en) Device and process for three-dimensional localization and pose estimation using stereo image, and computer-readable storage medium storing the program thereof
US20190026919A1 (en) Information processing apparatus, information processing method, and program
US20150339819A1 (en) Method for processing local information
CN111735439A (zh) 地图构建方法、装置和计算机可读存储介质
JP2017187861A (ja) 情報処理装置およびその制御方法
CN108335325A (zh) 一种基于深度相机数据的立方体快速测量方法
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN111709995B (zh) 一种激光雷达与摄像头之间的位置标定方法
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
Jiang et al. An accurate and flexible technique for camera calibration
CN115409693A (zh) 一种基于三维图像中管道异物的二维定位方法
Chen et al. Extrinsic calibration of a laser range finder and a camera based on the automatic detection of line feature
Grudziński et al. Stereovision tracking system for monitoring loader crane tip position
CN113763478A (zh) 无人车相机标定方法、装置、设备、存储介质及系统
Uma et al. Marker based augmented reality food menu
CN113011212B (zh) 图像识别方法、装置及车辆
CN109493354B (zh) 一种基于多视角图像的目标二维几何外形重构方法
CN112991372A (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
US9551922B1 (en) Foreground analysis on parametric background surfaces
Cheng et al. 3D Radar and Camera Co-Calibration: A flexible and Accurate Method for Target-based Extrinsic Calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination