CN113254697B - 一种对管道路由所在区域的图像信息进行自动标记的方法 - Google Patents
一种对管道路由所在区域的图像信息进行自动标记的方法 Download PDFInfo
- Publication number
- CN113254697B CN113254697B CN202110792552.0A CN202110792552A CN113254697B CN 113254697 B CN113254697 B CN 113254697B CN 202110792552 A CN202110792552 A CN 202110792552A CN 113254697 B CN113254697 B CN 113254697B
- Authority
- CN
- China
- Prior art keywords
- gps
- lon
- offset
- lat
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明将图像处理用于管道图像，以纯粹的图像处理实现自动标记管道路由，降低人力和耗时且提高自动化程度。通过无人机姿态，GPS定位，机器人离地高度数据等建立起以无人机在地面投影为圆心坐标，以飞行方向为坐标系x轴方向，以无人机左侧且与x轴垂直方向为y轴方向建立图像坐标系；然后将管道路由经纬度信息按线性规律增加坐标点实现在同一图像坐标系中不少于3个坐标点；当一个管道路由点的坐标转化到图像中时，即在图像中标记该点并与之前的点通过有色线段连接，当无人机继续飞行时超出图像坐标点的管道路由坐标点则自动移除，反复执行此流程则实现实时管道路由标注并存储处理之后的图像。
Description
技术领域
本发明属于图像处理与管道拍照图像所结合的技术领域，特别是一种基于图像处理对特定图像数据，例如管道路由的图像数据进行处理以便自动标记管道路由的方法。
背景技术
目前通过图像处理对管道路由标注是通过无人机离地表固定高度录取的图像数据和管道的经纬度坐标点数据融合，再通过人工标注方式完成，需要耗费大量的人力和时间成本。传统巡线方式使用Ae软件通过管道路由的经纬度坐标点信息在地图上标注坐标点，然后通过点与点之间的连接完成输送管道的标注或修改，通过此类方式反复标记，可将管道及其管道路由在各种类型的数字地图上呈现出来。现有技术存在的缺陷为耗费时间成本，耗费人力少且自动化程度低。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
针对现有技术中存在的问题，本发明提出一种对管道路由所在区域的图像信息进行自动标记的方法，耗费时间和人力均相比现有技术明显的少，且自动化程度更高。更进一步的，本发明还解决了偏移的问题。
本发明的目的是通过以下技术方案予以实现，一种对管道路由所在区域的图像信息进行自动标记的方法，包括以下步骤：
第一步骤，利用无人机拍摄管道路由所在区域的图像信息，其中，所述无人机离地高度保持不变；
第二步骤，采集无人机姿态信息，GPS定位信息和无人机离地高度数据，建立图像坐标系，所述图像坐标系以无人机在地面投影为圆心，无人机飞行方向为坐标系x轴方向，以无人机左侧且与x轴垂直方向为y轴方向；并按照如下公式计算图像信息所覆盖的区域的地面宽度和高度，其中宽度W=d×(tan(θ/2+β) + tan(θ/2-β))/21/2，高度H=d×(tan(θ/2+α) + tan(θ/2-α))/21/2，其中，d为无人机离地高度，α为无人机的横滚角，β为无人机的俯仰角，θ为摄像头的视场角，21/2表示2的1/2次方；
第三步骤，将所述图像信息在经纬度坐标系下的经纬度数据转换为所述图像坐标系下的坐标数据；其中，四顶点坐标数据分别为A(x0,y0)=(0,0)，B(x1,y1)=(cols,0)，C(x2,y2)=(cols,rows)，D(x3,y3)=(0,rows)，其中，A(x0,y0)，B(x1,y1)，C(x2,y2)，D(x3,y3)为四个顶点及其坐标，cols、rows的取值分别取自所述图像信息所覆盖的区域的地面宽度W和高度H；
第四步骤，对管道路由的经纬度数据进行图像处理，将其转换为图像坐标系下的管道路由坐标数据，其中：
当所述管道路由坐标数据处于图像信息的四顶点坐标数据的范围内，生成管道路由的图像坐标点并标记，相邻的图像坐标点直线连接以自动标记管道及管道路由。
所述的方法中，第四步骤中，同一个图像坐标系中不少于3个图像坐标点。
所述的方法中，第一步骤中，无人机通过云台搭载摄像机拍摄所述图像信息，所述无人机离地高度保持不变。
所述的方法中，第二步骤中，所述横滚角和俯仰角小于预定横滚角和预定俯仰角。
所述的方法中，第四步骤中，管道路由的经纬度数据转位为图像坐标系下的坐标数据时，按照0度经线的基准，东经取经度的正值，西经取经度负值，北纬取90-纬度值，南纬取90+纬度值。
所述的方法中，第四步骤中，管道路由坐标数据P(x,y)按如下方式计算：
P.x =(PGPS.lon-AGPS.lon+(AGPS.lon-PGPS.lon)×Hoffset.lon+(AGPS.lat-PGPS.lat)×Hoffset.lat)/(Woffset.lon -Woffset.lon×Hoffset.lon - Hoffset.lat×Woffset.lat)，
P.y =((AGPS.lat-PGPS.lat)×(Hoffset.lon-1)-(AGPS.lon+PGPS.lon)×Hoffset.lat)/(Woffset.lon-Woffset.lon× Hoffset.lon - Hoffset.lat×Woffset.lat)，
其中，Woffset.lon表示横向像素在宽度方向的经度差值，Woffset.lat表示横向像素在宽度方向的纬度差，Hoffset.lon表示纵向像素在高度方向的经度差值，Hoffset.lat表示纵向像素在高度方向的纬度差，PGPS.lon表示P点的GPS数据的经度值，PGPS.lat表示P点的GPS数据的纬度值，AGPS.lon表示A点的GPS数据的经度值，AGPS.lat表示A点的GPS数据的纬度值。
本发明将创新的图像处理技术与管道所在区域的图像信息结合，相比于传统标记方法的优点在于耗时显著降低且显著提高自动化处理程度。更进一步的，还解决了偏移的问题。
上述说明仅是本发明技术方案的概述，为了能够使得本发明的技术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂，下面以本发明的具体实施方式进行举例说明。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。
在附图中：
图1 为本发明的一个实施例中步骤流程示意图；
图2 为本发明一个实施例中无人机拍摄区域示意图；
图3为本发明另一个实施例中无人机拍摄区域示意图；
图4 为本发明无人机拍摄区域的图像坐标系示意图；
图5为本发明的一个实施例中标记前的示意图；
图6为本发明的一个实施例中经纬度坐标变换到图像坐标系的示意图；
图7为本发明的另一个实施例中标记后的示意图。
以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
下面将参照附图1至图7更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
一种对管道路由所在区域的图像信息进行自动标记的方法，所述方法包括以下步骤：
第一步骤，利用无人机拍摄管道路由所在区域的图像信息，其中，所述无人机离地高度保持不变；
第二步骤，采集无人机姿态信息，GPS定位信息和无人机离地高度数据，建立图像坐标系，所述图像坐标系以无人机在地面投影为圆心，无人机飞行方向为坐标系x轴方向，以无人机左侧且与x轴垂直方向为y轴方向；并按照如下公式计算图像信息所覆盖的区域的地面宽度和高度，其中宽度W=d×(tan(θ/2+β) + tan(θ/2-β))/21/2，高度H=d×(tan(θ/2+α) + tan(θ/2-α))/21/2，其中，d为无人机离地高度，α为无人机的横滚角，β为无人机的俯仰角，θ为摄像头的视场角，21/2表示2的1/2次方；
第三步骤，将所述图像信息在经纬度坐标系下的经纬度数据转换为所述图像坐标系下的坐标数据；其中，四顶点坐标数据分别为A(x0,y0)=(0,0)，B(x1,y1)=(cols,0)，C(x2,y2)=(cols,rows)，D(x3,y3)=(0,rows)，其中，A(x0,y0)，B(x1,y1)，C(x2,y2)，D(x3,y3)为四个顶点及其坐标，cols、rows的取值分别取自所述图像信息所覆盖的区域的地面宽度W和高度H；
第四步骤，对管道路由的经纬度数据进行图像处理，将其转换为图像坐标系下的管道路由坐标数据，其中：
当所述管道路由坐标数据处于图像信息的四顶点坐标数据的范围内，生成管道路由的图像坐标点并标记，相邻的图像坐标点直线连接以自动标记管道及管道路由。
对于上述实施例而言，当所述管道路由坐标数据处于所述四顶点坐标数据的范围内，假设所述四个顶点构成矩形的四个顶点，那么，对坐标数据进行坐标变换（例如，利用偏移量进行坐标变换），这意味着，随着无人机的运动，实现了自动标记管道及管道路由。不仅如此，管道路由坐标数据还随之进行了坐标变换从而克服了现有技术中的漂移现象，例如根据本公开的下述偏移量所涉及的公式，详见后文Woffset.lon、Woffset.lat、Hoffset.lon、Hoffset.lat等偏移量，管道路由坐标数据与偏移量也随之进行运算，始终确保了管道路由的图像坐标点避免漂移现象。
所述的方法的优选实施方式中，第四步骤中，同一个图像坐标系中不少于3个图像坐标点。
所述的方法的优选实施方式中，第一步骤中，无人机通过云台搭载摄像机拍摄所述图像信息，所述无人机离地高度保持不变。
所述的方法的优选实施方式中，第二步骤中，无人机姿态信息包括横滚角，俯仰角和所述偏航角，所述横滚角和俯仰角小于预定横滚角和预定俯仰角。
所述的方法的优选实施方式中，第四步骤中，管道路由的经纬度数据转位为图像坐标系下的坐标数据时，按照0度经线的基准，东经取经度的正值，西经取经度负值，北纬取90-纬度值，南纬取90+纬度值。
所述的方法的优选实施方式中，第四步骤中，管道路由坐标数据P(x,y) 按如下方式计算：
P.x =(PGPS.lon-AGPS.lon+(AGPS.lon-PGPS.lon)×Hoffset.lon+(AGPS.lat-PGPS.lat)×Hoffset.lat)/(Woffset.lon -Woffset.lon×Hoffset.lon - Hoffset.lat×Woffset.lat)，
P.y =((AGPS.lat-PGPS.lat)×(Hoffset.lon-1)-(AGPS.lon+PGPS.lon)×Hoffset.lat)/(Woffset.lon-Woffset.lon× Hoffset.lon - Hoffset.lat×Woffset.lat)，
其中，Woffset.lon表示横向像素在宽度方向的经度差值，Woffset.lat表示横向像素在宽度方向的纬度差，Hoffset.lon表示纵向像素在高度方向的经度差值，Hoffset.lat表示纵向像素在高度方向的纬度差，PGPS.lon表示P点的GPS数据的经度值，PGPS.lat表示P点的GPS数据的纬度值，AGPS.lon表示A点的GPS数据的经度值，AGPS.lat表示A点的GPS数据的纬度值。
对于该实施例而言，如前所述，管道路由坐标数据进行了坐标变换从而克服了现有技术中的漂移现象，例如根据Woffset.lon、Woffset.lat、Hoffset.lon、Hoffset.lat等偏移量及其涉及的上述公式，管道路由坐标数据与偏移量，在自动标记管道及管道路由的同时，偏移量进行了运算，始终确保了管道路由的图像坐标点避免漂移现象。
为了进一步理解本发明，如图1所示，在一个实施例中，本发明：
首先，根据无人机飞行信息文件、管道路由经纬度坐标信息文件，进行无人机姿态与坐标信息解算；其次，将摄像头覆盖范围经纬度坐标系转图像坐标系，以及，管道路由经纬度数据转化为图像坐标数据；如前所述，截止到此的这些核心步骤，均涉及前文所述的图象坐标系和无人机拍摄管道路由所在区域的图像信息；
再次，判断坐标数据是否在坐标系内；结合前文，判断的是所述管道路由坐标数据是否处于图像信息的四顶点坐标数据的范围内；并且，当所述管道路由坐标数据是否处于图像信息的四顶点坐标数据的范围内时，生成管道路由图像坐标点并标记，并与相邻前后点直线连接。
以此，本发明实现了管道路由的自动标记。
在一个实施例中，通过将无人机姿态，GPS定位，机器人离地高度数据等建立起以无人机在地面投影为圆心坐标（附加的，还可换算图像中的经纬度及海拔高度），以飞行方向为坐标系x轴方向，以无人机左侧且与x轴垂直方向为y轴方向建立图像坐标系；然后将管道路由经纬度信息按线性规律增加坐标点实现在同一个图像坐标系中不少于3个坐标点；当一个管道路由点的坐标转化到图像中时，即在图像中标记该点并与之前的点通过有色线段连接，当无人机继续飞行时超出图像坐标点的管道路由坐标点则自动移除，反复执行此流程则实现实时管道路由标注并存储此种处理之后的图像。
如图2至4所示，对上述实施例所表达的方法特别是其中的公式进行如下解析：
以GPS定位为例，设无人机GPS定位数据为(xGPS,yGPS)，离地高度为d，机器人姿态为(α，β，γ)（备注：该3个参数分别代表横滚角，俯仰角，偏航角），其中由于要求成像的稳定性，故要求无人机不能产生较大的振动/横滚/俯仰角度，故设允许最大横滚角为αmax，最大俯仰角为βmax，从而使得所述横滚角和俯仰角小于预定横滚角和预定俯仰角；
摄像头属性经标定后所覆盖区域的地面参数为(W, H, θ)，该3个参数分别代表图像信息所覆盖的区域的地面宽度，高度，相机视场角：
（1）当横滚角，俯仰角都为0时，无人机的姿态如图2上方黑色加粗线所示姿态，此时无人机采集的图像信息覆盖区域如图4所示的下方ABCD矩形区域（AC=BD），标记该矩形区域的高为H，宽为W，即AB=DC=W，AD=BC=H：
假设选用的正方形视角摄像头，摄像头安装在无人机机体正中心，且视角垂直机体向下（与地面垂直），标记相机视场角为θ（即图2中∠AOC=∠BOD=θ），则图像信息覆盖区域为正方形（即H=W，AB=BC，则AC=BD= 21/2×AB= 21/2×BC= 21/2×CD= 21/2×DA），此时假设测高传感器返回的无人机距离地面的距离为d，即OO'=d；
根据图2所示，可进一步确定：
因为：∠AOC=∠BOD=θ，
所以： ∠AOO'=∠COO'=θ/2；
又因为无人机的俯仰角，横滚角均为0，即无人机与地面水平，而相机安装是垂直机体，所以相机中轴线OO'垂直与地面，即在直角∆AOO'中，AO垂直于OO'，
所以有：tan(θ/2 )=O'A/OO'，记 O'A=O'B=O'C=O'D为L0，则：
L0=d×tan(θ/2 ) （1）
所以AC=BD=2AO'=2L0；
又因为ABCD为正方行，所以直角∆ADC为等腰直角三角形，所以AC=21/2×AD ，即AD=AC/21/2，即：
AD=H=W=2×L0/21/2 =2×d×tan(θ/2 )/ 21/2，
AD=AB=BC=CD （2）
（2）当横滚角α不为0时，原点为无人机几何中心，x轴为无人机前进方向，x方向平行于机身构造基线并且指向机头方向；y轴位于机身平面并且垂直于x轴的方向，z轴根据右手法则定义的垂直于xy平面（机身平面）向上的方向，其中，
当横滚角α不为0时，横滚角如图2中所标记α；同时图像信息覆盖区域形状也会发生变化，由原来的矩形ABCD变为梯形A'B'C'D'， 即原来的高度H会发生变化，会出现一边高（记为H1），另一边低（记为H2），如图2所示：
在直角∆A'OO'及∆C'OO'中，根据横滚角的定义可知：
∠A'OO'=∠A'OA +∠AOO' =θ/2+α，∠C'OO'=∠COO'-∠COC' =θ/2-α，
在直角∆A'OO'及∆C'OO'中，可根据公式（1）的相同方法推导出如下公式：
L1=A'O'=d×tan(θ/2 +α) （3）
L2=C'O'=d×tan(θ/2 -α) （4）
其中 θ/2 +α=∠A'OO'，
θ/2-α=∠C'OO'；
进一步，根据相似三角形原理可知，
L0/L1=H/H1，（因为∆O'AD≌∆O'A'D'，所以O'A/O'A'=AD/A'D'）
L2/L0=H2/H，（因为∆O'C'B'≌∆O'CB，所以O'C'/O'C=C'B'/CB）
再将公式（1）L0=d×tan(θ/2 )代入上面两式，可得如下公式：
H1=H×L1/L0=21/2×d×tan(θ/2+α) （5）
H2=21/2×d×tan(θ/2-α) （6）
（3）当俯仰角β发生变化时，如图3所示，无人机的姿态如图3上方加粗线所示姿态(此时图中无人机的坐标系如左上角坐标系所示，原点为无人机几何中心，x轴为无人机前进方向，x方向平行于机身构造基线并且指向机头方向；y轴位于机身平面并且垂直于x轴的方向，z轴根据右手法则定义的垂直于xy平面（机身平面）向上的方向)，其中：
当俯仰角β发生变化时，俯仰角 β 如图3中所标记β；同时图像信息覆盖区域形状也会发生变化，由原来的矩形ABCD变为梯形A''B''C''D''， 即原来的矩形宽度W会发生变化，会出现一边长（记为W1），另一边短（记为W2），如图3所示：
在直角∆B''OO'及∆D''OO'中，根据横滚角的定义可知∠B''OO'=∠B''OB +∠BOO'=θ/2 +β，∠D''OO'=∠DOO'-∠DOD'' =θ/2 -β；
在直角∆B''OO'及∆D''OO'中，根据正切角定义有：
L3=O'B''=d×tan(θ/2 +β) （7）
L4=D''O'=d×tan(θ/2 -β) （8）
其中 θ/2 +β=∠B''OO'，
θ/2-β=∠D''OO'；
根据相似三角形原理可知，
L0/L3=W/W1，（因为∆O'BA≌∆O'B''A''，所以O'B/O'B''=AB/A''B''）
L4/L0=W2/W，（因为∆O'C''D''≌∆O'CD，所以O'C''/O'C=C''D''/CB）
再将公式（1）、(2)代入上面两式，可得如下公式：
W1=W×L3/L0=21/2×d×tan(θ/2+β) （9）
W2=W×L4/L0=21/2×d×tan(θ/2-β) （10）
进一步的，能够理解，偏航角为x轴方向，当|α|＜αmax 且|β|＜βmax时，W1与W2，H1与H2的差值较小，可将W及H求平均，根据上述公式（5）、（6）、（9）、（10）可得：
W=(W1+W2)/2=d×(tan(θ/2 +β) + tan(θ/2 -β))/ 21/2，
H =(H1+H2)/2=d×(tan(θ/2 +α) + tan(θ/2 -α))/21/2。
在另一个实施例中，对于基于经纬度地球表面坐标系中的管道路由点转换到图像坐标系：
将管道路由GPS/北斗点云坐标E(x,y)转换为图像坐标系过程中，可考虑先把经纬度按如下方式转换：
按照0度经线的基准，东经取经度的正值，西经取经度负值，北纬取90-纬度值(90-Latitude)，南纬取90+纬度值(90+Latitude)。
综上所述，本发明通过获取无人机姿态，离地距离，摄像头相关参数，以无人机正飞行方向设为图像坐标系x轴正方向即可自动实现标注管道路由功能，在无人机云台所成像中，已经知道图像中四顶点的经纬度，就可以计算在图像内任意一点的经纬度坐标值，已知无人机经纬度坐标，以及与四顶点的方位角，求AGPS，BGPS，CGPS，DGPS的经纬度坐标。
需要说明的是，参见图4，关于建立图像坐标系：
通过摄像头所获取的最大经纬度坐标系通过无人机坐标映射，基于原点坐标为O(0,0)进一步计算出基于图像坐标系四顶点坐标：
A(x0,y0) = (0,0)，
B(x1,y1) = (cols,0)，
C(x2,y2) = (cols,rows)，
D(x3,y3) = (0,rows)，
cols、rows的取值分别取自所述图像信息所覆盖的区域的地面宽度W和高度H。
进一步参见图4，其中A，B，C，D所代表是图像中四顶点的经纬度坐标，图像中间经纬度坐标代表此刻无人机实际的经纬度坐标，白色点代表管道路由上的标记点，旁边的阿拉伯数字代表的是标记点名称。
设αi为ABCD四个点相对于无人机到地面映射点连线与北方向的夹角（逆时针为正），R为地球平均半径，无人机当前经、纬度坐标为（long1,lat1），
那么通过如下方式计算ABCD四个角点对应的经、纬度坐标AGPS(lon,lat)、BGPS(lon,lat)、CGPS(lon,lat)、DGPS(lon,lat)：
1）d = D×tan(β/ 2)；
2）loni = long1+d×sin(α+αi)/[R×cos(lat1) ×π/180], i=a,b,c,d,表示ABCD四个角点的编号；
3）lati = lat1+d×cos(α+αi)/(R×π/180),i=a,b,c,d表示ABCD四个角点的编号；
由上述公式计算可得：
AGPS.lon = long1 + d×sin(α+αa)/[R×cos(lat1) ×π/180]，αa = -π/4；
AGPS.lat = lat1+d×cos(α+αa)/(R×π/180)，αa = -π/4；
BGPS.lon = long1 + d×sin(α+αb)/[R×cos(lat1) ×π/180]，αb =π/4；
BGPS.lat = lat1+d×cos(α+αb)/(R×π/180)，αb = π/4；
CGPS.lon = long1 + d×sin(α+αc)/[R×cos(lat1) ×π/180]，αc = 3π/4；
CGPS.lat = lat1+d×cos(α+αc)/(R×π/180), αc = 3π/4；
DGPS.lon = long1 + d×sin(α+αd)/[R×cos(lat1) ×π/180]，αd = 5π/4；
DGPS.lat = lat1+d×cos(α+αd)/(R×π/180)，αd = 5π/4。
由于图像坐标系与经纬度存在对应关系，因此可以进行坐标系转换。
判断任意一点PGPS(lon,lat)是否在无人机云台成像图像内的方式为：
设：AVector，BVector，CVector，DVector 为PGPS点与四顶点向量运算结果，则有如下计算公式：
4）AVector = (BGPS.lon-AGPS.lon)×(PGPS.lat-AGPS.lat)-(BGPS.lat - AGPS.lat)×(PGPS.lon-AGPS.lon)；
5）BVector = (CGPS.lon-BGPS.lon)×(PGPS.lat-BGPS.lat)-(CGPS.lat-BGPS.lat)×(PGPS.lon-BGPS.lon)；
6）CVector = (DGPS.lon-CGPS.lon)×(PGPS.lat-CGPS.lat)-(DGPS.lat-CGPS.lat)×(PGPS.lon-CGPS.lon)；
7）DVector = (AGPS.lon-DGPS.lon)×(PGPS.lat-DGPS.lat)-(AGPS.lat-DGPS.lat)×(PGPS.lon-DGPS.lon)；
如果AVector，BVector，CVector，DVector为同符号，则PGPS点在图像内，如果异号，则证明P点不在图像内，通过坐标系转换关系，计算PGPS点在图像上的坐标P(x,y),转换公式如下：
设：横向像素所表示的经纬度偏移量为 Woffset，纵向为Hoffset。
8） Woffset = (BGPS-AGPS)/cols，即B点与A点的GPS的经纬度差值除以图像像素的列数cols，表示B点与A点所定义的宽度方向上，横向像素的经纬度差值，其中宽度方向的经度差值用 Woffset.lon表示，宽度方向的纬度差用Woffset.lat表示，从而有：
Woffset.lon= (BGPS.lon -AGPS.lon)/cols；
Woffset.lat= (BGPS.lat -AGPS.lat)/cols；
9） Hoffset = (DGPS-AGPS)/rows，同理，表示D点与A点所定义的高度方向上，纵向像素的经纬度差值，其中高度方向的经度差值用 Hoffset.lon表示，高度方向的纬度差用Hoffset.lat表示, 从而有：
Hoffset.lon= (DGPS.lon -AGPS.lon)/rows；
Hoffset.lat= (DGPS.lat -AGPS.lat)/rows；
10）
P.x =((PGPS.lon-AGPS.lon+(AGPS.lon-PGPS.lon)×Hoffset.lon+(AGPS.lat-PGPS.lat)×Hoffset.lat)/(Woffset.lon -Woffset.lon×Hoffset.lon - Hoffset.lat×Woffset.lat) ，
表示P点在图像中的像素坐标的x分量；
11）
P.y =((AGPS.lat-PGPS.lat)×(Hoffset.lon-1)-(AGPS.lon+PGPS.lon)×Hoffset.lat)/(Woffset.lon-Woffset.lon× Hoffset.lon-Hoffset.lat×Woffset.lat)，
表示P点在图像中的像素坐标的y分量；
其中，上述第10)，11)步推导如下：
经纬度坐标系在地表平面假设为迪卡尔直角坐标系，已知ABCD四点的GPS坐标AGPS(lon,lat)，BGPS(lon,lat)，CGPS(lon,lat)，DGPS(lon,lat)及像素坐标A(x0,y0) = (0,0)，B(x1,y1) = (cols,0)，C(x2,y2) = (cols,rows)，D(x3,y3) = (0,rows)；
已知P点的GPS坐标PGPS(lon,lat)，求P点的图像坐标P(x,y)，如图6所示，已知两个平面直角坐标系中点的坐标转换关系如下：
x=x'cosθ-y'sinθ+x0；
y=x'sinθ-y'cosθ+y0；
其中假设O'在XOY坐标系中的位置为(x0,y0),θ为两直角坐标系的夹角(逆时针为正)；
根据以上公式，假设XOY坐标系为图像坐标系，X'O'Y'坐标系为GPS坐标系，则ABD三点满足以下公式：
A点：
0=AGPS.lon×cosθ-AGPS.lat×sinθ+x0 (1)
0=AGPS.lon×sinθ+AGPS.lat×cosθ+y0 (2)
B点：
cols=BGPS.lon×cosθ-BGPS.lat×sinθ+x0 (3)
0=BGPS.lon×sinθ+BGPS.lat×cosθ+y0 (4)
D点：
0=DGPS.lon×cosθ-DGPS.lat×sinθ+x0 (5)
rows=DGPS.lon×sinθ+DGPS.lat×cosθ+y0 (6)
(6)-(2)后两边除以rows可得：
(DGPS.lon- AGPS.lon)×sinθ/rows + (DGPS.lat-AGPS.lat)×cosθ/rows =1，
代入第9步定义的 Hoffset = (DGPS-AGPS) /rows可得：
cosθ=(1-Hoffse.lon)×sinθ/Hoffse.lat (7)
(3)-(1) 后两边除以cols可得：
(BGPS.lon- AGPS.lon)×cosθ/cols + (BGPS.lat- AGPS.lat)×sinθ/cols =1
代入第9步定义的 Woffset = (BGPS - AGPS)/cols可得：
Woffset.lon×cosθ-Woffset.lat×sinθ=1 (8)
(7) 代入(8) 可得：
sinθ= Hoffset.lat/(Woffset.lon-Woffset.lon×Hoffset.lon-Woffset.lat×Hoffset.lat) (9)
回代公式(7)即可知道cosθ的表达公式：
cosθ=(1-Hoffset.lon)/(Woffset.lon-Woffset.lon×Hoffset.lon-Woffset.lat×Hoffset.lat) (10)
根据两个平面直角坐标系中点的坐标转换关系可知P点的图像坐标为：
P.x =PGPS.lon×cosθ-PGPS.lat×sinθ+x0 (11)
P.y=PGPS.lon×sinθ+PGPS.lat×cosθ+y0 (12)
x0可由(9)，(10)代入(1)求得，y0可由(9)，(10)代入(2)求得：
x0=(AGPS.lat×Hoffset.lat-AGPS.lon×(1-Hoffset.lon))/(Woffset.lon-Woffset.lon×Hoffset.lon-Hoffset.lat× Woffset.lat)； (13)
y0=(AGPS.lat×(Hoffset.lon-1)-AGPS.lon×Hoffset.lat)/(Woffset.lon-Woffset.lon×Hoffset.lon-Hoffset.lat× Woffset.lat)； (14)
将(9)，(10)，(13)，(14)代入(11)，(12)可得：
P.x =(PGPS.lon-AGPS.lon+ (AGPS.lon-PGPS.lon)×Hoffset.lon+(AGPS.lat-PGPS.lat×Hoffset.lat)/(Woffset.lon -Woffset.lon×Hoffset.lon - Hoffset.lat×Woffset.lat)；
P.y =((AGPS.lat-P.lat)×(Hoffset.lon-1)-(AGPS.lon+PGPS.lon)×Hoffset.lat)/(Woffset.lon-Woffset.lon× Hoffset.lon - Hoffset.lat×Woffset.lat)；
通过以上处理，就能将管道路由的经纬度点集映射到云台视频内，通过连线，就能实现管道路由自动标记算法；此方案复杂度较低，算法实现中，各管道路由标记点呈逐步递进相互依托关系，减小数据累计误差。
由于本发明引入偏移量作为坐标变换的一种方法，其巧妙的利用了矩形的四个顶点，本发明在实际运用中因应了如下现实的技术问题：由于无人机飞行过程中图像会跟随偏移，如果无人机姿态数据的变化量与图像偏移变化量不一致会导致管道路由发生偏移，视觉上呈现出来的管道路由就在无规则移动，而现实中管道路由因埋在地底是固定不动的，因此产生错误。
通过本发明计算出的管道路由点可实现与图像同步偏移且矩形具有偏移向量相等的特点，从而避免了上述现实的技术问题问题，这就比同类或相似方法有更好的稳定性和视觉效果。
另外，通过此类方法可使圆概率误差降低，离地距离100米以上的正射图像管道路由点的误差偏移在1米以内，也实现了更高的精度。
需要说明的是，坐标变换，对于矩形来说，按X-Y坐标系考虑，由于矩形天然的具有相邻边垂直或正交的特点，所以完全可以利用偏移量直接做减法/加法运算来实施坐标变换（例如，将X-Y坐标系下某矩形，其中矩形的一边与x轴重合或平行，当其处于原始位置时，四个顶点的坐标已知，如果进一步对其进行平移，则通过x或y方向的偏移量即可确定新的四个顶点的坐标），从而避免上述偏移及其对现有技术中解决方案带来的不利影响。但是，发明人认为坐标变换的实质在于计算新的位置处的坐标，所以，如果图像信息不用四个顶点的矩形进行拍摄范围的定义，而用三角形或圆形或其他多边形等新的图形框，无论该图形框规则与否，只要其顶点已知，各个边之间的角度已知，或者推而广之，该图形框为曲线框（能够理解，矩形作为图形框时，其边界各个边可以通过直线的关系式表达），只要该图形框的边界能够由函数表达，那么其偏移一定量后，均可以在同一坐标系下进行新的坐标的计算和确定。因此，本发明中利用偏移量来进行管道路由坐标数据的坐标变换，具有广泛意义和通用性，且能尽力避免现有技术中的偏移或漂移的现象。也因此能够理解，利用四个顶点按照矩形来进行坐标变换是非常方便、快捷的方式。
参见图7，在另一个实施例中，为本发明的另一个实施例中标记后的示意图。在图7中，将图像中存在的点和未在图像中但实际存在点的方位按照同样坐标系转换的方法连接起来，就形成了管道路由线路。其中，对于管道经纬度坐标信息，最近两点连接为一段管道，图7已经示意了该情况。能够理解，图7中的经纬度坐标信息仅为示例，无论经纬度坐标是否肉眼能够看清楚，都不妨碍本发明利用算法获取相关坐标信息并连接成管道路由线路。而且实际情况是：图7是黑白灰为代表的多种不同的灰度信息叠加在实景图中，这当然可能导致存在个别坐标数字无法通过灰度图被肉眼准确辨认的情况，然而对应的彩图则是清楚的，但专利申请文件中只能提交灰度图或黑白图，况且如前所述，具体坐标信息是否能从灰度图上肉眼识别，并不影响本发明的技术构思。类似的，图5中也无法避免个别坐标信息不能从灰度图上肉眼识别的情况，这符合当前图5、7的实景灰度图叠加坐标信息的实际情况，也丝毫不影响对本发明的理解以及本发明的实施。
以此，除了解决了偏移问题之外，本发明还解决了：目前管道路由标注是通过无人机离地表固定高度录取的图像数据和管道的经纬度坐标点数据融合，再通过人工标注方式完成，需要耗费大量的人力和时间成本这一问题。
至此，能够理解，说明书所示例的各个实施例，意味着：
1）无人机通过飞控系统实时传输无人机当前的姿态和GPS/北斗定位信息；
2）无人机与地面维持固定或局部区域固定高度；
3）摄像头焦距及成像质量固定。
最终，本发明通过算法与多类坐标转换方式可实现管道基础数据的自动标注和修改，可实现管道实时标注。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (5)
1.一种对管道路由所在区域的图像信息进行自动标记的方法，其特征在于，所述方法包括以下步骤：
第一步骤，利用无人机拍摄管道路由所在区域的图像信息，其中，所述无人机离地高度保持不变；
第二步骤，采集无人机姿态信息，GPS定位信息和无人机离地高度数据，建立图像坐标系，所述图像坐标系以无人机在地面投影为圆心，无人机飞行方向为坐标系x轴方向，以无人机左侧且与x轴垂直方向为y轴方向；并按照如下公式计算图像信息所覆盖的区域的地面宽度和高度，其中宽度W=d×(tan(θ/2+β) + tan(θ/2-β))/21/2，高度H=d×(tan(θ/2+α) +tan(θ/2-α))/21/2，其中，d为无人机离地高度，α为无人机的横滚角，β为无人机的俯仰角，θ为摄像头的视场角，21/2表示2的1/2次方；其中，所述横滚角和俯仰角小于预定横滚角和预定俯仰角；
第三步骤，将所述图像信息在经纬度坐标系下的经纬度数据转换为所述图像坐标系下的坐标数据；其中，四顶点坐标数据分别为A(x0,y0)=(0,0)，B(x1,y1)=(cols,0)，C(x2,y2)=(cols,rows)，D(x3,y3)=(0,rows)，其中，A(x0,y0)，B(x1,y1)，C(x2,y2)，D(x3,y3)为四个顶点及其坐标，cols、rows的取值分别取自所述图像信息所覆盖的区域的地面宽度W和高度H；
第四步骤，对管道路由的经纬度数据进行图像处理，将其转换为图像坐标系下的管道路由坐标数据，其中：
当所述管道路由坐标数据处于图像信息的四顶点坐标数据的范围内，生成管道路由的图像坐标点并标记，相邻的图像坐标点直线连接以自动标记管道及管道路由。
2.根据权利要求1所述的方法，其特征在于，第四步骤中，同一个图像坐标系中不少于3个图像坐标点。
3.根据权利要求1所述的方法，其特征在于，第一步骤中，无人机通过云台搭载摄像机拍摄所述图像信息。
4.根据权利要求1所述的方法，其特征在于，第四步骤中，管道路由的经纬度数据转位为图像坐标系下的坐标数据时，按照0度经线的基准，东经取经度的正值，西经取经度负值，北纬取90-纬度值，南纬取90+纬度值。
5.根据权利要求1所述的方法，其特征在于，第四步骤中，管道路由坐标数据P(x,y) 按如下方式计算：
P.x =(PGPS.lon-AGPS.lon+(AGPS.lon-PGPS.lon)×Hoffset.lon+(AGPS.lat-PGPS.lat)×Hoffset.lat)/(Woffset.lon -Woffset.lon×Hoffset.lon - Hoffset.lat×Woffset.lat)，
P.y =((AGPS.lat-PGPS.lat)×(Hoffset.lon-1)-(AGPS.lon+PGPS.lon)×Hoffset.lat)/(Woffset.lon-Woffset.lon× Hoffset.lon - Hoffset.lat×Woffset.lat)，
其中，Woffset.lon表示横向像素在宽度方向的经度差值，Woffset.lat表示横向像素在宽度方向的纬度差，Hoffset.lon表示纵向像素在高度方向的经度差值，Hoffset.lat表示纵向像素在高度方向的纬度差，PGPS.lon表示P点的GPS数据的经度值，PGPS.lat表示P点的GPS数据的纬度值，AGPS.lon表示A点的GPS数据的经度值，AGPS.lat表示A点的GPS数据的纬度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110792552.0A CN113254697B (zh) | 2021-07-14 | 2021-07-14 | 一种对管道路由所在区域的图像信息进行自动标记的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110792552.0A CN113254697B (zh) | 2021-07-14 | 2021-07-14 | 一种对管道路由所在区域的图像信息进行自动标记的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113254697A CN113254697A (zh) | 2021-08-13 |
| CN113254697B true CN113254697B (zh) | 2021-09-10 |
Family
ID=77191200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110792552.0A Active CN113254697B (zh) | 2021-07-14 | 2021-07-14 | 一种对管道路由所在区域的图像信息进行自动标记的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113254697B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201051A (zh) * | 2020-11-27 | 2021-01-08 | 中航金城无人系统有限公司 | 一种无人机端路面车辆违停检测及取证系统和方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2538298A1 (en) * | 2011-06-22 | 2012-12-26 | Sensefly Sàrl | Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers |
| CN104835115A (zh) * | 2015-05-07 | 2015-08-12 | 中国科学院长春光学精密机械与物理研究所 | 用于航空相机的图像成像方法及系统 |
| CN105180963B (zh) * | 2015-07-22 | 2018-02-16 | 北京航空航天大学 | 基于在线标校的无人机遥测参数修正方法 |
| CN106373159A (zh) * | 2016-08-30 | 2017-02-01 | 中国科学院长春光学精密机械与物理研究所 | 一种简化的无人机多目标定位方法 |
| US10726558B2 (en) * | 2017-02-27 | 2020-07-28 | Dolphin AI, Inc. | Machine learning-based image recognition of weather damage |
| CN108286959A (zh) * | 2017-12-14 | 2018-07-17 | 彩虹无人机科技有限公司 | 一种无人机光电载荷侦照区域计算与显示方法 |
| CN108366227A (zh) * | 2018-01-30 | 2018-08-03 | 上海海事大学 | 一种海事智能化巡航中无人机的应用平台 |
| US20200145568A1 (en) * | 2018-02-13 | 2020-05-07 | Richard L. Vollmerhausen | Electro-optical imager field of regard coverage using vehicle motion |
| CN109523579B (zh) * | 2018-11-12 | 2021-03-05 | 北京联海信息系统有限公司 | 一种无人机视频图像与三维地图的匹配方法和装置 |
| CN109931912A (zh) * | 2019-04-12 | 2019-06-25 | 成都睿铂科技有限责任公司 | 一种航空倾斜摄影方法及装置 |
| CN112129281B (zh) * | 2019-06-25 | 2022-02-22 | 南京航空航天大学 | 一种基于局部邻域地图的高精度图像导航定位方法 |
| CN110688904A (zh) * | 2019-08-30 | 2020-01-14 | 中通服建设有限公司 | 基于5g无人机的基站天线工参勘测方法及装置 |
| CN110687919B (zh) * | 2019-10-21 | 2021-06-04 | 同济大学 | 一种面向水电站输水管道巡检的无人机自主飞行控制方法 |
-
2021
- 2021-07-14 CN CN202110792552.0A patent/CN113254697B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201051A (zh) * | 2020-11-27 | 2021-01-08 | 中航金城无人系统有限公司 | 一种无人机端路面车辆违停检测及取证系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113254697A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148169B (zh) | 一种基于ptz云台相机的车辆目标三维信息获取方法 | |
| CN106441242B (zh) | 一种基于激光点云与全景影像的交互式测图方法 | |
| CN113222820B (zh) | 一种位姿信息辅助的航空遥感图像拼接方法 | |
| CN106871927A (zh) | 一种无人机光电吊舱安装误差标校方法 | |
| CN108344396B (zh) | 一种敏捷卫星斜条带成像模式姿态计算方法 | |
| CN109405830B (zh) | 基于线路坐标序列的无人机自动巡检方法 | |
| CN112146629A (zh) | 一种多角度贴近摄影航迹与姿态规划方法 | |
| CN110555813B (zh) | 一种无人机遥感影像的快速几何校正方法及系统 | |
| CN101114022A (zh) | 无姿态信息条件下的航空多光谱扫描仪几何粗校正方法 | |
| CN113793270A (zh) | 一种基于无人机姿态信息的航拍图像几何校正方法 | |
| CN110823233B (zh) | 一种基于坐标变换的地图模型构建方法及系统 | |
| CN115187798A (zh) | 一种多无人机高精度匹配定位方法 | |
| CN108627142A (zh) | 一种结合离线高程和机载光电吊舱的目标定位方法 | |
| CN110542407A (zh) | 一种航拍图像任意像素点定位信息获取方法 | |
| CN115511956A (zh) | 一种无人机成像定位方法 | |
| CN110223233B (zh) | 一种基于图像拼接的无人机航拍建图方法 | |
| CN114900609B (zh) | 一种无人机的自动化拍摄控制方法和系统 | |
| CN106780337A (zh) | 基于二维图像的无人机着舰视景模拟方法 | |
| KR100373615B1 (ko) | 촬영 화상을 사용한 지도 작성 방법, 장치 및 촬영 화상의일그러짐 보정 방법 | |
| CN112750075A (zh) | 一种低空遥感影像拼接方法以及装置 | |
| CN113254697B (zh) | 一种对管道路由所在区域的图像信息进行自动标记的方法 | |
| CN117611438A (zh) | 一种基于单目图像的2d车道线到3d车道线的重构方法 | |
| CN110579744B (zh) | 一种基于dom卫片的场景建模仿真方法 | |
| CN107705272A (zh) | 一种空间影像的高精度几何校正方法 | |
| CN109764864B (zh) | 一种基于颜色识别的室内无人机位姿获取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 610056 No.05, 11th floor, building 1, 99 mengzhuiwan Hengjie, Chenghua District, Chengdu City, Sichuan Province Patentee after: Sichuan hongbaorunye Engineering Technology Co.,Ltd. Patentee after: Chongqing Hongbao Technology Co.,Ltd. Patentee after: Beijing Baolong Hongrui Technology Co.,Ltd. Address before: 610056 No.05, 11th floor, building 1, 99 mengzhuiwan Hengjie, Chenghua District, Chengdu City, Sichuan Province Patentee before: Sichuan hongbaorunye Engineering Technology Co.,Ltd. Patentee before: Chongqing Qingyun Petroleum Engineering Technology Co.,Ltd. Patentee before: Beijing Baolong Hongrui Technology Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |