CN114780762A - 一种输电线路夜视图像的点云测距自动标注方法及系统 - Google Patents

一种输电线路夜视图像的点云测距自动标注方法及系统 Download PDF

Info

Publication number
CN114780762A
CN114780762A CN202210714427.2A CN202210714427A CN114780762A CN 114780762 A CN114780762 A CN 114780762A CN 202210714427 A CN202210714427 A CN 202210714427A CN 114780762 A CN114780762 A CN 114780762A
Authority
CN
China
Prior art keywords
night vision
image
vision image
point cloud
daytime
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210714427.2A
Other languages
English (en)
Other versions
CN114780762B (zh
Inventor
杨胜男
蔡富东
吕昌峰
刘焕云
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Xinxinda Electric Technology Co ltd
Original Assignee
Jinan Xinxinda Electric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Xinxinda Electric Technology Co ltd filed Critical Jinan Xinxinda Electric Technology Co ltd
Priority to CN202210714427.2A priority Critical patent/CN114780762B/zh
Publication of CN114780762A publication Critical patent/CN114780762A/zh
Application granted granted Critical
Publication of CN114780762B publication Critical patent/CN114780762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种输电线路夜视图像的点云测距自动标注方法及系统，包括：分别获取设定的同一场景的白天图像和夜视图像，以及白天图像的已标定数据文件；进行白天图像和夜视图像的关键点匹配；计算白天图像转换为夜视图像分辨率的映射矩阵；基于所述映射矩阵和白天图像中的标注点位，得到映射到夜视图像中的点位坐标；将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系本发明自动获取白天和夜视两种不同分辨率的图像的关键点，计算映射矩阵，根据映射矩阵求出标注点位映射后在夜视图像上的点坐标，无需人工逐个选取夜视图像的2D标注点坐标。

Description

一种输电线路夜视图像的点云测距自动标注方法及系统
技术领域
本发明涉及输电线路图像处理技术领域，尤其涉及一种输电线路夜视图像的点云测距自动标注方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
输电线路通道往往长达上百里，且所处环境复杂多变，随时都可能受到外界环境因素的影响，极大概率出现安全隐患。输电线路安全隐患不仅威胁到线路正常运转，并且可能损坏输电线路设备造成火灾等安全事故和经济损失。
随着科学技术的日益发展，研究者们提出了基于3D点云数据和输电线路通道定点2D监拍图像结合的输电线路通道隐患目标测距方法。目前的方案针对安装在监测终端的摄像机设备，综合利用图像的稠密信息优势和激光雷达点云精度优势，将3D点云与输电线路监拍装置拍摄的2D图像信息融合，通过点云数据标定进行解算两者空间转换关系，然后根据使用图像深度学习技术获取到的隐患目标在像素坐标系中的二维坐标值和像素高度，计算其在点云数据中的三维坐标值和高度值，进而求出隐患与导线的距离，实现隐患距离测量功能。
但是，输电线路监拍装置由于安装在户外，白天和夜晚光照强度差异很大，一般都采用2个摄像头拍摄图像，分为白天摄像头和夜视摄像头，因此拍摄的2D图像分为白天图像和夜视图像两种；上述过程所采用的图像往往是白天图像；由于白天图像与夜视图像的采集镜头参数、采集到的图像分辨率均不相同，因此，仅对白天图像进行点云数据标定，无法实现夜视环境下的点云测距功能。
发明内容
为了解决上述问题，本发明提出了一种输电线路夜视图像的点云测距自动标注方法及系统，可根据已有的白天图像的点云测距标定数据，自动化获取夜视图像的点云测距标定数据。
在一些实施方式中，采用如下技术方案：
一种输电线路夜视图像的点云测距自动标注方法，包括：
分别获取设定的同一场景的白天图像和夜视图像，以及白天图像的已标定数据文件；
进行白天图像和夜视图像的关键点匹配；
计算白天图像转换为夜视图像分辨率的映射矩阵；基于所述映射矩阵和白天图像中的标注点位，得到映射到夜视图像中的点位坐标；
将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系；
基于所述转换关系实现夜视图像点云测距的自动标注。
其中，计算白天图像转换为夜视图像分辨率的映射矩阵，具体包括：
通过所述映射矩阵构建白天图像的二维坐标与三维坐标之间的转换关系；结合三维坐标投影到夜视图像的二维坐标的转换关系，从而得到夜视图像的二维坐标与白天图像的二维坐标之间的转换关系；
基于匹配得到的白天图像和夜视图像的关键点，求解得到映射矩阵。
另外，将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系，具体包括：
通过张正友标定法，对夜视相机进行标定，获取夜视相机内参矩阵；
以激光点云的原点坐标系作为统一的世界坐标系，以光心为夜视相机坐标系的原点，夜视图像物理坐标系以主光轴和图像平面交点为坐标原点；
基于3D点云坐标、相机位置坐标、夜视图像上标定点坐标以及夜视相机内参矩阵，得到夜视图像与3D点云的空间转换关系。
在另一些实施方式中，采用如下技术方案：
一种输电线路夜视图像的点云测距自动标注系统，包括：
图像获取模块，用于分别获取设定的同一场景的白天图像和夜视图像，以及白天图像的已标定数据文件；
关键点匹配模块，用于进行白天图像和夜视图像的关键点匹配；
白天图像与夜视图像坐标映射模块，用于计算白天图像转换为夜视图像分辨率的映射矩阵；基于所述映射矩阵和白天图像中的标注点位，得到映射到夜视图像中的点位坐标；
夜视图像与3D点云空间转换模块，用于将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系；
夜视图像点云测距自动标注模块，用于基于所述转换关系实现夜视图像点云测距的自动标注。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的一种输电线路夜视图像的点云测距自动标注方法。
在另一些实施方式中，采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的一种输电线路夜视图像的点云测距自动标注方法。
与现有技术相比，本发明的有益效果是：
（1）本发明自动获取白天和夜视两种不同分辨率的图像的关键点，计算映射矩阵，根据映射矩阵求出标注点位映射后在夜视图像上的点坐标，无需人工逐个选取夜视图像的2D标注点坐标。
（2）本发明通过已有的白天图像的点云测距标定数据，可提取出已选定的对应2D标注点的3D标注点坐标，无需人工在点云可视化软件中逐个选取夜视图像对应的3D标注点坐标。
（3）本发明可以根据已有的白天图像标定数据批量获取对应的夜视图像的点云测距标定数据，方便高效。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
图1为白天图像点云测距标定数据的获取流程示意图；
图2为本发明实施例中的输电线路夜视图像点云测距自动标注方法流程图；
图3（a）为本发明实施例中的图像关键点示例；
图3（b）为本发明实施例中的不同分辨率图像的关键点匹配示例；
图4为本发明实施例中透视变换示意图；
图5（a）和图5（b）分别为白天图像的标注点位以及映射到夜视图像后的标注点位示意图；
图6为本发明实施例中空间坐标转换关系示意图；
图7（a）为白天图像的点云测距标定数据效果示意图；
图7（b）为夜视图像的点云测距标定数据效果示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了一种输电线路夜视图像的点云测距自动标注方法，结合图2，具体包括如下过程：
（1）分别获取设定的同一场景的白天图像和夜视图像，以及白天图像的已标定数据文件；
本实施例中，白天图像的已标定数据文件包括白天图像的标注点坐标以及相对应的3D激光点云数据。
结合图1，白天图像点云测距标定数据的获取流程如下：
首先，在相机获取到的输电通道2D图像上选择2D点坐标，将激光雷达获取到的输电通道3D点云进行预处理，人工标注导线/地面部分，并选择对应2D点的3D点并生成坐标记录文件。然后，使用专门的点云标注软件加载相机内参文件、相机坐标文件、3D点坐标、2D点坐标、2D图像、3D点云，调用点云测距算法模块进行联合标定，然后进行3D投影融合显示查看标定效果，进行人工微调，人工测距验证合格后导出标定数据。
（2）进行白天图像和夜视图像的关键点匹配；
本实施例中，进行两幅不同分辨率图像间的特征点的自动匹配，高效且准确的匹配出两个不同视角的图像中的同一个物体。
具体地，白天图像分辨率为2592x1944，夜视图像分辨率为1920x1080。实现不同分辨率的图像匹配，首先需要在图像中选出具有代表性的关键点区域。例如：图像中的角点、边缘和一些区块。但是仅仅利用关键点的信息（位置信息（可能包含尺度和方向信息））无法很好的进行特征点的匹配，所以需要使用特征描述子将特征区分开，特征描述子可以消除视角的变化带来的图像尺度和方向的变化，以便更好的实现两幅图像的匹配。
本实施例实现白天或夜视图像关键点的提取，具体流程如下：
①分别检测白天或夜视图像的关键点，图3（a）给出了图像关键点示例；
②对关键点添加详细的描述信息，即特征描述子；
③通过两幅图像的特征点进行两两比较，找出相互匹配的若干对特征点，用于下一步建立图像景物之间的对应关系，图3（b）给出了不同分辨率图像的关键点匹配示例。
（3）计算白天图像转换为夜视图像分辨率的映射矩阵；基于所述映射矩阵和白天图像中的标注点位，得到映射到夜视图像中的点位坐标；
本实施例中，使用透视变换的方式求解2D白天图像转换为2D夜视图像分辨率之间的映射矩阵。透视变换是将一个图像投影到新的视平面，其过程包括：将二维坐标系转换为三维坐标系，然后将三维坐标系投影到新的二维坐标系。透视变换的过程属于非线性变换过程，例如一个菱形在经过非线性变换后得到一个四边形，但是不再平行，如图4所示。
本实施例中，首先通过映射矩阵构建白天图像的二维坐标与三维坐标之间的转换关系，具体为：
Figure 100939DEST_PATH_IMAGE001
其中，透视变换矩阵为
Figure 976491DEST_PATH_IMAGE002
；可以将其拆成4部分，
Figure 474469DEST_PATH_IMAGE003
表示线性变换，比如旋转、裁剪和缩放。
Figure 324744DEST_PATH_IMAGE004
用于平移，
Figure 275383DEST_PATH_IMAGE005
产生透视变换。
Figure 220205DEST_PATH_IMAGE006
为三维坐标，
Figure 890133DEST_PATH_IMAGE007
为白天图像的二维坐标。
然后结合三维坐标投影到夜视图像的二维坐标的转换关系，从而得到夜视图像的二维坐标与白天图像的二维坐标之间的转换关系，具体为：
Figure 832681DEST_PATH_IMAGE008
其中，
Figure 332932DEST_PATH_IMAGE009
为映射到夜视图像中的点位坐标。
则：
Figure 753549DEST_PATH_IMAGE010
令：
Figure 39168DEST_PATH_IMAGE011
，展开上面的公式，可得到一个点为：
Figure 152618DEST_PATH_IMAGE012
四个点，即可得到8个方程，便可求解出透视变换矩阵A，即为本实施例的映射矩阵。
根据映射矩阵和已知标注点位计算映射后的标注点位，基于夜视图像的二维坐标与白天图像的二维坐标之间的转换关系，得到映射后的夜视图像的二维点位坐标。
图5（a）和图5（b）分别为白天图像的标注点位和映射到夜视图像后的标注点位示意图。
（4）将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系；
本实施例中，根据白天图像点云测距标定数据的获取流程，可以获取记录了2D白天图像标注点位、以及其在3D点云上对应点的json格式文件。
因此，在夜视图像的点云测距标定数据获取流程中，可以直接根据白天图像中已存在标定数据的json文件提取3D点坐标和白天图像的2D点坐标。根据前面所述步骤计算出映射后的2D点，与从json文件提取的3D点进行联合标定，计算单目相机和激光点云的空间转换关系，将此关系保存为夜视图像的点云测距标定数据。具体实现步骤如下：
①通过张正友标定法，对相机进行标定，获取相机内参，fx,fy为相机焦距参数，cx,cy为相机光心参数；
②以激光点云的原点坐标系作为统一的世界坐标系，Xw，Yw，Zw的单位是长度单位；以光心为夜视相机坐标系的原点，平行于图像的x和y方向为Xc轴和Yc轴，Zc轴和光轴平行，Xc，Yc，Zc互相垂直，单位是长度单位；夜视图像物理坐标系以主光轴和图像平面交点为坐标原点，x和y方向如图6所示，单位是长度单位。
基于3D点云坐标、相机位置坐标、夜视图像上标定点坐标以及夜视相机内参矩阵，得到夜视图像与3D点云的空间转换关系；具体为：
Figure 140165DEST_PATH_IMAGE013
其中，
Figure 364473DEST_PATH_IMAGE014
为夜视图像中标注点的坐标，
Figure 737555DEST_PATH_IMAGE015
和
Figure 21906DEST_PATH_IMAGE016
方向平行于x和y方向，单位是以像素计；
Figure 496749DEST_PATH_IMAGE017
为与夜视图像中标注点相对应的3D点云坐标，单位是长度单位；
Figure 524748DEST_PATH_IMAGE018
分别是相机的内参；
Figure 519380DEST_PATH_IMAGE019
为待求解的矩阵；R是旋转矩阵(3个自由度)，t是平移矩阵，两者组成3×4矩阵即为相机的外参矩阵。
（5）基于所述转换关系实现夜视图像点云测距的自动标注。
得到矩阵
Figure 771370DEST_PATH_IMAGE019
后，便可以得到夜视图像与3D点云的空间转换关系，进而实现夜视图像点云测距的自动标注；图7（a）给出了白天图像的点云测距标定数据效果示意图；图7（b）给出了夜视图像的点云测距标定数据效果示意图。
本实施例根据已有的白天图像的点云测距标定数据，获取夜视图像的点云测距标定数据，有效提高了获取夜视图像点云测距标注数据的效率。
实施例二
在一个或多个实施方式中，公开了一种输电线路夜视图像的点云测距自动标注系统，具体包括：
图像获取模块，用于分别获取设定的同一场景的白天图像和夜视图像，以及白天图像的已标定数据文件；
关键点匹配模块，用于进行白天图像和夜视图像的关键点匹配；
白天图像与夜视图像坐标映射模块，用于计算白天图像转换为夜视图像分辨率的映射矩阵；基于所述映射矩阵和白天图像中的标注点位，得到映射到夜视图像中的点位坐标；
夜视图像与3D点云空间转换模块，用于将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系；
夜视图像点云测距自动标注模块，用于基于所述转换关系实现夜视图像点云测距的自动标注。
需要说明的是，上述各模块的具体实施方式已经在实施例一中进行了说明，此处不再详述。
实施例三
在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的输电线路夜视图像的点云测距自动标注方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例四
在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的输电线路夜视图像的点云测距自动标注方法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种输电线路夜视图像的点云测距自动标注方法，其特征在于，包括：
分别获取设定的同一场景的白天图像和夜视图像，以及白天图像的已标定数据文件；
进行白天图像和夜视图像的关键点匹配；
计算白天图像转换为夜视图像分辨率的映射矩阵；基于所述映射矩阵和白天图像中的标注点位，得到映射到夜视图像中的点位坐标；
将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系；
基于所述转换关系实现夜视图像点云测距的自动标注。
2.如权利要求1所述的一种输电线路夜视图像的点云测距自动标注方法，其特征在于，所述白天图像的已标定数据文件中，包括已标注的白天图像上的2D标注点位，以及与其对应的3D点云数据坐标。
3.如权利要求1所述的一种输电线路夜视图像的点云测距自动标注方法，其特征在于，所述进行白天图像和夜视图像的关键点匹配，具体包括：
分别提取白天图像和夜视图像的关键点，并对关键点添加特征描述子；
对白天图像和夜视图像的关键点进行两两比较，找出相互匹配的若干对特征点。
4.如权利要求1所述的一种输电线路夜视图像的点云测距自动标注方法，其特征在于，计算白天图像转换为夜视图像分辨率的映射矩阵，具体包括：
通过所述映射矩阵构建白天图像的二维坐标与三维坐标之间的转换关系；结合三维坐标投影到夜视图像的二维坐标的转换关系，从而得到夜视图像的二维坐标与白天图像的二维坐标之间的转换关系；
基于匹配得到的白天图像和夜视图像的关键点，求解得到映射矩阵。
5.如权利要求1所述的一种输电线路夜视图像的点云测距自动标注方法，其特征在于，将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系，具体包括：
通过张正友标定法，对夜视相机进行标定，获取夜视相机内参矩阵；
以激光点云的原点坐标系作为统一的世界坐标系，以光心为夜视相机坐标系的原点，夜视图像物理坐标系以主光轴和图像平面交点为坐标原点；
基于3D点云坐标、相机位置坐标、夜视图像上标定点坐标以及夜视相机内参矩阵，得到夜视图像与3D点云的空间转换关系。
6.如权利要求1所述的一种输电线路夜视图像的点云测距自动标注方法，其特征在于，所述夜视图像与3D点云的空间转换关系具体为：
Figure 913130DEST_PATH_IMAGE001
其中，
Figure 154756DEST_PATH_IMAGE002
为夜视图像中标注点的坐标，
Figure 492196DEST_PATH_IMAGE003
为与夜视图像中标注点相对应的3D点云坐标，
Figure 135667DEST_PATH_IMAGE004
分别是相机的内参；
Figure 799996DEST_PATH_IMAGE005
为待求解的矩阵，从而得到夜视图像与3D点云的空间转换关系，实现夜视图像点云测距的自动标注。
7.一种输电线路夜视图像的点云测距自动标注系统，其特征在于，包括：
图像获取模块，用于分别获取设定的同一场景的白天图像和夜视图像，以及白天图像的已标定数据文件；
关键点匹配模块，用于进行白天图像和夜视图像的关键点匹配；
白天图像与夜视图像坐标映射模块，用于计算白天图像转换为夜视图像分辨率的映射矩阵；基于所述映射矩阵和白天图像中的标注点位，得到映射到夜视图像中的点位坐标；
夜视图像与3D点云空间转换模块，用于将夜视图像中的点位坐标与白天图像的已标定数据文件中的3D点云的坐标进行联合标定，得到夜视图像与3D点云的空间转换关系；
夜视图像点云测距自动标注模块，用于基于所述转换关系实现夜视图像点云测距的自动标注。
8.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-6任一项所述的一种输电线路夜视图像的点云测距自动标注方法。
9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-6任一项所述的一种输电线路夜视图像的点云测距自动标注方法。
CN202210714427.2A 2022-06-23 2022-06-23 一种输电线路夜视图像的点云测距自动标注方法及系统 Active CN114780762B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210714427.2A CN114780762B (zh) 2022-06-23 2022-06-23 一种输电线路夜视图像的点云测距自动标注方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210714427.2A CN114780762B (zh) 2022-06-23 2022-06-23 一种输电线路夜视图像的点云测距自动标注方法及系统

Publications (2)

Publication Number Publication Date
CN114780762A true CN114780762A (zh) 2022-07-22
CN114780762B CN114780762B (zh) 2022-09-06

Family

ID=82422314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210714427.2A Active CN114780762B (zh) 2022-06-23 2022-06-23 一种输电线路夜视图像的点云测距自动标注方法及系统

Country Status (1)

Country Link
CN (1) CN114780762B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013057127A1 (en) * 2011-10-21 2013-04-25 Navteq B.V. Reimaging based on depthmap information
CN112489130A (zh) * 2021-01-11 2021-03-12 众芯汉创（北京）科技有限公司 一种输电线路与目标物的距离测量方法、装置及电子设备
CN114543680A (zh) * 2022-02-18 2022-05-27 国网湖北省电力有限公司电力科学研究院 一种架空输电线路通道施工车辆现场监测及测距方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013057127A1 (en) * 2011-10-21 2013-04-25 Navteq B.V. Reimaging based on depthmap information
CN112489130A (zh) * 2021-01-11 2021-03-12 众芯汉创（北京）科技有限公司 一种输电线路与目标物的距离测量方法、装置及电子设备
CN114543680A (zh) * 2022-02-18 2022-05-27 国网湖北省电力有限公司电力科学研究院 一种架空输电线路通道施工车辆现场监测及测距方法

Also Published As

Publication number Publication date
CN114780762B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
CN108288292A (zh) 一种三维重建方法、装置及设备
KR101759798B1 (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN116222425A (zh) 一种基于多目三维扫描装置的三维重建方法及系统
CN116777963A (zh) 一种点云和图像配准方法、装置、电子设备及存储介质
CN116839564A (zh) 一种高精地图构建辅助方法、设备及介质
US11699303B2 (en) System and method of acquiring coordinates of pupil center point
CN117541738A (zh) 一种基于三维点云的输电线路隐患在线监测方法及装置
CN116091493B (zh) 一种用于输电线树障隐患的测距方法
CN114780762B (zh) 一种输电线路夜视图像的点云测距自动标注方法及系统
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
CN115014296B (zh) 基于相机的输电线测距方法、装置和计算机设备
CN114332356A (zh) 一种虚实画面结合方法和装置
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
CN113450415A (zh) 一种成像设备标定方法以及装置
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置
RU2779245C1 (ru) Способ и система автоматизированного построения виртуальной сцены на основании трехмерных панорам
CN117726687B (zh) 一种融合实景三维与视频的视觉重定位方法
CN116612184B (zh) 一种基于监控场景的无人机相机位姿精确估算方法
CN113870365B (zh) 相机标定方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant