CN118037849A - 一种基于点云数据和图像的标定方法及相关装置 - Google Patents

一种基于点云数据和图像的标定方法及相关装置 Download PDF

Info

Publication number
CN118037849A
CN118037849A CN202211413951.2A CN202211413951A CN118037849A CN 118037849 A CN118037849 A CN 118037849A CN 202211413951 A CN202211413951 A CN 202211413951A CN 118037849 A CN118037849 A CN 118037849A
Authority
CN
China
Prior art keywords
image
feature
target
hidden danger
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211413951.2A
Other languages
English (en)
Inventor
李鹏坤
吉建民
蒋永斌
李星辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Huawei Technologies Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202211413951.2A priority Critical patent/CN118037849A/zh
Priority to PCT/CN2023/130982 priority patent/WO2024099431A1/zh
Publication of CN118037849A publication Critical patent/CN118037849A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于点云数据和图像的标定方法，应用于对拍摄输电线路的图像采集设备进行标定。在本方法中，通过利用输电线路的形状特性，在点云数据和图像中提取输电线路相关的几何特征(例如输电线以及杆塔的表面形状等特征)，并基于点云数据中的几何特征与图像中的几何特征之间的对应关系，来求取点云数据中与图像之间的几何特征转换关系，进而得到图像采集设备的外参数。并且，本方案中通过获取输电线路相关的点云数据和图像，即可实现自动对图像采集设备进行标定，无需人工参与，有效地提高了图像采集设备的标定效率且减少人力物力的耗费。

Description

一种基于点云数据和图像的标定方法及相关装置
技术领域
本申请涉及电力技术领域，尤其涉及一种基于点云数据和图像的标定方法及相关装置。
背景技术
在电网公司的输电线路运维中，首要目标是保证电网平稳运行且电能安全输送。但是，由于输电线路分布广、线路长且长时间暴露在自然环境中，在一些区域(例如架空输电线路跨越高速铁路、高速公路和重要输电线路的区段)内经常容易受到各种隐患目标(如大型施工机械、吊车、水泥罐车等)的破坏。由于输电线路的电压较高，一旦隐患目标接触或接近输电线路时，容易发生导线放电、击穿引发停电等安全事故。
因此，为安全起见，在电网公司的智慧输电线路建设标准中，输电线路的可视化覆盖率要求不低于60％，即至少60％以上的杆塔上需要安装摄像头来进行可视化监测。目前，对输电线路附近的隐患目标进行识别的方法通常是采用计算机视觉等人工智能算法处理杆塔上的摄像头回传的图像，进而识别图像中的隐患目标。然后，针对图像中的隐患目标，可以基于隐患目标在图像中的位置，进一步计算隐患目标与输电线路之间的距离，从而确定隐患目标是否会对输电线路造成危害。
一般来说，基于隐患目标在图像中的位置来计算隐患目标与输电线路之间的距离通常需要获得拍摄图像的图像采集设备的外参数，即获得世界坐标系与图像采集设备坐标系之间的转换关系。相关技术中，通常是人为在图像中选定参考点来对图像采集设备进行标定，进而获得图像采集设备的外参数。然而，由于图像采集设备部署于室外的杆塔上，受自然环境影响，图像采集设备的位置容易发生变化，进而导致图像采集设备的外参数发生漂移。因此，在输电线路运维中，运维人员往往需要经常对大量的图像采集设备进行标定，导致图像采集设备的标定效率低且耗费大量的人力物力。
发明内容
本申请提供了一种基于点云数据和图像的标定方法，通过获取输电线路相关的点云数据和图像，即可实现自动对图像采集设备进行标定，无需人工参与，有效地提高了图像采集设备的标定效率且减少人力物力的耗费。
本申请第一方面提供一种基于点云数据和图像的标定方法，应用于对拍摄输电线路的图像采集设备进行标定。该方法包括：首先，获取点云数据和第一图像。其中，点云数据和第一图像是在不同位置下对输电线路进行采集得到的。例如，点云数据例如可以是通过搭载在无人机上的激光雷达等激光扫描设备对输电线路进行扫描得到的。第一图像则可以是由部署在输电线路的杆塔上的图像采集设备(例如摄像头)对输电线路进行拍摄得到的，因此第一图像中包括输电线路。
然后，提取点云数据以及第一图像中的几何特征，得到点云数据中的第一几何特征和第一图像中的第二几何特征，其中第一几何特征和第二几何特征均与输电线路相关。其中，几何特征是指几何图形的特征，例如线特征、点特征和面特征等几何图形的特征。具体地，点云数据以及第一图像中的几何特征包括以下特征中的一种或多种：深度不连续的线特征以及与输电线路中的杆塔相关的面特征。其中，深度不连续的线特征用于表示输电线，面特征则用于表示杆塔的几何面。
其次，在第一几何特征和第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，第一目标特征为第一几何特征中的特征，第二目标特征为第二几何特征中的特征。其中，第一目标特征和第二目标特征均是对应于同一物体上的特定形状。例如，第一目标特征和第二目标特征均为线特征，均是对应于输电线路上的同一条输电导线。
最后，基于第一目标特征和第二目标特征计算图像采集设备的外参数，其中，图像采集设备用于采集第一图像，外参数用于指示第一目标特征与第二目标特征之间的转换关系。由于第一目标特征为世界坐标系中的三维特征，而第二目标特征为相机坐标系中的二维特征，因此基于第一目标特征和第二目标特征，能够推导出图像采集设备的外参数，该外参数能够实现将第一目标特征转换为第二目标特征，即外参数指示了第一目标特征与第二目标特征之间的转换关系。
本方案中，通过利用输电线路的形状特性，在点云数据和图像中提取输电线路相关的几何特征(例如输电线、输电线与杆塔的交点以及杆塔的表面形状等特征)，并基于点云数据中的几何特征与图像中的几何特征之间的对应关系，来求取点云数据中与图像之间的几何特征转换关系，进而得到图像采集设备的外参数。并且，本方案中通过获取输电线路相关的点云数据和图像，即可实现自动对图像采集设备进行标定，无需人工参与，有效地提高了图像采集设备的标定效率且减少人力物力的耗费。
在一种可能的实现方式中，第一几何特征包括第一线特征，第一线特征中任意两个相邻的点之间的深度值之差大于第一阈值。即，第一线特征中的点的深度值是连续变化的。由于输电线路中的输电导线是连续且不断在三维空间中延伸的，因此在点云数据中代表输电导线的各个点的深度是一直变化的，基于线上点的深度值变化情况，能够有效地确定用于表示输电导线的线特征。
本方案中，通过在点云数据中提取深度不连续的线特征来作为几何特征，能够基于输电导线的形状特性有效地将点云数据中用于表示输电导线的线特征进行提取，有利于后续进行几何特征的匹配。
在一种可能的实现方式中，在第一几何特征和第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，包括：首先，通过预设外参数将第一几何特征中的点转换为图像中的像素，得到第三几何特征，预设外参数为图像采集设备预设的外参数。其中，预设外参数为图像采集设备预设的外参数，能够用于指示世界坐标系到相机坐标系的转换关系。因此，基于预设外参数，能够将第一线特征中处于世界坐标系的三维点转换为图像中处于相机坐标系的二维像素，即将三维的第一线特征转换为二维的第二线特征。
然后，基于第三几何特征和第二几何特征，确定第三目标特征和第二目标特征，第三目标特征为第三几何特征中的特征，第三目标特征和第二目标特征是第三几何特征和第二几何特征之间相似度最高的两个特征。也就是说，在将点云数据中的第一几何特征投影至相机坐标系，得到二维的第三几何特征之后，则将第三几何特征与图像中的第二几何特征进行比对，从而提取得到最相似的两个几何特征。
最后，确定第三目标特征所对应的第一目标特征与第二目标特征具有对应关系。
本方案中，通过将点云数据中提取得到的三维几何特征转换为相机坐标系下的二维几何特征，能够实现将点云数据对应的二维几何特征与图像中的几何特征进行比对，从而确定点云数据和图像中具有对应关系的几何特征，保证方案的可实现性。
在一种可能的实现方式中，在第一几何特征和第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，包括：通过预设外参数将第一线特征中的点转换为图像中的像素，得到第二线特征，预设外参数为图像采集设备预设的外参数。其中，预设外参数为图像采集设备预设的外参数，能够用于指示世界坐标系到相机坐标系的转换关系。因此，基于预设外参数，能够将第一线特征中处于世界坐标系的三维点转换为图像中处于相机坐标系的二维像素，即将三维的第一线特征转换为二维的第二线特征。
然后，在第二几何特征中确定与第二线特征最相似的第三线特征，并确定第一线特征属于第一目标特征且第三线特征属于第二目标特征。
本方案中，通过将点云数据中提取得到的三维线特征转换为相机坐标系下的二维线特征，能够实现将点云数据对应的二维线特征与图像中的线特征进行比对，从而确定点云数据和图像中具有对应关系的线特征，保证方案的可实现性。
在一种可能的实现方式中，第一几何特征包括点特征。提取点云数据中的几何特征，得到点云数据中的第一几何特征，具体包括：通过预设外参数将点云数据中的点转换为图像中的像素，得到第二图像，该预设外参数为图像采集设备预设的外参数；检测第二图像中的感兴趣点，并确定感兴趣点在点云数据中对应的点，以得到第一几何特征。
总的来说，本方案中先将点云数据中的点转换为第二图像中的像素点，然后采用相同的方式对第一图像以及第二图像进行点特征提取，并将第一图像以及第二图像中提取得到的点特征进行匹配；最后，再基于点云数据中的点与第二图像中的点之间的对应关系，确定点云数据与第一图像中具有对应关系的点特征。
在一种可能的实现方式中，第一几何特征包括至少一个三维的面特征，第二几何特征包括至少一个二维的面特征。
在第一几何特征和第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，包括：通过预设外参数将至少一个三维的面特征转换为至少一个二维的投影面特征；将至少一个二维的投影面特征与至少一个二维的面特征进行匹配，以确定相匹配的第一目标特征和第二目标特征，其中第一目标特征包括至少一个二维的投影面特征中的特征，第二目标特征包括至少一个二维的面特征中的特征。
也就是说，在确定点云数据和第一图像中具有对应关系的面特征的过程中，可以是先分别提取点云数据和第一图像中的面特征，然后再将点云数据中提取得到的面特征转换至相机坐标系下的投影面特征，最终通过匹配投影面特征和第一图像中的面特征，来确定点云数据和第一图像中具有对应关系的面特征。
在一种可能的实现方式中，在对点云数据和第一图像执行几何特征的提取之前，对点云数据和第一图像执行语义分割，得到点云数据对应的第一语义分割结果和第一图像对应的第二语义分割结果。其中，第一语义分割结果用于指示点云数据中各个点所属的类别，第二语义分割结果则用于指示第一图像中各个像素所属的类别。
基于第一语义分割结果，过滤点云数据中属于预设类别的数据，得到更新后的点云数据；并且，基于第二语义分割结果，去除第一图像中属于预设类别的部分，得到更新后的第一图像。例如，预设类别可以为行人、汽车、树木等容易随着时间的变化而发生变化的类别，通过将点云数据以及第一图像中属于预设类别的内容过滤掉，可以有效地过滤不稳定的特征，进而保证后续能够准确地提取并确定到点云数据和第一图像中具有对应关系的几何特征。
这样，提取点云数据以及第一图像中的几何特征，具体包括：提取更新后的点云数据以及更新后的第一图像中的几何特征。
本方案中，在对点云数据和第一图像执行几何特征的提取之前，可以是先通过语义分割网络识别点云数据和第一图像中容易对确定具有对应关系的几何特征的过程造成影响的内容，并且将这部分内容过滤，进而保证后续能够准确地提取并确定到点云数据和第一图像中具有对应关系的几何特征。
在一种可能的实现方式中，第一图像中包括隐患目标。该方法还包括：基于外参数以及隐患目标在第一图像中的位置，确定隐患目标与输电线路之间的距离。
在一种可能的实现方式中，该方法还包括：获取第三图像，第三图像为第一图像对应的背景图像；基于第一图像和第三图像，通过背景差分方法确定隐患目标在第一图像中的位置。
本方案中，通过获取第一图像对应的背景图像，并且基于背景差分方法来确定第一图像中的隐患目标，相较于传统的人工智能识别方法，能够简单有效地确定隐患目标的位置，且所需的计算资源少。
在一种可能的实现方式中，第三图像包括输电线路且不包括隐患目标；
或者，第三图像中所有像素的值均为第二阈值，第二阈值为第一图像中所有像素值的平均值。
在一种可能的实现方式中，隐患目标包括第一部分和第二部分，第一部分的一端垂直与地面接触，第一部分的另一端与第二部分的一端连接，且第二部分与第一图像的拍摄平面之间具有夹角。例如，该隐患目标可以是塔吊、吊车或消防云梯，第一部分可以为塔吊的支撑柱，第二部分可以为塔吊的吊臂。
对于包括第一部分和第二部分的隐患目标，确定隐患目标与输电线路之间的距离，具体包括：获取第二部分对应的预设长度，预设长度是通过识别隐患目标的类别来确定的。例如，假设隐患目标为塔吊，隐患目标的第二部分的预设长度例如可以为50米；假设隐患目标为吊车，隐患目标的第二部分的预设长度例如可以为40米。
然后，基于外参数、预设长度以及第二部分在第一图像中的长度，确定隐患点在世界坐标系中的位置，其中隐患点位于第二部分的另一端(即第二部分中不与第一部分连接的一端)。
最后，基于隐患点在世界坐标系中的位置，确定隐患点与输电线路之间的距离。
在一种可能的实现方式中，在第一图像中标记隐患点与输电线路之间的距离，以便于运维人员能够快速确定隐患点与输电线路之间的距离。
在一种可能的实现方式中，该方法还包括：基于第二部分的一端在世界坐标系中的位置以及第二部分对应的预设长度，确定隐患范围，该隐患范围为隐患点能够到达的范围。也就是说，在第二部分的一端固定且第二部分的另一端能够绕着固定点所移动的情况下，第二部分的另一端上的隐患点能够移动到达的范围即为隐患范围。第二部分的一端在世界坐标系中的位置是基于外参数以及第二部分的一端在第一图像中的位置确定的。
计算隐患范围中的点与输电线路之间的距离，并在隐患范围中的点与输电线路之间的距离小于第一安全距离时生成第一告警信息。其中，第一安全距离可以是根据输电线路的运行标准来确定的，具体与输电线路的输电电压相关，可以是由运维人员预先指定。
本方案中，基于隐患目标中第二部分的长度，确定隐患目标中的隐患点能够到达的隐患范围，进而确定隐患范围中是否存在点与输电线路之间的距离小于安全距离，以确认隐患目标在工作期间是否会对输电线路造成危害，能够起到及时排除隐患的作用，避免隐患目标在工作期间对输电线路造成危害。
在一种可能的实现方式中，该方法还包括：基于外参数和第一图像中的接触点的位置，确定接触点在世界坐标系中的位置，该接触点为隐患目标与地面接触的点；基于接触点在世界坐标系中的位置，计算接触点与架空电力线路保护区之间的距离，并在接触点与架空电力线路保护区之间的距离小于第二安全距离时生成第二告警信息。
本申请第二方面提供一种基于点云数据和图像的标定装置，包括：
获取模块，用于获取点云数据和第一图像，点云数据和第一图像是在不同位置下对输电线路进行采集得到的；
提取模块，用于提取点云数据以及第一图像中的几何特征，得到点云数据中的第一几何特征和第一图像中的第二几何特征，第一几何特征和第二几何特征均与输电线路相关，点云数据以及第一图像中的几何特征包括以下特征中的一种或多种：深度不连续的线特征和与输电线路中的杆塔相关的面特征；
处理模块，用于在第一几何特征和第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，第一目标特征为第一几何特征中的特征，第二目标特征为第二几何特征中的特征；
处理模块，还用于基于第一目标特征和第二目标特征计算图像采集设备的外参数，其中，图像采集设备用于采集第一图像，外参数用于指示第一目标特征与第二目标特征之间的转换关系。
在一种可能的实现方式中，处理模块，还用于：
通过预设外参数将第一几何特征中的点转换为图像中的像素，得到第三几何特征，预设外参数为图像采集设备预设的外参数；
基于第三几何特征和第二几何特征，确定第三目标特征和第二目标特征，第三目标特征为第三几何特征中的特征，第三目标特征和第二目标特征是第三几何特征和第二几何特征之间相似度最高的两个特征；
确定第三目标特征所对应的第一目标特征与第二目标特征具有对应关系。
在一种可能的实现方式中，第一几何特征包括第一线特征，第一线特征中任意两个相邻的点之间的深度值之差大于第一阈值。
在一种可能的实现方式中，第一几何特征包括点特征；
提取模块，具体用于：
通过预设外参数将点云数据中的点转换为图像中的像素，得到第二图像，预设外参数为图像采集设备预设的外参数；
检测第二图像中的感兴趣点，并确定感兴趣点在点云数据中对应的点，以得到第一几何特征。
在一种可能的实现方式中，第一几何特征包括至少一个三维的面特征，第二几何特征包括至少一个二维的面特征；
处理模块，具体用于：
通过预设外参数将至少一个三维的面特征转换为至少一个二维的投影面特征；
将至少一个二维的投影面特征与至少一个二维的面特征进行匹配，以确定相匹配的第一目标特征和第二目标特征，其中第一目标特征包括至少一个二维的投影面特征中的特征，第二目标特征包括至少一个二维的面特征中的特征。
在一种可能的实现方式中，处理模块，还用于：
对点云数据和第一图像执行语义分割，得到点云数据对应的第一语义分割结果和第一图像对应的第二语义分割结果；
基于第一语义分割结果，过滤点云数据中属于预设类别的数据，得到更新后的点云数据；
基于第二语义分割结果，去除第一图像中属于预设类别的部分，得到更新后的第一图像；
提取模块，还用于提取更新后的点云数据以及更新后的第一图像中的几何特征。
在一种可能的实现方式中，第一图像中包括隐患目标；
处理模块，还用于基于外参数以及隐患目标在第一图像中的位置，确定隐患目标与输电线路之间的距离。
在一种可能的实现方式中，获取模块，还用于获取第三图像，第三图像为第一图像对应的背景图像；
处理模块，还用于基于第一图像和第三图像，通过背景差分方法确定隐患目标在第一图像中的位置。
在一种可能的实现方式中，第三图像包括输电线路且不包括隐患目标；
或者，第三图像中所有像素的值均为第二阈值，第二阈值为第一图像中所有像素值的平均值。
在一种可能的实现方式中，隐患目标包括第一部分和第二部分，第一部分的一端垂直与地面接触，第一部分的另一端与第二部分的一端连接，且第二部分与第一图像的拍摄平面之间具有夹角；
获取模块，还用于获取第二部分对应的预设长度，预设长度是通过识别隐患目标的类别来确定的；
处理模块，还用于：
基于外参数、预设长度以及第二部分在第一图像中的长度，确定隐患点在世界坐标系中的位置，隐患点位于第二部分的另一端；
基于隐患点在世界坐标系中的位置，确定隐患点与输电线路之间的距离。
在一种可能的实现方式中，处理模块，还用于在第一图像中标记隐患点与输电线路之间的距离。
在一种可能的实现方式中，处理模块，还用于：
基于第二部分的一端在世界坐标系中的位置以及第二部分对应的预设长度，确定隐患范围，隐患范围为隐患点能够到达的范围，第二部分的一端在世界坐标系中的位置是基于外参数以及第二部分的一端在第一图像中的位置确定的；
计算隐患范围中的点与输电线路之间的距离，并在隐患范围中的点与输电线路之间的距离小于第一安全距离时生成第一告警信息。
在一种可能的实现方式中，处理模块，还用于：
基于外参数和第一图像中的接触点的位置，确定接触点在世界坐标系中的位置，接触点为隐患目标与地面接触的点；
基于接触点在世界坐标系中的位置，计算接触点与架空电力线路保护区之间的距离，并在接触点与架空电力线路保护区之间的距离小于第二安全距离时生成第二告警信息。
本申请第三方面提供一种基于点云数据和图像的标定装置，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第一方面或第一方面任一实现方式的方法。对于处理器执行第一方面的各个可能实现方式中的步骤，具体均可以参阅第一方面，此处不再赘述。
本申请第四方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一实现方式的方法。
本申请第五方面提供了一种电路系统，电路系统包括处理电路，处理电路配置为执行上述第一方面或第一方面任一实现方式的方法。
本申请第六方面提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一实现方式的方法。
本申请第七方面提供了一种芯片系统，该芯片系统包括处理器，用于支持服务器或门限值获取装置实现上述第一方面或第一方面任一实现方式中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，芯片系统还包括存储器，存储器，用于保存服务器或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
上述第二方面至第七方面的有益效果可以参考上述第一方面的介绍，在此不再赘述。
附图说明
图1A为本申请实施例提供的一种应用场景的示意图；
图1B为本申请实施例提供的另一种应用场景的示意图；
图2为本申请实施例提供的一种电子设备101的结构示意图；
图3为本申请实施例提供的一种基于点云数据和图像的标定方法的流程示意图；
图4为本申请实施例提供的一种输电线路相关的图像的示意图；
图5为本申请实施例提供的一种在点云数据中提取线特征的示意图；
图6为本申请实施例提供的一种对点云数据进行语义分割的过程示意图；
图7为本申请实施例提供的一种对第一图像进行语义分割的过程示意图；
图8为本申请实施例提供的一种基于点云数据和图像的标定方法的流程示意图；
图9为本申请实施例提供的一种确定隐患目标的位置的示意图；
图10为本申请实施例提供的一种相机成像原理的示意图；
图11为本申请实施例提供的一种吊臂在不同位置下的示意图；
图12为本申请实施例提供的一种确定隐患目标中的隐患点的坐标的示意图；
图13为本申请实施例提供的一种显示隐患目标与输电线路之间距离的示意图；
图14为本申请实施例提供的一种摄像头在偏移前后的视野对比示意图；
图15为本申请实施例提供的一种基于点云数据和图像的标定装置的结构示意图；
图16为本申请实施例提供的执行设备的一种结构示意图；
图17为本申请实施例提供的芯片的一种结构示意图；
图18为本申请实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
为便于理解，以下先介绍本申请实施例所涉及的一些技术术语。
(1)输电线路
输电线路是指用于长距离输送电能的线路。输电线路通常是由杆塔、输电导线、绝缘子、线路金具、拉线、杆塔基础、接地装置等部分构成，并架设在地面之上。一般来说，杆塔是垂直设置于地面之上，杆塔之间则部署架空的输电导线。
(2)隐患目标
隐患目标是指容易对输电线路造成破坏的物体，例如大型施工机械、吊车、塔吊、消防云梯、水泥罐车、树障以及烟火等。
(3)点云数据(point cloud data)
点云数据是指在一个三维坐标系统中的一组向量的集合。通常，点云数据是通过激光扫描仪(例如激光雷达)对环境进行扫描得到的。并且，点云数据是以点的形式记录，每一个点包含有三维坐标。在一些情况下，点云数据中的点可能含有颜色信息或反射强度信息。其中，反射强度信息是指激光扫描仪接收装置采集到的回波强度，该反射强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
(3)图像采集设备的外参数
图像采集设备的外参数是指图像采集设备在世界坐标系中的参数，例如图像采集设备的位置以及图像采集设备的旋转方向。一般地，图像采集设备的外参数可以是通过图像采集设备在世界坐标系内三个轴的旋转参数和平移参数来表示。
(4)标定
在图像测量过程以及计算机视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，该几何模型的参数就是相机的外参数。在大多数条件下，相机的外参数须通过实验与计算才能得到，这个求解相机的外参数的过程就称为相机标定。
传统的相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其在图像上的投影点之间的对应关系，利用一定的算法获得相机的外参数。例如，在运维人员对杆塔上的摄像头进行标定的方式通常是选定摄像头拍摄范围内的杆塔或特定建筑物作为标定物，从而建立标定物上特定点与其在图像上的投影点之间的对应关系。
请参阅图1A，图1A为本申请实施例提供的一种应用场景的示意图。如图1A所示，搭载有激光雷达的无人机飞行至输电线路附近的空域，并且对输电线路及输电线路周围的环境进行扫描，以采集得到输电线路相关的点云数据。然后，无人机可以将采集得到的点云数据传输至云服务器。此外，设置于输电线路的杆塔上的摄像头采集输电线路及输电线路周围环境的图像，并将采集到的图像传输至云服务器。
云服务器在获取到输电线路相关的点云数据和图像后，执行本申请实施例提供的方法，对采集图像的摄像头进行标定，得到摄像头的外参数。基于摄像头的外参数，云服务器进而计算图像中所示的隐患目标与输电线路之间的距离，以确定隐患目标是否会对输电线路造成危害。然后，云服务器将距离计算发送至运维大厅的显示大屏、运维人员的笔记本电脑或智能手机等终端设备上，以便于运维人员实时监测输电线路的运行情况。
请参阅图1B，图1B为本申请实施例提供的另一种应用场景的示意图。如图1B所示，执行本申请实施例提供的方法的主体由云服务器变成运维大厅的显示大屏、运维人员的笔记本电脑或智能手机等终端设备。具体地，无人机在采集到点云数据后，将点云数据传输至运维人员相关的终端设备上；类似地，杆塔上的摄像头在采集到图像后，也将图像传输至运维人员相关的终端设备上。这样，运维人员相关的终端设备在接收到输电线路相关的点云数据和图像后，执行本申请实施例提供的方法，对采集图像的摄像头进行标定，得到摄像头的外参数。基于摄像头的外参数，终端设备进而计算图像中所示的隐患目标与输电线路之间的距离，以确定隐患目标是否会对输电线路造成危害，并在隐患目标可能会对输电线路造成危害时及时发出告警信息，以提示运维人员进行处理。
以上介绍了本申请实施例提供的方法所应用的场景，以下将介绍本申请实施例提供的方法所应用的设备。
本申请实施例所提供的基于点云数据和图像的标定方法可以应用于电子设备上。示例性地，该电子设备例如可以是服务器、智能电网(smart grid)中的无线电子设备、智能手机(mobile phone)、个人电脑(personal computer，PC)、笔记本电脑、平板电脑、智慧大屏、智慧电视、移动互联网设备(mobile internet device，MID)、可穿戴设备，虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、工业控制(industrial control)中的无线电子设备、无人驾驶(self driving)中的无线电子设备、远程手术(remote medical surgery)中的无线电子设备、运输安全(transportationsafety)中的无线电子设备、智慧城市(smart city)中的无线电子设备等。为了便于叙述，以下将以本申请实施例提供的方法应用于服务器上为例，对本申请实施例所提供的方法进行介绍。
可以参阅图2，图2为本申请实施例提供的一种电子设备101的结构示意图。如图2所示，电子设备101包括处理器103，处理器103和系统总线105耦合。处理器103可以是一个或者多个处理器，其中每个处理器都可以包括一个或多个处理器核。显示适配器(videoadapter)107，显示适配器可以驱动显示器109，显示器109和系统总线105耦合。系统总线105通过总线桥111和输入输出(I/O)总线耦合。I/O接口115和I/O总线耦合。I/O接口115和多种I/O设备进行通信，比如输入设备117(如：触摸屏等)，外存储器121,(例如，硬盘、软盘、光盘或优盘)，多媒体接口等)。收发器123(可以发送和/或接收无线电通信信号)，摄像头155(可以捕捉静态和动态数字视频图像)和外部USB端口125。其中，可选地，和I/O接口115相连接的接口可以是USB接口。
其中，处理器103可以是任何传统处理器，包括精简指令集计算(reducedinstruction set Computing，RISC)处理器、复杂指令集计算(complex instruction setcomputing，CISC)处理器或上述的组合。可选地，处理器可以是诸如ASIC的专用装置。
电子设备101可以通过网络接口129和软件部署服务器149通信。示例性的，网络接口129是硬件网络接口，比如，网卡。网络127可以是外部网络，比如因特网，也可以是内部网络，比如以太网或者虚拟私人网络(virtual private network，VPN)。可选地，网络127还可以是无线网络，比如WiFi网络，蜂窝网络等。
硬盘驱动器接口131和系统总线105耦合。硬件驱动接口和硬盘驱动器133相连接。内存储器135和系统总线105耦合。运行在内存储器135的数据可以包括电子设备101的操作系统(OS)137、应用程序143和调度表。
操作系统包括Shell 139和内核(kernel)141。Shell 139是介于使用者和操作系统的内核间的一个接口。shell是操作系统最外面的一层。shell管理使用者与操作系统之间的交互：等待使用者的输入，向操作系统解释使用者的输入，并且处理各种各样的操作系统的输出结果。
内核141由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。内核141直接与硬件交互，操作系统内核通常运行进程，并提供进程间的通信，提供CPU时间片管理、中断、内存管理和IO管理等等。
示例性地，在电子设备101为智能手机的情况下，应用程序143包括即时通讯相关的程序。在一个实施例中，在需要执行应用程序143时，电子设备101可以从软件部署服务器149下载应用程序143。
请参阅图3，图3为本申请实施例提供的一种基于点云数据和图像的标定方法的流程示意图。为便于叙述，以下将以本申请实施例提供的方法应用于服务器上为例，对本申请实施例提供的方法进行介绍。如图3所示，该方法包括以下的步骤301-304。
步骤301，获取点云数据和第一图像，点云数据和第一图像是在不同位置下对输电线路进行采集得到的。
具体来说，点云数据例如可以是通过激光雷达等激光扫描设备对输电线路进行扫描得到的。并且，在激光雷达对输电线路进行扫描的过程中，通常也会将输电线路附近的景物一并进行扫描，进而使得点云数据能够反映输电线路以及输电线路附近的景物的形状。
第一图像则可以是由部署在输电线路的杆塔上的图像采集设备(例如摄像头)对输电线路进行拍摄得到的，因此第一图像中包括输电线路。此外，在图像采集设备对输电线路进行拍摄的过程中，往往也会将输电线路附近的景物拍摄在图像内，进而使得第一图像中同样可能会包括输电线路以及输电线路附近的景物。
总的来说，步骤301中的点云数据和第一图像都是针对相同的输电线路进行采集得到的，因此点云数据和第一图像均能够反映同一输电线路的形状特征以及输电线路附近的景物的形状特征。
步骤302，提取点云数据以及第一图像中的几何特征，得到点云数据中的第一几何特征和第一图像中的第二几何特征，第一几何特征和第二几何特征均与输电线路相关。
本实施例中，几何特征是指几何图形的特征，例如线特征、点特征和面特征等几何图形的特征。由于输电线路的形状具有一定的独特性，因此在点云数据和第一图像中提取几何特征，能够有效地提取到与输电线路相关的几何特征。
具体地，点云数据以及第一图像中的几何特征包括以下特征中的一种或多种：深度不连续的线特征以及与输电线路中的杆塔相关的面特征。其中，深度不连续的线特征用于表示输电线，面特征则用于表示杆塔的几何面。
通过提取点云数据以及第一图像中的几何特征，能够得到点云数据中的第一几何特征和第一图像中的第二几何特征。其中，由于点云数据中的每个点对应的坐标是三维坐标，因此点云数据中的第一几何特征也是三维几何特征，即通过三维的形式来进行表示的几何特征。而第一图像中的各个像素点对应的坐标则是二维坐标，因此第一图像中的第二几何特征则是二维几何特征，即通过二维的形式来进行表示的几何特征。
可选的，点云数据中的第一几何特征以及第一图像中的第二几何特征均包括以下特征中的一种或多种：线特征、点特征和面特征。
示例性地，请参阅图4，图4为本申请实施例提供的一种输电线路相关的图像的示意图。如图4所示，针对于输电线路中长距离的输电导线，能够在点云数据和第一图像中提取到与输电导线相关的线特征；针对于输电线路中输电导线与杆塔的交点，能够在点云数据和第一图像中提取到与输电导线以及杆塔相关的点特征；针对于杆塔中特定形状的多边形(如图4中的五边形)，能够在点云数据和第一图像中提取到与杆塔相关的面特征。
需要说明的是，第一几何特征和第二几何特征均与输电线路相关可以是指第一几何特征和第二几何特征与输电线路本身的形状相关，即第一几何特征和第二几何特征是基于输电线路本身的形状提取得到的。第一几何特征和第二几何特征均与输电线路相关也可以是指第一几何特征和第二几何特征与输电线路附近的景物的形状相关，即第一几何特征和第二几何特征是基于输电线路附近的景物的形状提取得到的。例如，在输电线路是架设于固定建筑物上空的情况下，那么点云数据和第一图像中同样可能会采集到输电线路附近的固定建筑物。在这种情况下，第一几何特征和第二几何特征则可以是通过提取输电线路附近的固定建筑物的形状特征而得到的。
总的来说，基于输电线路本身的形状和/或输电线路附近的景物的形状，能够实现在点云数据和第一图像中提取得到与输电线路相关的几何特征。
步骤303，在第一几何特征和第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，第一目标特征为第一几何特征中的特征，第二目标特征为第二几何特征中的特征。
由于第一几何特征和第二几何特征分别是在点云数据和第一图像中针对相同的物体(即输电线路和/或输电线路附近的景物)提取得到的，因此第一几何特征和第二几何特征会存在对应于同一个物体上特定形状的几何特征。具体来说，对于第一几何特征中的第一目标特征以及第二几何特征中的第二目标特征，第一目标特征和第二目标特征均是对应于同一物体上的特定形状。例如，第一目标特征和第二目标特征均为线特征，均是对应于输电线路上的同一条输电导线；又例如，第一目标特征和第二目标特征均为点特征，均是对应于输电导线与杆塔的同一个接触点；再例如，第一目标特征和第二目标特征均为面特征，均是对应于杆塔上的同一个几何面。
可选的，第一目标特征以及第二目标特征均可以是仅包括一个特征，例如点特征、线特征或面特征。第一目标特征以及第二目标特征也可以是包括多个特征，例如第一目标特征包括多个点特征，第二目标特征也包括多个点特征；又例如，第一目标特征包括点特征、线特征以及面特征，第二目标特征也包括点特征、线特征以及面特征。
步骤304，基于第一目标特征和第二目标特征计算图像采集设备的外参数，其中，图像采集设备用于采集第一图像，外参数用于指示第一目标特征与第二目标特征之间的转换关系。
在本实施例中，第一目标特征为世界坐标系中的三维特征，而第二目标特征为相机坐标系中的二维特征。由于第一目标特征和第二目标特征之间具有对应关系，因此基于图像采集设备的外参数，能够将第一目标特征转换为第二目标特征。基于此，通过第一目标特征和第二目标特征，能够推导出图像采集设备的外参数，该外参数能够实现将第一目标特征转换为第二目标特征，即外参数指示了第一目标特征与第二目标特征之间的转换关系。其中，图像采集设备例如为设置于杆塔上的摄像头，用于采集输电线路的图像。
示例性地，以第一目标特征和第二目标特征均为线特征为例，第一目标特征通过外参数转换后所得到的线特征应该与第二目标特征相重合，即第一目标特征能够基于外参数转换为第二目标特征。此时，第一目标特征与第二目标特征之间所需满足的关系可以是由以下的公式1来表示。
其中，π(·)为相机模型，f(·)为相机畸变效应，为噪声，/>为点云数据中第一目标特征的点，/>为外参数，qi为第一图像中第二目标特征上的点，/>为第一图像中第二目标特征的法向量。
基于公式1所示的关系，通过最大似然估计方法，则能够计算得到外参数即得到第一目标特征与第二目标特征之间的转换关系。
本实施例中，通过利用输电线路的形状特性，在点云数据和图像中提取输电线路相关的几何特征(例如输电线、输电线与杆塔的交点以及杆塔的表面形状等特征)，并基于点云数据中的几何特征与图像中的几何特征之间的对应关系，来求取点云数据中与图像之间的几何特征转换关系，进而得到图像采集设备的外参数。由于输电线路的形状具有一定的独特性和可识别性，例如输电线路中长距离的输电导线、输电导线与杆塔的交点、杆塔中特定形状的多边形，因此通过在点云数据和图像中分别提取输电线路相关的几何特征，能够快速有效地确定三维的点云数据和二维的图像中的几何特征之间的对应关系，进而基于几何特征之间的对应关系来确定三维的世界坐标系到二维的图像采集设备坐标系之间的转换关系，从而实现图像采集设备的标定。
总的来说，本方案通过获取输电线路相关的点云数据和图像，即可实现自动对图像采集设备进行标定，无需人工参与，有效地提高了图像采集设备的标定效率且减少人力物力的耗费。
以上介绍了本申请实施例基于点云数据和图像对图像采集设备进行标定的方法，为便于理解，以下将详细介绍提取点云数据和图像中的几何特征，并且在所提取的几何特征中确定具有对应关系的目标特征的详细过程。
具体地，以下将分别从线特征、点特征以及面特征的角度，详细介绍如何提取点云数据和图像中的几何特征，以及如何在所提取的几何特征中确定具有对应关系的目标特征。
(1)线特征
本实施例中，在提取点云数据中的线特征时，由于输电线路中的输电导线是连续且不断在三维空间中延伸的，因此在点云数据中代表输电导线的各个点的深度是一直变化的，通过筛选点云数据中深度具有一定变化规律的点，即可提取得到点云数据中的线特征。
具体地，对于点云数据中的各个点，计算该点与邻居点之间的深度值之差(即两个点之间的深度变化大小)，如果该点与邻居点之间的深度值之差大于某一个阈值，则可以认为该点与邻居点位于深度不连续的线特征上；如果该点与邻居点之间的深度值之差不大于某一个阈值，则可以认为该点与邻居点位于深度连续的线特征上。通过计算点云数据中各点与邻居点之间的深度值之差，即可得到由多个点所构成的深度不连续的线特征。其中，深度不连续的线特征即为本实施例中所需提取的线特征。
示例性地，请参阅图5，图5为本申请实施例提供的一种在点云数据中提取线特征的示意图。如图5所示，在点云数据中，深度不连续的线特征例如可以包括输电导线、建筑物边缘等线特征，且这些线特征均是由深度值连续变化的点所构成的，因此称之为深度不连续的线特征；深度连续的线特征例如可以包括杆塔的横梁、相邻墙壁的交线等线特征，且这些线特征均是由深度值差异不大的点所构成的，因此称之为深度连续的线特征。
总的来说，本实施例中是从点云数据中提取点的深度值连续变化的线特征，进而得到所需的线特征。
示例性地，针对于从点云数据中所提取得到的第一几何特征，第一几何特征中包括第一线特征，且该第一线特征中任意两个相邻的点之间的深度值之差大于第一阈值。
本方案中，通过在点云数据中提取深度不连续的线特征来作为几何特征，能够基于输电导线的形状特性有效地将点云数据中用于表示输电导线的线特征进行提取，有利于后续进行几何特征的匹配。
类似地，在提取图像中的线特征时，也可以是通过检测图像中深度不连续的线特征，来实现图像中线特征的提取。例如，本实施例中可以是采用边缘检测算法来提取图像中深度不连续的线特征，进而得到所需的线特征。
也就是说，对于提取得到的第一几何特征和第二几何特征，第一几何特征和第二几何特征均包括深度不连续的线特征。
本实施例中，从点云数据和图像中提取得到相应的线特征之后，可以将点云数据中所提取到的线特征投影为图像的像素点，形成投影线特征，进而将点云数据对应的投影线特征与图像中的线特征进行匹配，得到点云数据和图像中具有对应关系的线特征。
示例性地，在第一几何特征和第二几何特征中确定具有对应关系的第一目标特征和第二目标特征的过程中，通过预设外参数将第一线特征中的点转换为图像中的像素，得到第二线特征，其中预设外参数为图像采集设备预设的外参数。其中，图像采集设备预设的外参数能够用于指示世界坐标系到相机坐标系的转换关系，因此基于预设外参数，能够将第一线特征中处于世界坐标系的三维点转换为图像中处于相机坐标系的二维像素，即将三维的第一线特征转换为二维的第二线特征。
一般来说，在部署图像采集设备时，会对图像采集设备进行标定，得到图像采集设备在最初部署位置时的外参数；然而，在图像采集设备的运行阶段，由于收到外界环境影响，图像采集设备可能会发生移动或偏移，进而导致图像采集设备的外参数发生变化。因此，本实施例中可以是将图像采集设备在部署时进行标定所得到的外参数作为图像采集设备预设的外参数；本实施例中也可以是将图像采集设备在上一次标定过程中所得到的外参数作为图像采集设备预设的外参数。
在将点云数据中的第一线特征转换为相机坐标系下的第二线特征之后，在第一图像的第二几何特征中确定与第二线特征最相似的第三线特征，并确定第一线特征属于第一目标特征且第三线特征属于第二目标特征。
例如，假设点云数据中第一线特征中的点投影到相机坐标系下的点为pi，针对点pi，在第一图像的第二几何特征中搜索最近的k个邻居点，则得到包括k个邻居点的集合
由于点云数据中的第一线特征由M个点构成，每个点投影到相机坐标系中均形成一个点pi，且每一个点pi，其邻居点均形成一个集合Qi，共得到M个Qi点群。假设Li为第一线特征投影到相机坐标系下的第二线特征，则第二线特征Li可以由点mi和法向量ni两个参数确定，其中ni是Si的最小特征值对应的特征向量。其中，mi，Si分别由以下的公式2和公式3求得。
因此，基于上述的投影方式，点云数据中每一个线特征投影到相机坐标系上，均可以形成由点mi和法向量ni确定对应的投影线特征。
本方案中，通过将点云数据中提取得到的三维线特征转换为相机坐标系下的二维线特征，能够实现将点云数据对应的二维线特征与图像中的线特征进行比对，从而确定点云数据和图像中具有对应关系的线特征，保证方案的可实现性。
(2)点特征
为了保证从点云数据以及第一图像中所提取到的点特征具有相同的特征，本实施例中可以是将点云数据中的点转换为图像中的像素点之后，再采用相同的点特征提取方式对转换得到的图像以及第一图像进行点特征的提取。
示例性地，在提取点云数据中的几何特征的过程中，先通过预设外参数将点云数据中的点转换为图像中的像素，得到第二图像，预设外参数为图像采集设备预设的外参数。然后，基于图像感兴趣点检测算法来检测第二图像中的感兴趣点，并确定感兴趣点在点云数据中对应的点，以得到第一几何特征。由于第二图像中的各个像素点均是由点云数据中的点转换得到的，因此在确定第二图像中的感兴趣点之后，可以确定感兴趣点在点云数据中所对应的点。其中，图像感兴趣点检测算法例如包括尺度不变特征变换(Scale-invariant feature transform，SIFT)算法。
类似地，在提取第一图像中的几何特征的过程中，可以采用图像感兴趣点检测算法来检测第一图像中的感兴趣点，进而得到第一图像中的点特征。其中，检测第一图像以及第二图像中的感兴趣点所采用的算法可以是同一种算法，以便于能够检测到特征相同的感兴趣点。
在提取得到第一图像以及第二图像中的感兴趣点之后，可以将第一图像中的感兴趣点与第二图像中的感兴趣点进行匹配，得到相似度最高的一对或多对感兴趣点。并且，在这相似度最高的一对或多对感兴趣点中，第二图像中的感兴趣点对应于点云数据中的点，因此基于该一对或多对感兴趣点，能够确定点云数据以及第一图像中具有对应关系的点特征。
总的来说，本实施例中先将点云数据中的点转换为第二图像中的像素点，然后采用相同的方式对第一图像以及第二图像进行点特征提取，并将第一图像以及第二图像中提取得到的点特征进行匹配；最后，再基于点云数据中的点与第二图像中的点之间的对应关系，确定点云数据与第一图像中具有对应关系的点特征。
(3)面特征
在确定点云数据和第一图像中具有对应关系的面特征的过程中，可以是先分别提取点云数据和第一图像中的面特征，然后再将点云数据中提取得到的面特征转换至相机坐标系下的投影面特征，最终通过匹配投影面特征和第一图像中的面特征，来确定点云数据和第一图像中具有对应关系的面特征。
示例性地，先通过平面检测算法(例如区域增长算法)对点云数据中的面特征进行提取，得到第一几何特征，该第一几何特征包括至少一个三维的面特征。此外，通过平面检测算法继续对第一图像中的面特征进行提取，得到第二几何特征，该第二几何特征包括至少一个二维的面特征。
在提取得到第一几何特征和第二几何特征之后，可以通过预设外参数将至少一个三维的面特征转换为至少一个二维的投影面特征。由于点云数据中三维的面特征均是由多个点所构成的，因此通过预设外参数将构成三维的面特征的多个点转换为二维的像素点之后，即可实现将至少一个三维的面特征转换为至少一个二维的投影面特征。
然后，将至少一个二维的投影面特征与至少一个二维的面特征进行匹配，以确定相匹配的第一目标特征和第二目标特征，其中第一目标特征包括至少一个二维的投影面特征中的特征，第二目标特征包括至少一个二维的面特征中的特征。
以上介绍了在点云数据和第一图像中提取线特征、点特征以及面特征等几何特征，并确定具有对应关系的几何特征的详细过程。由以上的描述可知，点云数据和第一图像中所包括的内容越多，那么在点云数据和第一图像中所提取到的几何特征则可能越多，从而容易对确定具有对应关系的几何特征的过程造成影响。
基于此，本实施例中，在对点云数据和第一图像执行几何特征的提取之前，可以是先识别点云数据和第一图像中容易对确定具有对应关系的几何特征的过程造成影响的内容，并且将这部分内容过滤，进而保证后续能够准确地提取并确定到点云数据和第一图像中具有对应关系的几何特征。
具体地，在提取点云数据以及第一图像中的几何特征之前，先对点云数据和第一图像执行语义分割，得到点云数据对应的第一语义分割结果和第一图像对应的第二语义分割结果。其中，第一语义分割结果用于指示点云数据中各个点所属的类别，第二语义分割结果则用于指示第一图像中各个像素所属的类别。
示例性地，请参阅图6，图6为本申请实施例提供的一种对点云数据进行语义分割的过程示意图。如图6所示，针对于包括大量三维的点的点云数据，可以通过点云语义分割网络来对点云数据进行语义分割，得到第一语义分割结果。其中，第一语义分割结果可以通过不同的颜色标签来分别指示点云数据中各个点所属的类别，例如输电导线、杆塔、树木等类别。其中，点云语义分割网络可以为预先通过大量训练数据所训练好的神经网络，例如深度学习神经网络，在此并不对点云语义分割网络进行限定。
请参阅图7，图7为本申请实施例提供的一种对第一图像进行语义分割的过程示意图。对于第一图像，可以通过图像语义分割网络来对第一图像进行语义分割，得到第二语义分割结果。其中，第二语义分割结果同样可以是通过不同的颜色标签来分别指示第一图像中各个点所属的类别，例如输电导线、杆塔、树木、马路、行人等类别。
然后，基于第一语义分割结果，过滤点云数据中属于预设类别的数据，得到更新后的点云数据。并且，基于第二语义分割结果，去除第一图像中属于预设类别的部分，得到更新后的第一图像；由于第一语义分割结果指示了点云数据中各个点所属的类别，且第二语义分割结果中指示了第一图像中各个像素所属的类别，因此本实施例中可以基于第一语义分割结果和第二语义分割结果，将点云数据和第一图像中属于预设类别的点或像素过滤，得到更新后的点云数据和更新后的第一图像。例如，预设类别可以为行人、汽车、树木等容易随着时间的变化而发生变化的类别，通过将点云数据以及第一图像中属于预设类别的内容过滤掉，可以有效地过滤不稳定的特征，进而保证后续能够准确地提取并确定到点云数据和第一图像中具有对应关系的几何特征。
最终，在更新后的点云数据以及更新后的第一图像中提取几何特征。
本方案中，在对点云数据和第一图像执行几何特征的提取之前，可以是先通过语义分割网络识别点云数据和第一图像中容易对确定具有对应关系的几何特征的过程造成影响的内容，并且将这部分内容过滤，进而保证后续能够准确地提取并确定到点云数据和第一图像中具有对应关系的几何特征。
以上详细介绍了基于点云数据和第一图像对图像采集设备进行标定的过程，以下将介绍在对图像采集设备进行标定后，基于测算第一图像中所示的隐患目标与输电线路之间的距离的过程。
请参阅图8，图8为本申请实施例提供的一种基于点云数据和图像的标定方法的流程示意图。如图8所示，在图3所示的实施例中，基于点云数据和图像的标定方法中还可以是包括以下的步骤305-307。
步骤305，获取第三图像，第三图像为第一图像对应的背景图像。
本实施例中，第一图像中包括有隐患目标，即可能会对输电线路造成危害的物体，例如大型施工机械、吊车、塔吊、消防云梯、水泥罐车等。第三图像为第一图像对应的背景图像，用于配合第一图像以确定第一图像中的隐患目标。并且，第三图像和第一图像的大小相同，例如第三图像和第一图像均为1980*1080分辨率的图像。
例如，第一图像和第三图像均可以是由同一个图像采集设备所采集的图像，第一图像中包括输电线路以及隐患目标，第三图像包括输电线路且不包括隐患目标。即，第一图像和第三图像可以是由同一个图像采集设备在不同时刻对同一个区域所拍摄得到的图像。
又例如，在无法获取到包括输电线路且不包括隐患目标的图像的情况下，可以对第一图像进行处理，以得到第三图像。具体地，基于第一图像中各个像素的像素值，计算得到第一图像中所有像素值的平均值，并将该平均值作为第三图像中每个像素的值，进而得到第三图像。即，第三图像中所有像素的值均为第二阈值，第二阈值为第一图像中所有像素值的平均值。
步骤306，基于第一图像和第三图像，通过背景差分方法确定隐患目标在第一图像中的位置。
具体地，通过背景差分方法确定隐患目标在第一图像中的位置是指：将第一图像和第三图像中位于相同位置的像素的值相减，得到各个位置上的像素差值；如果某一个位置上的像素差值大于设定阈值，则将该位置上的像素确定为属于隐患目标的像素，进而确定由多个像素所构成的隐患目标。
请参阅图9，图9为本申请实施例提供的一种确定隐患目标的位置的示意图。如图9所示，第一图像中包括输电线路和隐患目标，第三图像中仅包括输电线路而不包括隐患目标。将第一图像和第三图像中位于相同位置的像素的值相减，得到各个位置上的像素差值。基于所设定的阈值T，如果某一个位置上的像素差值大于阈值T，则将该位置上的像素值设为1(即设置为白色的像素值)；如果某一个位置上的像素差值不大于阈值T，则将该位置上的像素值设为0(即设置为黑色的像素值)。这样，通过比对第一图像和第三图像中各个位置上的像素差值，即可确定隐患目标在第一图像中的位置，即像素值为1的像素均属于隐患目标。
本方案中，通过获取第一图像对应的背景图像，并且基于背景差分方法来确定第一图像中的隐患目标，相较于传统的人工智能识别方法，能够简单有效地确定隐患目标的位置，且所需的计算资源少。
步骤307，基于外参数以及隐患目标在第一图像中的位置，确定隐患目标与输电线路之间的距离。
在确定隐患目标在第一图像中的位置之后，基于外参数，能够将第一图像中隐患目标中的点转换为世界坐标系中的点，进而获取隐患目标中各个部位在世界坐标系中的坐标，从而确定隐患目标与输电线路之间的距离。
示例性地，假设隐患目标垂直设置于地面之上，且隐患目标本身为一竖直的物体(例如大货车或水泥罐车)，基于隐患目标在第一图像中的位置，能够确定在相机坐标系下隐患目标与地面的接触点的坐标。基于外参数，可以将接触点在相机坐标系下的坐标转换为世界坐标系下的三维坐标(x0，y0，z0)。然后，根据相机成像原理，可以计算得到隐患目标的实际长度，进而基于隐患目标的实际长度和隐患目标中接触点在世界坐标系的坐标，计算隐患目标的顶部在世界坐标系的坐标，以确定隐患目标的顶部与输电线路之间的距离。
具体地，请参阅图10，图10为本申请实施例提供的一种相机成像原理的示意图。如图10所示，物理世界中的物理点A通过相机的光心O，投影为图像中的像点A’。并且，物理点A与地面之间的距离为物理长度l，该物理长度l投影为图像中的图像长度l’。其中，图像长度l’和物理长度l之间的比例与相机的焦距f和物理点A距离光心0的深度x的比例相同，即因此，相机成像原理可以进一步延伸为：对于视平面上的任意线段m以及线段m在图像上的投影线段m’，满足以下的比例关系：/>
可以理解的是，以上是以隐患目标为结构简单的竖直物体为例，介绍了如何计算隐患目标与输电线路之间的距离。然而，在一些场景下，隐患目标可能是一些结构复杂的物体，例如一部分垂直于地面且另一部分倾斜悬于空中的吊车或塔吊，简单地基于隐患目标在第一图像中的位置以及外参数，往往难以准确地计算出隐患目标与输电线路之间的距离。
具体地，以隐患目标为塔吊为例，塔吊通常是由两部分组成：垂直设置于地面上的支撑柱以及设置于支撑柱顶部的吊臂。其中，支撑柱本身通常是竖直的，吊臂则是悬挂在支撑柱的顶部，且吊臂的一端与支撑柱连接，吊臂的另一端则向外延伸。在通过摄像头拍摄塔吊的过程中，由于塔吊的支撑柱是垂直设置于地面的，因此塔吊通常是平行于摄像头的拍摄平面，塔吊的实际高度能够基于图像中所显示的塔吊高度以及外参数计算得到。然而，由于设置于塔吊上的吊臂可以绕着支撑柱旋转，因此吊臂可能会平行于摄像头的拍摄平面，也可能会与拍摄平面呈一定的角度，例如吊臂相对于拍摄平面前倾或后倾。在吊臂与拍摄平面呈一定角度的情况下，基于图像中所显示的吊臂长度以及外参数所计算得到的吊臂长度会与实际长度存在一定的误差。
示例性地，请参阅图11，图11为本申请实施例提供的一种吊臂在不同位置下的示意图。由相机成像原理可知，当物理空间中的被拍摄物体距离相机越近时，被拍摄物体在图像中的投影长度也会越大，即被拍摄物体在图像中长度越长；当物理空间中的被拍摄物体距离相机越远时，被拍摄物体在图像中的投影长度也会越小，即被拍摄物体在图像中长度越短。如图11所示，当吊臂平行于拍摄平面时，基于吊臂在图像中的长度以及外参数，能够求取得到吊臂在物理空间中的实际长度。当吊臂相对于拍摄平面前倾时，吊臂与相机之间的距离缩短，吊臂在图像中的长度变大，因此基于吊臂在图像中的长度以及外参数，无法求取得到吊臂在物理空间中的实际长度，即求取得到的结果会偏大。当吊臂相对于拍摄平面后倾时，吊臂与相机之间的距离变大，吊臂在图像中的长度变小，因此基于吊臂在图像中的长度以及外参数，无法求取得到吊臂在物理空间中的实际长度，即求取得到的结果会偏小。
基于此，本实施例提供一种计算隐患目标与输电线路之间的距离的方式，以便于准确地计算得到结构复杂的隐患目标与输电线路之间的距离。
示例性地，对于第一图像中的隐患目标，该隐患目标包括第一部分和第二部分，第一部分的一端垂直与地面接触，第一部分的另一端与第二部分的一端连接，且第二部分与第一图像的拍摄平面之间具有夹角，即第二部分并不平行于第一图像的拍摄平面。例如，该隐患目标可以是塔吊、吊车或消防云梯，第一部分可以为塔吊的支撑柱，第二部分可以为塔吊的吊臂。
对于包括第一部分和第二部分的隐患目标，确定隐患目标与输电线路之间的距离，具体包括：获取第二部分对应的预设长度，预设长度是通过识别隐患目标的类别来确定的。例如，针对于各种类别的隐患目标(如塔吊、吊车或消防云梯)，可以预先输入这些隐患目标的第二部分实际的长度或长度范围，以作为第二部分对应的预设长度。例如，假设隐患目标为塔吊，隐患目标的第二部分的预设长度例如可以为50米；假设隐患目标为吊车，隐患目标的第二部分的预设长度例如可以为40米。其中，识别第一图像中的隐患目标的类别的方式可以是基于隐患目标在第一图像中的位置，通过图像分类网络对隐患目标进行识别得到。
然后，基于外参数、预设长度以及第二部分在第一图像中的长度，确定隐患点在世界坐标系中的位置，其中隐患点位于第二部分的另一端(即第二部分中不与第一部分连接的一端)。
最后，基于隐患点在世界坐标系中的位置，确定隐患点与输电线路之间的距离。
为便于理解，以下将详细介绍如何确定隐患点在世界坐标系中的位置。
具体来说，在确定隐患点在世界坐标系中的位置时，由于隐患目标的第二部分相对于拍摄平面前倾以及后倾时，隐患目标在第一图像中的长度是不同的。因此，本实施例中可以是先确定隐患目标的第二部分相对于拍摄平面的倾斜方向，即确定隐患目标的第二部分是相对于拍摄平面前倾还是后倾。
其中，确定隐患目标的第二部分相对于拍摄平面的倾斜方向的方式可以包括多种。
在一种可能的实现方式中，由于隐患目标的第二部分整体的颜色通常是统一的，例如塔吊中的整个吊臂均为黄色，因此可以隐患目标的第二部分在第一图像中的灰度值变化来确定隐患目标的第二部分相对于拍摄平面的倾斜方向。对于隐患目标的第二部分，从第二部分的一端到另一端，如果第二部分在第一图像中对应的像素的灰度值是不变的，则代表第二部分平行于拍摄平面；如果第二部分在第一图像中对应的像素的灰度值是逐渐变大的，则代表第二部分相对于拍摄平面前倾；如果第二部分在第一图像中对应的像素的灰度值是逐渐变小的，则代表第二部分相对于拍摄平面后倾。
在另一种可能的实现方式中，可以是通过预先训练好的神经网络来预测隐患目标的第二部分的倾斜方向，即预测隐患目标的第二部分是相对于拍摄平面前倾还是后倾。
在确定隐患目标的第二部分相对于拍摄平面的倾斜方向之后，即可计算隐患目标中的隐患点在世界坐标系中的位置。
示例性地，请参阅图12，图12为本申请实施例提供的一种确定隐患目标中的隐患点的坐标的示意图。如图12所示，以摄像头深度方向为X轴，水平垂直X轴的方向为Y轴，高度方向为Z轴，可以建立得到世界坐标系。其中，平面P1为地平面，平面P2为视平面，平面P2与隐患目标处于同一深度，且垂直于Z轴。
在图12中，隐患目标为一塔吊，且隐患目标包括支撑柱和吊臂这两个部分。其中，支撑柱的底部端点M0与地面接触，支撑柱的顶部端点M与吊臂的一端连接。吊臂的另一端的端点在世界坐标系中的位置为隐患点A，隐患点A在视平面P2上的投影点则为端点B。在拍摄得到的图像中，隐患点A与端点B重合，称为B’点。图12中线段MB投影到图像中看到的延伸段(吊臂)记为M'B'，BC为B点到地面的垂线，其到图像的投影为B'C'。则可计算B′C′＝M′B′·sinα+M′M0′，M′0C′＝M′B′cosα，其中α为M′B′与水平线的夹角。因此，本方案中实际需要求取隐患点A在世界坐标系中的坐标，以确定隐患目标中的隐患点的位置。
具体地，假设隐患点A在世界坐标系中的坐标为(x1，y1，z1)，以下将介绍分别计算隐患点A在各个轴上的坐标。
首先，对于隐患点A在Y轴上的坐标y1，由于线段AB垂直于视平面，所以隐患点A和端点B在Y轴上的y值相等，即y1＝y0+M0C。
其中，M0C可由得到，M′0C′为图像中的像素长度，由图像直接获得。并且，隐患目标与地面的接触点M0在世界坐标系中的三维坐标(x0，y0，z0)可以基于外参数以及M0在图像中的位置确定。此外，基于相同的方式，可以确定隐患目标中支撑柱的顶部端点M在世界坐标系中的三维坐标。
对于隐患点A在X轴上的坐标x1，考虑到隐患点为延伸段最远端，有位姿倾斜的影响，根据公式可知，公式中x1未知，x1越大，则z1越大，如果低估x1，将导致隐患点A的高度被低估。因此分情况来考虑隐患点A的坐标。
具体地，当隐患目标的第二部分(即线段MA)后倾时，需要根据隐患目标与地面接触点x0及隐患点在地面投影长度Δx来确定隐患点A在X轴的坐标。其中，Δx为直角三角形ABM所确定，AB即为Δx,AM为塔吊对应的预设长度，MB是由图中像素长度所确定，即因此，隐患点A在X轴上的坐标为：x1＝x0+Δx；隐患点A在Z轴上的坐标z1，由公式计算可得。
需要说明的是，在塔吊对应的预设长度为一个长度范围的情况下，可以根据MB在该长度范围内选择塔吊对应的长度AM，即AM需大于MB。
当隐患目标的第二部分(即线段MA)后倾时，隐患点A在X轴上的坐标x1可根据隐患目标与地面接触点x0及隐患点在地面投影长度Δx来确定，即x1＝x0-Δx。隐患点A在Z轴上的坐标z1，由公式计算可得。
总的来说，在确定隐患目标的第二部分相对于拍摄平面的倾斜方向之后，即可基于预先设定的隐患目标的第二部分的预设长度以及外参数，来确定隐患目标中的隐患点在世界坐标系中的位置。
此外，在无法确定隐患目标的第二部分相对于拍摄平面的倾斜方向的情况下，则可以计算隐患目标的第二部分在各种倾斜方向下(即前倾、后倾以及平行于拍摄平面)，隐患目标的隐患点在世界坐标系中的位置，进而计算得到隐患点与输电线路之间在不同情况下的距离。
可以理解的是，以上是介绍了基于第一图像所显示的内容，确定隐患目标中的隐患点当前与输电线路之间的距离。然而，由于隐患目标中的第二部分往往是可以移动的，例如塔吊中的吊臂是可以来回移动以及上升的，因此即便隐患目标的第二部分在第一图像中所显示的位置不会对输电线路造成危害，但是在隐患目标的第二部分发生移动后，往往也有可能会对输电线路造成危害。基于此，本申请实施例中可以是确定隐患目标的第二部分实际上能够到达的范围，进而判断隐患目标的第二部分是否会对输电线路造成危害。
示例性地，基于隐患目标的第二部分的一端在世界坐标系中的位置以及第二部分对应的预设长度，确定隐患范围。其中，隐患范围为隐患点能够到达的范围。也就是说，在第二部分的一端固定且第二部分的另一端能够绕着固定点所移动的情况下，第二部分的另一端上的隐患点能够移动到达的范围即为隐患范围。具体地，第二部分的一端在世界坐标系中的位置是基于外参数以及第二部分的一端在第一图像中的位置确定的。
在确定隐患范围后，可以计算隐患范围中的点与输电线路之间的距离，并在隐患范围中的点与输电线路之间的距离小于第一安全距离时生成第一告警信息。其中，第一安全距离可以是根据输电线路的运行标准来确定的，具体与输电线路的输电电压相关，可以是由运维人员预先指定，在此不对第一安全距离的数值做具体限定。
本方案中，基于隐患目标中第二部分的长度，确定隐患目标中的隐患点能够到达的隐患范围，进而确定隐患范围中是否存在点与输电线路之间的距离小于安全距离，以确认隐患目标在工作期间是否会对输电线路造成危害，能够起到及时排除隐患的作用，避免隐患目标在工作期间对输电线路造成危害。
在一些情况下，当输电线路的输电电压级别较高时，输电线路的运行标准中还会指定架空电力线路保护区。其中，架空电力线路保护区是指为保证已建架空电力线路的安全运行和保障国计民生的正常供电而必须设置的安全区域。一般来说，架空电力线路保护区是指输电导线的边线向外侧延伸所形成的两平行线内的区域。在一般地区各级电压导线的边线延伸距离如下：电压为1－10千伏，边线延伸距离为5米；电压为35－110千伏，边线延伸距离为10米；电压为154－330千伏，边线延伸距离为15米；电压为500千伏，边线延伸距离为20米。
基于此，本实施例中还可以是进一步确定隐患目标与地面所接触的位置与架空电力线路保护区之间的距离，以确保隐患目标与架空电力线路保护区之间的距离大于或等于安全距离。
示例性地，在确定图像采集设备的外参数之后，基于外参数和第一图像中的接触点的位置，确定接触点在世界坐标系中的位置，其中接触点为隐患目标与地面接触的点。然后，基于接触点在世界坐标系中的位置，计算接触点与架空电力线路保护区之间的距离，并在接触点与架空电力线路保护区之间的距离小于第二安全距离时生成第二告警信息。
其中，第二安全距离可以是预先设置的一个距离，例如为1米，2米或5米等数值，在此不做具体限定。当接触点与架空电力线路保护区之间的距离小于第二安全距离时，认为隐患目标有可能会移动进入到架空电力线路保护区内，因此可以是生成第二告警信息，以提醒运维人员密切关注隐患目标。其中，该第二告警信息可以是用于指示接触点与架空电力线路保护区之间的距离，以便于运维人员及时了解隐患目标当前的位置。
可选的，在确定隐患点与输电线路之间的距离之后，可以在第一图像中标记隐患点与输电线路之间的距离，以便于运维人员能够快速确定隐患点与输电线路之间的距离。类似地，在确定隐患目标与地面的接触点与电力线路保护区之间的距离，也可以是在第一图像中标记接触点与电力线路保护区之间的距离。
示例性地，请参阅图13，图13为本申请实施例提供的一种显示隐患目标与输电线路之间距离的示意图。如图13所示，在同时包括输电线路和隐患目标的图像中，该图像中显示有隐患目标顶部的隐患点与输电线路之间的距离为3m，且该图像中还显示了隐患目标底部与地面的接触点与架空电力线路保护区的距离为15m。因此，基于如图13所示的图像，运维人员能够快速地确认隐患目标中特定部位与输电线路之间的距离，进而判断隐患目标是否会对输电线路造成危害，以便于及早处理隐患目标。
总的来说，基于本申请实施例提供的基于点云数据和图像的标定方法，能够自动对图像采集设备进行标定，无需人工参与，有效地提高了图像采集设备的标定效率。并且，基于标定得到的图像采集设备的外参数，能够有效地计算得到图像中所示的隐患目标与输电线路之间的距离，以便于提醒运维人员及时对可能影响输电线路运行的隐患目标进行处理。
此外，由于本申请实施例提供的标定方法是基于从点云数据以及图像中提取得到的几何特征来实现标定，能够更有效地对输电线路场景下的图像采集设备进行标定，提高图像采集设备的标定准确率。
示例性地，请参阅图14，图14为本申请实施例提供的一种摄像头在偏移前后的视野对比示意图。如图14所示，由于用于拍摄输电线路的摄像头通常是部署于室外，容易受到室外恶劣环境(例如刮风下雨)的影响，进而发生位置的偏移。当摄像头的位置发生偏移后，摄像头所观察到的视野相对的也会发生变化。例如，如图14所示，在摄像头发生偏移前所观察到的视野中，包括中间的输电线路、马路以及两侧的树木和建筑。在摄像头往左发生偏移后，摄像头所观察到的视野中不再包括右侧的数目和建筑物。
这样一来，由于摄像头所观察到的视野发生了变化，因此如果是采用人为选取参考点来手动对图像采集设备进行标定的话，容易会出现偏移后的摄像头无法拍摄到参考点的情况下，进而导致手动标定失败。如图14所示，假设摄像头偏移前所选定的参考点为右侧的建筑物与地面的接触点，那么当摄像头发生偏移后，摄像头则无法拍摄得到先前所选定的参考点，进而导致无法基于参考点对摄像头进行标定。
然而，基于本申请实施例提供的基于点云数据和图像的标定方法，即便摄像头发生了偏移，也能够从摄像头偏移后所拍摄得到的图像中采集到满足要求的几何特征，进而与点云数据中的几何特征进行匹配，实现对摄像头的标定，保证摄像头的标定不会受到位置偏移的影响。
以上详细介绍了本申请实施例提供的基于点云数据和图像的标定方法，接下来将介绍本申请实施例提供的用于执行上述方法的设备。
请参阅图15，图15为本申请实施例提供的一种基于点云数据和图像的标定装置的结构示意图。如图15所示，本申请实施例提供的一种基于点云数据和图像的标定装置，包括：获取模块1501，用于获取点云数据和第一图像，点云数据和第一图像是在不同位置下对输电线路进行采集得到的；
提取模块1502，用于提取点云数据以及第一图像中的几何特征，得到点云数据中的第一几何特征和第一图像中的第二几何特征，第一几何特征和第二几何特征均与输电线路相关，点云数据以及第一图像中的几何特征包括以下特征中的一种或多种：深度不连续的线特征和与输电线路中的杆塔相关的面特征；
处理模块1503，用于在第一几何特征和第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，第一目标特征为第一几何特征中的特征，第二目标特征为第二几何特征中的特征；
处理模块1503，还用于基于第一目标特征和第二目标特征计算图像采集设备的外参数，其中，图像采集设备用于采集第一图像，外参数用于指示第一目标特征与第二目标特征之间的转换关系。
在一种可能的实现方式中，处理模块1503，还用于：
通过预设外参数将第一几何特征中的点转换为图像中的像素，得到第三几何特征，预设外参数为图像采集设备预设的外参数；
基于第三几何特征和第二几何特征，确定第三目标特征和第二目标特征，第三目标特征为第三几何特征中的特征，第三目标特征和第二目标特征是第三几何特征和第二几何特征之间相似度最高的两个特征；
确定第三目标特征所对应的第一目标特征与第二目标特征具有对应关系。
在一种可能的实现方式中，第一几何特征包括第一线特征，第一线特征中任意两个相邻的点之间的深度值之差大于第一阈值。
在一种可能的实现方式中，第一几何特征包括点特征；
提取模块1502，具体用于：
通过预设外参数将点云数据中的点转换为图像中的像素，得到第二图像，预设外参数为图像采集设备预设的外参数；
检测第二图像中的感兴趣点，并确定感兴趣点在点云数据中对应的点，以得到第一几何特征。
在一种可能的实现方式中，第一几何特征包括至少一个三维的面特征，第二几何特征包括至少一个二维的面特征；
处理模块1503，具体用于：
通过预设外参数将至少一个三维的面特征转换为至少一个二维的投影面特征；
将至少一个二维的投影面特征与至少一个二维的面特征进行匹配，以确定相匹配的第一目标特征和第二目标特征，其中第一目标特征包括至少一个二维的投影面特征中的特征，第二目标特征包括至少一个二维的面特征中的特征。
在一种可能的实现方式中，处理模块1503，还用于：
对点云数据和第一图像执行语义分割，得到点云数据对应的第一语义分割结果和第一图像对应的第二语义分割结果；
基于第一语义分割结果，过滤点云数据中属于预设类别的数据，得到更新后的点云数据；
基于第二语义分割结果，去除第一图像中属于预设类别的部分，得到更新后的第一图像；
提取模块1502，还用于提取更新后的点云数据以及更新后的第一图像中的几何特征。
在一种可能的实现方式中，第一图像中包括隐患目标；
处理模块1503，还用于基于外参数以及隐患目标在第一图像中的位置，确定隐患目标与输电线路之间的距离。
在一种可能的实现方式中，获取模块1501，还用于获取第三图像，第三图像为第一图像对应的背景图像；
处理模块1503，还用于基于第一图像和第三图像，通过背景差分方法确定隐患目标在第一图像中的位置。
在一种可能的实现方式中，第三图像包括输电线路且不包括隐患目标；
或者，第三图像中所有像素的值均为第二阈值，第二阈值为第一图像中所有像素值的平均值。
在一种可能的实现方式中，隐患目标包括第一部分和第二部分，第一部分的一端垂直与地面接触，第一部分的另一端与第二部分的一端连接，且第二部分与第一图像的拍摄平面之间具有夹角；
获取模块1501，还用于获取第二部分对应的预设长度，预设长度是通过识别隐患目标的类别来确定的；
处理模块1503，还用于：
基于外参数、预设长度以及第二部分在第一图像中的长度，确定隐患点在世界坐标系中的位置，隐患点位于第二部分的另一端；
基于隐患点在世界坐标系中的位置，确定隐患点与输电线路之间的距离。
在一种可能的实现方式中，处理模块1503，还用于在第一图像中标记隐患点与输电线路之间的距离。
在一种可能的实现方式中，处理模块1503，还用于：
基于第二部分的一端在世界坐标系中的位置以及第二部分对应的预设长度，确定隐患范围，隐患范围为隐患点能够到达的范围，第二部分的一端在世界坐标系中的位置是基于外参数以及第二部分的一端在第一图像中的位置确定的；
计算隐患范围中的点与输电线路之间的距离，并在隐患范围中的点与输电线路之间的距离小于第一安全距离时生成第一告警信息。
在一种可能的实现方式中，处理模块1503，还用于：
基于外参数和第一图像中的接触点的位置，确定接触点在世界坐标系中的位置，接触点为隐患目标与地面接触的点；
基于接触点在世界坐标系中的位置，计算接触点与架空电力线路保护区之间的距离，并在接触点与架空电力线路保护区之间的距离小于第二安全距离时生成第二告警信息。
请参阅图16，图16为本申请实施例提供的执行设备的一种结构示意图，执行设备1600具体可以表现为手机、平板、笔记本电脑、智能穿戴设备、服务器等，此处不做限定。具体的，执行设备1600包括：接收器1601、发射器1602、处理器1603和存储器1604(其中执行设备1600中的处理器1603的数量可以一个或多个，图16中以一个处理器为例)，其中，处理器1603可以包括应用处理器16031和通信处理器16032。在本申请的一些实施例中，接收器1601、发射器1602、处理器1603和存储器1604可通过总线或其它方式连接。
存储器1604可以包括只读存储器和随机存取存储器，并向处理器1603提供指令和数据。存储器1604的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1604存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1603控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1603中，或者由处理器1603实现。处理器1603可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1603中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1603可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1603可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1604，处理器1603读取存储器1604中的信息，结合其硬件完成上述方法的步骤。
接收器1601可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1602可用于通过第一接口输出数字或字符信息；发射器1602还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1602还可以包括显示屏等显示设备。
本申请实施例提供的电子设备具体可以为芯片，芯片包括：处理单元和通信单元，处理单元例如可以是处理器，通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的模型超参数的选择方法，或者，以使训练设备内的芯片执行上述实施例描述的模型超参数的选择方法。可选地，存储单元为芯片内的存储单元，如寄存器、缓存等，存储单元还可以是无线接入设备端内的位于芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random accessmemory，RAM)等。
具体的，请参阅图17，图17为本申请实施例提供的芯片的一种结构示意图，芯片可以表现为神经网络处理器NPU 1700，NPU 1700作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1703，通过控制器1704控制运算电路1703提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路1703内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1703是二维脉动阵列。运算电路1703还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1703是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1702中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1701中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1708中。
统一存储器1706用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1705，DMAC被搬运到权重存储器1702中。输入数据也通过DMAC被搬运到统一存储器1706中。
BIU为Bus Interface Unit即，总线接口单元1710，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1709的交互。
总线接口单元1710(Bus Interface Unit，BIU)，用于取指存储器1709从外部存储器获取指令，还用于存储单元访问控制器1705从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1706或将权重数据搬运到权重存储器1702中或将输入数据数据搬运到输入存储器1701中。
向量计算单元1707包括多个运算处理单元，在需要的情况下，对运算电路1703的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元1707能将经处理的输出的向量存储到统一存储器1706。例如，向量计算单元1707可以将线性函数；或，非线性函数应用到运算电路1703的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1707生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1703的激活输入，例如用于在神经网络中的后续层中的使用。
控制器1704连接的取指存储器(instruction fetch buffer)1709，用于存储控制器1704使用的指令；
统一存储器1706，输入存储器1701，权重存储器1702以及取指存储器1709均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述程序执行的集成电路。
可以参阅图18，图18为本申请实施例提供的一种计算机可读存储介质的结构示意图。本申请还提供了一种计算机可读存储介质，在一些实施例中，上述图3所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。
图18示意性地示出根据这里展示的至少一些实施例而布置的示例计算机可读存储介质的概念性局部视图，示例计算机可读存储介质包括用于在计算设备上执行计算机进程的计算机程序。
在一个实施例中，计算机可读存储介质1800是使用信号承载介质1801来提供的。信号承载介质1801可以包括一个或多个程序指令1802，其当被一个或多个处理器运行时可以提供以上针对图3描述的功能或者部分功能。因此，例如，参考图3中所示的实施例，步骤301-304的一个或多个特征可以由与信号承载介质1801相关联的一个或多个指令来承担。此外，图18中的程序指令1802也描述示例指令。
在一些示例中，信号承载介质1801可以包含计算机可读介质1803,诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、ROM或RAM等等。
在一些实施方式中，信号承载介质1801可以包含计算机可记录介质1804，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中，信号承载介质1801可以包含通信介质1805,诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。因此，例如，信号承载介质1801可以由无线形式的通信介质1805(例如，遵守IEEE 802.11标准或者其它传输协议的无线通信介质)来传达。
一个或多个程序指令1802可以是，例如，计算机可执行指令或者逻辑实施指令。在一些示例中，计算设备的计算设备可以被配置为，响应于通过计算机可读介质1803、计算机可记录介质1804、和/或通信介质1805中的一个或多个传达到计算设备的程序指令1802，提供各种操作、功能、或者动作。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(SolidState Disk，SSD))等。

Claims (27)

1.一种基于点云数据和图像的标定方法，其特征在于，包括：
获取点云数据和第一图像，所述点云数据和所述第一图像是在不同位置下对输电线路进行采集得到的；
提取所述点云数据以及所述第一图像中的几何特征，得到所述点云数据中的第一几何特征和所述第一图像中的第二几何特征，所述第一几何特征和所述第二几何特征均与所述输电线路相关，所述点云数据以及所述第一图像中的几何特征包括以下特征中的一种或多种：深度不连续的线特征和与所述输电线路中的杆塔相关的面特征；
在所述第一几何特征和所述第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，所述第一目标特征为所述第一几何特征中的特征，所述第二目标特征为所述第二几何特征中的特征；
基于所述第一目标特征和所述第二目标特征计算图像采集设备的外参数，其中，所述图像采集设备用于采集所述第一图像，所述外参数用于指示所述第一目标特征与所述第二目标特征之间的转换关系。
2.根据权利要求1所述的方法，其特征在于，所述在所述第一几何特征和所述第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，包括：
通过预设外参数将所述第一几何特征中的点转换为图像中的像素，得到第三几何特征，所述预设外参数为所述图像采集设备预设的外参数；
基于所述第三几何特征和所述第二几何特征，确定第三目标特征和所述第二目标特征，所述第三目标特征为所述第三几何特征中的特征，所述第三目标特征和所述第二目标特征是所述第三几何特征和所述第二几何特征之间相似度最高的两个特征；
确定所述第三目标特征所对应的第一目标特征与所述第二目标特征具有对应关系。
3.根据权利要求1或2所述的方法，其特征在于，所述第一几何特征包括第一线特征，所述第一线特征中任意两个相邻的点之间的深度值之差大于第一阈值。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述第一几何特征包括至少一个三维的面特征，所述第二几何特征包括至少一个二维的面特征；
所述在所述第一几何特征和所述第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，包括：
通过预设外参数将所述至少一个三维的面特征转换为至少一个二维的投影面特征；
将所述至少一个二维的投影面特征与所述至少一个二维的面特征进行匹配，以确定相匹配的所述第一目标特征和所述第二目标特征，其中所述第一目标特征包括所述至少一个二维的投影面特征中的特征，所述第二目标特征包括所述至少一个二维的面特征中的特征。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：
对所述点云数据和所述第一图像执行语义分割，得到所述点云数据对应的第一语义分割结果和所述第一图像对应的第二语义分割结果；
基于所述第一语义分割结果，过滤所述点云数据中属于预设类别的数据，得到更新后的点云数据；
基于所述第二语义分割结果，去除所述第一图像中属于所述预设类别的部分，得到更新后的第一图像；
所述提取所述点云数据以及所述第一图像中的几何特征，包括：
提取所述更新后的点云数据以及所述更新后的第一图像中的几何特征。
6.根据权利要求1-5任意一项所述的方法，其特征在于，所述第一图像中包括隐患目标；
所述方法还包括：
基于所述外参数以及所述隐患目标在所述第一图像中的位置，确定所述隐患目标与所述输电线路之间的距离。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取第三图像，所述第三图像为所述第一图像对应的背景图像；
基于所述第一图像和所述第三图像，通过背景差分方法确定所述隐患目标在所述第一图像中的位置。
8.根据权利要求7所述的方法，其特征在于，所述第三图像包括所述输电线路且不包括所述隐患目标；
或者，所述第三图像中所有像素的值均为第二阈值，所述第二阈值为所述第一图像中所有像素值的平均值。
9.根据权利要求6-8任意一项所述的方法，其特征在于，所述隐患目标包括第一部分和第二部分，所述第一部分的一端垂直与地面接触，所述第一部分的另一端与所述第二部分的一端连接，且所述第二部分与所述第一图像的拍摄平面之间具有夹角；
所述确定所述隐患目标与所述输电线路之间的距离，包括：
获取所述第二部分对应的预设长度，所述预设长度是通过识别所述隐患目标的类别来确定的；
基于所述外参数、所述预设长度以及所述第二部分在所述第一图像中的长度，确定隐患点在世界坐标系中的位置，所述隐患点位于所述第二部分的另一端；
基于所述隐患点在世界坐标系中的位置，确定所述隐患点与所述输电线路之间的距离。
10.根据权利要求9所述的方法，其特征在于，在所述第一图像中标记所述隐患点与所述输电线路之间的距离。
11.根据权利要求9或10所述的方法，其特征在于，所述方法还包括：
基于所述第二部分的一端在所述世界坐标系中的位置以及所述第二部分对应的预设长度，确定隐患范围，所述隐患范围为所述隐患点能够到达的范围，所述第二部分的一端在所述世界坐标系中的位置是基于所述外参数以及所述第二部分的一端在所述第一图像中的位置确定的；
计算所述隐患范围中的点与所述输电线路之间的距离，并在所述隐患范围中的点与所述输电线路之间的距离小于第一安全距离时生成第一告警信息。
12.根据权利要求9-11任意一项所述的方法，其特征在于，所述方法还包括：
基于所述外参数和所述第一图像中的接触点的位置，确定所述接触点在世界坐标系中的位置，所述接触点为所述隐患目标与地面接触的点；
基于所述接触点在世界坐标系中的位置，计算所述接触点与架空电力线路保护区之间的距离，并在所述接触点与架空电力线路保护区之间的距离小于第二安全距离时生成第二告警信息。
13.一种基于点云数据和图像的标定装置，其特征在于，包括：
获取模块，用于获取点云数据和第一图像，所述点云数据和所述第一图像是在不同位置下对输电线路进行采集得到的；
提取模块，用于提取所述点云数据以及所述第一图像中的几何特征，得到所述点云数据中的第一几何特征和所述第一图像中的第二几何特征，所述第一几何特征和所述第二几何特征均与所述输电线路相关，所述点云数据以及所述第一图像中的几何特征包括以下特征中的一种或多种：深度不连续的线特征和与所述输电线路中的杆塔相关的面特征；
处理模块，用于在所述第一几何特征和所述第二几何特征中确定具有对应关系的第一目标特征和第二目标特征，所述第一目标特征为所述第一几何特征中的特征，所述第二目标特征为所述第二几何特征中的特征；
所述处理模块，还用于基于所述第一目标特征和所述第二目标特征计算图像采集设备的外参数，其中，所述图像采集设备用于采集所述第一图像，所述外参数用于指示所述第一目标特征与所述第二目标特征之间的转换关系。
14.根据权利要求13所述的装置，其特征在于，所述处理模块，还用于：
通过预设外参数将所述第一几何特征中的点转换为图像中的像素，得到第三几何特征，所述预设外参数为所述图像采集设备预设的外参数；
基于所述第三几何特征和所述第二几何特征，确定第三目标特征和所述第二目标特征，所述第三目标特征为所述第三几何特征中的特征，所述第三目标特征和所述第二目标特征是所述第三几何特征和所述第二几何特征之间相似度最高的两个特征；
确定所述第三目标特征所对应的第一目标特征与所述第二目标特征具有对应关系。
15.根据权利要求13-14任意一项所述的装置，其特征在于，所述第一几何特征包括第一线特征，所述第一线特征中任意两个相邻的点之间的深度值之差大于第一阈值。
16.根据权利要求13-15任意一项所述的装置，其特征在于，所述第一几何特征包括至少一个三维的面特征，所述第二几何特征包括至少一个二维的面特征；
所述处理模块，具体用于：
通过预设外参数将所述至少一个三维的面特征转换为至少一个二维的投影面特征；
将所述至少一个二维的投影面特征与所述至少一个二维的面特征进行匹配，以确定相匹配的所述第一目标特征和所述第二目标特征，其中所述第一目标特征包括所述至少一个二维的投影面特征中的特征，所述第二目标特征包括所述至少一个二维的面特征中的特征。
17.根据权利要求13-16任意一项所述的装置，其特征在于，所述处理模块，还用于：
对所述点云数据和所述第一图像执行语义分割，得到所述点云数据对应的第一语义分割结果和所述第一图像对应的第二语义分割结果；
基于所述第一语义分割结果，过滤所述点云数据中属于预设类别的数据，得到更新后的点云数据；
基于所述第二语义分割结果，去除所述第一图像中属于所述预设类别的部分，得到更新后的第一图像；
所述提取模块，还用于提取所述更新后的点云数据以及所述更新后的第一图像中的几何特征。
18.根据权利要求13-17任意一项所述的装置，其特征在于，所述第一图像中包括隐患目标；
所述处理模块，还用于基于所述外参数以及所述隐患目标在所述第一图像中的位置，确定所述隐患目标与所述输电线路之间的距离。
19.根据权利要求18所述的装置，其特征在于，
所述获取模块，还用于获取第三图像，所述第三图像为所述第一图像对应的背景图像；
所述处理模块，还用于基于所述第一图像和所述第三图像，通过背景差分方法确定所述隐患目标在所述第一图像中的位置。
20.根据权利要求19所述的装置，其特征在于，所述第三图像包括所述输电线路且不包括所述隐患目标；
或者，所述第三图像中所有像素的值均为第二阈值，所述第二阈值为所述第一图像中所有像素值的平均值。
21.根据权利要求18-20任意一项所述的装置，其特征在于，所述隐患目标包括第一部分和第二部分，所述第一部分的一端垂直与地面接触，所述第一部分的另一端与所述第二部分的一端连接，且所述第二部分与所述第一图像的拍摄平面之间具有夹角；
所述获取模块，还用于获取所述第二部分对应的预设长度，所述预设长度是通过识别所述隐患目标的类别来确定的；
所述处理模块，还用于：
基于所述外参数、所述预设长度以及所述第二部分在所述第一图像中的长度，确定隐患点在世界坐标系中的位置，所述隐患点位于所述第二部分的另一端；
基于所述隐患点在世界坐标系中的位置，确定所述隐患点与所述输电线路之间的距离。
22.根据权利要求21所述的装置，其特征在于，所述处理模块，还用于在所述第一图像中标记所述隐患点与所述输电线路之间的距离。
23.根据权利要求21或22所述的装置，其特征在于，所述处理模块，还用于：
基于所述第二部分的一端在所述世界坐标系中的位置以及所述第二部分对应的预设长度，确定隐患范围，所述隐患范围为所述隐患点能够到达的范围，所述第二部分的一端在所述世界坐标系中的位置是基于所述外参数以及所述第二部分的一端在所述第一图像中的位置确定的；
计算所述隐患范围中的点与所述输电线路之间的距离，并在所述隐患范围中的点与所述输电线路之间的距离小于第一安全距离时生成第一告警信息。
24.根据权利要求21-23任意一项所述的装置，其特征在于，所述处理模块，还用于：
基于所述外参数和所述第一图像中的接触点的位置，确定所述接触点在世界坐标系中的位置，所述接触点为所述隐患目标与地面接触的点；
基于所述接触点在世界坐标系中的位置，计算所述接触点与架空电力线路保护区之间的距离，并在所述接触点与架空电力线路保护区之间的距离小于第二安全距离时生成第二告警信息。
25.一种基于点云数据和图像的标定装置，其特征在于，包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为执行所述代码，当所述代码被执行时，所述装置执行如权利要求1至12任意一项所述的方法。
26.一种计算机存储介质，其特征在于，所述计算机存储介质存储有指令，所述指令在由计算机执行时使得所述计算机实施权利要求1至12任意一项所述的方法。
27.一种计算机程序产品，其特征在于，所述计算机程序产品存储有指令，所述指令在由计算机执行时使得所述计算机实施权利要求1至12任意一项所述的方法。
CN202211413951.2A 2022-11-11 2022-11-11 一种基于点云数据和图像的标定方法及相关装置 Pending CN118037849A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211413951.2A CN118037849A (zh) 2022-11-11 2022-11-11 一种基于点云数据和图像的标定方法及相关装置
PCT/CN2023/130982 WO2024099431A1 (zh) 2022-11-11 2023-11-10 一种基于点云数据和图像的标定方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211413951.2A CN118037849A (zh) 2022-11-11 2022-11-11 一种基于点云数据和图像的标定方法及相关装置

Publications (1)

Publication Number Publication Date
CN118037849A true CN118037849A (zh) 2024-05-14

Family

ID=90988096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211413951.2A Pending CN118037849A (zh) 2022-11-11 2022-11-11 一种基于点云数据和图像的标定方法及相关装置

Country Status (2)

Country Link
CN (1) CN118037849A (zh)
WO (1) WO2024099431A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553859B (zh) * 2020-04-29 2020-12-01 清华大学 一种激光雷达点云反射强度补全方法及系统
CN111709981A (zh) * 2020-06-22 2020-09-25 高小翎 特征线融合的激光点云与模拟图像的配准方法
CN113345019B (zh) * 2021-06-09 2023-07-18 山东信通电子股份有限公司 一种输电线路通道隐患目标测距方法、设备及介质
CN114743021A (zh) * 2022-04-15 2022-07-12 国网江苏省电力有限公司泰州供电分公司 一种输电线路图像与点云数据的融合方法及系统

Also Published As

Publication number Publication date
WO2024099431A1 (zh) 2024-05-16

Similar Documents

Publication Publication Date Title
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN113345019B (zh) 一种输电线路通道隐患目标测距方法、设备及介质
US9443143B2 (en) Methods, devices and systems for detecting objects in a video
KR102103834B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
CN110782465B (zh) 一种基于激光雷达的地面分割方法、装置及存储介质
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
CN110390706B (zh) 一种物体检测的方法和装置
CN113093746B (zh) 作业机械环境感知方法、装置、系统及作业机械
CN111915723A (zh) 一种用于室内的三维全景构建方法和系统
CN113325388A (zh) 一种自动驾驶中激光雷达泛光噪点的过滤方法和装置
Chen et al. Environment perception technologies for power transmission line inspection robots
CN116563384A (zh) 一种图像采集装置标定方法、设备及计算机设备
JP2011209896A (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
CN114219770A (zh) 地面检测方法、装置、电子设备及存储介质
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN118037849A (zh) 一种基于点云数据和图像的标定方法及相关装置
CN116215520A (zh) 基于超声波和3d环视的车辆碰撞预警及处理方法、装置
Mori et al. Classification of pole-like objects using point clouds and images captured by mobile mapping systems
CN115131756A (zh) 一种目标检测方法及装置
AU2020317303B2 (en) Information processing device, data generation method, and program
CN116805324A (zh) 一种跟踪对象检测方法、装置、设备及计算机存储介质
CN115330832A (zh) 一种基于计算机视觉的输电铁塔全自由度位移监测系统和方法
CN115393387A (zh) 一种建筑物位移监测方法和装置
US20230243976A1 (en) Systems and methods for utility pole loading and/or clearance analyses
Wang et al. Automatic measurement of grid structures displacement through fusion of panoramic camera and laser scanning data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication