CN112639803B - 用于识别设施处的物体的方法和组件 - Google Patents
用于识别设施处的物体的方法和组件 Download PDFInfo
- Publication number
- CN112639803B CN112639803B CN201980054890.5A CN201980054890A CN112639803B CN 112639803 B CN112639803 B CN 112639803B CN 201980054890 A CN201980054890 A CN 201980054890A CN 112639803 B CN112639803 B CN 112639803B
- Authority
- CN
- China
- Prior art keywords
- image
- facility
- installation
- section
- dimensional representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 29
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000009434 installation Methods 0.000 claims description 16
- 239000004020 conductor Substances 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 8
- 239000000758 substrate Substances 0.000 claims 2
- 239000000523 sample Substances 0.000 claims 1
- 239000012212 insulator Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 235000005770 birds nest Nutrition 0.000 description 4
- 235000005765 wild carrot Nutrition 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
- H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
- H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明的主题是用于识别设施处的物体的方法，具有以下步骤：提供设施的三维表示，其中表示的位置和方向以及设施的位置和方向是已知的，以及获取设施的第一图像和第二图像，其中两个图像是从设施上方的多个不同位置记录的，其特征在于，针对设施的多个部段，利用视差效应分别执行对第一图像和第二图像的比较，其中在设施周围的区域中的图像相符的情况下，在设施上的物体被识别。本发明的另一个主题是相应的组件。
Description
技术领域
本发明涉及一种用于识别设施处的物体的方法和一种用于识别设施处的物体的组件。
背景技术
迄今未公开的、日期为2017年3月15日的欧洲专利申请17161027.2，其标题为“用于对具有运行设备的设施进行状态监视的方法和组件”，公开了一种用于对包括运行设备的设施进行状态监视的方法，其中借助于第一交通工具，利用用于以光学方式获取设施的概观传感器设备来获取概观数据，并且借助于评估装置在概观数据中识别运行设备，并在考虑第一交通工具的位置的情况下，确定运行设备的位置，其中借助于具有细节相机的第二交通工具，来生成运行设备的详细图像，其中细节相机对准运行设备的相应位置。例如，仅使用一架飞行器，例如无人机或直升机，以便在飞越架空电线时借助全景相机来识别杆和绝缘子，以确定绝缘子的位置并随后借助于细节相机来获得绝缘子的高分辨率图像。这样，可以简单而可靠地识别出损坏的绝缘子。
从现有技术中已知多种图像中的检测方法。在此，尤其是二维(2D)图像中的物体检测最近受到越来越多的关注。但是例如在热成像图像或UV图像中的经典的检测技术，也在持续的工业应用中出现。还有许多其他的2D检测方法，例如基于异常或颜色差异的检测方法。迄今的工作的大部分都被限于2D检测技术，同时只有少量的工作，试图将检测方法变换到三维(3D)空间中。
例如，已知的出版物有J.Denzlerl等人的“Probabilistic Integration of CuesFrom Multiple Cameras”，涉及对不同相机的图像的集成。Shaoqin Ren等人的出版物“Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks”、Wei Liu等人的出版物“SSD：Single Shot MultiBox Detector”以及MichaelMason等人(2001年)的出版物“Using Histograms to Detect and Track Objects inColor Video”公开了用于在图像数据中进行物体检测的方法。Varun Chandola等人的出版物“Anomaly Detection:A Survey”(ACM Computing Surveys，2009年)涉及对数据中的预期模式的偏差的检测。
此外，还已知有英国哥伦比亚大学理学硕士Tristram Southey于2013年的博士论文“Improving Object Detection using 3D Spatial Relationships”。描述了三维图像分析。
在对例如架空电线的设施进行探查时，迄今使用直升机的飞越和图像记录来识别架空线上的损坏部位或物体。仅靠航空记录很难决定，诸如鸟巢、气球或风筝(儿童玩具)的物体位于导体电缆上还是在导体电缆下方的地面上，并且也是容易出错的。迄今，这通常是通过人工评估图像来实现的。如果错误地识别到线路上的物体，则会产生对于已触发的维护工作相应浪费掉的成本和耗费。
在一个或多个图像中的检测不能总是明确地与特定的3D物体相关联。由于各个2D图像不包含深度信息，因此无法确定沿一个视线到物体的距离。因此，不能将检测限制到3D空间的相关区域，这有时会导致不相关的错误检测。如果要将高架电线上的物体与高架电线下的物体区分开，这通过对航空记录(鸟瞰图)的自动图像评估通常是无法实现的。
发明内容
本发明的目的是提出一种方法，利用该方法可以自动且可靠地识别设施处的物体。
本发明通过一种用于识别设施处的物体的方法实现了该目的。
根据本发明，通过使用与各个2D点相关联的3D信息来解决物体识别问题。由于视差效应的关系，设施(例如架空电线)下的物体在图像中在相对于导线的不同位置成像。当观察者移动自己的位置时会发生视差效应，并由此物体位置发生明显变化。例如，在Wikipedia上详细描述了视差的影响(永久链接：https://de.wikipedia.org/w/index.php？title＝Parallaxe&oldid＝178305744)。
例如，设施可以是电气设施，例如空中导线或架空电线。但是，设施也可以是管道。物体例如可以是鸟巢、汽车或风筝。
本发明的主题是提供与3D空间中的2D识别相结合的3D信息，以便与简单的2D检测方法相比降低误报率。
本发明的一个优点在于，通过在一种在计算和存储方面比较高效的方法中组合使用多个视图来减少错误地识别出设施上的物体的频率，即报警率。由此实现了从航空图像中对物体的相对可靠的自动检测，并实现了针对人工后处理的耗费的显著降低。利用该方法，即使仅出现在相机的唯一图像中的错误检测也可以可靠地识别到。
根据本发明，可以可靠、快速和自动地区分设施上的物体(即，高于地面的物体)和设施下的物体(即，靠近地面的物体)。这是一个优点，因为必须由维护人员立即排除设施(例如架空电线)的危害或损坏。如果将诸如鸟巢或风筝之类的物体错误地识别为位于导线上，则会不必要地触发导线的关闭和/或维护，这引起成本并降低设施的可用性。
此外，本发明的优点在于，所描述的方法具有较低的计算复杂度。由于仅需要在两个二维图像中读取在已知3D点(设施的部段)处的标量值，因此与在其他方法的情况中相比，存储和/或计算需求明显更小。
在根据本发明的方法的一个优选实施方式中，使用设施的所提供的三维表示来限制用于设施的搜索空间或在三维表示中将识别到的物体与设施的组成部分相对应。令人惊喜地显示出，通过限制搜索空间，使用已经存在的三维表示可以使对于图像评估来说所需的计算能力降低。此外，可以将识别到的物体与三维表示中包含的组成部分相对应，这可以简单且可靠地将对于进一步评估来说相关的物体与不相关的物体分离。两种措施都使得所需的计算能力可以明显降低。两种选择都被证明是非常有利的。例如，第一选择以稍微更高的计算能力为代价，允许在相关的情况中可能发生的令人担忧的假阴性率被再度降低。第二种选择允许，例如还在图像记录过程中就借助于低程度计算密集型预分类来鉴别潜在的问题位置，并且如有可能，可以自动地执行对这些物体的更精确的探查。这两种选择的结合也被证明是有利的。
在根据本发明的方法的另一优选实施方式中，三维表示被获取为三维点云(PCD)，其中对三维点云(PCD)进行语义分割，以在三维点云(PCD)中限制用于设施的搜索空间。设施在三维点云(PCD)中的空间。事实证明，以这种方式限制搜索空间对于典型应用情况来说(例如在对架空电线进行探查期间发生的那样)是特别有利的。
在根据本发明的方法的另一优选实施方式中，借助于“光探测和测距(LIDAR)”传感器来获得三维表示，并且三维表示被获取为三维点云(PCD)。这是有利的，因为借助于LIDAR可以获得有关物体位置的高度准确的信息。结合飞行器的位置，可以确定物体在三维空间中的位置。
在根据本发明的方法的另一优选实施方式中，对三维点云(PCD)进行语义分割以在三维点云(PCD)中限制用于设施的搜索空间。这是有利的，因为物体识别被限制于相关区域，这大大降低了计算要求和/或提高了计算速度。由于搜索空间被限制于相关的场景内容，因此降低了复杂度。如果在飞行器上进行评估，则在该实施方式中可以减轻重量，因为需要功能更低的计算机设备。典型实例是高压输电线的LIDAR数据，在这些数据中确定了属于架空电线的点或通过悬链线的参数模型(自动)逼近的点。用于分割图像数据的方法的实例从Kaiming He等人的出版物“Mask R-CNN”中已知。
在该被限制的搜索空间上使用了经典2D检测器，其例如在特定的故障类别上进行预训练。备选地，在异常检测的意义上，自动地确定导体区域的标准模型(例如，借助于自动编码器)并且检测异常值。两种方法的结果都是确定针对单个像素或图像区域的潜在的识别相关状态的概率。在一个变体方案中，在此不仅可以将图像空间限制在可见光区域，而且图像空间还可以延伸到邻接的光谱区域，例如(热)红外光和紫外光。
在上述实施方式的改进方案中提出，针对设施的每个3D点查询单个图像中的检测响应或像素颜色值，并且对这些单个检测结果进行合并。可以遵循下列线性或非线性数学方法中的一个方法来作为合并函数：极值确定(最小值/最大值)，中位数确定，平均值确定，其他鲁棒的统计数据，例如基于分位数的统计数据。
可以执行以下方法步骤：
-获得3D点云和针对3D点云以高精度局部地注册的图像作为输入；
-可选地，对3D点云进行语义分割(可选地，因为整个PCD也可以在语义上与探查任务相关)；
-分割后剩余的3D点被投影到2D图像中；
-在2D图像中得到的位置上，或者有选择地生成检测结果或者读出现有的检测结果(在后面的情况中，在图像空间中的检测以覆盖平面的方式进行)；
针对每个3D点，通过合并函数来检查图像空间中的相关单个检测的一致性；
-可选地，又可以将剩余的3D点投影回图像空间中，并因此在图像空间中产生最终的识别结果。
在根据本发明的方法的另一优选实施方式中，被用作设施的是架空电线，并且通过应用悬链线模型以识别架空电线的导体电缆，来执行语义分割。这是有利的，因为可以以简单的方式限制搜索空间。
在根据本发明的方法的另一优选实施方式中，借助于定位装置来确定表示的位置和方向。例如，这可以借助于针对全球定位系统(GPS)信号的接收器来执行，其中方向取决于传感器装置(激光雷达或相机)的观察方向。观察方向可以例如借助于倾角传感器接合设置在飞行器中的指南针来确定。
在根据本发明的方法的另一优选实施方式中，借助于用于可见光的相机来记录图像。对于人类可见的光通常具有380nm至780nm之间的波长(永久链接：https://de.wikipedia.org/w/index.php？title＝Elektromagnetisches_Spektru m&oldid＝178702023)。
在上述实施方式的改进方案中，使用另外的相机来提高可靠性。例如，可以冗余地或者以不同的放大倍率或细节分辨率来使用多个相机。这是有利的，因为它增加了在一次飞越设施时即可得到所有必要的图像数据的概率。
在根据本发明的方法的另一优选实施方式中，利用飞行器沿着设施引导相机，以便在两个不同的位置记录第一图像和第二图像。
在根据本发明的方法的另一优选实施方式中，将设施的三维表示分别投影到两个图像中，以便分别确定部段。
在根据本发明的方法的另一优选实施方式中，评估装置被设置在飞行器中。这是有利的，因为在飞越过程中可以直接进行评估和物体识别。可以存储识别到的物体的图像和坐标，并在飞行结束之后将传输给设施的运营者。备选地，可以经由无线电借助于数据通信在飞行期间传输识别到的物体。
在根据本发明的方法的另一优选实施方式中，评估装置被设置为中央服务器。这是有利的，因为节省了飞行器的重量和结构空间。例如，由相机和激光雷达获取的所有数据都可以临时存储在数据存储器中，并在飞行结束之后传输至设施以进行评估。备选地，经由无线电借助于数据通信，甚至可以在飞行过程中将数据传输到评估装置。
本发明的另一个目的是提供一种组件，利用该组件可以自动且可靠地识别设施处的物体。
对于根据本发明的组件及其实施方式，相应地得到了与在根据本发明的方法的先前阐述的相同的优点。
附图说明
为了更好地解释本发明，在附图中示意性地示出：
图1示出LIDAR图像数据的语义分割实例；以及
图2示出不同频率范围内架空电线的图像的实例；以及
图3示出对架空电线处的物体进行异常识别的实例；以及
图4示出通过视差效应识别架空电线处的物体的位置的实例。
具体实施方式
图1示出针对LIDAR图像数据进行语义分割的示例。示出了相对于位置坐标x的LIDAR的视角色标3反映出接收到的LIDAR信号的强度。可以看出，在借助于悬链线方程的模型成功地对架空电缆进行分割之后，突出了导线1。其他导线2保留在背景中。
图2显示了不同频率范围内的架空电线的图像的实例。从左到右，分别示出了在可见频率范围(VIS)中的图像、在红外频率范围(IF)中的图像和在紫外频率范围(UV)中的图像。在可见频率范围(VIS)中，示出了在电缆1上的鸟巢。在红外范围(IF)中，示出杆上的绝缘子的温度特别高的区域99。在紫外线范围(UV)中，可以清楚地看到导线1处的电晕放电。
图3显示了对架空电线上人为插入的物体进行异常识别的实例。在飞越时，从上方记录图像。在此，电缆1在森林和道路4上方延伸，该道路在图像的上部分叉。在道路4上有辆车5。风筝6位于导体电缆之一上。在图像中，由评估算法正确地将两个物体都标识为偏离了导体电缆的预期走向。该算法不能轻易地得到深度信息，即，该算法不能确定汽车以及尤其是风筝是位于导线上还是在导线下面的地面上。
为了将地面上的物体与导线上的物体区分开，本发明提出利用视差效应。图4并排显示了两个场景。每两个杆9支撑一根架空电线。可以在架空电线下面看到树10。在飞越导线期间，在两个不同的位置7、8处记录了第一图像和第二图像。
在左侧图像中可以看到，在将两个图像的两个观察方向指向先前通过分割在3D空间中的识别的架空电线上的点11时，两个图像都瞄准了在视线中的导线的部段11。如果有物体直接位于导线上或导线处，则从两个角度看，该物体出现在导线上的同一位置。右侧图片中的树10的情况有所不同。在两张图片中，树10不在导线上的同一位置出现，而是由于视差效应，从观察方向7看，树10出现在的部段11处，从观察方向8看出现在导线的部段12处。这意味着，树10一定位于与导线不同的高度，更准确地说在导线下方。该原理以简单的自动的方式实现了对位于设施处或位于设施上的物体与位于地面上的物体之间的区分。
Claims (19)
1.一种用于识别设施(1)处的物体(5、6)的方法，所述方法具有以下步骤：
提供所述设施的一个三维表示，其中所述三维表示的位置和方向以及所述设施的位置和方向是已知的，
获取所述设施的一个第一图像和一个第二图像，其中所述第一图像和所述第二图像是从所述设施(1)上方的多个不同位置(7、8)记录的，其中所述第一图像和所述第二图像中记录了所述物体，
针对所述设施(1)的多个部段，利用视差效应分别执行对所述第一图像和所述第二图像的比较，其中确定所述物体在所述第一图像中所处的所述设施的第一部段和所述物体在所述第二图像中所处的所述设施的第二部段，并且
通过比较所述第一部段和所述第二部段是否相同，确定所述物体(5、6)相对于所述设施(1)的高度位置。
2.根据权利要求1所述的方法，其特征在于，
如果所述第一部段和所述第二部段相同，则确定所述物体直接位于所述设施上。
3.根据权利要求1所述的方法，其特征在于，
如果所述第一部段和所述第二部段不相同，则确定所述物体位于所述设施的上方或下方。
4.根据权利要求1至3中任一项所述的方法，其特征在于，
使用所述设施的所提供的所述三维表示，以限制用于所述设施的搜索空间，或在所述三维表示中将识别到的所述物体与所述设施的一个组成部分相对应。
5.根据权利要求1至3中任一项所述的方法，其特征在于，
所述三维表示被获取为三维点云(PCD)，其中对所述三维点云(PCD)进行语义分割，从而在所述三维点云(PCD)中限制用于所述设施的一个搜索空间。
6.根据权利要求5所述的方法，其特征在于，
用作设施的是一个架空电线，并且
通过应用一个悬链线模型以识别所述架空电线的多个导体电缆(1)，来执行所述语义分割。
7.根据权利要求1至3中任一项所述的方法，其特征在于，借助于一个“光探测和测距(LIDAR)”传感器来获得所述三维表示，并且所述三维表示被获取为三维点云(PCD)，和/或借助于一个定位装置来确定所述表示的位置和方向。
8.根据权利要求1至3中任一项所述的方法，其特征在于，借助于一个用于可见光的相机来记录所述图像。
9.根据权利要求8所述的方法，其特征在于，利用一个飞行器沿着所述设施引导所述相机，以便在两个不同的位置(7、8)记录所述第一图像和所述第二图像。
10.根据权利要求1至3中任一项所述的方法，其特征在于，将所述设施(1)的所述三维表示分别投影到两个所述图像中，以便分别确定所述部段。
11.一种用于识别设施(1)处的物体(5、6)的组件，具有：
一个飞行器，带有用于获取所述设施的一个三维表示的一个“光探测和测距(LIDAR)”传感器，以及
带有一个定位装置，用于获取所述设施的所述三维表示的位置和方向，以及
带有一个用于可见光的相机，所述相机被设计为获取所述设施的一个第一图像和一个第二图像，其中从所述设施(1)上方的多个不同位置(7、8)记录所述第一图像和所述第二图像，其中所述第一图像和所述第二图像中记录了所述物体，
一个评估装置，被设计为：针对所述设施的多个部段利用视差效应分别执行对所述第一图像和所述第二图像的比较，其中确定所述物体在所述第一图像中所处的所述设施的第一部段和所述物体在所述第二图像中所处的所述设施的第二部段；并且通过比较所述第一部段和所述第二部段是否相同，确定所述物体(5、6)相对于所述设施(1)的高度位置。
12.根据权利要求11所述的组件，其特征在于，
所述评估装置还被设计为：如果所述第一部段和所述第二部段相同，则确定所述物体直接位于所述设施上。
13.根据权利要求11所述的组件，其特征在于，
所述评估装置还被设计为：如果所述第一部段和所述第二部段不相同，则确定所述物体位于所述设施的上方或下方。
14.根据权利要求11至13中任一项所述的组件，其特征在于，
所述“光探测和测距(LIDAR)”传感器被设计为获取所述三维表示作为三维点云(PCD)，并且
所述评估装置被设计为对所述三维点云(PCD)进行语义分割，以便在所述三维点云(PCD)中限制用于所述设施(1)的一个搜索空间。
15.根据权利要求14所述的组件，其特征在于，所述设施具有一个架空电线，并且所述评估装置被设计为通过应用一个悬链线模型以识别所述架空电线的多个导体电缆(1)来执行所述语义分割。
16.根据权利要求11至13中任一项所述的组件，其特征在于，所述评估装置被设计为将所述设施(1)的所述三维表示分别投影到两个所述图像中，以便分别确定所述部段。
17.根据权利要求11至13中任一项所述的组件，其特征在于，所述飞行器是一架飞机、一架直升机或一架无人机。
18.根据权利要求11至13中任一项所述的组件，其特征在于，所述评估装置被设置在所述飞行器中。
19.根据权利要求11至13中任一项所述的组件，其特征在于，所述评估装置被设置为一个中央服务器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18190055.6 | 2018-08-21 | ||
| EP18190055.6A EP3614299A1 (de) | 2018-08-21 | 2018-08-21 | Verfahren und anordnung zum erkennen von objekten an anlagen |
| PCT/EP2019/072269 WO2020038944A1 (de) | 2018-08-21 | 2019-08-20 | Verfahren und anordnung zum erkennen von objekten an anlagen |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112639803A CN112639803A (zh) | 2021-04-09 |
| CN112639803B true CN112639803B (zh) | 2024-06-11 |
Family
ID=63350461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980054890.5A Active CN112639803B (zh) | 2018-08-21 | 2019-08-20 | 用于识别设施处的物体的方法和组件 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11989870B2 (zh) |
| EP (2) | EP3614299A1 (zh) |
| CN (1) | CN112639803B (zh) |
| BR (1) | BR112021002143A2 (zh) |
| WO (1) | WO2020038944A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10748038B1 (en) * | 2019-03-31 | 2020-08-18 | Cortica Ltd. | Efficient calculation of a robust signature of a media unit |
| US11703457B2 (en) * | 2020-12-29 | 2023-07-18 | Industrial Technology Research Institute | Structure diagnosis system and structure diagnosis method |
| NO347027B1 (en) * | 2021-06-02 | 2023-04-24 | Kleon Solutions As | Method and system for detecting a line above ground from a helicopter |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930246A (zh) * | 2012-10-16 | 2013-02-13 | 同济大学 | 一种基于点云片段分割的室内场景识别方法 |
| JP2014089548A (ja) * | 2012-10-30 | 2014-05-15 | Sharp Corp | 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両 |
| CN103988226A (zh) * | 2011-08-31 | 2014-08-13 | Metaio有限公司 | 用于估计摄像机运动以及用于确定实境三维模型的方法 |
| CN106461391A (zh) * | 2014-05-05 | 2017-02-22 | 赫克斯冈技术中心 | 测量系统 |
| CN106560837A (zh) * | 2015-10-02 | 2017-04-12 | 丰田自动车株式会社 | 物体识别装置以及烟雾判定方法 |
| CN107533749A (zh) * | 2015-06-30 | 2018-01-02 | 日立汽车系统株式会社 | 物体检测装置 |
| CN107729878A (zh) * | 2017-11-14 | 2018-02-23 | 智车优行科技（北京）有限公司 | 障碍物检测方法和装置、设备、车辆、程序及存储介质 |
| CN108139202A (zh) * | 2015-09-30 | 2018-06-08 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| JP2018101200A (ja) * | 2016-12-19 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
| CN108229548A (zh) * | 2017-12-27 | 2018-06-29 | 华为技术有限公司 | 一种物体检测方法及装置 |
| CN108364304A (zh) * | 2018-04-11 | 2018-08-03 | 湖南城市学院 | 一种用于单目机载目标检测的系统和方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020014533A1 (en) | 1995-12-18 | 2002-02-07 | Xiaxun Zhu | Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps |
| US9449227B2 (en) * | 2014-01-08 | 2016-09-20 | Here Global B.V. | Systems and methods for creating an aerial image |
| US11156573B2 (en) * | 2016-06-30 | 2021-10-26 | Skydio, Inc. | Solar panel inspection using unmanned aerial vehicles |
-
2018
- 2018-08-21 EP EP18190055.6A patent/EP3614299A1/de not_active Withdrawn
-
2019
- 2019-08-20 US US17/268,458 patent/US11989870B2/en active Active
- 2019-08-20 WO PCT/EP2019/072269 patent/WO2020038944A1/de unknown
- 2019-08-20 CN CN201980054890.5A patent/CN112639803B/zh active Active
- 2019-08-20 BR BR112021002143-4A patent/BR112021002143A2/pt unknown
- 2019-08-20 EP EP19766186.1A patent/EP3811286A1/de active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103988226A (zh) * | 2011-08-31 | 2014-08-13 | Metaio有限公司 | 用于估计摄像机运动以及用于确定实境三维模型的方法 |
| CN102930246A (zh) * | 2012-10-16 | 2013-02-13 | 同济大学 | 一种基于点云片段分割的室内场景识别方法 |
| JP2014089548A (ja) * | 2012-10-30 | 2014-05-15 | Sharp Corp | 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両 |
| CN106461391A (zh) * | 2014-05-05 | 2017-02-22 | 赫克斯冈技术中心 | 测量系统 |
| CN107533749A (zh) * | 2015-06-30 | 2018-01-02 | 日立汽车系统株式会社 | 物体检测装置 |
| CN108139202A (zh) * | 2015-09-30 | 2018-06-08 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN106560837A (zh) * | 2015-10-02 | 2017-04-12 | 丰田自动车株式会社 | 物体识别装置以及烟雾判定方法 |
| JP2018101200A (ja) * | 2016-12-19 | 2018-06-28 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
| CN107729878A (zh) * | 2017-11-14 | 2018-02-23 | 智车优行科技（北京）有限公司 | 障碍物检测方法和装置、设备、车辆、程序及存储介质 |
| CN108229548A (zh) * | 2017-12-27 | 2018-06-29 | 华为技术有限公司 | 一种物体检测方法及装置 |
| CN108364304A (zh) * | 2018-04-11 | 2018-08-03 | 湖南城市学院 | 一种用于单目机载目标检测的系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| Detection and tracking of moving objects from a moving platform in presence of strong parallax;Jinman Kang等;《ICCV 05》;1-8 * |
| 利用融合高度与单目图像特征的支持向量机模型识别杂草;王璨等;《农业工程学报》;第32卷(第15期);165-174 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210174061A1 (en) | 2021-06-10 |
| CN112639803A (zh) | 2021-04-09 |
| EP3811286A1 (de) | 2021-04-28 |
| US11989870B2 (en) | 2024-05-21 |
| WO2020038944A1 (de) | 2020-02-27 |
| EP3614299A1 (de) | 2020-02-26 |
| BR112021002143A2 (pt) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dhiman et al. | Pothole detection using computer vision and learning | |
| EP3581890B1 (en) | Method and device for positioning | |
| US20230114620A1 (en) | Automated wayside asset monitoring with optical imaging and visualization | |
| CN106503653B (zh) | 区域标注方法、装置和电子设备 | |
| CN112639803B (zh) | 用于识别设施处的物体的方法和组件 | |
| KR102052114B1 (ko) | 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법 | |
| CN112997187A (zh) | 基于鸟瞰图点云的二维对象边界框信息估计 | |
| CN103716687A (zh) | 使用指纹以在视频中追踪移动对象的系统和方法 | |
| CN107885224A (zh) | 基于三目立体视觉的无人机避障方法 | |
| KR102082254B1 (ko) | 차량 인식 시스템 | |
| JP2022042146A (ja) | データ処理装置、データ処理方法およびデータ処理用プログラム | |
| CN114913290A (zh) | 多视角融合的场景重建方法、感知网络训练方法及装置 | |
| CN112585484B (zh) | 用于识别具有运行设备的设施的电晕放电的方法和组件 | |
| CN117372401A (zh) | 一种电缆线路缺陷的识别方法、系统、终端设备及介质 | |
| Oskouie et al. | A data quality-driven framework for asset condition assessment using LiDAR and image data | |
| CN112489240B (zh) | 一种商品陈列巡检方法、巡检机器人以及存储介质 | |
| CN114092857A (zh) | 基于闸道的集卡图像采集方法、系统、设备及存储介质 | |
| CN112802058A (zh) | 一种非法运动目标的跟踪方法及装置 | |
| CN112802100A (zh) | 一种入侵检测方法、装置、设备和计算机可读存储介质 | |
| EP4242996A1 (en) | Status determination device, status determination system, and status determination method | |
| CN115236693A (zh) | 轨道侵限检测方法、装置、电子设备和存储介质 | |
| CN117897737A (zh) | 一种无人机监控方法、装置、无人机及监控设备 | |
| KR20230109406A (ko) | 열화상 카메라와 라이다 센서 융합 기반 객체 탐지 장치 및 방법 | |
| KR20180000205A (ko) | 지능형 영상 분석 장치 및 방법 | |
| CN114396911B (zh) | 一种障碍物测距方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |