DE112016000702T5

DE112016000702T5 - Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels

Info

Publication number: DE112016000702T5
Application number: DE112016000702.7T
Authority: DE
Inventors: Qingwu Li; Yunpeng Ma; Jinxin Xu; Yaqin Zhou; Feijia He
Original assignee: Changzhou Campus of Hohai University
Current assignee: Changzhou Campus of Hohai University
Priority date: 2016-08-11
Filing date: 2016-12-14
Publication date: 2018-04-19
Also published as: CN106356757B; WO2018028103A1; CN106356757A; US20180357788A1; US10269138B2; MY192356A

Abstract

Die vorliegende Erfindung offenbart ein auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren (engl.: unmanned aerial vehicle, dt.: Drohne) eines Stromkabels. Beim Detektions- und Alarmprozess der externen Unfälle der Stromkabel handelt es sich darum, dass ein UAV-Videoaufnahmemodul mittels einer im UAV geladenen binokularen visuellen Messvorrichtung Informationen über die Verteilung und die Umgebung der Stromleitungen erhält, ein Bildvorverarbeitungsmodul eine Vorverarbeitung für die ins System eingegebenen Bilder des Stromkabels durchführt, ein Stromkabeldetektionsmodul mittels eines visuellen Aufmerksamkeitsmechanismus der menschlichen Augen eine Teilung der Stromleitungen in den Bildern abschließt, und wobei ein binokulares Bildausrichtungsmodul mittels eines SURF-Algorithmus eine genaue Anpassung für den Merkmalspunkt durchführt, ein Fehlerdetektions- und Alarmmodul mittels eines binokularen visuellen Prinzips die dreidimensionalen Raumkoordinaten des Anpassungspunkts und der Stromleitungen errechnet und ein Ergebnisausgabe- und Rückkopplungsmodul anhand der räumlichen Koordinateninformation den vertikalen Abstand zwischen dem Anpassungspunkt und den Stromleitungen errechnet, um die Rückkopplung über die Informationen eines eine Bedrohung für die Stromleitungen bildenden Hindernisses abzuschließen. Mit dem Verfahren der vorliegenden Erfindung kann eine quantitative Analyse für das Hindernis der Stromleitungen durchgeführt werden, dabei sind die Analyseergebnisse stabil und objektiv.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft das Gebiet der digitalen Bildverarbeitung und der automatischen Inspektion eines Stromkabels, insbesondere ein auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels.
Stand der Technik
Mit der kräftigen Entwicklung der chinesischen Wirtschaft wächst die Nachfrage nach elektrischer Energie stark an. Um die wachsende Inlandsstromnachfrage zu erfüllen, besteht eine Notwendigkeit zum Ausbau von Stromkabeln, der Hochspannung und der hohen Kapazität. Mit dem Bau einer großen Menge an Stromkabeln wird die Deckfläche immer breiter, und die topographische Situation wird immer komplexer und vielfältiger, dabei ist es ein schwierig zu lösendes Problem, wie während des Baus des Stromnetzes die Kabel topographisch überschreitend gewartet werden; andererseits ändert sich die Umgebung eines Stromkabels ebenfalls ständig mit der Änderung der Region und der Zeit. Das gesamte Stromkabelsystem hat eine hohe Komplexität, dabei wird ein bestehendes Risiko eines wichtigen Kettengliedes die Stromversorgung des Benutzers und die Stromversorgungssicherheit des Systems beeinträchtigen, dadurch wird unkalkulierbarer wirtschaftlicher Schaden bewirkt, und die Sicherheit von Leben und Eigentum wird bedroht, aufgrund dessen ist die Inspektion des Stromkabels ein wichtiger Teil der Wartungsarbeit der Anlage des Stromsystems.
Die Hochspannungsleitungen sind Freileitungen. Die Stromkabel, bei denen mittels der Isolatoren und elektrischen Ausrüstungen die Leitungen auf dem Turm überbrückend angeordnet sind, sind ein wichtiger Bestandteil des Stromnetzes und Stromsystems und sind extrem anfällig für die Beeinträchtigung und Beschädigung durch die Außenumgebung. Die derzeit bestehenden Freileitungsunfälle umfassen hauptsächlich äußere Beschädigungsunfälle, Windunfälle, Blitzunfälle und andere durch Alterung der Ausrüstung bewirkte Unfälle, die äußeren Beschädigungsunfälle beziehen sich auf die Unfälle, die dadurch bewirkt werden, dass ein Fremdkörper in den nicht sicheren Bereich oder Abstand eintritt, z.B. treten Waldbäume und Gebäude usw. in den nicht sicheren Bereich des Stromkabels ein, dadurch wird nicht nur eine Bedrohung für die Sicherheit der Stromkabel gebildet, sondern eigener Stromschlag, Brand und andere Unfälle des Hindernisses können auch extrem leicht bewirkt werden. Nach den einschlägigen Berichten nehmen die äußeren Beschädigungsunfälle 1/4 der gesamten Anzahl der jährlichen Ansprechfehler der Stromkabel des ganzen Landes ein, was der Gesellschaft enorme Gefahren und wirtschaftliche Verluste bringt.
Der herkömmliche Stromkabelinspektionsmodus ist in der Regel eine manuelle Inspektion am Ort, der Modus erfordert einen großen Verbrauch der menschlichen Ressourcen, aber bei einer großen Deckfläche der Stromkabel und einer vielfältigen Umgebung hat die manuelle Inspektion der Stromkabel am Ort eine niedrige Effizienz und eine schlechte Echtzeitlichkeit, dabei können die Anforderungen an die Deckfläche und die Echtzeitlichkeit der Inspektion des Stromkabels in der Regel nicht erfüllt werden. Darüber hinaus erfolgt das manuelle Inspektionsverfahren der Stromkabel in der Regel durch eine Beobachtung über menschliche Augen, nach den Erfahrungen der Mitarbeiter wird der Zustand der Stromkabel beurteilt. Aufgrund einer übermäßigen Abhängigkeit von dem Zustand und den Erfahrungen der Mitarbeiter kann der Abstand eines Hindernisses zum Stromkabel quantitativ analysiert werden, dadurch kann ein Phänomen der falschen Inspektion und mangelnden Inspektion extrem leicht auftreten, so dass die Anforderungen an die Genauigkeit der Inspektion der Stromkabel nicht erfüllt werden können.
Inhalt der Erfindung
Es ist ein zu lösendes technisches Problem, hinsichtlich der technischen Mängel auf dem Inspektionsgebiet der äußeren Beschädigungsunfälle der derzeit bestehenden Stromkabel ein UAV-Inspektionssystem eines Stromkabels zur Verfügung zu stellen, um das Inspektionsverfahren des Stromkabels zu verbessern und die Wirksamkeit und die Genauigkeit der Inspektion zu verbessern.
Um das obige technische Problem zu lösen, stellt die vorliegende Erfindung ein auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels zur Verfügung, umfassend folgende Schritte:

(1) UAV-Videoaufnahme: Erhalten der Videobilder der Informationen über die Stromleitungsverteilung und der Stromleitungsumgebung mittels einer im UAV geladenen binokularen visuellen Messvorrichtung; bei der binokularen visuellen Messvorrichtung handelt es sich darum, dass zwei Videobilderfassungsvorrichtungen mit gleichen Spezifikationen und Parametern jeweils in Form des linken Auges und rechten Auges arbeiten und mit einem gleichen Betrachtungswinkel die Videobildinformationen gleichzeitig erfassen; wenn die im UAV geladene binokulare visuelle Messvorrichtung eine Inspektion des Stromkabels durchführt, wird eine drahtlose Fernsteuerung für UAV durchgeführt, so dass UAV in einer parallel zum Stromkabel ausgerichteten Route und oberhalb des Stromkabels einen geraden Flug mit gleichmäßiger Geschwindigkeit durchführt, und wobei die Verteilungsrichtung des Stromkabels in der Videobild-Erfassungssequenz parallel zur Flugrichtung des UAV ausgerichtet ist;
(2) ein Bildvorverarbeitungsmodul, das ein Framing für die eingegebene Videobildsequenz des Stromkabels durchführt, wobei eine Vorverarbeitung für die aktuellen Framebilder durchgeführt wird, umfassend eine Bildgraustufenverarbeitung und (Difference of Gaussian) DoG-Kantenerkennung; dabei beschreibt die DoG-Kantenerkennung mittels der Gaussschen Differenzergebnisse verschiedener Parameter die Kanten der Bilder und führt eine gleiche Verarbeitung nacheinander für das Linksaugenbild und das Rechtsaugenbild durch.
(3) ein Stromkabeldetektionsmodul, das mittels der mathematischen Morphologie die Bilder nach der Vorverarbeitung verarbeitet und die Strukturfaktoren mit gleicher Richtung wie die Stromleitungen auswählt, um eine wiederholte Dilatations- und Erosionsverarbeitung für die Bilder durchzuführen, so dass die Störungen der Bilder beseitigt werden, wobei dann mittels des Aufmerksamkeitsmechanismus der visuellen Anschlussdomäne der menschlichen Augen eine größte lineare Anschlussdomäne ausgewählt wird, um eine Teilung der Stromleitungen in den Bildern abzuschließen; der visuelle Aufmerksamkeitsmechanismus der menschlichen Augen bezieht sich darauf, dass im Sichtbereich die menschlichen Augen sofort die Bereiche mit besonderer Form, Farbe und Leuchtdichte merken, mittels des Aufmerksamkeitsmechanismus der menschlichen Augen für die Anschlussdomäne der besonderen Form schließt der Aufmerksamkeitsmechanismus der visuellen Anschlussdomäne der menschlichen Augen eine Teilung der Stromkabel ab. und wobei die Abszissenpositionen (x_dz1,x_dz2...x_dzj), (x_dy1,x_dy2...x_dyj ) des Stromkabels im Linksaugenbild und Rechtsaugenbild jeweils aufgezeichnet werden; und wobei x_dz1,x_dz2...x_dz, und x_dy1,x_dy2...x_dyj jeweils für die auf dem Linksaugenbild und Rechtsaugenbild befindlichen Abszissen des Mittelpunkts des Anschlussbereichs der Stromleitungen in einer Anzahl von j sind;
(4) ein binokulares Bildausrichtungsmodul, das jeweils eine Ausrichtung für das Linksaugenbild und das Rechtsaugenbild durchführt, wobei mittels des SURF-Algorithmus ein Merkmalspunkt des Linksaugenkantenbildes und des Rechtsaugenkantenbildes nach der Vorverarbeitung jeweils gefunden wird und ein Deskriptor des aktuellen Merkmalspunkts ermittelt wird, und wobei dann eine genaue Paarung für den Merkmalspunkt durchgeführt wird, um die Positionsinformationen des genauen Anpassungspunkts im Linksaugenbild und Rechtsaugenbild (x_z1,y_z1)-(x_y1,y_y1), (x_z2,y_z2)-(x_y2,y_y2) ... (x_zn,y_zn)-(x_yn,y_yn) aufzuzeichnen, und wobei n für die Anzahl aller im Einzelbild enthaltenen Merkmalspunkte steht, und wobei x_zn,y_zn und x_yn,y_yn jeweils für die Positionskoordinaten des zugeordneten Merkmalspunkts im Linksaugenbild und Rechtsaugenbild stehen;
(5) dass mittels der im Linksaugenbild und Rechtsaugenbild befindlichen Abszissenposition (x_dz1,x_dz2 ...x_dzj), (x_dy1,x_dy2...x_dyj) des Stromkabels sowie der im Linksaugenbild und Rechtsaugenbild befindlichen Positionen (x_z1,y_z1)-(x_y1,y_y1), (x_z2,y_z2)-(x_y2,y_y2) ... (x_zn,y_zn)-(x_yn,y_yn) des genauen Anpassungspunkts ein Fehlerdetektions- und Alarmmodul mittels des binokularen visuellen Prinzips die dreidimensionalen Raumkoordinaten des Anpassungspunkts und des Stromkabels errechnet und anhand der räumlichen Koordinateninformation den vertikalen Abstand des Anpassungspunkts zum Stromkabel berechnet;
(6) dass ein Ergebnisausgabe- und Rückkopplungsmodul eine Rückkopplung für die Informationen eines eine Bedrohung für das Stromkabel bildenden Hindernisses durchführt, wobei auf dem Interface der Software des Computers die ausführlichen Informationen des Hindernisses rückgekoppelt werden und die Detektionszeit und die Ortsposition des Hindernisses aufgezeichnet werden, wenn der räumliche vertikale Abstand des Anpassungspunkts zum Stromkabel höher als der vorgegebene Schwellenwert ist; und wobei keine Verarbeitung für den aktuellen Anpassungspunkt durchgeführt wird und eine gleiche Verarbeitung für alle Anpassungspunkte im aktuellen Framebild durchgeführt wird, wenn der räumliche vertikale Abstand des Anpassungspunkts zum Stromkabel niedriger als der vorgegebene Schwellenwert ist; und wobei für alle erhaltenen Framebilder nacheinander eine Rückkopplungsverarbeitung der Information des Hindernisses durchgeführt wird, um eine Aufzeichnung der Informationen des Hindernisses während des Inspektionsprozesses abzuschließen.

Die vorliegende Erfindung hat folgende Vorteile: mittels der binokularen visuellen Technik werden eine Detektion und Analyse für die externen Hindernisse des Stromkabels durchgeführt, hauptsächlich durch eine gekoppelte Inspektion mittels eines mit einer binokularen visuellen Messvorrichtung geladenen UAVs kann eine Informationssuche für umfangreiche Stromkabel schnell durchgeführt werden, um die Bildinformation des Stromkabels und der Anlage in Echtzeit zu erhalten, dabei schließt das Expertensystem eine quantitative Analyse für die Fehlerrisiken des Stromkabels ab. Im Vergleich zur herkömmlichen manuellen Inspektion wird die UAV-Inspektion nicht durch die Topographie, die Umgebung, den Zustand und andere Faktoren beeinflusst, dadurch können die Verteilungssituation und die Umgebung der Stromkabel in Echtzeit überwacht werden, mittels der binokularen visuellen Technik der menschlichen Augen werden eine quantitative Analyse und ein Alarm für die Verteilungssituation der Stromkabel und die Hindernisse der Stromkabel und andere Probleme durchgeführt, dabei bestehen eine gute Inspektionseffizienz, eine gute Universalität, eine gute Echtzeitlichkeit und andere Eigenschaften.
Figurenliste

1 zeigt eine modulare Strukturansicht des UAV-Inspektionssystems des Stromkabels gemäß der vorliegenden Erfindung.
2 zeigt ein physikalisches Modelldiagramm des UAV-Inspektionssystems des Stromkabels gemäß der vorliegenden Erfindung.
3 zeigt ein Prozessablaufdiagramm des UAV-Inspektionssystems des Stromkabels gemäß der vorliegenden Erfindung.
4 zeigt eine schematische Darstellung der Größe des Skalenraum-Filters.
5 zeigt ein Diagramm des binokularen visuellen Abbildungsprinzips.
6 zeigt eine schematische Darstellung der Anpassung der Merkmalspunkte des Linksaugenbildes und Rechtsaugenbildes.
7 zeigt eine schematische Darstellung der Markierung der Hindernispunkte der externen Unfälle des Linksaugenbildes.

Ausführliche Ausführungsformen
Ein auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionssystem eines Stromkabels, umfassend ein Hardware-Arbeitssystem und ein Software-Betriebssystem, wobei die gesamten Systemmodule wie in 1 dargestellt sind, und wobei das Hardwaresystem ein UAV-Videoinformationserfassungsmodul umfasst, und wobei das Softwaresystem ein Bildvorverarbeitungsmodul, ein Stromkabeldetektionsmodul, ein binokulares Bildausrichtungsmodul, ein Fehlerdetektions- und Alarmmodul und ein Ergebnisausgabe- und Rückkopplungsmodul umfasst.
Ein physikalisches Modelldiagramm ist wie in 2 dargestellt, zuerst wird eine Informationserfassung für die zu prüfenden Stromkabel und die Umgebung mittels einer im UAV geladenen binokularen visuellen Messvorrichtung durchgeführt, der Flug des UAVs wird gesteuert, dabei ist die Flugrichtung des UAVs parallel zur Verteilungsrichtung der Stromkabel ausgerichtet. Die erhaltene binokulare Videosequenz wird an das Software-Betriebssystem übertragen, anhand eines bestimmten Intervalls nimmt das Software-Betriebssystem das Bildframe aus der Videosequenz und führt nacheinander eine Bildvorverarbeitung, eine Inspektion des Stromkabels, eine Ausrichtung des Linksaugenbildes und Rechtsaugenbildes, eine Hinderniserfassung und einen Alarm sowie eine Ergebnisausgabe und Rückkopplung für alle Bildframes durch, um die Markierung der Hindernisse und die Aufzeichnung der Informationen während des Inspektionsprozesses abzuschließen.
Ein auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels gemäß der vorliegenden Erfindung, dabei ist der detaillierte Prozess wie in 3 dargestellt:
(1) Wenn die Stromkabel einer Region eine Inspektion brauchen, wird zuerst mittels einer im UAV geladenen binokularen visuellen Messvorrichtung eine Cruise für die Stromkabel und die Umgebung durchgeführt, um die einschlägigen Informationen zu erfassen, dabei ist die binokulare visuelle Messvorrichtung durch zwei Kameras gleicher Spezifikation ausgebildet, die Auflösung der Kameras unterschreitet 500W nicht, der Grundlinienabstand b = 120mm zwischen den beiden Kameras wird fest gemacht, die Brennweite f (400mm ≤ ƒ ≤ 1000mm) der Kameras ist bekannt, und die beiden Kameras führen gleichzeitig eine Aufnahme in parallelen gleichen Richtungen durch. UAV wird durch Mitarbeiter betätigt, die Flugrichtung des UAVs mit gleichmäßiger Geschwindigkeit ist parallel zur Verteilungsrichtung der Stromkabel ausgerichtet, der Flugprozess des UAVs hat eine gleichmäßige Geschwindigkeit und ist stabil, das auf den beiden Kameras basierende binokulare visuelle Hardwaresystem soll auf einer stabilen Plattform des UAVs installiert sein, die erfasste linke Videosequenz lz und rechte Video sequenz ly werden in einem durch das UAV getragene Speichergerät gespeichert und mittels eines Mobilfunknetzes an das Softwaresystem übertragen.
(2) Während des Cruise-Prozesses des UAVs werden die erfasste linke Videosequenz lz und rechte Videosequenz ly am Ort aus UAV an das Softwaresystem übertragen, das Softwaresystem sichert die erhaltenen Daten zuerst im Datenbereich, gleichzeitig gibt ein Mitarbeiter die Zeit und den Ort der Aufnahme ein. Eine Verarbeitung wird für die linke Videosequenz lz und die rechte Videosequenz ly durchführt, wobei zuerst mit einem bestimmten Intervall jeweils ein kontinuierliches Framing in der linken Videosequenz lz und der rechten Video sequenz ly durchgeführt wird, und wobei beim Framing gefordert wird, dass alle Framebilder durch die Verbindung eine vollständige Cruise-Bildinformation wiederherstellen können und bei der Verbindung der benachbarten Frames kein Informationsverlust besteht, um eine linke Bildsequenz Tz und eine rechte Bildsequenz Ty zu bilden, und wobei die linke Bildsequenz Tz und die rechte Bildsequenz Ty jeweils m Bilder enthält, welche jeweils T_z1,T_z2...T_zm und T_y1,T_y2...T_ym sind; und wobei eine Vorverarbeitung für die entsprechenden Framebilder des linken Auges und rechten Auges durchgeführt wird, und wobei zuerst das erste Bild Tz1 des linken Auges und das erste Bild Ty1 des rechten Auges verarbeitet werden, und wobei die entsprechenden Framebilder des linken Auges und rechten Auges in der Reihenfolge nacheinander verarbeitet werden, bis die Verarbeitung des m. Bildes des linken Auges Tzm und des m. Bildes des rechten Auges Tym abgeschlossen wird.
Für das erste Bild des linken Auges Tzl und das erste Bild des rechten Auges Ty1 wird eine Vorverarbeitung durchgeführt, umfassend eine Bildgraustufenverarbeitung und DoG-Kantenerkennung (Difference of Gaussian);
wobei bei der Bildgraustufenverarbeitung ein Farbbild zum Einkanal-Graustufenbild Hzl des ersten Bildes des linken Auges und Einkanal-Graustufenbild Hy1 des ersten Bildes des rechten Auges variiert wird;
In der DoG-Kantenerkennung ist Difference of Gaussian(DOG) die Differenz der Gaußfunktion, durch eine Faltung der Bilder und der Gaußfunktion wird ein Tiefpassfilterergebnis eines Bildes erhalten, gleich wie der Gauss des Gaussschen Tiefpassfilters ist Gaussian eine Funktion, nämilch eine Normalverteilungsfunktion. Difference of Gaussian, nämlich die Differenz der Gaußfunktion, ist die Differenz zwischen zwei Gaussschen Bildern, hinsichtlich der spezifischen Bildverarbeitung werden die Gaussschen Filterergebnisse desselben Bildes unter verschiedenen Parametern substrahiert, um ein DoG-Bild zu erhalten, nämlich das Ergebnis der Kantenerkennung. Die DoG-Operation wird wie folgt definiert: $\begin{array}{l} D = \frac{1}{2 π} [\frac{1}{σ_{1}^{2}} e \begin{matrix} - \frac{(x^{2} + y^{2})}{2 σ_{1}^{2}} \end{matrix} - \frac{1}{σ_{2}^{2}} e \begin{matrix} - \frac{(x^{2} + y^{2})}{2 σ_{2}^{2}} \end{matrix}] * H \\ = [G (x, y, σ_{1}) - G (x, y, σ_{2})] * H \end{array}$
und wobei D für das Ergebnis des verarbeiteten Bildes steht, und wobei die erste Konstante σ₁ = 0.6 und die zweite Konstante σ₂ = 0.9 ist, und wobei x, y jeweils für die Abszisse und die Ordinate des aktuellen Pixels im Bild stehen, und wobei die Größe des Fensters der Gaussschen Filterfunktion 5 × 5 beträgt, und wobei G(x, y, σ1) und G(x, y, σ2) jeweils eine Gauß-Filter-Funktion verschiedener Parameter sind, und wobei H ein Graustufenbild ist, und wobei „*“ für eine Gleitungs-Filterverarbeitung für das gesamte Bild steht, und wobei die Bilder nach der Vorverarbeitung jeweils ein Linksaugenkantenbild Dzl und ein Rechtsaugenkantenbild Dyl sind.
(3) Die Stromkabel im Linksaugenkantenbild Dzl und Rechtsaugenkantenbild Dyl werden geteilt, zuerst werden das Linksaugenkantenbild Dzl und das Rechtsaugenkantenbild Dyl mittels der zirkulierenden Dilatations- und Erosionsoperation in der mathematischen Morphologie verarbeitet; die Videoaufnahmerichtung ist parallel zur Verteilungsrichtung der Stromkabel ausgerichtet, im Bild ist die Richtung der Stromkabel parallel zur 90°-Richtung des Bildes ausgerichtet. Bei der morphologischen Bildverarbeitung wird ein Strukturelement im Bild bewegt, dann wird eine Durchschnitt- und Fusionsoperation für das Strukturelement und das Linksaugenkantenbild Dzl sowie Rechtsaugenkantenbild Dyl durchgeführt, das Strukturelement ist ein wichtigster und wesentlicher Begriff, B(x) steht für das Strukturelement, die Erosions- und Dilatationsoperation für jeden Punkt A(x,y) im Arbeitsraum E wird wie folgt definiert: $Erosion : X = E \otimes B = {A (x, y) : B (x) \subset E}$
$Dilatation : Y = E \oplus B = {A (x, y) : B (y) \cap E \neq Φ}$
Dabei steht ⊂ für „darin enthalten“, wobei ∩ für „Durchschnittsoperation“ steht, und wobei Φ für Nullmenge steht, Mit dem Strukturelement B(x) wird der Arbeitsraum E erodiert und daraus resultiert ein Ergebnis, dass nach der Translation des Strukturelements B das Strukturelement B in einer durch alle Punkte des Arbeitsraums E ausgebildeten Menge enthält; und wobei mit dem Strukturelement B(x) der Arbeitsraum E gedehnt wird und daraus ein Ergebnis resultiert, dass nach der Translation des Strukturelements B die Schnittmenge zwischen dem Strukturelement B und dem Arbeitsraum E eine durch nicht leere Punkte gebildete Menge ist. Ein linearer Strukturfaktor wird ausgewählt, wobei die Länge 3 Pixel und der Winkel 90 Grad beträgt, und wobei eine Erosions- und Dilatationsoperation für das Linksaugenkantenbild Dzl und das Rechtsaugenkantenbild Dyl durchgeführt wird, und wobei eine Zyklusoperation zwei Erosionsoperationen und eine Dilatationsoperation umfasst, und wobei die Zyklusoperationen zwanzigmal durchgeführt werden.
Bezüglich eines Bildes nach der zirkulierenden Dilatations- und Erosionsoperation werden die Fläche und die Länge der Anschlussdomäne im Bild erfasst, wobei die Segmente, deren lineare Form und Fläche der Anschlussdomäne die Anforderung des Schwellenwerts erfüllen, aufrechterhalten werden, nämlich die Stromleitung, und wobei die Störungen im Bild beseitigt werden, die Teilung des Stromkabels im Bild abgeschlossen wird und die Abszissenpositionen (x_dz1,x_dz2...x_dzj), (x_dy1,x_dy2...x_dyj) des Stromkabels im Linksaugenkantenbild Dzl und Rechtsaugenkantenbild Dyl jeweils aufgezeichnet werden, und wobei das Linksaugenkantenbild Dzl und Rechtsaugenkantenbild Dyl jeweils j Stromleitungen enthalten, und wobei j Abszissenpositionen aufgezeichnet werden.
(4) Mittels des SURF-Algorithmus wird eine Erfassung des Merkmalspunkts für das Linksaugenkantenbild Dzl und das Rechtsaugenkantenbild Dyl durchgeführt, damit die Anpassungsmerkmale eine Unveränderlichkeit der Größe haben, die Erfassung der wichtigsten Punkte des Bildes wird im Skalenraum abgeschlossen. Beim SURF-Algorithmus wird eine Rahmenfilterung verschiedener Größen auf dem Originalbild durchgeführt, um eine Bildpyramide verschiedener Skalen auszubilden.
(41) Mittels des schnellen Hessian-Detektors wird der Merkmalspunkt ermittelt, dabei verfügt die Hessian-Matrix über eine hervorragende Leistung in Hinsicht auf die Errechnung der Zeit und der Genauigkeit. Hinsichtlich eines Punkts im Bild ist die Definition der Hessian-Matrix unter der Skala wie in folgender Formel dargestellt, hinsichtlich eines Punkts (x, y) im Linksaugenkantenbild Dzl und Rechtsaugenkantenbild Dyl wird die Hessian-Matrix an diesem Punkt wie folgt ausgedrückt, wenn die Skala σ ist: $H (x, σ) = [\begin{matrix} L_{x x} (x, σ) & L_{x y} (x, σ) \\ L_{x y} (x, σ) & L_{y y} (x, σ) \end{matrix}]$
Dabei steht die Funktion L_xx(x,σ) für die partielle Ableitung zweiter Ordnung der Gaussfunktion auf der x-Koordinate und die Faltung des Linksaugenkantenbildes Dzl und Rechtsaugenkantenbildes Dyl am Punkt (x, y), wobei die Formel wie folgt ist: $L_{x x} (x, σ) = D * \frac{\partial^{2}}{\partial x^{2}} g (σ)$
Die Beschreibung von L_xy(x,σ) und L_yy(x,σ) ist jeweils wie in der folgenden Formel dargestellt: $L_{x y} (x, σ) = D * \frac{\partial^{2}}{\partial x \partial y} g (σ)$
$L_{y y} (x, σ) = D * \frac{\partial^{2}}{\partial y^{2}} g (σ), \partial$
bezieht sich auf die Operation zum Ermitteln der partiellen Ableitung,
Dabei wird der Skalenraum des SURF-Algorithmus ebenfalls in Gruppen (Octaves) geteilt, und die Bilder in jeder Gruppe werden nach dem Falten der Filter verschiedener Größen ermittelt. Dabei erhöht sich die Größe der Filter schrittweise. Es wird angenommen, dass die Größe N × N beträgt, beträgt die entsprechende Skala σ = 1.2 × N / 9. Die Größen der Filter in verschiedenen Gruppen innerhalb des Skalenraums sind wie in 4 dargestellt, dabei steht die Abszisse für die Änderung der Größe des Filters, während die Ordinate für verschiedene Gruppen steht.
Damit der Algorithmus über eine Eigenschaft der unveränderten Richtung verfügt, weist der SURF-Algorithmus anhand der Informationen des Pixels in der Umgebung des Merkmalspunkts eine einzige Richtung jedem Interessenpunkt erneut zu, dabei ist der detaillierte Schritt wie folgt:

a) Mit dem Merkmalspunkt als Zentrum wird die Antwort des Harr-Wavelets in der horizontalen und vertikalen Richtung innerhalb eines kreisförmigen benachbarten Bereichs mit einem Radius von 6σ errechnet, wobei die Abtastschrittlänge σ und die Größe des Wavelets 4σ beträgt;
b) Mit dem Merkmalspunkt als Zentrum wird eine Gausssche Gewichtung für die Wavelet-Antwort durchgeführt, so dass ein sich dem Merkmalspunkt annäherndes Gewicht groß und ein dem Merkmalspunkt abgewandtes Gewicht klein ist, um eine neue Antwort in der horizontalen Richtung und der vertikalen Richtung zu erhalten;
c) Am Ende durchläuft ein sektorförmiges Fenster mit einem Winkel von 60 Grad den ganzen Kreis, bis die gesamte Antwort des sektorförmigen Fensters am stärksten wird, jetzt ist die Zeigerichtung innerhalb des sektorförmigen Fensters die Hauptrichtung des Interessenpunkts.

(42) Der Merkmalspunkt wird zuerst als Mittelpunkt angeordnet, wobei entlang der Hauptrichtung des Mittelpunkts ein Rahmen mit einer Größe von 20σ gebildet wird, und wobei dann der Bereich in 16 kleine Bereiche aufgeteilt wird, und wobei die Wavelet-Antwort in jedem Unterbereich (5σ × 5σ) berechnet wird, um die 0°-Richtung und den Vektor ∑dx, die 90°-Richtung und den Vektor ∑dy, die 180°-Richtung und den Vektor ∑d|x| sowie die 180°-Richtung und den Vektor ∑d|y| zu erhalten, und wobei jeder Unterbereich durch ein Konstruieren eines vierdimensionalen Merkmalsvektors v = (∑dx,∑|dx|, ∑dy,∑|dy|) dargestellt wird, und wobei am Ende ein 64-dimensionaler Deskriptor des Punkts ausgebildet wird;
Es wird angenommen, dass die Größen des Linksaugenkantenbildes Dz1 und des Rechtsaugenkantenbildes Dyl jeweils M×N sind, und die Bilder werden nacheinander unter derselben Koordinatenachse platziert, um ein Bild mit einer Größe von M×2N auszubilden, die Anpassung der Merkmalspunkte des Linksaugenkantenbildes und Rechtsaugenkantenbildes ist wie in 6 dargestellt. Die Mengen der mit dem SURF-Verfahren erfassten Merkmalspunkte des Linksaugenkantenbildes Dzl und Rechtsaugenkantenbildes Dy1 werden jeweils wie folgt dargestellt: $P o s 1 = {(x_{1}^{'}, y_{1}^{'}), (x_{2}^{'}, y_{2}^{'}),..., (x_{p}^{'}, y_{p}^{'})}$
$P o s 2 = {(x_{1}, y_{1}), (x_{2}, y_{2}),..., (x_{q}, y_{q})},$
Dabei stehen p und q jeweils für die Anzahl der Merkmalspunkte des Linksaugenkantenbildes Dzl und Rechtsaugenkantenbildes Dyl; anhand des Vorwissens über die Folgerichtigkeit zwischen der Steigungsrichtung der endgültigen richtigen Anpassungspunktpaare umfasst das Anpassungsverfahren der Merkmalspunkte der vorliegenden Erfindung folgende Schritte:

a) Bezüglich jedes Punkts i in der Merkmalspunktmenge Pos1 des Linksaugenkantenbildes wird sein euklidischer Abstand zu allen Punkten in der Merkmalspunktmenge Pos2 des Rechtsaugenkantenbildes errechnet, dabei wird ein dem minimalen euklidischen Abstand zugeordneter Punkt als roher Anpassungspunkt des Punkts i ausgewählt;
b) Der euklidische Abstand zwischen allen rohen Anpassungspunktpaaren wird errechnet, und in einer Reihenfolge vom kleinen zum großen euklidischen Abstand werden die Anpassungspunktpaare geordnet, dabei werden die Mehrpunkt-Einzelpunkt-Punktpaare gelöscht, jetzt werden die Merkmalspunkte im Linksaugenkantenbild Dzl und Rechtsaugenkantenbild Dyl jeweils durch eine Merkmalspunktmenge Pos1 des korrigierten Linksaugenkantenbildes und eine Merkmalspunktmenge Pos2 des korrigierten Rechtsaugenkantenbildes dargestellt;
c) Die ersten K1 Paare von den Anpassungspunkten in der Merkmalspunktmenge Pos1 des korrigierten Linksaugenkantenbildes und Merkmalspunktmenge Pos2 des korrigierten Rechtsaugenkantenbildes werden ausgewählt und als $P o s_K_{1} = {{(x_{1}^{'}, y_{1}^{'}), (x_{1}, y_{1})}, {(x_{2}^{'}, y_{2}^{'}), (x_{2}, y_{2})},..., {(x_{n}^{'}, y_{n}^{'}), (x_{n}, y_{n})}}$
markiert sowie als Menge 1 bezeichnet; Die ersten K2 Paare von den Anpassungspunkten in der Merkmalspunktmenge Pos1 des korrigierten Linksaugenkantenbildes und Merkmalspunktmenge Pos2 des korrigierten Rechtsaugenkantenbildes werden ausgewählt und als Pos_K₂ dargestellt, dabei erfolgt $P o s_K_{2} = {{(x_{1}^{'}, y_{1}^{'}), (x_{1}, y_{1})}, {(x_{2}^{'}, y_{2}^{'}), (x_{2}, y_{2})},..., {(x_{K_{2}}^{'}, y_{K_{2}}^{'}), (x_{K_{2}}, y_{K_{2}})}},$
was als Menge 2 bezeichnet wird, dabei erfolgt K₁ < K₂;
d) Für alle Punktpaare in der Menge 2 wird die Steigung zwischen zwei Punkten berechnet, wie in der folgenden Formel dargestellt, ferner folgt ein Aufrunden bzw. Abrunden, um eine Steigungsmenge k auszubilden: k: k = {k₁,k₂,...,k_w} , $k_{w} = \frac{y_{w}}{x_{w} - x_{w}^{'}},1 \leq w \leq K_{2};$
e) Die Frequenz des Auftretens jeder Steigung in der Steigungsmenge k wird berechnet, die Steigungen mit einer Frequenz von größer als und gleich wie 2 werden ausgesucht, um eine neue Menge k_new = {k₁,k₂,...,k_t} auszubilden, dabei steht t für die Gesamtanzahl der erhaltenen Merkmalspunkte; theoretisch ist die Anzahl der Elemente in der Menge k_new kleiner als die Anzahl der Elemente in der Steigungsmenge; wenn die Frequenz des Auftretens jeder Steigung in der Steigungsmenge k jeweils 1 beträgt, werden die ersten 2K₂/3 Paare von den Steigungen ausgewählt, um eine neue Menge k_new auszubilden;
f) Die Steigungen aller Punktpaare in der Merkmalspunktmenge Pos1 des korrigierten Linksaugenkantenbildes und der Merkmalspunktmenge Pos2 des korrigierten Rechtsaugenkantenbildes werden ergodisch berechnet, dabei werden alle Punktpaare mit einer Steigung im Bereich von [k_t -0.5,k_t +0.5] ausgesucht, um eine Punktpaarmenge Pos_K₃= {{(x_z1,y_z1),(x_y1,y_y1)},{(x_z2,y_y2),(x_y2,y_y2)},...,{(x_zn,y_zn),(x_yn,y_yn)}} auszubilden, dabei erfolgt k_t ∈ k_new ;

(5) Ein Diagramm des binokularen visuellen Abbildungsprinzips ist wie in 5 dargestellt, der Grundlinienabstand zwischen den binokularen visuellen Kameras b = 120mm und die Brennweite f (400mm ≤ f ≤ 1000mm ) der Kamera sind bekannt, wobei die Parallaxe d als die Positionsdifferenz zwischen den entsprechenden Punkten eines Punkts in beiden Bildern definiert wird: $d = (x_{z n} - x_{y n})$
und wobei xzn, xyn jeweils die Abszissen des Anpassungspunktpaars im Linksaugenbild und Rechtsaugenbild sind, dadurch wird die Raumkoordinate eines Punkts P im Koordinatensystem der linken Kamera errechnet: ${\begin{matrix} x^{c} = \frac{b \cdot x_{z n}}{d} \\ y^{c} = \frac{b \cdot y_{z n}}{d} \\ z^{c} = \frac{b \cdot ƒ}{d} \end{matrix}$
und wobei (x^c _, y^c , z^c) die Positionsinformationen des aktuellen Anpassungspunkts in der Raumkoordinate darstellt, und wobei yzn für die Ordinate des Anpassungspunktpaars im Linksaugenbild und Rechtsaugenbild steht, und wobei anhand der obigen Formel die Koordinaten aller Anpassungspunkte im Koordinatensystem der linken Kamera errechnet werden, und wobei anhand der obigen Formel und der erhaltenen Abszissenposition {x_dz1,x_dz2...x_dzj), (x_dy1,x_dy2...x_dyj) des Stromkabels die Raumkoordinate eines Punkts am Stromkabel mit einem minimalen räumlichen euklidischen Abstand zum Anpassungspunkt errechnet wird; und wobei der räumliche euklidische Abstand der Punkte am Stromkabel mit gleichen Ordinaten im zweidimensionalen Koordinatensystem zum Anpassungspunkt als minimaler Abstand definiert wird und die Ordinate des Anpassungspunkts unmittelbar dem zugeordneten Punkt am Stromkabel verliehen wird, so dass mit der Punktpaarmenge Pos_K₃= {{(x_z1,y_z1),(x_y1,y_y1)},{(x_z2,y_z2),(X_y2,y_y2)},...,{(x_zn,y_zn),(x_yn,y_yn)}} die dem Stromkabel einander zugeordneten Punkte Pos_D = {{(x_dz1,y_z1),(x_dy1,y_y1)},{(x_dz2,y_z2),(x_dy2,y_y2)},...,{(x_dzn,y_zn),(x_dyn,y_yn)}} ausgebildet werden, und wobei somit die Raumkoordinate (x^d ,y^d, z^d) eines Punkts D auf dem Stromkabel im Koordinatensystem der linken Kamera errechnet wird.
(6) Nach dem Erhalt der Raumkoordinate des Punkts P und Punkts D wird der räumliche euklidische Abstand J des Anpassungspunkts zum Stromkabel errechnet, dabei wird J wie folgt definiert: $J = \sqrt{{(x^{c} - x^{d})}^{2} + {(y^{c} - y^{d})}^{2} + {(z^{c} - z^{d})}^{2}}$
Der räumliche euklidische Abstand aller Anpassungspunkte im aktuellen Einzelbild zum Stromkabel wird nacheinander errechnet und mit dem vorgegebenen Erfahrungsschwellenwert des Abstandes verglichen, wenn J höher als der Schwellenwert ist, wird die Markierung des Punkts im Linksaugenbild abgeschlossen, um die Rückkopplung der Informationen eines eine Bedrohung für das Stromkabel bildenden Hindernisses abzuschließen. Im Interface der Software des Computers werden detaillierte Informationen des Hindernisses rückgekoppelt, um die Erfassungszeit und die Ortposition des Hindernisses aufzuzeichnen. Wenn der räumliche vertikale Abstand zwischen dem Anpassungspunkt und dem Stromkabel niedriger als der vorgegebene Schwellenwert ist, wird der aktuelle Anpassungspunkt nicht verarbeitet, und eine gleiche Verarbeitung wird für alle Anpassungspunkte im aktuellen Einzelbild durchgeführt. Eine obige Verarbeitung wird nacheinander für alle Framebilder in der Videosequenz durchgeführt, um die Markierung der Hindernisse und die Aufzeichnung der Informationen während des Inspektionsprozesses abzuschließen.

Claims

Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels, dadurch gekennzeichnet, dass es folgende Schritte umfasst: (1) UAV-Videoaufnahme: Erhalten der Videobilder der Informationen über die Stromleitungsverteilung und der Stromleitungsumgebung mittels einer im UAV geladenen binokularen visuellen Messvorrichtung; (2) ein Bildvorverarbeitungsmodul, das ein Framing für die eingegebene Videobildsequenz des Stromkabels durchführt, wobei eine Vorverarbeitung für die aktuellen Framebilder durchgeführt wird, umfassend eine Bildgraustufenverarbeitung und DoG-Kantenerkennung; und wobei die DoG-Kantenerkennung mittels der Gaussschen Differenzergebnisse verschiedener Parameter die Kanten der Bilder beschreibt und eine gleiche Verarbeitung nacheinander für das Linksaugenbild und das Rechtsaugenbild durchführt; (3) ein Stromkabeldetektionsmodul, das mittels der mathematischen Morphologie die Bilder nach der Vorverarbeitung verarbeitet und die Strukturfaktoren mit gleicher Richtung wie die Stromleitungen auswählt, um eine wiederholte Dilatations- und Erosionsverarbeitung für die Bilder durchzuführen, so dass die Störungen der Bilder beseitigt werden, wobei dann mittels des Aufmerksamkeitsmechanismus der visuellen Anschlussdomäne der menschlichen Augen eine größte lineare Anschlussdomäne ausgewählt wird, um eine Teilung der Stromleitungen in den Bildern abzuschließen; und wobei Abszissenpositionen (x_dz1,x_dz2...x_dzj), (x_dy1,x_dy2... x_dyj ) des Stromkabels im Linksaugenbild und Rechtsaugenbild jeweils aufgezeichnet werden; und wobei x_dz1, x_d2...x_dzj und x_dy1,x_dy2...x_dyj jeweils für die auf dem Linksaugenbild und Rechtsaugenbild befindlichen Abszissen des Mittelpunkts des Anschlussbereichs der Stromleitungen in einer Anzahl von j sind; (4) ein binokulares Bildausrichtungsmodul, dass jeweils eine Ausrichtung für das Linksaugenbild und das Rechtsaugenbild durchführt, wobei mittels des SURF-Algorithmus ein Merkmalspunkt des Linksaugenrandbildes und des Rechtsaugenrandbildes nach der Vorverarbeitung jeweils gefunden wird und ein Deskriptor des aktuellen Merkmalspunkts ermittelt wird, und wobei dann eine genaue Paarung für den Merkmalspunkt durchgeführt wird, um die Positionsinformationen des genauen Anpassungspunkts im Linksaugenbild und Rechtsaugenbild (x_z1,y_z1)-(x_y1,y_y1), (x_z2,y_z2)-(x_y2,y_y2) ... (x_zn,y_zn)-(x_yn,y_yn) aufzuzeichnen, und wobei n für die Anzahl aller im Einzelbild enthaltenen Merkmalspunkte steht, und wobei x_zn, y_zn und x_yn, y_yn jeweils für die Positionskoordinaten des zugeordneten Merkmalspunkts im Linksaugenbild und Rechtsaugenbild stehen; (5) dass mittels der im Linksaugenbild und Rechtsaugenbild befindlichen Abszissenposition (x_dz1,x_dz2...x_dzj), (x_dy1,x_dy2 ... x_dyj ) des Stromkabels sowie der im Linksaugenbild und Rechtsaugenbild befindlichen Positionen (x_z1,y_z1)-(x_y1,y_y1), (x_z2,y_z2)-(x_y2,y_y2) ... (x_zn,y_zn)-(x_yn,y_yn) des genauen Anpassungspunkts ein Fehlerdetektions- und Alarmmodul mittels des binokularen visuellen Prinzips die dreidimensionalen Raumkoordinaten des Anpassungspunkts und des Stromkabels errechnet und anhand der räumlichen Koordinateninformation den vertikalen Abstand des Anpassungspunkts zum Stromkabel berechnet; (6) dass ein Ergebnisausgabe- und Rückkopplungsmodul eine Rückkopplung für die Informationen eines eine Bedrohung für das Stromkabel bildenden Hindernisses durchführt, wobei auf dem Interface der Software des Computers die ausführlichen Informationen des Hindernisses rückgekoppelt werden und die Detektionszeit und die Orstposition des Hindernisses aufgezeichnet werden, wenn der räumliche vertikale Abstand des Anpassungspunkts zum Stromkabel höher als der vorgegebene Schwellenwert ist; und wobei keine Verarbeitung für den aktuellen Anpassungspunkt durchgeführt wird und eine gleiche Verarbeitung für alle Anpassungspunkte im aktuellen Framebild durchgeführt wird, wenn der räumliche vertikale Abstand des Anpassungspunkts zum Stromkabel niedriger als der vorgegebene Schwellenwert ist; und wobei für alle erhaltenen Framebilder nacheinander eine Rückkopplungsverarbeitung der Information des Hindernisses durchgeführt wird, um eine Aufzeichnung der Informationen des Hindernisses während des Inspektionsprozesses abzuschließen.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei der binokularen visuellen Messvorrichtung im Schritt (1) darum handelt, dass zwei Videobilderfassungsvorrichtungen mit gleichen Spezifikationen und Parametern jeweils in Form des linken Auges und rechten Auges arbeiten und mit einem gleichen Betrachtungswinkel die Videobildinformationen gleichzeitig erfassen; wenn die im UAV geladene binokulare visuelle Messvorrichtung eine Inspektion des Stromkabels durchführt, wird eine drahtlose Fernsteuerung für UAV durchgeführt, so dass UAV in einer parallel zum Stromkabel ausgerichteten Route und oberhalb des Stromkabels einen geraden Flug mit gleichmäßiger Geschwindigkeit durchführt, und wobei die Verteilungsrichtung des Stromkabels in der Videobild-Erfassungssequenz parallel zur Flugrichtung des UAV ausgerichtet ist; wobei die erfassten Videobilder des Stromkabels eine linke Videosequenz lz und eine rechte Videosequenz ly umfassen, und wobei die Daten der linken Videosequenz lz und der rechten Videosequenz ly in einem durch UAV getragenen Speichergerät gespeichert und mittels eines Mobilfunknetzes an das Bildvorverarbeitungsmodul des Softwaresystems übertragen werden.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 1, dadurch gekennzeichnet, dass im Schritt (2) das Bildvorverarbeitungsmodul eine Verarbeitung für die linke Videosequenz lz und die rechte Videosequenz ly durchführt, wobei zuerst mit einem bestimmten Intervall jeweils ein kontinuierliches Framing in der linken Videosequenz lz und der rechten Videosequenz ly durchgeführt wird, und wobei beim Framing gefordert wird, dass alle Framebilder durch die Verbindung eine vollständige Cruise-Bildinformation wiederherstellen können und bei der Verbindung der benachbarten Frames kein Informationsverlust besteht, um eine linke Bildsequenz Tz und eine rechte Bildsequenz Ty zu bilden, und wobei die linke Bildsequenz Tz und die rechte Bildsequenz Ty jeweils m Bilder enthält, welche jeweils T_z1,T_z2...T_zm und T_y1,T_y2...T_ym sind; und wobei eine Vorverarbeitung für die entsprechenden Framebilder des linken Auges und rechten Auges durchgeführt wird, und wobei zuerst das erste Bild Tzl des linken Auges und das erste Bild Ty1 des rechten Auges verarbeitet werden, und wobei die entsprechenden Framebilder des linken Auges und rechten Auges in der Reihenfolge nacheinander verarbeitet werden, bis die Verarbeitung des m. Bildes des linken Auges Tzm und des m. Bildes des rechten Auges Tym abgeschlossen wird.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 3, dadurch gekennzeichnet, dass eine Vorverarbeitung für das erste Bild Tzl des linken Auges und das erste Bild Ty1 des rechten Auges durchgeführt wird, umfassend eine Bildgraustufenverarbeitung und eine DoG-Kantenerkennung: wobei bei der Bildgraustufenverarbeitung ein Farbbild zum Einkanal-Graustufenbild Hzl des ersten Bildes des linken Auges und Einkanal-Graustufenbild Hy1 des ersten Bildes des rechten Auges variiert wird; und wobei in der DoG-Kantenerkennung die-Operation wie folgt definiert wird: $\begin{array}{l} D = \frac{1}{2 π} [\frac{1}{σ_{1}^{2}} e \begin{matrix} - \frac{(x^{2} + y^{2})}{2 σ_{1}^{2}} \end{matrix} - \frac{1}{σ_{2}^{2}} e \begin{matrix} - \frac{(x^{2} + y^{2})}{2 σ_{2}^{2}} \end{matrix}] * H \\ = [G (x, y, σ_{1}) - G (x, y, σ_{2})] * H \end{array}$
und wobei D für das Ergebnis des verarbeiteten Bildes steht, und wobei σ1 eine erste Konstante und σ2 eine zweite Konstante ist, und wobei x, y jeweils für die Abszisse und die Ordinate des aktuellen Pixels im Bild stehen, und wobei G(x, y, σ1) und G(x, y, σ2) jeweils eine Gauß-Filter-Funktion verschiedener Parameter sind, und wobei H ein Graustufenbild ist, und wobei „*“ für eine Gleitungs-Filterverarbeitung für das gesamte Bild steht, und wobei die Bilder nach der Vorverarbeitung jeweils ein Linksaugenkantenbild Dzl und ein Rechtsaugenkantenbild Dyl sind.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 4, dadurch gekennzeichnet, dass im Schritt (3) das Stromkabel im Linksaugenkantenbild Dzl und Rechtsaugenkantenbild Dyl geteilt wird, wobei B(x) für Strukturelement steht, und wobei die Operation für die Erosion und Dilatation jedes Punkts A(x,y) im Arbeitsraum E wie folgt definiert wird: $Erosion : X = E \otimes B = {A (x, y) : B (x) \subset E}$
$Dilatation : Y = E \oplus B = {A (x, y) : B (y) \cap E \neq Φ}$
und wobei ⊂ für „darin enthalten“ steht, und wobei ∩ für „Durchschnittsoperation“ steht, und wobei Φ für Nullmenge steht, und wobei mit dem Strukturelement B(x) der Arbeitsraum E erodiert wird und daraus ein Ergebnis resultiert, dass nach der Translation des Strukturelements B das Strukturelement B in einer durch alle Punkte des Arbeitsraums E ausgebildeten Menge enthalten wird; und wobei mit dem Strukturelement B(x) der Arbeitsraum E gedehnt wird und daraus ein Ergebnis resultiert, dass nach der Translation des Strukturelements B die Schnittmenge zwischen dem Strukturelement B und dem Arbeitsraum E eine durch nicht leere Punkte gebildete Menge ist.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 5, dadurch gekennzeichnet, dass ein linearer Strukturfaktor ausgewählt wird, wobei die Länge 3 Pixel und der Winkel 90 Grad beträgt, und wobei eine Erosions- und Dilatationsoperation für das Linksaugenrandbild Dzl und das Rechtsaugenrandbild Dyl durchgeführt wird, und wobei eine Zyklusoperation zwei Erosionsoperationen und eine Dilatationsoperation umfasst, und wobei die Zyklusoperationen zwanzigmal durchgeführt werden.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 5, dadurch gekennzeichnet, dass bezüglich eines Bildes nach der zirkulierenden Dilatations- und Erosionsoperation die Fläche und die Länge der Anschlussdomäne im Bild erfasst werden, wobei die Segmente, deren lineare Form und Fläche der Anschlussdomäne die Anforderung des Schwellenwerts erfüllen, aufrechterhalten werden, nämlich die Stromleitung, und wobei die Störungen im Bild beseitigt werden, die Teilung des Stromkabels im Bild abgeschlossen wird und die Abszissenpositionen (x_dz1,x_dz2...x_dzj), x_dy1,x_dy2... x_dyj) des Stromkabels im Linksaugenrandbild Dzl und Rechtsaugenrandbild Dyl jeweils aufgezeichnet werden, und wobei das Linksaugenrandbild Dzl und Rechtsaugenrandbild Dyl jeweils j Stromleitungen enthalten, und wobei j Abszissenpositionen aufgezeichnet werden.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 7, dadurch gekennzeichnet, dass im Schritt (4) mittels des SURF-Algorithmus eine Merkmalspunktdetektion für das Linksaugenrandbild Dzl und Rechtsaugenrandbild Dyl des Bildes durchgeführt wird, wobei der detaillierte Schritt Folgendes umfasst: (41) Mittels des schnellen Hessian-Detektors wird der Merkmalspunkt ermittelt, hinsichtlich eines Punkts (x,y) im Linksaugenkantenbild Dzl und Rechtsaugenkantenbild Dyl wird die Hessian-Matrix an diesem Punkt wie folgt ausgedrückt, wenn die Skala σ ist: $H (x, σ) = [\begin{matrix} L_{x x} (x, σ) & L_{x y} (x, σ) \\ L_{x y} (x, σ) & L_{y y} (x, σ) \end{matrix}]$
Dabei steht die Funktion L_xx(x,σ) für die partielle Ableitung zweiter Ordnung der Gaußfunktion auf der x-Koordinate und die Faltung des Linksaugenkantenbildes Dzl und Rechtsaugenkantenbildes Dyl am Punkt (x, y), wobei die Formel wie folgt ist: $L_{x x} (x, σ) = D * \frac{\partial^{2}}{\partial x^{2}} g (σ)$
Die Beschreibung von L_xy(x,σ) und L_yy(x,σ) ist jeweils wie in der folgenden Formel dargestellt: $L_{x y} (x, σ) = D * \frac{\partial^{2}}{\partial x \partial y} g (σ)$
$L_{y y} (x, σ) = D * \frac{\partial^{2}}{\partial y^{2}} g (σ), \partial$
bezieht sich auf die Operation zum Ermitteln der partiellen Ableitung, Dabei wird der Skalenraum des SURF-Algorithmus in Gruppen geteilt, und die Bilder in jeder Gruppe werden nach dem Falten der Filter verschiedener Größen ermittelt, und die Größe der Filter erhöht sich schrittweise; (42) Der Merkmalspunkt wird als Mittelpunkt angeordnet, wobei entlang der Hauptrichtung des Mittelpunkts ein Rahmen mit einer Größe von 20σ gebildet wird, und wobei dann der Bereich in 16 kleine Bereiche aufgeteilt wird, und wobei die Wavelet-Antwort in jedem Unterbereich (5σ × 5σ) berechnet wird, um die 0°-Richtung und den Vektor ∑dx, die 90°-Richtung und den Vektor ∑dy, die 180°-Richtung und den Vektor ∑d|x| sowie die 180°-Richtung und den Vektor ∑d|y| zu erhalten, und wobei jeder Unterbereich durch ein Konstruieren eines vierdimensionalen Merkmalsvektors v = (∑dx, ∑|dx|, ∑dy, ∑|dy|) dargestellt wird, und wobei am Ende ein 64-dimensionaler Deskriptor des Punkts ausgebildet wird; Es wird angenommen, dass die Größen des Linksaugenrandbildes Dzl und des Rechtsaugenrandbildes Dyl jeweils MxN sind, und die Bilder werden nacheinander unter derselben Koordinatenachse platziert, um ein Bild mit einer Größe von M × 2N auszubilden, dabei werden die Mengen der mit dem SURF-Verfahren erfassten Merkmalspunkte des Linksaugenkantenbildes Dzl und Rechtsaugenkantenbildes Dyl jeweils wie folgt dargestellt: $P o s 1 = {(x_{1}^{'}, y_{1}^{'}), (x_{2}^{'}, y_{2}^{'}),..., (x_{p}^{'}, y_{p}^{'})}$
$P o s 2 = {(x_{1}, y_{1}), (x_{2}, y_{2}),..., (x_{q}, y_{q})},$
Dabei stehen p und q jeweils für die Anzahl der Merkmalspunkte des Linksaugenkantenbildes Dzl und Rechtsaugenkantenbildes Dyl; Das Anpassungsverfahren der Merkmalspunkte umfasst folgende Schritte: a) Bezüglich jedes Punkts i in der Merkmalspunktmenge Pos1 des Linksaugenkantenbildes wird sein euklidischer Abstand zu allen Punkten in der Merkmalspunktmenge Pos2 des Rechtsaugenkantenbildes errechnet, dabei wird ein dem minimalen euklidischen Abstand zugeordneter Punkt als roher Anpassungspunkt des Punkts i ausgewählt; b) Der euklidische Abstand zwischen allen rohen Anpassungspunktpaaren wird errechnet, und in einer Reihenfolge vom kleinen zum großen euklidischen Abstand werden die Anpassungspunktpaare geordnet, dabei werden die Mehrpunkt-Einzelpunkt-Punktpaare gelöscht, jetzt werden die Merkmalspunkte im Linksaugenkantenbild Dzl und Rechtsaugenkantenbild Dyl jeweils durch eine Merkmalspunktmenge Pos1 des korrigierten Linksaugenkantenbildes und eine Merkmalspunktmenge Pos2 des korrigierten Rechtsaugenkantenbildes dargestellt; c) Die ersten K1 Paare von den Anpassungspunkten in der Merkmalspunktmenge Pos1 des korrigierten Linksaugenkantenbildes und Merkmalspunktmenge Pos2 des korrigierten Rechtsaugenkantenbildes werden ausgewählt und als $P o s_K_{1} = {{(x_{1}^{'}, y_{1}^{'}), (x_{1}, y_{1})}, {(x_{2}^{'}, y_{2}^{'}), (x_{2}, y_{2})},..., {(x_{n}^{'}, y_{n}^{'}), (x_{n}, y_{n})}}$
markiert sowie als Menge 1 bezeichnet; Die ersten K2 Paare von den Anpassungspunkten in der Merkmalspunktmenge Pos1 des korrigierten Linksaugenkantenbildes und Merkmalspunktmenge Pos2 des korrigierten Rechtsaugenkantenbildes werden ausgewählt und als Pos_K₂ dargestellt, dabei erfolgt $P o s_K_{2} = {{(x_{1}^{'}, y_{1}^{'}), (x_{1}, y_{1})}, {(x_{2}^{'}, y_{2}^{'}), (x_{2}, y_{2})},..., {(x_{K_{2}}^{'}, y_{K_{2}}^{'}), (x_{K_{2}}, y_{K_{2}})}},$
was als Menge 2 bezeichnet wird, dabei erfolgt K₁ < K₂; d) Für alle Punktpaare in der Menge 2 wird die Steigung zwischen zwei Punkten berechnet, wie in der folgenden Formel dargestellt, ferner folgt ein Aufrunden bzw. Abrunden, um eine Steigungsmenge k auszubilden: k: k = {k₁,k₂,...k_w}, $k_{w} = \frac{y_{w}}{x_{w} - x_{w}^{1}},1 \leq w \leq K_{2};$
e) Die Frequenz des Auftretens jeder Steigung in der Steigungsmenge k wird berechnet, die Steigungen mit einer Frequenz von größer als oder gleich wie 2 werden ausgesucht, um eine neue Menge k _new = {k₁,k₂,...,k_t} auszubilden, dabei steht t für die Gesamtanzahl der erhaltenen Merkmalspunkte; wenn die Frequenz des Auftretens jeder Steigung in der Steigungsmenge k jeweils 1 beträgt, werden die ersten 2K₂/3 Paare von den Steigungen ausgewählt, um eine neue Menge k_new auszubilden; f) Die Steigungen aller Punktpaare in der Merkmalspunktmenge Pos1 des korrigierten Linksaugenkantenbildes und der Merkmalspunktmenge Pos2 des korrigierten Rechtsaugenkantenbildes werden durchlaufen und berechnet, dabei werden alle Punktpaare mit einer Steigung im Bereich von [k_t - 0.5,k_t +0.5] ausgesucht, um eine Punktpaarmenge Pos_K₃= {{(x_z1,y_z1),(x_y1,y_y1)}, {(x_z2,y_z2),(x_y2,y_y2)},...,{(x_zn,y_zn),(x_yn,y_yn)}} auszubilden, dabei erfolgt k_t ∈k_new.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 8, dadurch gekennzeichnet, dass im Schritt (41) der SURF-Algorithmus anhand der Informationen des Pixels in der Umgebung des Merkmalspunkts eine einzige Richtung jedem Interessenpunkt erneut zuweist, dabei ist der detaillierte Schritt wie folgt: a) Mit dem Merkmalspunkt als Zentrum wird die Antwort des Harr-Wavelets in der horizontalen und vertikalen Richtung innerhalb eines kreisförmigen benachbarten Bereichs mit einem Radius von 6σ errechnet, wobei die Abtastschrittlänge σ und die Größe des Wavelets 4σ beträgt; b) Mit dem Merkmalspunkt als Zentrum wird eine Gausssche Gewichtung für die Wavelet-Antwort durchgeführt, so dass ein sich dem Merkmalspunkt annäherndes Gewicht groß und ein dem Merkmalspunkt abgewandtes Gewicht klein ist, um eine neue Antwort in der horizontalen Richtung und der vertikalen Richtung zu erhalten; c) Am Ende durchläuft ein sektorförmiges Fenster mit einem Winkel von 60 Grad den ganzen Kreis, bis die gesamte Antwort des sektorförmigen Fensters am stärksten wird, jetzt ist die Zeigerichtung innerhalb des sektorförmigen Fensters die Hauptrichtung des Interessenpunkts.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 8, dadurch gekennzeichnet, dass der Grundlinienabstand zwischen den binokularen visuellen Kameras b ist und die Brennweite f der Kamera bekannt ist, wobei die Parallaxe d als die Positionsdifferenz zwischen den entsprechenden Punkten eines Punkts in beiden Bildern definiert wird: $d = (x_{z n} - x_{y n})$
und wobei xzn, xyn jeweils die Abszissen des Anpassungspunktpaars im Linksaugenbild und Rechtsaugenbild sind, dadurch wird die Raumkoordinate eines Punkts P im Koordinatensystem der linken Kamera errechnet: ${\begin{matrix} x^{c} = \frac{b \cdot x_{z n}}{d} \\ y^{c} = \frac{b \cdot y_{z n}}{d} \\ z^{c} = \frac{b \cdot ƒ}{d} \end{matrix}$
und wobei (x^c, y^c , z^c) die Positionsinformationen des aktuellen Anpassungspunkts in der Raumkoordinate darstellt, und wobei yzn für die Ordinate des Anpassungspunktpaars im Linksaugenbild und Rechtsaugenbild steht, und wobei anhand der obigen Formel die Koordinaten aller Anpassungspunkte im Koordinatensystem der linken Kamera errechnet werden, und wobei anhand der obigen Formel und der erhaltenen Abszissenposition (x_dz1,x_dz2...x_dzn), (x_dy1,x_dy2...x_dyn) des Stromkabels die Raumkoordinate eines Punkts am Stromkabel mit einem minimalen räumlichen euklidischen Abstand zum Anpassungspunkt errechnet wird; und wobei der räumliche euklidische Abstand der Punkte am Stromkabel mit gleichen Ordinaten im zweidimensionalen Koordinatensystem zum Anpassungspunkt als minimaler Abstand definiert wird und die Ordinate des Anpassungspunkts unmittelbar dem zugeordneten Punkt am Stromkabel verliehen wird, so dass mit der Punktpaarmenge Pos_K₃= {{(x_z1,y_z1),(x_y1,y_y1)},{(x_z2,y_z2),(x_y2,y_y2)},...,{(x_zn,y_zn),(x_yn,y_yn)}} die dem Stromkabel einander zugeordneten Punkte Pos_D = {{(x_dz1,y_z1),(x_dy1,y_y1)},{(x_dz2,y_z2),(x_dy2,y_y2)},...{x_dzn,y_zn),(x_dyn,y_yn)}} ausgebildet werden, und wobei somit die Raumkoordinate (x^d, y^d, z^d) eines Punkts D auf dem Stromkabel im Koordinatensystem der linken Kamera errechnet wird.
Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels nach Anspruch 10, dadurch gekennzeichnet, dass im Schritt (6) nach dem Erhalten der Raumkoordinate des Punkts P und des Punkts D der räumliche euklidische Abstand J des Anpassungspunkts zum Stromkabel errechnet wird, wobei J wie folgt definiert wird: $J = \sqrt{{(x^{c} - x^{d})}^{2} + {(y^{c} - y^{d})}^{2} + {(z^{c} - z^{d})}^{2}} .$