EP4774540A1 - Verfahren und vorrichtung zur einstellung einer aufnahmeeinheit für die durchführung einer inspektion eines objekts - Google Patents

Verfahren und vorrichtung zur einstellung einer aufnahmeeinheit für die durchführung einer inspektion eines objekts

Info

Publication number
EP4774540A1
EP4774540A1 EP24765997.2A EP24765997A EP4774540A1 EP 4774540 A1 EP4774540 A1 EP 4774540A1 EP 24765997 A EP24765997 A EP 24765997A EP 4774540 A1 EP4774540 A1 EP 4774540A1
Authority
EP
European Patent Office
Prior art keywords
inspection
recording unit
brightness
exposure setting
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24765997.2A
Other languages
English (en)
French (fr)
Inventor
Oliver Neubauer
Anand Patel
Rattakorn Yorksila
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Top Seven GmbH and Co KG
Original Assignee
Top Seven GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Top Seven GmbH and Co KG filed Critical Top Seven GmbH and Co KG
Publication of EP4774540A1 publication Critical patent/EP4774540A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • G03B7/17—Selection of modes in flash units by exposure control arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

Ausführungsbeispiele gemäß der vorliegenden Erfindung umfassen ein Verfahren zur Einstellung einer Aufnahmeeinheit (110) für die Durchführung einer Inspektion eines Objekts (120, 121, 122, 123, 223, 320), mit den folgenden Schritten: Bereitstellen einer, mittels der Aufnahmeeinheit erzeugten, optischen Referenzaufnahme (131, 430), die das zu inspizierende Objekt zumindest teilweise und eine Umgebung (140, 240, 340) des Objekts enthält; Erkennen des Objekts innerhalb der optischen Referenzaufnahme; Bestimmen einer Helligkeitsinformation (160) basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts aufweist; Bestimmen einer Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsinformation. Ferner werden entsprechende Vorrichtungen offenbart.

Description

Verfahren und Vorrichtung zur Einstellung einer Aufnahmeeinheit für die Durchführung einer Inspektion eines Objekts
Beschreibung
Technisches Gebiet
Ausführungsbeispiele umfassen Verfahren und Vorrichtungen zur Einstellung einer Aufnahmeeinheit für die Durchführung einer Inspektion eines Objekts.
Ferner umfassen Ausführungsbeispiele Verfahren und Vorrichtungen zur Objektinspektion unter Verwendung von objektbasierten Helligkeitshistogrammen.
Hintergrund der Erfindung
Die Inspektion und Wartung von Anlagen ist ein wichtiger Baustein für einen sicheren und effizienten Betrieb. Dabei umfassen Inspektionen, insbesondere für sehr große und/oder schwer zugängliche Objekte oder Anlagenteile, einige Herausforderungen.
Große Anlagen stehen meistens im Freien, sodass insbesondere optische Inspektionen von den mitunter täglich wechselnden Lichtverhältnissen, bspw. aufgrund von Änderungen der Wetterverhältnisse, beeinflusst werden. Dabei ist es unter Umständen aus Gründen der Sicherheit oder auch aus Gründen der Wirtschaftlichkeit nicht möglich eine entsprechende Inspektion beliebig zu verschieben, oder bspw. zur Inspektion notwendige Stillstandzeiten einer solchen Anlage mehrfach in Kauf zu nehmen, z.B., wenn gerade ungünstige Lichtverhältnisse herrschen. Ferner müssen derartige Anlagen, bspw. Flügel von Windrädern, oftmals von mehreren Seiten begutachtet werden, sodass z.B. ungünstige Gegenlichtsituationen nicht zu vermeiden sind.
Daher besteht ein Bedarf nach einem Konzept für eine Inspektion eines Objekts, welches es ermöglicht die Inspektion möglichst unabhängig von den vorherrschenden Lichtverhältnissen durchzuführen und dabei einen verbesserten Kompromiss zwischen einer Robustheit und Genauigkeit und einer Komplexität und einem Aufwand der Inspektion zu erzielen.
Ein solches Konzept wird von den Gegenständen der unabhängigen Patentansprüche bereitgestellt. Erfindungsgemäße Weiterbildungen sind in den Unteransprüchen definiert.
Zusammenfassung der Erfindung Ausführungsbeispiele gemäß der vorliegenden Erfindung umfassen ein Verfahren zur Einstellung einer Aufnahmeeinheit für die Durchführung einer Inspektion eines Objekts, mit den folgenden Schritten: Bereitstellen einer, mittels der Aufnahmeeinheit erzeugten, optischen Referenzaufnahme, die das zu inspizierende Objekt zumindest teilweise und eine Umgebung des Objekts enthält; Erkennen des Objekts innerhalb der optischen Referenzaufnahme; Bestimmen einer Helligkeitsinformation basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts aufweist und Bestimmen einer Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsinformation.
Die Erfinder haben erkannt, dass für die Zwecke einer Objektinspektion eine Einstellung einer Inspektionsbelichtungseinstellung mittels einer Helligkeitsinformation, welche auf einem Bereich der Referenzaufnahme basiert, welcher das Objekt oder zumindest einen Teil davon aufweist, aussagekräftigere Inspektionsergebnisse ermöglicht, und ferner ein entsprechendes Inspektionsverfahren, welche unter Verwendung der Inspektionsbelichtungseinstellung durchgeführt wird, robuster hinsichtlich Umgebungseinflüssen auf die Lichtverhältnisse ist.
Durch die Einstellung von Belichtungsparametern, wie bspw. einer Blendenöffnung oder einer Belichtungszeit, basierend auf Bildpunkten des Objekts im Referenzbild kann die Belichtung so eingestellt werden, dass die für die Inspektion relevanten Bildteile einer Inspektionsaufnahme, welche mittels der Inspektionsbelichtungseinstellung erzeugt wird, eine hinsichtlich der zu überprüfenden Objektmerkmale ausreichend gute Helligkeit aufweisen. Dies wird durch die Erkennung des Objekts innerhalb der optischen Referenzaufnahme ermöglicht.
Insbesondere kann somit eine Über- oder Unterbelichtung des zu inspizierenden Objekts aufgrund von besonders hellen oder besonders dunklen Anteilen des Bildes, welche z.B. einen Hintergrund des Objekts aufweisen, vermieden werden. Somit können auch bei schwierigen Gegenlichtsituationen gute Inspektionsergebnisse erzielt werden.
Gemäß einem Ausführungsbeispiel weist das Objekt eine optisch erfassbare Objektcharakteristik, wie z.B. eine Farbe, ein Muster und/oder ein Farbmuster, auf und das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit wird unter Verwendung der Helligkeitsinformation und der Objektcharakteristik durchgeführt.
Die Objektcharakteristik kann bspw. eine objektspezifische, a priori bekannte (bspw. aufgrund Vorwissen über eine zu inspizierende Anlage) Eigenschaft sein, welche eine Eingangsgröße (z.B. für eine manuelle Eingabe) eines entsprechenden erfindungsgemäßen Verfahrens bilden kann. Beispielsweise kann eine solche Objektcharakteristik auch in einem erfindungsgemäßen Programm, also bspw. Computerprogramm hinterlegt sein. So kann bspw. berücksichtigt werden, dass ein Flügel einer Windkraftanlage rot (z.B.: = dominanter Farbkanal des Objekts in der Referenzaufnahme), oder zumindest überwiegend rot ist, sodass die Auswertung der Helligkeit auf den roten Farbanteil im Bild fokussiert, also bspw. schwerpunktmäßig durchgeführt, wird. Beispielsweise kann ein zum Referenzbild zugehöriges Histogramm für einen entsprechenden Farbkanal, z.B. rot, bezüglich Belichtungseinstellungen dahingehend optimiert werden, dass eine Aufnahme derselben Szene, bei gleichen oder ähnlichen Bedingungen eine für Inspektionszwecke ausreichende Helligkeit des entsprechenden Farbkanals aufweist.
Somit kann eine Verbesserung oder Optimierung von Belichtungseinstellungen an individuelle Objekteigenschaften angepasst werden, um so aussagekräftige und robuste Inspektionen zu ermöglichen.
Gemäß einem Ausführungsbeispiel weist das Verfahren ferner ein Erkennen der optisch erfassbaren Objektcharakteristik anhand der optischen Referenzaufnahme auf.
Das Verfahren kann somit auch bezüglich der Erkennung der Objektcharakteristik automatisiert sein, wobei bspw. ein Algorithmus, z.B. eine Kl, ein Objekt, wie bspw. einen Flügel eines Windrads erkennen kann und basierend auf der Position im Bild die Objektcharakteristik mittels derer oder unter Zuhilfenahme derer die Inspektionsbelichtungseinstellung bestimmt werden kann, ermitteln kann.
Gemäß einem Ausführungsbeispiel weist die Helligkeitsinformation eine Information über eine Helligkeitsverteilung, z.B. ein Histogramm, des zumindest einen Bereichs der Referenzaufnahme auf und das Verfahren weist ferner ein Bestimmen von zumindest einem Helligkeitsschwellwert basierend auf der Objektcharakteristik und ein Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsinformation und des zumindest einen Helligkeitsschwellwerts auf, sodass eine Inspektionsaufnahme des Objekts, welche mittels der Aufnahmeeinheit mit der Inspektionsbelichtungseinstellung unter einer gleichen oder zumindest ähnlichen Beleuchtungssituation des Objekts wie bei der Referenzaufnahme erzeugt wird, eine Helligkeitsverteilung aufweist, welche dem Helligkeitsschwellwert genügt. Hierbei sei drauf hingewiesen, dass ins besondere auch mehrere Helligkeitsschwellwerte verwendet werden können, bspw. im Sinne von oberen und unteren Grenzen, bspw. jeweils spezifisch für eine jeweilige Objektcharakteristik.
Somit kann individuell für ein jeweiliges Objekt, basierend auf der jeweiligen Objektcharakteristik ein Helligkeitsschwellwert festgelegt werden, anhand dessen, bspw. aus Vorversuchen, oder anhand Informationen über zu erkennende Defekt oder Beschädigungen, mit ausreichender Sicherheit ein aussagekräftiges Inspektionsergebnis anhand einer mittels der Inspektionsbelichtungseinstellung erzeugten Inspektionsaufnahme erzielt werden kann.
Gemäß einem Ausführungsbeispiel ist das Verfahren ein Verfahren zur Einstellung einer Aufnahmeeinheit für die Durchführung einer Inspektion des Objekts bezüglich eines optisch zu erkennenden Objektmerkmals und das Bestimmen des zumindest einen Helligkeitsschwellwerts basierend auf dem zu erkennenden Objektmerkmal wird so durchgeführt, dass das zu erkennende Objektmerkmal anhand der Inspektionsaufnahme des Objekts erkennbar ist.
Somit kann ein entsprechendes Objektmerkmal, bspw. eine charakteristische Stelle des Objekts, bspw. eine Flügelspitze oder Rotorblattnabe einer Windraftanlage, oder bspw. eine Beschädigung, wie bspw. ein Riss oder Loch, sicher erkannt werden. Anhand des zu erkennenden Objektmerkmal kann somit die Inspektionsbelichtungseinstellung optimiert werden, bzw. eine Erkennbarkeit des Objektmerkmals kann ein entsprechendes Optimierungskriterium bilden, z.B. zur Erzeugung oder Auswahl eines entsprechenden Helligkeitsschwellwerts.
Gemäß einem Ausführungsbeispiel ist das Objektmerkmal eine Beschädigung und/oder eine potentielle Beschädigung des Objekts. Die erfindungsgemäße Einstellung der Belichtung hat insbesondere für sicherheitskritische Anwendungen, also bspw. die Erkennung von Defekten, aufgrund einer basierend darauf robusten, und weitestgehend von Umwelteinflüssen unabhängigen, Inspektion Vorteile.
Gemäß einem Ausführungsbeispiel ist die optisch erfassbare Objektcharakteristik eine Farbe, ein Farbmuster und/oder eine Farbverteilung des Objekts, die optische Referenzaufnahme weist mehrere Farbkanäle auf, die Helligkeitsinformation ist eine farbspezifische Information über eine Helligkeitsverteilung und das Bestimmen des zumindest einen Helligkeitsschwellwerts weist ein Bestimmen von einem oder mehreren farbspezifischen Helligkeitsschwellwerten auf. Die Erfinder haben erkannt, dass eine farbkanalspezifische Berücksichtigung von Helligkeitsinformation zur Ermittlung der Inspektionsbelichtungseinstellung zu besseren Inspektionsergebnissen führen kann.
Gemäß einem Ausführungsbeispiel werden zur Bestimmung der Helligkeitsinformation alle Bildpunkte des Objekts in der optischen Referenzaufnahme und/oder eine zusammenhängende Teilmenge von Bildpunkten des Objekts in der optischen Referenzaufnahme und/oder ein vorbestimmtes Muster von Bildpunkten des Objekts in der optischen Referenzaufnahme verwendet.
Die Helligkeitsinformation kann bspw. in Form eines Histogramms ausgewertet werden. Ferner haben die Erfinder erkannt, dass je nach Objekt und/oder zu erfassendem Merkmal im Zuge der Inspektion eine Bestimmung der Inspektionsbelichtungseinstellung oder auch als Zwischenschritt eines Helligkeitsschwellwerts bspw. basierend auf allen Objektpunkten oder nur einer ausgewählten Teilmenge erfolgen kann. Durch eine anwendungsspezifische geschickte Wahl von auszuwertenden Punkten kann Rechenleistung eingespart werden, z.B. insbesondere für den Fall, dass eine entsprechende Auswertung on-board in einer Drohne durchgeführt wird, welche bspw. Referenz- und Inspektionsbilder in einem Abflug aufnehmen kann. Ferner kann sich in einigen Anwendungsfällen eine Aussagekraft der Helligkeitsinformation bezüglich einer Optimierung für eine Inspektion verbessern lassen, wenn eben nicht alle Punkte des Objekts berücksichtigt werden, bspw. nicht solche Punkte, welche für die Inspektion uninteressante Bereiche abbilden.
Gemäß einem Ausführungsbeispiel basiert die optische Referenzaufnahme auf einer Referenzbelichtungseinstellung der Aufnahmeeinheit und das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit wird unter Verwendung der Helligkeitsinformation und zumindest eines Helligkeitsschwellwerts durchgeführt. Ferner umfasst das Verfahren als optionale Merkmale ein Vergleichen der Helligkeitsinformation mit dem zumindest einen Helligkeitsschwellwert, wobei, sofern die Helligkeitsinformation den zumindest einen Helligkeitsschwellwert erfüllt, die Referenzbelichtungseinstellung als Inspektionsbelichtungseinstellung bestimmt wird, und wobei, sofern die Helligkeitsinformation den zumindest einen Helligkeitsschwellwert nicht erfüllt, die Schritte
Bestimmen einer angepassten Referenzbelichtungseinstellung unter Verwendung des Vergleichs; Erzeugen einer angepassten Referenzaufnahme, um eine Erzeugung der Referenzaufnahme anhand der angepassten Referenzbelichtungseinstellung zu simulieren;
Bestimmen einer angepassten Helligkeitsinformation basierend auf zumindest einem Bereich der angepassten Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts aufweist; und
Vergleichen der angepassten Helligkeitsinformation mit dem zumindest einen Helligkeitsschwellwert; iterativ durchgeführt werden, bis die angepasste Helligkeitsinformation den zumindest einen Helligkeitsschwellwert erfüllt, wobei dann die angepasste Referenzbelichtungseinstellung, anhand welcher der Helligkeitsschwellwert erfüllt wird, als Inspektionsbelichtungseinstellung bestimmt wird.
Somit kann iterativ, bspw. basierend auf einer simulierten Abbildung der Szene des angepassten Referenzbildes (also der Referenzaufnahme), die Belichtungseinstellung angepasst werden. Ferner kann die angepasste Referenzaufnahme jedoch auch auf einer erneuten Abbildung des Objekts, und insbesondere der Szene der ursprünglichen Referenzaufnahme, mittels der Aufnahmeeinheit, also bspw. in anderen Worten einer Aufnahmeeinrichtung, basieren.
Gemäß einem Ausführungsbeispiel ist das Objekt ein erstes Objekt, die optische Referenzaufnahme weist ein zweites Objekt auf und das Verfahren umfasst ferner ein Erkennen des zweiten Objekts innerhalb der optischen Referenzaufnahme, ein Bestimmen einer zweiten Helligkeitsinformation basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des zweiten Objekts aufweist, ein Bestimmen einer zweiten Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der zweiten Helligkeitsinformation, ein Erzeugen einer ersten optischen Inspektionsaufnahme des ersten Objekts mittels der Aufnahmeeinheit mit der Inspektionsbelichtungseinstellung und ein Erzeugen einer zweiten optischen Inspektionsaufnahme des zweiten Objekts mittels der Aufnahmeeinheit mit der zweiten Inspektionsbelichtungseinstellung.
Somit können auch mehrere Objekte jeweils mit verbesserten bzw. optimierten Belichtungseinstellungen abgetastet werden, um eine aussagekräftige Inspektion zu erzielen. Eine solche Anpassung kann somit bspw. ausgehend von einem einzelnen Bild der beiden Objekte durchgeführt werden. Die beiden Objekte können somit jeweils in separaten Aufnahmen mit individuellen Belichtungseinstellungen abgetastet werden. Somit muss selbst bei einer Vielzahl von zu inspizierenden Objekten, nicht für jedes Objekt ein eigenes Referenzbild geschaffene werden. An dieser Stelle sei jedoch noch explizit darauf hingewiesen, dass die vorangegangenen Erläuterungen in Hinblick auf zwei Objekte als Beispiele aufzufassen sind. Gemäß Ausführungsbeispielen können auch beliebig viele Objekte erkannt werden und es können bspw. jeweils entsprechend angepasste Belichtungseinstellungen bestimmt werden.
Gemäß einem Ausführungsbeispiel weist das Verfahren ferner ein Fusionieren der ersten und zweiten optischen Inspektionsaufnahme auf.
Beispielsweise kann somit das erste Objekt aus der ersten optischen Inspektionsaufnahme und/oder das zweite Objekt aus der zweite optischen Inspektionsaufnahme ausgeschnitten werden und in eine gemeinsame Aufnahme (z.B. in das Referenzbild, z.B. in die erste Inspektionsaufnahme, z.B. in die zweite Inspektionsaufnahme) eingefügt werden, sodass die beiden Objekte jeweils hinsichtlich einer Inspektion innerhalb des Fusionsbildes mit ausreichender Helligkeit abgebildet sind. Hierbei sind verschiedenste Möglichkeiten der Fusionierung möglich, Ausführungsbeispiele sind nicht auf ein obig erläutertes Ausschneiden eingeschränkt. So können bspw. die beiden Inspektionsaufnahmen auch gewichtet überlagert werden. Anhand des Fusionsbildes ist somit eine verbesserte Inspektion für beide Objekte möglich.
Gemäß einem Ausführungsbeispiel ist das Objekt ein erstes Objekt, die optische Referenzaufnahme weist ein zweites Objekt auf und das Verfahren umfasst ferner ein Erkennen des zweiten Objekts innerhalb der optischen Referenzaufnahme; ein Bestimmen einer gemeinsamen Helligkeitsinformation basierend auf dem zumindest einen Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des ersten Objekts aufweist und basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des zweiten Objekts aufweist, ein Bestimmen einer gemeinsamen Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der gemeinsamen Helligkeitsinformation; oder ein Bestimmen einer zweiten Helligkeitsinformation basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des zweiten Objekts aufweist und Bestimmen einer gemeinsamen Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der ersten und zweiten Helligkeitsinformation sowie ein Erzeugen einer optischen Inspektionsaufnahme des ersten und zweiten Objekts mittels der Aufnahmeeinheit mit der gemeinsamen Inspektionsbelichtungseinstellung.
Gemäß Ausführungsbeispielen kann somit eine Helligkeitsinformation genutzt werden, welche eine Helligkeit sowohl des ersten (oder Teilen des ersten) als auch des zweiten (oder Teilen des zweiten) Objekts abbildet, um basierend darauf eine Belichtungseinstellung zu ermitteln welche für beide Objekte, z.B. im Sinne einer aussagekräftigen Inspektion, genutzt werden kann. Dabei kann bspw. wie obig erläutert eine gemeinsame Helligkeitsinformation, also bspw. ein gemeinsames Histogramm ausgewertet werden, oder zwei individuelle Helligkeitsinformationen, also bspw. Histogramme, welche jeweils Helligkeiten des einen oder anderen Objekts abbilden.
Die gemeinsame Inspektionsbelichtungseinstellung kann somit einen, für eine Inspektion ausreichend guten, Kompromiss darstellen, um mit wenigen Bildaufnahmen eine Vielzahl von Objekten zu inspizieren.
Gemäß einem Ausführungsbeispiel ist die Aufnahmeeinheit eine bewegliche (also z.B. mobile) Aufnahmeeinheit und das Verfahren umfasst ferner ein Bewegen der Aufnahmeeinheit zu dem Objekt (bspw. ein Anfliegen des Objekts, z.B. mit einer Aufnahmeeinheit in Form einer Drohne, z.B. ein Annähern der Aufnahmeeinheit an das Objekt, z.B. ein Bewegen der Aufnahmeeinheit an das Objekt heran; bspw. ein Bewegen der Aufnahmeeinheit an eine vorbestimmte Position bzgl. des Objekts (bspw. relativ zu dem Objekt)); ein Erzeugen der optischen Referenzaufnahme und ein Erzeugen einer Inspektionsaufnahme des Objekts mittels der Aufnahmeeinheit mit der Inspektionsbelichtungseinstellung.
Die Referenzaufnahme und die Inspektionsaufnahme können dabei bspw. bei getrennten Anflügen erzeugt werden oder innerhalb eines einzelnen Fluges. Somit kann die Auswertung und Bestimmung der verbesserten Belichtungsparametrierung bspw. bei einer Zwischenlandung mittels eines externen Rechners durchgeführt werden, oder während des Fluges on-board oder mittels einer Datenübertragung zu einem entsprechenden externen Rechner.
Ferner sei darauf hingewiesen, dass gemäß Ausführungsbeispielen die bewegliche Aufnahmeeinheit bspw. in Form eines tragbaren, z.B. statischen oder z.B. mobilen, Systems oder auch bspw. eines anderen beweglichen Trägersystems oder Trägers ausgebildet sein kann oder Teil eines solchen Systems sein kann oder mittels eines solchen Systems bewegt werden kann. Gemäß einem Ausführungsbeispiel umfasst das Verfahren ferner ein Erzeugen einer initialen Aufnahme des Objekts; ein Erkennen des Objekts in der initialen Aufnahme und Auswerten der initialen Aufnahme; ein Bestimmen einer Auslösestelle für die Aufnahmeeinheit zur Erzeugung der Referenzaufnahme anhand der Auswertung der initialen Aufnahme, sodass das Objekt in einem vorbestimmten Bildbereich der Referenzaufnahme ist; und ein Positionieren der Aufnahmeeinheit an der Auslösestelle (bspw. ein Anfliegen der Auslösestelle) und Erzeugen der optischen Referenzaufnahme des Objekts an der Auslösestelle mittels der Aufnahmeeinheit.
Somit kann bspw. gewährleistet werden, dass relevante Objektteile in einem zentralen Bildausschnitt liegen, sodass beispielsweise Verzerrungseffekt in einem Randbereich vermieden werden können. Ferner kann der Bildbereich so bestimmt werden, dass ein Merkmal, wie bspw. eine Beschädigung bezüglich dessen inspiziert werden soll nicht nur anhand einer korrekten Helligkeitseinstellung, sondern auch anhand einer sich ergebenden Auflösung zu erkennen ist.
Gemäß einem Ausführungsbeispiel wird das Erkennen des Objekts innerhalb der optischen Referenzaufnahme und/oder das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit, automatisiert, z.B. basierend auf künstlicher Intelligenz, durchgeführt. Somit kann eine zuverlässige und schnelle Erkennung erzielt werden.
Gemäß einem Ausführungsbeispiel wird das Erkennen des Objekts innerhalb der optischen Referenzaufnahme mittels eines ersten neuronalen Netzes durchgeführt und das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit wird unter Verwendung der Helligkeitsinformation mittels eines zweiten neuronalen Netzes durchgeführt.
Die Erfinder haben erkannt, dass ein zweigeteilter Einsatz von künstlicher Intelligenz eine Verbesserung der erzielbaren Belichtungseinstellungen ermöglicht, sodass das erste Netz für die Objekterkennung eingestellt (oder trainiert) werden kann und das zweite Netz für die Optimierung der Belichtung.
Es sei deutlich darauf hingewiesen, dass nicht zwingend, also bspw. immer, zwei neuronale Netze (NN) verwendet werden müssen, es kann auch nur ein (oder z.B. kein) neuronales Netz sein oder es können mehrere neuronale Netze sein. Bspw. kann lediglich entscheidend sein, dass die notwendigen Schritte entschieden werden können. Hierbei sei darauf hingewiesen, dass gemäß Ausführungsbeispielen auch eine Kombination von Computer Vision (CV) (computerbasiertes Sehen; Computer-Sehen) und neuronalem Netz (NN) verwendet werden kann. Beispielsweise kann mittels CV gemäß Ausführungsbeispielen die Objekterkennung durchgeführt werden und/oder mittels CV können (z.B. ebenfalls) Helligkeitsinformationen ermittelt werden.
Somit umfassen Ausführungsbeispiele beliebige Kombination (also z.B. Objekterkennung + Bestimmen der Inspektionsbelichtungseinstellung) von Ansätzen der Computer Vision und Machine Learning (maschinelles Lernen, z.B. maschinelles Sehen), also bspw. neuronalen Netzen, also z.B.: CV+NN, CV+CV, NN+ CV, NN+NN oder auch nur CV und nur NN.
Gemäß einem Ausführungsbeispiel ist das Objekt ein Windrad oder ein Teil eines Windrads, wie bspw. ein Rotorblatt, eine Rotorblattnabe, ein Rotorblattflansch, ein Turm und/oder eine Gondel.
Die Erfinder haben erkannt, dass die Problematik von Über- oder Unterbelichtung insbesondere bei Windkraftanlagen auftritt, wobei die großen und oft im Verhältnis zur Größe schmal gebauten Anlagen (hohe Turmhöhen bei verhältnismäßig kleinen Turmdurchmessern, bspw. im Vergleich zu einem Kühlturm eines Kraftwerks), da hierbei auf einer entsprechenden Inspektionsaufnahme große Anteile Hintergrund in Form von Himmel, Horizont und/oder umgebende Landschaft zu sehen sein können, und damit auch insbesondere Gegenlichtsituation auftreten können. Auch heben sich derartige Anlagen oftmals nicht stark vom Hintergrund ab, z.B. weiße Anlage vor hellem Himmel, sodass mittels erfindungsgemäßer Ansätze Inspektionen deutlich verbessert werden können.
Gemäß einem Ausführungsbeispiel ist das Verfahren ein Verfahren zur Inspektion einer Komponente eines Windrads, bezüglich einer optisch zu erkennenden Beschädigung und/oder einer potentiellen Beschädigung und die Aufnahmeeinheit ist eine Drohne. Ferner umfasst das Verfahren als optionale Merkmale ein Anfliegen der Komponente des Windrads mittels der Aufnahmeeinheit; ein Erzeugen einer optischen Referenzaufnahme der Komponente des Windrads mittels der Aufnahmeeinheit; ein automatisiertes Erkennen der Komponente des Windrads innerhalb der optischen Referenzaufnahme; ein Bestimmen einer Helligkeitsverteilung basierend auf einer Teilmenge von Abtastpunkten der Referenzaufnahme, welche die erkannte Komponente des Windrads aufweist; und ein Bestimmen einer Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsverteilung, sodass eine Beschädigung und/oder eine potentiellen Beschädigung der Komponente des Windrads in einer Inspektionsaufnahme der Komponente des Windrads, welche mittels der Aufnahmeeinheit mit der Inspektionsbelichtungseinstellung unter einer gleichen oder zumindest ähnlichen Beleuchtungssituation der Komponente des Windrads wie bei der Referenzaufnahme erzeugt wird, optisch zu erkennen ist.
Ausführungsbeispiele gemäß der vorliegenden Erfindung umfassen ferner eine Vorrichtung zur Einstellung einer Aufnahmeeinheit für die Durchführung einer Inspektion eines Objekts, wobei die Vorrichtung eine Auswerteeinheit aufweist, die dazu ausgebildet ist, um eine, mittels einer Aufnahmeeinheit erzeugte, optische Referenzaufnahme, die das zu inspizierende des Objekts zumindest teilweise und eine Umgebung des Objekts enthält, zu erhalten; um das Objekts innerhalb der optischen Referenzaufnahme zu erkennen; um eine Helligkeitsinformation zu bestimmen, basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts aufweist; und um eine Inspektionsbelichtungseinstellung für die Aufnahmeeinheit, unter Verwendung der Helligkeitsinformation, zu bestimmen.
Gemäß einem Ausführungsbeispiel weist die Vorrichtung die Aufnahmeeinheit auf, die dazu ausgebildet ist, um die optische Referenzaufnahme zu erzeugen.
Gemäß einem Ausführungsbeispiel ist die Aufnahmeeinheit eine Drohne zum Abfliegen des Objekts und die Aufnahmeeinheit ist dazu ausgebildet, um die Referenzaufnahme und eine Inspektionsaufnahme des Objekts unter Verwendung der Inspektionsbelichtungseinstellung ohne Zwischenlandung durchzuführen. Somit kann ein notwendiger Zeitaufwand geringgehalten werden.
Gemäß einem Ausführungsbeispiel weist die Aufnahmeeinheit die Auswerteeinheit auf oder die Vorrichtung weist eine Kommunikationseinheit auf, die dazu ausgebildet ist, um der Auswerteeinheit eine Information über die optische Referenzaufnahme von der Aufnahmeeinheit bereitzustellen und um der Aufnahmeeinheit eine Information über die Inspektionsbelichtungseinstellung von der Auswerteeinheit bereitzustellen.
Die vorig beschriebenen Vorrichtungen können auf den gleichen Überlegungen wie die oben beschriebenen Verfahren basieren. Eine Vorrichtung gemäß einem Ausführungsbeispiel kann alle Merkmale, Funktionalitäten und Details aufweisen oder um diese ergänzt werden, die auch in Bezug auf ein erfindungsgemäßes Verfahren beschrieben werden, sowohl einzeln als auch in Kombination. Dasselbe gilt entsprechend für erfindungsgemäße Verfahren hinsichtlich Merkmalen, Funktionalitäten und Details, welche bezüglich einer erfindungsgemäßen Vorrichtung offenbart werden. Fiqurenkurzbeschreibunq
Ausführungsbeispiele gemäß der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Hinsichtlich der dargestellten schematischen Figuren wird darauf hingewiesen, dass die dargestellten Funktionsblöcke sowohl als Elemente oder Merkmale der offenbarungsgemäßen Vorrichtung als auch als entsprechende Verfahrensschritte des offenbarungsgemäßen Verfahrens zu verstehen sind, und auch entsprechende Verfahrensschritte des offenbarungsgemäßen Verfahrens davon abgeleitet werden können. Es zeigen:
Fig. 1 eine schematische Ansicht einer Objekterfassung und schematische Darstellungen von optischen Aufnahmen gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 2 eine Aufnahme eines Rotorblattes vor einem Hintergrund in Form des Himmels als Beispiel einer Referenzaufnahme gemäß Ausführungsbeispielen der Erfindung;
Fig. 3 schematische Ansichten eines Objekts und eines Hintergrunds des Objekts, Fig. 3a), eines Ausschnitts der Ansicht aus a) in Fig. 3b), sowie schematische Auftragungen von Helligkeiten von Farbkanälen für die Ansicht aus a) in Fig. 3c) und für die Ansicht aus b) in Fig. 3d), gemäß Ausführungsbeispielen der Erfindung; und
Fig. 4 eine schematische Ansicht einer Erfassung von mehreren Objekten und schematische Darstellungen von optischen Aufnahmen gemäß Ausführungsbeispielen der Erfindung.
Detaillierte Beschreibung der Ausführungsbeispiele gemäß den Figuren
Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen oder ähnlichen Bezugszeichen versehen sind, so dass die in unterschiedlichen Ausführungsbeispielen dargestellte Beschreibung dieser Elemente untereinander austauschbar ist bzw. aufeinander angewendet werden kann.
Fig. 1 zeigt eine schematische Ansicht einer Objekterfassung und schematische Darstellungen von optischen Aufnahmen gemäß einem Ausführungsbeispiel der Erfindung. Fig.1 zeigt eine Aufnahmeeinheit 110, als Beispiel in Form einer Drohne, und ein Objekt 120, als Beispiel in Form eines Windrads mit einem Turm 121 , einer Rotorblattnabe 122 und Rotorblättern 123. Die Aufnahmeeinheit 110 ist dazu ausgebildet, um eine Aufnahme 130 des Objekts 120 zu erzeugen. Im Beispiel von Fig. 1 erzeugt die Aufnahmeeinheit 110 eine Aufnahme eines Rotorblattes 123.
Ein erfindungsgemäßes Verfahren umfasst nun ein Bereitstellen einer, mittels der Aufnahmeeinheit 110 erzeugten, optischen Referenzaufnahme 131 , die das zu inspizierende Objekt 110 zumindest teilweise (Darstellung 123‘ des Flügels 123) und eine Umgebung 140 (bzw. eine Darstellung der Umgebung) des Objekts enthält.
Als Beispiel einer Aufnahmesituation ist in Fig. 1 eine Konstellation gezeigt in der die Aufnahmeeinheit 110 mit Gegenlicht 150 konfrontiert ist. Daher kann in der Referenzaufnahme 131 aufgrund einer ungünstigen Belichtungssituation das Objekt, bzw. die Darstellung 123‘ des Objektteils, sich nicht deutlich von der Umgebung 140, z.B. einem hellen Horizont, abheben, sodass eine folgende Inspektion nur schwer oder nicht durchgeführt werden kann.
Das erfindungsgemäße Verfahren umfasst nun ein Erkennen des Objekts (im Folgenden vereinfacht mit der Darstellung 123‘ des Objekts adressiert) innerhalb der optischen Referenzaufnahme 131 und ein Bestimmen einer Helligkeitsinformation 160, hier als Beispiel ein Histogramm (siehe hierzu auch bspw. folgend Fig. 3), basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts, also hier das Rotorblatt 123, aufweist.
Dies kann bspw. mit einer in der Aufnahmeeinheit enthaltenen Auswerteeinheit durchgeführt werden, oder mittels Kommunikation an eine externe Auswerteeinheit.
Basierend auf der Helligkeitsinformation 160 kann anschließend eine Inspektionsbelichtungseinstellung für die Aufnahmeeinheit 110 bestimmt werden. Mittels der Inspektionsbelichtungseinstellung kann dann bspw. eine Inspektionsaufnahme 132 erzeugt werden, bei der die Belichtung so eingestellt ist, dass sich das Objekt, bzw. der Objektteil (also die Darstellung 123“ des Objektteils 123) ausreichend deutlich von der Umgebung 140 abhebt, um eine aussagekräftige Inspektion durchführen zu können (z.B. um auch Beschädigungen an den Flügelkanten zu erkennen).
Optional umfasst das Verfahren also in anderen Worten ein Bewegen der Aufnahmeeinheit 110 zu dem Objekt 120 (also bspw. ein Anfliegen des Objekts mittels der Aufnahmeeinheit 110, bspw. ein Positionieren der Aufnahmeeinheit in der Nähe des Objekts, bspw. an einer vorbestimmten Position), ein Erzeugen der optischen Referenzaufnahme 131, sowie ein Erzeugen einer Inspektionsaufnahme 132 des Objekts mittels der Aufnahmeeinheit mit der Inspektionsbelichtungseinstellung. Referenzbild 131 und Inspektionsbild können bspw. bei einem einzelnen Abflug des Objekts, also ohne Zwischenlandung, erzeugt werden.
Entsprechend umfassen Ausführungsbeispiele auch ferner eine Vorrichtung zur Einstellung der Aufnahmeeinheit 110 für die Durchführung einer Inspektion des Objekts 120, mit einer Auswerteeinheit, die dazu ausgebildet ist, um die, mittels der Aufnahmeeinheit 110 erzeugte, optische Referenzaufnahme 131, die das zu inspizierende Objekt 120 bzw. 123 zumindest teilweise und eine Umgebung 140 des Objekts enthält, zu erhalten. Die Auswerteeinheit (bspw. als Teil der Aufnahmeeinheit oder in Form eines externen Rechners, z.B. unter Verwendung einer Kommunikationseinheit) ist ferner dazu ausgebildet, um das Objekts 120 bzw. Teil 123 innerhalb der optischen Referenzaufnahme 131 zu erkennen; um die Helligkeitsinformation 160 zu bestimmen, basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts aufweist und um eine Inspektionsbelichtungseinstellung für die Aufnahmeeinheit 110, unter Verwendung der Helligkeitsinformation 160, zu bestimmen.
Die Aufnahmen der Aufnahmeeinheit können dabei bspw. Einzelbilder, oder Bilder eines Videostroms umfassen. Optional kann das Erkennen des Objekts 123‘ ferner innerhalb der optischen Referenzaufnahme 131 und/oder das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit 110, automatisiert, z.B. basierend auf künstlicher Intelligenz, durchgeführt werden.
Optional weist das Objekt 123 eine charakteristische Eigenschaft, also eine Objektcharakteristik auf, auf deren Basis die Inspektionsbelichtungseinstellung bestimmt werden kann. Fig. 2 zeigt eine Aufnahme eines Rotorblattes 223 (bspw. als Beispiel für Rotorblatt 123) vor einem Hintergrund 240 in Form des Himmels, als Beispiel einer Referenzaufnahme gemäß Ausführungsbeispielen. Das Rotorblatt 223 hat als charakteristische Eigenschaft eine rot gefärbte Oberfläche. Bei der Objektcharakteristik kann es sich bspw. auch um eine Farbkombination oder auch bspw. ein Farbmuster handeln.
Eine solche Objektcharakteristik kann dabei bspw. mittels der Objekterkennung automatisiert bestimmt werden oder als bekannte Vorinformation dem Verfahren als Eingabe oder als Parameter bereitgestellt werden (z.B. als Hinterlegung in einem entsprechenden Programm). Bspw. kann eine Helligkeitsinformation bezüglich eines Farbkanals „rot“, welcher die Information über die Objektcharakteristik abbildet, ausgewertet werden, um die Inspektionsbelichtungseinstellung zu bestimmen.
Somit kann also bspw. eine Abgrenzung des Objekts 223 vom Hintergrund 240 mittels der Objektcharakteristik und/oder mittels der Objekterkennung, bspw. einer Erkennung eines Umrisses 270, also einer Umrandung des Objekts, erfolgen. Entsprechend kann die Bestimmung der Inspektionsbelichtungseinstellung basierend auf den derartig selektierten Helligkeitsinformationen der Referenzaufnahme, also bspw. eines Histogramms, durchgeführt werden.
In anderen Worten kann die Objekteigenschaft also bspw. eine Eigenschaft sein, anhand derer oder bezüglich derer eine zugehörige Helligkeitsinformation ausgewertet werden kann, oder hinsichtlich derer Belichtungsparameter (also Belichtungseinstellungen) einer zugehörigen Aufnahmeeinheit optimiert werden können.
Ferner ist in Fig. 2 ein Beispiel eines Ergebnisses einer erfindungsgemäßen Objekterkennung eingezeichnet, wobei die Umrisse des Rotorblattes hervorgehoben sind, siehe Umrandung 270. Ferner können auf Basis der Objekterkennung auch weitere Informationen ermittelt werden, wie bspw. eine Neigungsinformation 280 des Objekts (bspw. eine Neigung Angle = 38), also im Beispiel von Fig. 2 z.B. des Rotorblattes 223, und/oder wie bspw. eine Farbinformation 290 (angezeigt ganz oben im Bild), z.B. in Form einer Information über dominante Farbwerte, wie hier gezeigt z.B. eine Anzeige des dominanten Rotwerts (Zahl 192) und/oder z.B. in Form einer Information über einen Farbmittelwert (Zahl 124).
Wie obig diskutiert kann also bspw. ein erster Auswertealgorithmus, bspw. eine Kl, nicht nur die Umrisse 270 des Flügels 223 erkennen, sondern auch die Objektcharakteristik „rot“ und/oder die Neigung 280.
Derartige Zusatzinformationen wie die Objektcharakteristik, die Umrisse 270 und/oder die Neigung können bspw. zur Ausrichtung der Aufnahmeeinheit bezüglich des Objekts, z.B. sodass das Objekt oder der Teil des Objekts in einem vorbestimmten Bildbereich liegt, verwendet werden.
In anderen Worten umfasst ein erfindungsgemäßes Verfahren optional ein Erzeugen einer initialen Aufnahme des Objekts 223, ein Erkennen des Objekts in der initialen Aufnahme und Auswerten der initialen Aufnahme; ein Bestimmen einer Auslösestelle für die Aufnahmeeinheit zur Erzeugung der Referenzaufnahme anhand der Auswertung der initialen Aufnahme, sodass das Objekt in einem vorbestimmten Bildbereich der Referenzaufnahme ist (z.B. mittig) und ein Positionieren der Aufnahmeeinheit an (bspw. ein Anfliegen) der Auslösestelle und Erzeugen der optischen Referenzaufnahme des Objekts an der Auslösestelle mittels der Aufnahmeeinheit.
Fig. 3 zeigt schematische Ansichten eines Objekts und eines Hintergrunds des Objekts, Fig. 3a), eines Ausschnitts der Ansicht aus a) in Fig. 3b), sowie schematische Auftragungen von Helligkeiten von Farbkanälen für die Ansicht aus a) in Fig. 3c) und für die Ansicht aus b) in Fig. 3d), gemäß Ausführungsbeispielen.
Fig. 3a) zeigt ein Objekt 320 vor einem Hintergrund 340. Fig. 3a) kann somit bspw. eine Referenzaufnahme darstellen. Fig. 3b) zeigt eine zugehörige Helligkeitsauswertung der Ansicht aus a). Aufgetragen ist eine Helligkeit (Brightness) von RGB-Farbkanälen (rot 301 , grün 302 und blau 303) der Ansicht bzw. Aufnahme über jeweiligen Anteilen der Farbkanäle (RGB-Anteil von 0 bis 255: Von 0 für 0 % Farbsättigung und 255 für 100 % Farbsättigung) aufgetragen. Wie zu erkennen weist die Aufnahme also eine hohe Helligkeit in einem weißen Farbbereich auf, siehe Peaks 304, und eine dazu deutlich geringere Helligkeit in einem grauen Farbbereich, siehe Peaks 305.
Fig. 3d) zeigt eine entsprechende Auftragung (RGB-Farbkanäle rot 30T, grün 302‘ und blau 303‘) für die Aufnahme aus b), also für den Teil 320‘ des Objekts 320 und den Hintergrundausschnitt 340‘, sodass hier die Verhältnisse der Helligkeitspeaks 304‘ und 305‘ im Vergleich zur c) verändert sind.
Anhand der Auftragungen in Fig. 3c) und d) wird deutlich, dass aufgrund der, unter Umständen stark variierenden, Bildanteile von Objekt 340 bzw. Objektteil 340‘ und Hintergrund 320, 320‘ und deren zugehörigen Helligkeiten eine vorhersagbare und vor allem ausreichende Beleuchtung eines Objekts zu Inspektionszwecken nicht ohne Weiteres immer gegeben ist.
Gemäß Ausführungsbeispielen kann dazu also eine Helligkeitsinformation, also z.B. Informationen entsprechend der Auftragungen in Fig. 3c) und d), also bspw. Helligkeits- und Farbsättigungsinformationen, bspw. in Form von Histogrammen, basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts (z.B. 223, 320, 320‘), aufweist, bestimmt werden. Die Helligkeitsinformation kann also bspw. insbesondere nur die Informationen im Bereich 305 und 305‘ der Auftragungen in Fig. 3 c) und d) umfassen, welche mit dem Objekt bzw. Objektteil assoziiert sind.
In Fig. 3a) sind ferner optionale Zusatzinformation 390, z.B. erhalten aus der Objekterkennung, angezeigt. Diese umfassen optional (hier als Beispiele dargestellt): Erste Zeile: 224 = Histogramm Wert komplettes Bild (also hier z.B. des kompletten Bildes 3a)), 166 = Histogramm Bildausschnitt 3b) bzw. Histogramm Wert Bildausschnitt 3b); Zweite Zeile 220 = Histogramm Rotkanal, bzw. Histogramm Wert für Rotkanal komplettes Bildes, 164 = Rotkanal Ausschnitt 3b), bzw. Histogramm Wert für Rotkanal Bildausschnitt 3b); Dritte Zeile: HSV vom kompletten Bild; Vierte Zeile: HSV vom Rotkanal.
Wie in Fig. 2 gezeigt kann das Objekt dabei bspw. eine Objektcharakteristik (z.B. „rot“) aufweisen, sodass optional, basierend auf der Objektcharakteristik, ein oder mehrere Helligkeitsschwellwerte bestimmt werden können. In anderen Worten kann bspw. konkret selektiv für einen roten Farbkanal, welcher bspw. aufgrund der Objektcharakteristik einen besonders hohen Informationsgehalt für die Darstellungsqualität des Objekts in der Aufnahme hinsichtlich einer Inspektion aufweist, ein entsprechender Schwellwert bestimmt werden, welcher z.B. so gewählt ist, dass somit ein zu inspizierendes Merkmal des Objekts mit ausreichender Sicherheit erkannt werden kann. Bei dem Objektmerkmal kann es sich bspw. um eine Beschädigung und/oder eine potentielle Beschädigung des Objekts handeln, wie bspw. Risse, Löcher, Verbiegungen, abgeplatzte Farbe.
Ein solcher Schwellwert kann bspw. in einem erfindungsgemäßen Verfahren dynamisch bestimmt werden, z.B. basierend auf maschinellem Lernen, oder bspw. auch als Auswahlparameter, z.B. in einer Tabelle hinterlegt sein, bspw. für eine Auswahl in Abhängigkeit vom Objekttyp, Zusatzinformationen oder weiteren Parametern.
Anhand eines Schwellwertvergleichs, und bspw. einer Auswertung von gegebener Helligkeit im Vergleich zu dem Schwellwert kann eine Anpassung der Belichtungseinstellungen, welche für die Referenzaufnahme verwendet wurden durchgeführt werden, sodass eine Inspektionsbelichtungseinstellung bereitgestellt werden kann, welche es ermöglicht eine Inspektionsbildaufnahme, unter einer gleichen oder zumindest ähnlichen Beleuchtungssituation des Objekts wie bei der Referenzaufnahme zu erzeugen, die eine Helligkeitsverteilung aufweist, welche dem oder den Helligkeitsschwellwerten genügt. Es sei nochmals darauf hingewiesen, dass hierbei obere und untere Grenzwerte verwendet werden können, bspw. hinsichtlich einer Vermeidung von Unter-bzw. Überbelichtung. Optional können gemäß Ausführungsbeispielen jedoch auch Schwellwerte (z.B. jeweils obere und untere Schwellwerte) für mehrere Farbkanäle berücksichtigt werden. Wie in Fig. 3 gezeigt, kann die optische Referenzaufnahme mehrere Farbkanäle aufweisen, wobei die Helligkeitsinformation eine farbspezifische Information über eine Helligkeitsverteilung sein kann und wobei mehrere farbspezifische Helligkeitsschwellwerte, also zum Beispiel für die Kanäle rot, grün und blau, bestimmt werden können.
Insbesondere können diese Schwellwerte für ein bestimmtes Sättigungsverhältnis (z.B. zwischen 0 bis 255) der Farbkanäle bestimmt sein, sodass eine konkrete Farbkanalkombination, welche das Objekt beschreibt, also bspw. die Objektcharakteristik in Form der Farbe des Objekts adressiert, in Hinblick auf eine ausreichende Helligkeit zur Bestimmung der Inspektionsbelichtungseinstellung verwendet werden kann.
Bezugnehmend auf Fig. 3. sei darauf hingewiesen, dass allgemein gemäß Ausführungsbeispielen optional alle Bildpunkte des Objekts in der optischen Referenzaufnahme und/oder eine zusammenhängende Teilmenge von Bildpunkten des Objekts in der optischen Referenzaufnahme, also z.B. die Objektpunkte des Bildausschnitts in Fig. 3b) und/oder ein vorbestimmtes Muster von Bildpunkten des Objekts in der optischen Referenzaufnahme verwendet werden können. Das Muster kann bspw. so gewählt sein, dass insbesondere Bereiche des Objekts, welche mit höherer Wahrscheinlichkeit Beschädigungen aufweisen, optimal belichtet werden können. Ferner kann die Anzahl der zu berücksichtigenden Bildpunkte, insbesondere in Hinblick auf wenig interessante oder wenig aussagekräftige Bereiche, reduziert werden.
Optional kann ein erfindungsgemäßes Verfahren iterativ durchgeführt werden. Beispielsweise kann die Aufnahmeeinheit 110 in Fig. 1 beim Abflug des Objekts 120 eine erste Belichtungseinstellung, also bspw. eine Referenzbelichtungseinstellung zur Erzeugung der Referenzaufnahme 131 aufweisen. Wie zuvor erläutert können basierend auf erkannten Bildpunkten des Objekts 123‘ in der Referenzaufnahme 131 eine Helligkeitsinformation 160 und entsprechende Schwellwerte, z.B. anhand einer Objektcharakteristik, abgeleitet werden.
Sofern die Helligkeitsinformation, also bspw. Peaks 305, 305‘, welche zu dem Objekt zugehörig sind, den zumindest einen Helligkeitsschwellwert erfüllt, kann die Referenzbelichtungseinstellung als Inspektionsbelichtungseinstellung bestimmt wird. Ansonsten wird bspw. als optionale Merkmale, basierend auf dem Vergleichsergebnis, also bspw. eines Abstands oder Unterschieds zwischen gewünschter Helligkeit in Form des oder der Schwellwerte und Ist-Situation in der Referenzaufnahme, eine angepasste Referenzbelichtungseinstellung ermittelt, z.B. beim Abflug mittels einem Prozessor der Aufnahmeeinheit, oder mittels einer externen Datenverarbeitungseinheit, z.B. eines Laptops am Boden.
Anschließend wird eine angepasste Referenzaufnahme erzeugt, um eine Erzeugung der Referenzaufnahme anhand der angepassten Referenzbelichtungseinstellung zu simulieren. Optional kann auch mittels der Aufnahmeeinheit 110 stattdessen eine weitere Aufnahme 130 erzeugt werden, mittels der angepassten Referenzbelichtungseinstellung.
Die angepasste Referenzaufnahme kann nun wiederum für Objektpunkte bezüglich Helligkeitsschwellwerten ausgewertet werden. Wenn die Schwellwerte erfüllt werden, ist somit bspw. eine Inspektionsbelichtungseinstellung gefunden mit welcher eine Aufnahme 132 gemacht werden kann, anhand derer eine zuverlässige Objektinspektion möglich ist.
Die Anpassung der Belichtungseinstellung kann dabei bspw. ganz allgemein gemäß Ausführungsbeispielen eine Änderung von Belichtungszeiten und/oder eine Änderung von Blendeneinstellungen, also bspw. einer Größe der Blende, z.B. eine Änderung der Apertur, umfassen.
Konkret kann sich ein erfindungsgemäßer Ablauf also bspw. wie folgt darstellen:
1 . Das zu inspizierende Objekt wird mit Hilfe von Objekterkennung/Al in dem Videostream oder Einzelbildaufnahme erkannt
2. Anschließend wird die Helligkeit von dem gesamten Objekt oder nur ein Teil von dem Objekt berechnet
2.1. Ermitteln der Farbwerte pro Pixel im RGB Farbraum oder HSV Farbraum oder im Monochromen Farbraum
2.2. Ermitteln des dominanten Farbkanales (Rot, Grün oder Blau)
2.3. Grenzwerte entsprechend des dominanten Farbraums berechnen
3. Berechnete Helligkeit auswerten und entsprechende Grenzwerte laden. Grenzwerte wurden vorab spezifisch für die Objekte festgelegt.
3.1. Ist Helligkeit innerhalb der Grenzwerte -> keine weiteren Änderungen notwendig
3.2. Ist Helligkeit außerhalb der Grenzwerte -> weiter bei 4. 4. Es werden die Parameter entsprechende der Grenzwerte der Kamera (Belichtungszeit/Blende) angepasst.
4.1. Über dem Grenzwert (zu Hell) -> Belichtungszeit verkürzen (z.B. 1/500 -> 1/1000) oder Blende verkleinern (z.B. 4.5 -> 5.0)
4.2 Unter dem Grenzwert (zu Dunkel) -> Belichtungszeit verlängern (z.B. 1/1000 - > 1/500) oder Blende vergrößern (z.B. 5.0 -> 4.5)
5. Ablauf beginnt bei 1.
Die Helligkeitsanpassung kann jederzeit im Flug oder beim hovern (=Schweben) der Drohne oder vor jedem Bild erfolgen.
Im Folgenden wird Bezug genommen auf Fig. 4. Fig. 4 zeigt eine schematische Ansicht einer Erfassung von mehreren Objekten und schematische Darstellungen von optischen Aufnahmen gemäß Ausführungsbeispielen der Erfindung.
Fig. 4 zeigt in Teil a) die Aufnahmesituation aus Fig. 1 wobei die Aufnahmeeinheit wiederum eine Aufnahme 430 in einer Gegenlichtsituation macht, wobei die Aufnahme jedoch sowohl die Nabe 122 als auch ein Rotorblatt 123 aufweist. In dem Beispiel von Fig. 4 ist die Nabe 122 bspw. teilverschattet und das Rotorblatt 123 stark verschattet. Die übrigen Anlagenteile, d.h. der Turm und die beiden weiteren, nicht gänzlich in der Aufnahme 430 abgebildeten, Rotorblätter sind zur Vereinfachung in Fig. 4 nicht hinsichtlich Ihrer Ausleuchtung dargestellt.
Optional umfasst ein erfindungsgemäßes Verfahren eine Erkennung von beiden Objekten 122 und 123 in der Aufnahme 430. Anschließend kann die Helligkeitsauswertung für jedes der beiden Objekte getrennt oder gemeinsam durchgeführt werden.
Beispielweise können nach der Identifikation der Objekte 122 und 123 jeweils eigene Helligkeitshistogramme, einmal für Objekt 122 und einmal für Objekt 123 bestimmt werden. Anhand einer jeweiligen Auswertung, bspw. wie zuvor im Fall eines Einzelobjekts oder Objektteils diskutiert, können somit jeweilige Inspektionsbelichtungseinstellungen bestimmt werden. Anschließend können jeweilige Inspektionsaufnahmen 432 für Objekt 122 und 433 für Objekt 123 aufgenommen werden. Die Abbildungen 122“ und 123“ sind dann jeweils mit den individuell optimierten Belichtungseinstellungen aufgenommen. In den schematischen Darstellungen der Aufnahmen 432 und 433 sind die Belichtungssituation der weiteren Objekte und Objektteile innerhalb der Aufnahme nicht dargestellt. Die weiteren Bildanteile, welche bspw. nicht im Fokus einer folgenden Inspektion liegen, können bspw. über- oder unterbelichtet sein. Um eine solche Einschränkung (dass zum Beispiel in einer Aufnahme nicht mehrere Objekte bzw. Objektteile optimal beleuchtet sind) zu umgehen kann bspw. eine Bildfusion der Abbildungen 122“, 123“ der Objekte durchgeführt werden, um ein Fusionsbild 434 zu erhalten. Dazu können die Darstellungen 122“, 123“ bspw. aus ihren jeweiligen Aufnahmen ausgeschnitten und in die Referenzaufnahme 430, als Ersetzung für die zugehörigen Bildteile, eingefügt werden.
Auf diese Weise können beliebig viele Bildelemente, so z.B. auch der Hintergrund 140, mit jeweils optimierten Belichtungseinstellungen aufgenommen und schlussendlich zusammengefügt werden. Somit kann die Inspektion anhand einer Aufnahme mit jeweils ausreichend belichteten Objekten durchgeführt werden.
Eine weitere Möglichkeit besteht darin entweder anhand der individuellen Helligkeitsauswertungen der Objekte 122 und 123 oder anhand einer gemeinsamen Helligkeitsauswertung der Objekte 122 und 123 eine Kompromisseinstellung für die Inspektionsbelichtung zu finden. Basierend darauf kann eine Inspektionsaufnahme 431 gemacht werden, welche hier als Beispiel Darstellungen 122‘ und 123‘ beider Objekte aufweist, sodass diese ebenfalls für eine Inspektion ausreichend beleuchtet sind.
Im Folgenden werden Merkmale von Verfahren gemäß Ausführungsbeispielen nochmals mit anderen Worten beschrieben:
Gemäß Ausführungsbeispielen kann von einem Bild (z.B. 131 , 430), z.B. mit Hilfe einer AI, ein Objekt (z.B. 122, 123) erkannt werde. Beispielsweise können von diesem Objekt alle Pixel zur Helligkeitsberechnung, also bspw. zur Bestimmung Helligkeitsinformation, berücksichtigt werden. Anschließend können anhand von einem definierten (oder adaptiv, z.B. bezüglich einer Objektcharakteristik, bestimmten) Schwellenwert die Belichtungswerte einer Kamera einer Aufnahmeeinheit geändert werden. Anschließend kann die Helligkeitsberechnung erneut ausgeführt werden, also bspw. für eine gemäß der geänderten Belichtungswerte angepasstes Bild. Dies kann bspw. so lange durchgeführt werden oder geschehen, bis ein erforderlicher Wertebereich erreicht wird. Das Objekt kann im Bildraum jede beliebige Form haben. Es besteht bspw. aber auch die Möglichkeit, nicht alle Pixel von dem Objekt zu verwenden, sondern nur bestimmte, z.B. aus dem Zentrum des Objektes (zum Beispiel 100px X 100px) oder nur Pixel, die einem bestimmten Muster folgen (z.B. jedes 3. Pixel in einer Reihe). Dabei können optional die Farbräume einzeln betrachtet werden, um dominante Einflüsse zu ermitteln, um entsprechende Helligkeitsanpassung vorzunehmen. (z.B. dominanter Rotkanal benötigt andere Grenzwerte als alles gleich verteilt).
Der Vorteil dabei ist, dass für Inspektionen die Umgebung außerhalb des Objektes einen geringeren Einfluss auf die Helligkeit des Bildes hat.
Dies kann auf HDR Bilder (High Dynamic Range Bilder -„Bild mit hohem Dynamikumfang“) ausgeweitet werden und mehrere Objekte mit verschieden Helligkeiten können mit der Aufnahmeeinheit, also bspw. einer Kamera, einzeln aufgenommen und anschließend wieder zusammengefügt (also bspw. fusioniert) werden zu einem Bild. Nachdem die richtige Einstellung (z.B. Inspektionsbelichtungseinstellung) für das Objekt gefunden wurde kann auch eine Einstellung für den Hintergrund gefunden werden. Diese verschiedenen Bilder können anschließend wieder zusammengefügt werden.
Alle hierin aufgeführten Aufzählungen der Materialien, Umwelteinflüsse, elektrischen Eigenschaften und optischen Eigenschaften sind hierbei als beispielhaft und nicht als abschließend anzusehen.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hard-ware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahingehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Medium sind typischerweise gegenständlich und/oder nichtvergänglich bzw. nichtvorübergehend.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahingehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahingehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden.
Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschriebenen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Computerprogramm) implementiert sein. Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebenen Verfahren können zumindest teilweise durch Hardware und/oder durch Software ausgeführt werden.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims

Patentansprüche
1. Verfahren zur Einstellung einer Aufnahmeeinheit (110) für die Durchführung einer Inspektion eines Objekts (120, 121 , 122, 123, 223, 320), mit den folgenden Schritten:
Bereitstellen einer, mittels der Aufnahmeeinheit erzeugten, optischen Referenzaufnahme (131 , 430), die das zu inspizierende Objekt zumindest teilweise und eine Umgebung (140, 240, 340) des Objekts enthält;
Erkennen des Objekts innerhalb der optischen Referenzaufnahme;
Bestimmen einer Helligkeitsinformation (160) basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts aufweist;
Bestimmen einer Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsinformation.
2. Verfahren gemäß Anspruch 1 , wobei das Objekt (120, 121 , 122, 123, 223, 320) eine optisch erfassbare Objektcharakteristik, wie z.B. eine Farbe, ein Muster und/oder ein Farbmuster, aufweist; und wobei das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit (110) unter Verwendung der Helligkeitsinformation (160) und der Objektcharakteristik durchgeführt wird.
3. Verfahren gemäß Anspruch 2, wobei das Verfahren ferner den folgenden Schritt aufweist:
Erkennen der optisch erfassbaren Objektcharakteristik anhand der optischen Referenzaufnahme (131, 430).
4. Verfahren gemäß einem der Ansprüche 2 oder 3, wobei die Helligkeitsinformation (160) eine Information über eine Helligkeitsverteilung des zumindest einen Bereichs der Referenzaufnahme (131 , 430) aufweist; und wobei das Verfahren ferner die folgenden Schritte aufweist:
Bestimmen von zumindest einem Helligkeitsschwellwert basierend auf der Objektcharakteristik; und
Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit (110) unter Verwendung der Helligkeitsinformation und des zumindest einen Helligkeitsschwellwerts, sodass eine Inspektionsaufnahme des Objekts (120, 121 , 122, 123, 223, 320), welche mittels der Aufnahmeeinheit mit der
Inspektionsbelichtungseinstellung unter einer gleichen oder zumindest ähnlichen Beleuchtungssituation des Objekts wie bei der Referenzaufnahme erzeugt wird, eine Helligkeitsverteilung aufweist, welche dem Helligkeitsschwellwert genügt.
5. Verfahren gemäß Anspruch 4, wobei das Verfahren ein Verfahren zur Einstellung einer Aufnahmeeinheit für die Durchführung einer Inspektion des Objekts (120, 121 , 122, 123, 223, 320) bezüglich eines optisch zu erkennenden Objektmerkmals ist; und wobei das Bestimmen des zumindest einen Helligkeitsschwellwerts basierend auf dem zu erkennenden Objektmerkmal so durchgeführt wird, dass das zu erkennende Objektmerkmal anhand der Inspektionsaufnahme des Objekts erkennbar ist.
6. Verfahren gemäß Anspruch 5, wobei das Objektmerkmal eine Beschädigung und/oder eine potentielle Beschädigung des Objekts (120, 121 , 122, 123, 223, 320) ist.
7. Verfahren gemäß einem der Ansprüche 4 bis 6, wobei die optisch erfassbare Objektcharakteristik eine Farbe, ein Farbmuster und/oder eine Farbverteilung des Objekts (120, 121 , 122, 123, 223, 320) ist; wobei die optische Referenzaufnahme (131 , 430) mehrere Farbkanäle aufweist; und wobei die Helligkeitsinformation (160) eine farbspezifische Information über eine
Helligkeitsverteilung ist; und wobei das Bestimmen des zumindest einen Helligkeitsschwellwerts ein Bestimmen von einem oder mehreren farbspezifischen Helligkeitsschwellwerten aufweist.
8. Verfahren gemäß einem der vorigen Ansprüche, wobei zur Bestimmung der Helligkeitsinformation (160) alle Bildpunkte des Objekts (120, 121 , 122, 123, 223, 320) in der optischen Referenzaufnahme (131 , 430); und/oder eine zusammenhängende Teilmenge von Bildpunkten des Objekts in der optischen Referenzaufnahme; und/oder ein vorbestimmtes Muster von Bildpunkten des Objekts in der optischen Referenzaufnahme; verwendet werden.
9. Verfahren gemäß einem der vorigen Ansprüche, wobei die optische Referenzaufnahme (131 , 430) auf einer
Referenzbelichtungseinstellung der Aufnahmeeinheit basiert; wobei das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit (110) unter Verwendung der Helligkeitsinformation (160) und zumindest einem Helligkeitsschwellwert durchgeführt wird, und ferner die folgenden Schritte umfasst:
Vergleichen der Helligkeitsinformation mit dem zumindest einen Helligkeitsschwellwert, wobei, sofern die Helligkeitsinformation den zumindest einen Helligkeitsschwellwert erfüllt, die Referenzbelichtungseinstellung als Inspektionsbelichtungseinstellung bestimmt wird, und wobei, sofern die Helligkeitsinformation den zumindest einen Helligkeitsschwellwert nicht erfüllt, die folgenden Schritte
Bestimmen einer angepassten Referenzbelichtungseinstellung unter Verwendung des Vergleichs;
Erzeugen einer angepassten Referenzaufnahme, um eine Erzeugung der Referenzaufnahme anhand der angepassten Referenzbelichtungseinstellung zu simulieren;
Bestimmen einer angepassten Helligkeitsinformation basierend auf zumindest einem Bereich der angepassten Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts (120, 121 , 122, 123, 223, 320) aufweist;
Vergleichen der angepassten Helligkeitsinformation mit dem zumindest einen Helligkeitsschwellwert; iterativ durchgeführt werden, bis die angepasste Helligkeitsinformation den zumindest einen Helligkeitsschwellwert erfüllt, wobei dann die angepasste Referenzbelichtungseinstellung, anhand welcher der Helligkeitsschwellwert erfüllt wird, als Inspektionsbelichtungseinstellung bestimmt wird.
10. Verfahren gemäß einem der vorigen Ansprüche, wobei das Objekt ein erstes Objekt (123) ist und wobei die optische Referenzaufnahme (430) ein zweites Objekt (122) aufweist; und wobei das Verfahren ferner die folgenden Schritte aufweist:
Erkennen des zweiten Objekts innerhalb der optischen Referenzaufnahme;
Bestimmen einer zweiten Helligkeitsinformation basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des zweiten Objekts aufweist;
Bestimmen einer zweiten Inspektionsbelichtungseinstellung für die Aufnahmeeinheit (110) unter Verwendung der zweiten Helligkeitsinformation; Erzeugen einer ersten optischen Inspektionsaufnahme (432) des ersten Objekts mittels der Aufnahmeeinheit mit der Inspektionsbelichtungseinstellung; und
Erzeugen einer zweiten optischen Inspektionsaufnahme (433) des zweiten Objekts mittels der Aufnahmeeinheit mit der zweiten Inspektionsbelichtungseinstellung.
11 . Verfahren gemäß Anspruch 10, wobei das Verfahren ferner den Schritt aufweist:
Fusionieren der ersten und zweiten optischen Inspektionsaufnahme.
12. Verfahren gemäß einem der vorigen Ansprüche, wobei das Objekt ein erstes Objekt (123) ist und wobei die optische Referenzaufnahme (430) ein zweites Objekt (122) aufweist; und wobei das Verfahren ferner die folgenden Schritte aufweist:
Erkennen des zweiten Objekts innerhalb der optischen Referenzaufnahme;
Bestimmen einer gemeinsamen Helligkeitsinformation basierend auf dem zumindest einen Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des ersten Objekts aufweist und basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des zweiten Objekts aufweist, und Bestimmen einer gemeinsamen Inspektionsbelichtungseinstellung für die Aufnahmeeinheit (110) unter Verwendung der gemeinsamen Helligkeitsinformation; oder
Bestimmen einer zweiten Helligkeitsinformation basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des zweiten Objekts aufweist, und Bestimmen einer gemeinsamen Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der ersten und zweiten Helligkeitsinformation; und
Erzeugen einer optischen Inspektionsaufnahme (431) des ersten und zweiten Objekts mittels der Aufnahmeeinheit mit der gemeinsamen Inspektionsbelichtungseinstellung.
13. Verfahren zur Inspektion eines Objekts (120, 121, 122, 123, 223, 320) umfassend ein Verfahren gemäß einem der vorigen Ansprüche, wobei die Aufnahmeeinheit (110) eine bewegliche Aufnahmeeinheit ist; und wobei das Verfahren ferner die Schritte aufweist:
Bewegen der Aufnahmeeinheit zu dem Objekt;
Erzeugen der optischen Referenzaufnahme (131 , 430);
Erzeugen einer Inspektionsaufnahme des Objekts mittels der Aufnahmeeinheit mit der Inspektionsbelichtungseinstellung.
14. Verfahren gemäß Anspruch 13, wobei das Verfahren ferner die Schritte aufweist:
Erzeugen einer initialen Aufnahme des Objekts (120, 121 , 122, 123, 223, 320);
Erkennen des Objekts in der initialen Aufnahme und Auswerten der initialen Aufnahme;
Bestimmen einer Auslösestelle für die Aufnahmeeinheit (110) zur Erzeugung der Referenzaufnahme (131 , 430) anhand der Auswertung der initialen Aufnahme, sodass das Objekt in einem vorbestimmten Bildbereich der Referenzaufnahme ist; und
Positionieren der Aufnahmeeinheit an der Auslösestelle und Erzeugen der optischen Referenzaufnahme des Objekts an der Auslösestelle mittels der Aufnahmeeinheit.
15. Verfahren gemäß einem der vorigen Ansprüche, wobei das Erkennen des Objekts (120, 121 , 122, 123, 223, 320) innerhalb der optischen Referenzaufnahme (131 , 430) und/oder das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit, automatisiert, z.B. basierend auf künstlicher Intelligenz, durchgeführt wird.
16. Verfahren gemäß einem der vorigen Ansprüche, wobei das Erkennen des Objekts innerhalb der optischen Referenzaufnahme (131 , 430) mittels eines ersten neuronalen Netzes durchgeführt wird, und wobei das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsinformation (160) mittels eines zweiten neuronalen Netzes durchgeführt wird; oder wobei das Erkennen des Objekts innerhalb der optischen Referenzaufnahme (131 , 430) mittels eines neuronalen Netzes durchgeführt wird, und wobei das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsinformation (160) mittels eines Computer Vision Algorithmus durchgeführt wird; oder wobei das Erkennen des Objekts innerhalb der optischen Referenzaufnahme (131 , 430) mittels eines Computer Vision Algorithmus durchgeführt wird, und wobei das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsinformation (160) mittels eines neuronalen Netzes durchgeführt wird, oder wobei das Erkennen des Objekts innerhalb der optischen Referenzaufnahme (131 , 430) mittels eines ersten Computer Vision Algorithmus durchgeführt wird, und wobei das Bestimmen der Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsinformation (160) mittels eines zweiten Computer Vision Algorithmus durchgeführt wird.
17. Verfahren gemäß einem der vorigen Ansprüche, wobei das Objekt (120, 121 , 122, 123, 223, 320) ein Windrad oder ein Teil eines Windrads, wie bspw. ein Rotorblatt (123), eine Rotorblattnabe (122), ein Rotorblattflansch, ein Turm (121) und/oder eine Gondel ist.
18. Verfahren gemäß Anspruch 17, wobei das Verfahren ein Verfahren zur Inspektion einer Komponente eines Windrads, bezüglich einer optisch zu erkennenden Beschädigung und/oder einer potentiellen Beschädigung ist; wobei die Aufnahmeeinheit (110) eine Drohne ist; und wobei das Verfahren die folgenden Schritte aufweist: Anfliegen der Komponente des Windrads mittels der Aufnahmeeinheit;
Erzeugen einer optischen Referenzaufnahme (131 , 430) der Komponente des Windrads mittels der Aufnahmeeinheit;
Automatisiertes Erkennen der Komponente des Windrads innerhalb der optischen Referenzaufnahme;
Bestimmen einer Helligkeitsverteilung basierend auf einer Teilmenge von Abtastpunkten der Referenzaufnahme, welche die erkannte Komponente des Windrads aufweist;
Bestimmen einer Inspektionsbelichtungseinstellung für die Aufnahmeeinheit unter Verwendung der Helligkeitsverteilung, sodass eine Beschädigung und/oder eine potentiellen Beschädigung der Komponente des Windrads in einer Inspektionsaufnahme der Komponente des Windrads, welche mittels der Aufnahmeeinheit mit der Inspektionsbelichtungseinstellung unter einer gleichen oder zumindest ähnlichen Beleuchtungssituation der Komponente des Windrads wie bei der Referenzaufnahme erzeugt wird, optisch zu erkennen ist.
19. Vorrichtung zur Einstellung einer Aufnahmeeinheit (110) für die Durchführung einer Inspektion eines Objekts (120, 121 , 122, 123, 223, 320), wobei die Vorrichtung die folgenden Merkmale aufweist: eine Auswerteeinheit, die dazu ausgebildet ist, um eine, mittels einer Aufnahmeeinheit erzeugte, optische Referenzaufnahme (131 , 430), die das zu inspizierende Objekt zumindest teilweise und eine Umgebung (140, 240, 340) des Objekts enthält, zu erhalten; um das Objekts innerhalb der optischen Referenzaufnahme zu erkennen; um eine Helligkeitsinformation (160) zu bestimmen, basierend auf zumindest einem Bereich der Referenzaufnahme, welcher zumindest einen Teilbereich des Objekts aufweist; und um eine Inspektionsbelichtungseinstellung für die Aufnahmeeinheit, unter Verwendung der Helligkeitsinformation, zu bestimmen.
20. Vorrichtung gemäß Anspruch 19, ferner aufweisend: die Aufnahmeeinheit (110), die dazu ausgebildet ist, um die optische Referenzaufnahme (131 , 430) zu erzeugen.
21 . Vorrichtung gemäß Anspruch 20, wobei die Aufnahmeeinheit (110) eine Drohne zum Abfliegen des Objekts (120, 121, 122, 123, 223, 320) ist; und wobei die Aufnahmeeinheit dazu ausgebildet ist, um die Referenzaufnahme (131 , 430) und eine Inspektionsaufnahme des Objekts unter Verwendung der Inspektionsbelichtungseinstellung ohne Zwischenlandung durchzuführen.
22. Vorrichtung gemäß Anspruch 21 , wobei die Aufnahmeeinheit (110) die Auswerteeinheit aufweist; oder wobei die Vorrichtung eine Kommunikationseinheit aufweist, die dazu ausgebildet ist, um der Auswerteeinheit eine Information über die optische Referenzaufnahme (131 , 430) von der Aufnahmeeinheit bereitzustellen und um der Aufnahmeeinheit eine Information über die Inspektionsbelichtungseinstellung von der Auswerteeinheit bereitzustellen.
23. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 18, wenn das Programm auf einem Computer abläuft.
EP24765997.2A 2023-09-05 2024-09-04 Verfahren und vorrichtung zur einstellung einer aufnahmeeinheit für die durchführung einer inspektion eines objekts Pending EP4774540A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023208549.6A DE102023208549A1 (de) 2023-09-05 2023-09-05 Verfahren und Vorrichtung zur Einstellung einer Aufnahmeeinheit für die Durchführung einer Inspektion eines Objekts
PCT/EP2024/074655 WO2025051768A1 (de) 2023-09-05 2024-09-04 Verfahren und vorrichtung zur einstellung einer aufnahmeeinheit für die durchführung einer inspektion eines objekts

Publications (1)

Publication Number Publication Date
EP4774540A1 true EP4774540A1 (de) 2026-07-15

Family

ID=92676036

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24765997.2A Pending EP4774540A1 (de) 2023-09-05 2024-09-04 Verfahren und vorrichtung zur einstellung einer aufnahmeeinheit für die durchführung einer inspektion eines objekts

Country Status (3)

Country Link
EP (1) EP4774540A1 (de)
DE (1) DE102023208549A1 (de)
WO (1) WO2025051768A1 (de)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013021968A1 (ja) * 2011-08-10 2013-02-14 国立大学法人京都工芸繊維大学 樹脂成型品における傷の検査方法、及び検査装置
DE102014224557A1 (de) * 2014-12-01 2016-06-02 Osram Gmbh Bildverarbeitung mittels Kreuzkorrelation
DE102016112159A1 (de) * 2016-07-04 2018-01-04 Krones Aktiengesellschaft Vorrichtung und Verfahren zum Inspizieren von Objekten mit Schutzglas
US10472090B2 (en) * 2017-04-27 2019-11-12 Qualcomm Incorporated Environmentally aware status LEDs for use in drones
WO2019011678A1 (en) * 2017-07-12 2019-01-17 Mycronic AB METHOD AND SYSTEM FOR DETERMINING COMPONENT ILLUMINATION SETTINGS
CN109808910A (zh) * 2019-02-15 2019-05-28 深圳市贝优通新能源技术开发有限公司 一种用于航拍的具有光线调节功能的无人飞行装置
US10915992B1 (en) * 2019-08-07 2021-02-09 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
DE102020210618B4 (de) * 2020-08-20 2022-03-17 Top Seven Gmbh & Co. Kg Verfahren und system zur objekterfassung
DE102021200583A1 (de) * 2021-01-22 2022-07-28 Top Seven Gmbh & Co. Kg Verfahren, Luftfahrzeug und System zur Erfassung eines Merkmals eines Objekts mit einer ersten und zweiten Auflösung
JP7602195B2 (ja) * 2021-01-27 2024-12-18 オムロン株式会社 撮影条件設定システム、撮影条件設定方法及びプログラム

Also Published As

Publication number Publication date
DE102023208549A1 (de) 2025-03-06
WO2025051768A1 (de) 2025-03-13

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20260304

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR