DE102021130505A1

DE102021130505A1 - Verfahren zur Bestimmung einer Beleuchtungsfarbe, Bildverarbeitungsvorrichtung und Aufnahmesystem

Info

Publication number: DE102021130505A1
Application number: DE102021130505.5A
Authority: DE
Inventors: Klaus Kohlmann
Original assignee: IFM Electronic GmbH
Current assignee: IFM Electronic GmbH
Priority date: 2021-11-22
Filing date: 2021-11-22
Publication date: 2023-05-25

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Bestimmung einer Beleuchtungsfarbe (F) für die Verbesserung und/oder Optimierung des Kontrasts einer zu erstellenden Bildaufnahme unter Verwendung der Beleuchtungsfarbe (F). Das Verfahren umfasst die folgenden Schritte:- Empfangen einer Eingangsaufnahme (E) eines zu erfassenden Objekts (30) in Graustufen, bei der das Objekt (30) weiß beleuchtet ist;- Erzeugen eines farbigen Auswahlbilds (A) auf Grundlage der Eingangsaufnahme (E);- Bestimmen einer Farbverteilung (V) des Auswahlbilds (A);- Bestimmen der Beleuchtungsfarbe (F) auf Grundlage der Farbverteilung (V).

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren zur Bestimmung einer Beleuchtungsfarbe für die Verbesserung und/oder Optimierung des Kontrasts einer zu erstellenden Bildaufnahme unter Verwendung der Beleuchtungsfarbe. Darüber hinaus betrifft die Erfindung ein Aufnahmesystem zur Durchführung des Verfahrens.
In industriellen Fertigungsanlagen kommen Kameras zu unterschiedlichen Zwecken zum Einsatz, insbesondere im Rahmen der Qualitätssicherung. Hier werden mit Kameras fotografische Aufnahmen (im Folgenden auch als Bildaufnahmen oder Aufnahmen bezeichnet) der zu prüfenden Objekte erstellt, wobei diese Aufnahmen anschließend mittels spezieller Bildverarbeitungsverfahren verarbeitet und untersucht werden. Auf diese Weise können beispielsweise in der Automobilindustrie automatisiert das Vorhandensein von Kunststoffnieten und Dichtungen festgestellt, Schweißmuttern erkannt und die Ausrichtung von Karosserieteilen vor dem Schweißen geprüft werden.
Nicht selten werden in den oben genannten Anwendungsgebieten Schwarz-Weiß-Kameras (SW-Kameras) eingesetzt, da diese günstiger in der Anschaffung sind. Darüber hinaus bieten Schwarz-Weiß-Kameras den Vorteil, Aufnahmen zu erzeugen, die eine vergleichsweise geringe Datenmenge benötigen.
Im Allgemeinen ist die Aufnahme eines farbigen Objektes in schwarz-weiß jedoch verlustbehaftet, da, wie bei einer Transformation eines Farbbildes in Graustufen, unterschiedliche Farben einem Grauwert entsprechen können.
Ein einfaches Verfahren zur Transformation eines im RGB-Modell definierten Farbbildes in Graustufen basiert beispielsweise darauf, jeder Farbe c = (r,g,b) einen Grauwert x nach der folgenden Rechenvorschrift zuzuweisen: $x = 0,21 r + 0.72 g + 0.07 b .$
Mit anderen Worten, der Grauwert ergibt sich als gewichtetes Mittel der Intensitätswerte der einzelnen Farbkomponenten. Bei einer solchen Transformation werden beispielsweise die Farben c₁ = (1,0,1) und c₂ = (0,0.39,0) auf annähernd gleiche Grauwerte x₁ = 0.28 und x₂ = 0.2808 abgebildet. Weist ein zu erfassendes Objekt zwei angrenzende Bereiche auf, welche die Farben c₁ und c₂ besitzen, so werden diese Bereiche in einer nach der obigen Rechenvorschrift erzeugten Schwarz-Weiß-Aufnahme quasi ununterscheidbar. Auch die Kontur, die entlang der Grenze zwischen den zwei Bereichen auf dem Objekt verläuft, ist somit auf der Schwarz-Weiß-Aufnahme nicht mehr erkennbar.
Oftmals ist es für die Verwendbarkeit einer Schwarz-Weiß-Aufnahme in den oben beschriebenen Einsatzgebieten aber entscheidend, dass solche Konturen auf der Schwarz-Weiß-Aufnahme erkennbar sind. Um auf einer Schwarz-Weiß-Aufnahme relevante Bereiche oder Konturen des erfassten Objekts hervorzuheben bzw. besser voneinander abgrenzen zu können, kann das Objekt während des Aufnahmevorgangs mit farbigen Beleuchtungsquellen geeignet ausgeleuchtet werden.
Beispielsweise reflektieren rote Bereiche eines Objekts bei einer Beleuchtung mit rotem Licht dieses zurück, sodass die roten Bereiche auf einer Schwarz-Weiß-Aufnahme sehr hell erscheinen. Gleichzeitig absorbieren blaue und grüne Bereiche einen großen Teil des roten Lichts, sodass solche Bereiche auf einer Schwarz-Weiß-Aufnahme stark verdunkelt erscheinen.
Neben einer geeigneten Beleuchtung existiert beim Erstellen einer Aufnahme eine Vielzahl weiterer Parameter, beispielsweise der Erfassungsbereich der Kamera, der Fokus, die Belichtungszeit usw., die über die Aufnahmequalität entscheiden.
Der Erfolg weiterer Verarbeitungsschritte hängt daher entscheidend von den gewählten Parameterwerten ab. Häufig muss für den jeweiligen Anwendungsfall ein geeigneter Satz von Parameterwerten individuell ermittelt werden, was auch als Einlernen einer Kamera bezeichnet wird. Im Stand der Technik sind verschiedene Lösungsansätze bekannt, diesen Prozess zu vereinfachen, insbesondere für den Fall, bei dem das Einlernen (teilweise) von einem Benutzer vorgenommen werden muss.
Die DE 10 2018 119 691 A1 zeigt ein Kamerasystem zur Erfassung von Kodierungen. Erfindungsgemäß werden Positionen von Konturpunkten der Kodierungen in Relation zu Rändern einer Suchzone des Kamerasystems ermittelt und analysiert. Fällt beispielsweise ein Großteil der Konturpunkte in einen Grenzbereich der Suchzone des Kamerasystems, deutet dies darauf hin, dass die Suchzone anders gewählt werden sollte. Dies kann daraufhin manuell oder automatisch erfolgen. Auf diese Weise kann eine höhere Lesesicherheit gewährleistet werden.
In der DE 10 2019 113 647 A1 wird ein Kamerasystem zur Erfassung von Objekten und/oder Objekteigenschaften beschrieben, welches zusätzlich zu dem zu erfassenden Objekt weitere Bildmerkmale und Informationen über Fehldetektionen erfasst. Wird beispielsweise festgestellt, dass Detektionen von Bildern mit erhöhtem mittleren Grauwert häufig fehlerhaft sind, kann eine entsprechende Rückmeldung an den Benutzer ausgegeben werden, der die Einstellungen daraufhin korrigieren kann.
In der DE 10 2015 216 446 A1 wird ein Verfahren zur Vollständigkeitsprüfung eines Behälters mit einer Mehrzahl von Objekten mittels einer 3D-Kamera dahingehend verbessert, dass der Benutzer in der Wahl von geeigneten Parametern unterstützt wird. Bei den Parametern handelt es sich insbesondere um Schwellenwerte für Höhenwerte, die darüber entscheiden, ob ein Platz eines Behälters als belegt oder unbelegt eingestuft wird. Ein zentraler Aspekt des Verfahrens besteht darin, dem Benutzer simultan zwei Anzeigen bereitzustellen, wovon die erste eine zweidimensionale Ansicht des Behälters, die zweite die erfassten Höhenwerte mit einstellbaren Schwellenwerten anzeigt. So erhält der Benutzer eine verbesserte Übersicht über die Auswirkung der eingestellten Schwellenwerte.
Die DE 10 2019 103 397 A1 zeigt ein Verfahren zum Betreiben einer Kamera zum Erfassen von Codes. Über eine modulare Betriebsweise der Kamera wird erreicht, dass die Einlernphase, die für eine zuverlässige Erkennung notwendig ist und üblicherweise manuell durchgeführt werden muss, von der Kamera selbst ausgeführt werden kann.
Die aus dem Stand der Technik bekannten Verfahren sind hinsichtlich der Performance sowohl des Einlernprozesses als auch der anschließenden Bildverarbeitungsprozesse weiterhin verbesserungsbedürftig. Zudem erfordern die meisten Lösungen aus dem Stand der Technik ein hohes Maß an Benutzerinteraktion beim Einlernprozess, was ebenfalls als nachteilig empfunden wird.
Vor dem oben dargestellten Hintergrund liegt der Erfindung die Aufgabe zugrunde, eine verbesserte Möglichkeit für die Einstellung der Beleuchtung für fotografische Aufnahmen zu ermitteln. Insbesondere soll das Verfahren eine effiziente und einfache Einstellung einer Beleuchtungsfarbe ermöglichen, durch die der Kontrast einer zu erstellenden Schwarz-Weiß-Aufnahme optimiert wird.
Diese Aufgabe wird durch ein computerimplementiertes Verfahren nach Patentanspruch 1, ein computerlesbares Speichermedium nach Patentanspruch 8, eine Bildverarbeitungsvorrichtung nach Patentanspruch 9 sowie ein Aufnahmesystem nach Patentanspruch 10 gelöst. Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.
Insbesondere wird die Aufgabe gelöst durch ein computerimplementiertes Verfahren zur Bestimmung einer Beleuchtungsfarbe für die Verbesserung und/oder Optimierung des Kontrasts einer zu erstellenden Bildaufnahme unter Verwendung der Beleuchtungsfarbe. Dabei umfasst das Verfahren folgende Schritte:

- Empfangen einer Eingangsaufnahme eines zu erfassenden Objekts in Graustufen, bei der das Objekt weiß beleuchtet ist;
- Erzeugen eines farbigen Auswahlbilds auf Grundlage der Eingangsaufnahme;
- Bestimmen einer Farbverteilung des Auswahlbilds;
- Bestimmen der Beleuchtungsfarbe auf Grundlage der Farbverteilung.

In dem beschriebenen Verfahren bildet die Eingangsaufnahme des zu erfassenden Objekts in Graustufen die Grundlage für alle weiteren Verfahrensschritte. Ein wesentlicher Punkt des Verfahrens liegt darin, dass bei der Eingangsaufnahme das zu erfassende Objekt weiß beleuchtet wird. Da weißes Licht die Farben Rot, Grün und Blau in gleicher Intensität enthält, verhindert dies die Aufhellung bzw. Verdunklung bestimmter Bereiche gegenüber anders gefärbten Bereichen in der Eingangsaufnahme. Gleichzeitig wird durch die weiße Beleuchtung eine ausreichend helle Eingangsaufnahme bereitgestellt. In diesem Sinne entspricht die Eingangsaufnahme einer unverfälschten, authentischen Aufnahme des Objekts in neutraler Beleuchtung.
Ein Kerngedanke der Erfindung liegt nun darin, auf Grundlage der Eingangsaufnahme ein farbiges Auswahlbild zu erzeugen. Das Auswahlbild dient den folgenden Verfahrensschritten als Anhaltspunkt dafür, welche Farbinformationen eine farbige Aufnahme des zu erfassenden Objekts enthalten würde. Gewissermaßen wird durch das Auswahlbild der Informationsverlust aufgrund der Tatsache kompensiert, dass die Eingangsaufnahme des zu erfassenden Objekts lediglich in Graustufen vorliegt.
Ein weiterer Verfahrensschritt sieht ein Bestimmen einer Farbverteilung des Auswahlbilds vor. Unter einer Farbverteilung können im Kontext dieser Beschreibung eine oder mehrere Häufigkeitsverteilungen der Farbwerte in einem Bild verstanden werden. Eine Farbverteilung kann eine Häufigkeitsverteilung über das gesamte Farbspektrum sein oder eine Menge von mehreren Häufigkeitsverteilungen, die jeweils auf einen einzelnen Farbkanal projiziert sind.
Das beschriebene Verfahren bestimmt die zu ermittelnde Beleuchtungsfarbe auf der Grundlage der Farbverteilung des Auswahlbildes. Wie bereits oben beschrieben, dient die ermittelte Farbverteilung als Anhaltspunkt für die Farbinformationen des zu erfassenden Objekts. Insbesondere können die Auswirkungen einer farbigen Beleuchtung anhand des farbigen Auswahlbilds simuliert werden.
In einer Ausführungsform des Verfahrens kann das Bestimmen der Beleuchtungsfarbe ferner auf Grundlage eines Bildausschnitts im Auswahlbild und einer Ausschnittsfarbverteilung des Bildausschnitts erfolgen. Hierbei kann der Bildausschnitt festgelegt werden durch

- einen Algorithmus zur Objekterkennung und/oder
- einen Benutzer, wobei das Festlegen insbesondere die Verwendung eines geometrischen Auswahlwerkzeugs und/oder eines Pinselwerkzeugs umfasst.

Unter einem Bildausschnitt kann im Kontext dieser Erfindung ein einzelner Bildbereich oder auch die Vereinigung beliebig vieler Bildbereiche verstanden werden. Insbesondere kann ein Bildausschnitt mehrere unzusammenhängende Bildbereiche umfassen.
Die Festlegung eines Bildausschnitts im Auswahlbild bietet den Vorteil, dass so die Auswahlaufnahme auf einen relevanten Teil, nämlich das zu erfassende Objekt bzw. einen Ausschnitt davon, eingeschränkt werden kann. Insbesondere kann auf diese Weise verhindert werden, dass irrelevante Bildelemente Einfluss auf weitere Verfahrensschritte nehmen. Ohne Einschränkung auf einen Bildausschnitt könnten beispielsweise großflächige, dunkle Bildbereiche im Hintergrund bzw. in der Umgebung des zu erfassenden Objekts die ermittelte Farbverteilung signifikant beeinflussen, obwohl das zu erfassende Objekt selbst in einem hellen Bildbereich liegt. In diesem Fall sollte der Bildausschnitt das zu erfassende Objekt ohne den Hintergrund umfassen, um eine aussagekräftige Farbverteilung zu erhalten.
In einer bevorzugten Ausführungsform erfolgt das Erzeugen des Auswahlbildes und/oder das Bestimmen der Beleuchtungsfarbe unter Verwendung künstlicher Intelligenz, insbesondere unter Verwendung eines trainierten künstlichen neuronalen Netzes (KNN). Das KNN kann beispielsweise als ein- oder mehrschichtiges Feed-Forward-Netz oder als rekurrentes Netz ausgebildet sein.
Ein Trainieren des KNN kann beispielsweise als ein überwachtes Lernverfahren geschehen, etwa wie im Folgenden beschrieben. Zur Erzeugung eines Trainingsdatensatzes werden Farbaufnahmen y₁,...,y_n erstellt, die ein oder mehrere Objekte in unterschiedlichen farblichen Gestaltungen zeigen, die im beabsichtigen Einsatzgebiet zu erwarten sind. Eine solche gezielte Wahl von Trainingsdaten kann die Qualität der späteren Ausgaben des KNN erhöhen. Zu jeder Farbaufnahme y_i mit 1 ≤ i ≤ n wird eine Schwarz-Weiß-Aufnahme x_i durch Transformation der Farbwerte in Graustufen erstellt. Ein solches Paar (x_i,y_i) mit 1 ≤ i ≤ n wird als Trainingsbeispiel bezeichnet, wobei x_i als Eingabe und y_i als erwartete Ausgabe betrachtet wird. Mit Hilfe eines Lernalgorithmus können die Gewichte des KNN nun dahingehend optimiert werden, dass die Abweichungen von den erwarteten Ausgaben minimiert werden.
In ähnlicher Weise kann ein KNN auf die Bestimmung einer Beleuchtungsfarbe trainiert werden. Hierbei kann ein Paar aus Schwarz-Weiß-Aufnahme und Beleuchtungsfarbe als ein Trainingsbeispiel dienen. Hierbei sollte die Beleuchtungsfarbe so gewählt sein, dass sie den Kontrast bei entsprechender farbiger Beleuchtung auf einer Schwarz-Weiß-Aufnahme optimiert.
In einer anderen Ausführungsform kann das Auswahlbild durch Transformation von Graustufenwerten der Eingangsaufnahme in ein zuvor festgelegtes Farbspektrum erzeugt werden. Dieser Ausführungsform liegt der Gedanke zugrunde, dass in einigen Anwendungsbereichen dieser Erfindung das (ungefähre) Farbspektrum der Szene bekannt ist, die in der Eingangsaufnahme dargestellt ist. Ist ein solches Farbspektrum gegeben, so kann durch eine Rechenvorschrift jeder Grauwert einer Farbe aus dem Farbspektrum zugeordnet werden. Auf diese Weise kann zu der Eingangsaufnahme ein farbiges Auswahlbild pixelweise berechnet werden. Die Kenntnis eines passenden Farbspektrums vorausgesetzt, bietet diese Ausführungsform eine einfache und effiziente Möglichkeit zur Erzeugung des Auswahlbildes.
Eine weitere Ausführungsform des Verfahrens sieht vor, die Beleuchtungsfarbe in Abhängigkeit von einer ersten Farbe und einer zweiten Farbe aus der Farbverteilung zu bestimmen. Dabei unterschreitet ein Abstandswert zwischen der ersten Farbe und der zweiten Farbe, insbesondere ein Abstand von Grauwerten der ersten und zweiten Farbe, einen Schwellenwert. Dieser Ausführungsform liegt der Gedanke zugrunde, die Unterscheidbarkeit von Farben in einer Schwarz-Weiß-Aufnahme als Abstandswert zu quantifizieren. Der Abstandswert kann als Differenz von jeweils zugeordneten Grauwerten, wie eingangs beschrieben, gewählt werden. Ein niedriger Abstandswert zwischen einer ersten und einer zweiten Farbe kann dann darauf hindeuten, dass entsprechend eingefärbte Bereiche des zu erfassenden Objekts auf der Eingangsaufnahme schwer unterscheidbar sind. Dabei wird ein Abstandswert als niedrig betrachtet, wenn er einen vorgegebenen Schwellenwert unterschreitet. Durch Beleuchtung des Objekts mit der ersten Farbe können die entsprechend gefärbten Bereiche gegenüber andersfarbigen Bereichen in einer Schwarz-Weiß-Aufnahme aufgehellt erscheinen.
In einer anderen Ausführungsform umfasst das Verfahren ferner das Senden eines Steuersignals an eine Farbbeleuchtungseinheit, wobei das Steuersignal mit der bestimmten Beleuchtungsfarbe korrespondiert und die Farbbeleuchtungseinheit das zu erfassende Objekt beleuchtet.
Bevorzugt umfasst ein Verfahren gemäß der zuvor beschriebenen Ausführungsform ferner die folgenden Schritte:

- Empfangen einer zweiten Eingangsaufnahme des zu erfassenden Objekts in Graustufen, wobei das zu erfassende Objekt auf der zweiten Eingangsaufnahme mit der bestimmten Beleuchtungsfarbe ausgeleuchtet wurde, insbesondere mit einer Farbbeleuchtungseinheit;
- Erkennen von Bereichen und/oder Konturen in der zweiten Eingangsaufnahme und/oder in einem Bildausschnitt der zweiten Eingangsaufnahme.

Wie bereits zuvor beschrieben, kann das Beleuchten des zu erfassenden Objekts mit der bestimmten Beleuchtungsfarbe dazu führen, dass Objektbereiche dieser Farbe in der zweiten Eingangsaufnahme heller erscheinen, während Objektbereiche der Komplementärfarbe (in Bezug auf die Beleuchtungsfarbe) verdunkelt erscheinen. Dies sorgt für stärker ausgeprägte Konturen in der zweiten Eingangsaufnahme, sodass das Erkennen von Bereichen und/oder Konturen, welches in einem folgenden Weiterverarbeitungsschritt erfolgen kann, optimiert werden kann.
Die Aufgabe wird weiter insbesondere gelöst durch ein computerlesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren wie vorstehend beschrieben zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
Darüber hinaus wird die Aufgabe insbesondere gelöst durch eine Bildverarbeitungsvorrichtung, die ein computerlesbares Speichermedium wie vorstehend beschrieben und eine Recheneinheit aufweist. Hierbei ist die Recheneinheit dazu ausgebildet, gespeicherte Instruktionen des computerlesbaren Speichermediums auszuführen.
Insbesondere wird die Aufgabe ferner durch ein Aufnahmesystem gelöst, das folgende Komponenten aufweist:

- eine Bildverarbeitungsvorrichtung wie vorstehend beschrieben,
- eine SW-Kamera und
- eine Farbbeleuchtungseinheit.

Dabei ist die SW-Kamera dazu ausgebildet, eine Aufnahme eines zu erfassenden Objekts zu erstellen und diese der Bildverarbeitungsvorrichtung bereitzustellen. Die Farbbeleuchtungseinheit ist dazu ausgebildet, das zu erfassende Objekt farbig zu beleuchten.
Gemäß einer Ausführungsform können die vorstehend beschrieben Komponenten des Aufnahmesystems, d.h. insbesondere die Bildverarbeitungseinrichtung, die SW-Kamera und die Farbbeleuchtungseinheit, in einem einzigen Gerät verbaut sein.
In einer alternativen Ausführungsform sind nur die Bildverarbeitungseinrichtung und die SW-Kamera gemeinsam in einem Gerät verbaut, während die Farbbeleuchtungseinheit als externe Vorrichtung mit dem Gerät verbunden ist.
In einer weiteren Ausführungsform kann ein Aufnahmesystem wie vorstehend beschrieben ferner eine Sendeeinheit und eine Empfangseinheit aufweisen. Die Sendeeinheit kann dazu ausgebildet sein, eine erstellte Aufnahme an die Empfangseinheit zu übermitteln. Die Empfangseinheit kann dazu ausgebildet sein, die empfangene Aufnahme der Bildverarbeitungsvorrichtung bereitzustellen. Somit muss sich die Bildverarbeitungsvorrichtung nicht in unmittelbarer Nähe der SW-Kamera befinden, sondern kann beispielsweise in einem entfernten Rechenzentrum untergebracht sein.
Eine bevorzugte Ausführungsform kann vorsehen, dass ein Aufnahmesystem wie vorstehend beschrieben ferner eine Einheit zur Interaktion mit einem Benutzer aufweist. Die Interaktionseinheit kann dazu ausgebildet sein, mittels Ein- und Ausgabegeräten

- die Eingangsaufnahme und/oder das Auswahlbild darzustellen, vorzugsweise in verringerter Bildauflösung auf einer Übersichtsseite, und/oder
- einen Bildausschnitt zu erfassen, den ein Benutzer, insbesondere mittels geometrischer Auswahlwerkzeuge und/oder durch ein Pinselwerkzeug, festlegt.

Ein Aufnahmesystem gemäß dieser Ausführungsform kann einem Benutzer eine verbesserte Übersicht über den Verlauf des computerimplementierten Verfahrens bieten, indem er das zur Eingangsaufnahme erzeugte farbige Auswahlbild einsehen kann.
Das Festlegen eines Bildausschnitts kann in einer geeigneten grafischen Benutzeroberfläche durch den Benutzer auf komfortable Weise erfolgen. Vorzugsweise sind zu diesem Zweck geometrische Auswahlwerkzeuge und/oder ein Pinselwerkzeug vorhanden, die eine Markierung des Bildausschnitts in der Darstellung des Auswahlbilds erlauben. Ein einfaches geometrisches Auswahlwerkzeug kann hierbei beispielsweise einen Auswahlbereich in Form eines Dreiecks, eines Vierecks oder einer Ellipse erzeugen. Zur Erzeugung von polygonförmigen Auswahlbereichen kann weiterhin ein Polygonwerkzeug vorgesehen sein, mit dem schrittweise die Abschnitte eines Polygonzugs festgelegt werden können. Darüber hinaus kann ein Pinselwerkzeug vorgesehen sein, das einen Bildausschnitt aus der Gesamtmenge aller Pixel erstellt, die mit dem Pinselwerkzeug angewählt wurden. Dies ist insbesondere vorteilhaft, wenn sich der zu markierende Bereich nicht auf einfache Weise durch ein geometrisches Auswahlwerkzeug markieren lässt.
Weitere Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen beschrieben, die anhand der Figuren näher erläutert werden. Hierbei zeigen:

1 ein beispielhaftes Aufnahmesystem;
2 eine schematische Darstellung eines Verfahrens zum Bestimmen einer Beleuchtungsfarbe;
3 eine beispielhafte Benutzeroberfläche zum Festlegen eines Bildausschnitts;
4 ein Bestimmen einer Beleuchtungsfarbe auf Grundlage einer Farbverteilung gemäß einer Ausführungsform;

In der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
1 zeigt ein erfindungsgemäßes Aufnahmesystem 70. In diesem Ausführungsbeispiel wird das Aufnahmesystem 70 im Rahmen einer Produktionskontrolle eingesetzt, für die eine fotografische Aufnahme des Objekts 30 angefertigt werden soll.
Bei dem Objekt 30 handelt es sich in um ein quaderförmiges Bauteil mit fünf untereinander angebrachten Schrauben, deren korrekte Positionierung als Teil der Produktionskontrolle überprüft werden soll.
Hierzu ist eine SW-Kamera 10 auf das Objekt 30 gerichtet, dessen Oberfläche von einer Farbbeleuchtungseinheit 20 angestrahlt wird. Bei der Farbbeleuchtungseinheit 20 handelt es sich um eine RGB-W-Beleuchtungseinheit, welche Lichtquellen der Farben rot, grün, blau und weiß aufweist. Durch Zu- bzw. Abschalten und Intensitätseinstellung der einzelnen farbigen Lichtquellen erlaubt die Farbbeleuchtungseinheit 20, das Objekt 30 in einer Vielzahl von Farben zu beleuchten.
Weitere Komponenten des Aufnahmesystems 70 sind eine Bildverarbeitungsvorrichtung aufweisend ein computerlesbares Speichermedium 71, das Anweisungen zur Ausführung eines erfindungsgemäßen Verfahrens enthält, und eine Recheneinheit 72, die das Verfahren gemäß der auf dem Speichermedium 71 abgelegten Anweisungen ausführt.
Zur Erzeugung des Auswahlbildes ist die Rechenvorrichtung 72 an ein KI-Modul 74 angebunden, das ein trainiertes künstliches neuronales Netz aufweist und entsprechende Schnittstellen anbietet, welche die Kommunikation mit dem neuronalen Netz ermöglichen.
Des Weiteren ist die Rechenvorrichtung 72 an eine Interaktionseinheit 73 angebunden. Die Interaktionseinheit 73 weist Ein- und Ausgabegeräte auf, über die ein Benutzer die Eingangsaufnahme der SW-Kamera 10 sowie das von dem KI-Modul 74 erzeugte Auswahlbild einsehen kann. Darüber hinaus ist es einem Benutzer über die Interaktionseinheit 73 möglich, einen Bildausschnitt im Auswahlbild festzulegen.
In 2 ist ein Verfahren zum Bestimmen einer Beleuchtungsfarbe schematisch dargestellt, wobei die Eingangsaufnahme E einen Teil des Objekts 30 aus dem Ausführungsbeispiel nach 1 zeigt.
In dem gezeigten Ausführungsbeispiel zeigt die Eingangsaufnahme E mehrere sechseckige Schraubenköpfe 31, 32, 33 in Draufsicht, wobei die Schraubenköpfe 31 und 33 am Bildrand liegen und nicht vollständig auf der Eingangsaufnahme E abgebildet sind. Da die Eingangsaufnahme E lediglich in Graustufen vorliegt, sind die Konturen der Schraubenköpfe 31, 32, 33 lediglich schwach ausgeprägt (in 2 dargestellt als gestrichelte Linien). Zudem erscheinen die Oberflächen der Schraubenköpfe 31, 32, 33 sowie der umliegende Bereich in der gleichen Farbe.
Das Verfahren erzeugt im nächsten Schritt ein farbiges Auswahlbild A auf Grundlage der Eingangsaufnahme E. Dies kann insbesondere unter Verwendung künstlicher Intelligenz geschehen, so wie es bereits in Verbindung mit 1 beschrieben wurde. Auf dem erzeugten farbigen Auswahlbild A ist zu erkennen, dass die Oberflächen der Schraubenköpfe 31 und 33 eine andere Farbe aufweisen als die Oberfläche des Schraubenkopfes 32 und alle drei Oberflächen eine andere Farbe als der Hintergrund des Werkstücks aufweisen (in 2 werden unterschiedliche Farben durch unterschiedliche Schraffuren dargestellt). Durch das Vorliegen unterschiedlicher Farben sind insbesondere auch die Konturen der Schraubenköpfe 31, 32, 33 besser wahrnehmbar.
Zu dem erzeugten farbigen Auswahlbild A wird eine Farbverteilung V bestimmt. In 2 ist die Farbverteilung zweidimensional dargestellt, wobei auf der horizontalen Achse die Farben und auf der vertikalen Achse ihre relativen Häufigkeiten im Auswahlbild A aufgetragen sind.
In einem nächsten Schritt wird ein quadratischer Bildausschnitt A1 im Auswahlbild A festgelegt, wobei das Festlegen entweder durch einen Benutzer oder algorithmisch stattfinden kann. Der Bildausschnitt A1 ist so gewählt, dass er ausschließlich den Schraubenkopf 32 auf der Oberfläche des Objekts 30 zeigt.
Zu dem festgelegten Bildausschnitt A1 wird eine Ausschnittsfarbverteilung V1 bestimmt. Der Ausschnittsfarbverteilung V1 ist zu entnehmen, dass es zwei Farben bzw. Farbbereiche gibt, die mit vergleichsweise hoher relativer Häufigkeit in dem Bildausschnitt A1 auftreten.
In einem letzten Schritt wird die Beleuchtungsfarbe F auf Grundlage des Bildausschnitts A1 und der Ausschnittsfarbverteilung V1 bestimmt. In dem gezeigten Ausführungsbeispiel handelt es sich bei der Beleuchtungsfarbe F um die Farbe, welche die Oberfläche des Schraubenkopfes 32 in der Auswahlaufnahme A besitzt.
Im Anschluss an das beschriebene Verfahren kann eine zweite Eingangsaufnahme in Graustufen erstellt werden (nicht dargestellt in 2). Bei der zweiten Eingangsaufnahme erfolgt eine farbige Beleuchtung des erfassten Objekts mit der zuvor bestimmten Beleuchtungsfarbe F, anstatt mit weißem Licht, wie in der (ersten) Eingangsaufnahme E. Hierbei ist zu erwarten, dass die zweite Eingangsaufnahme einen verbesserten Kontrast aufweist, und insbesondere, dass die Oberfläche des Schraubenkopfes 32 sich klar von seiner Umgebung abgrenzt.
3 zeigt ein Ausführungsbeispiel einer grafischen Benutzeroberfläche 90 zur Markierung des Bildausschnitts A1 im Auswahlbild A. Am oberen rechten Rand der Benutzeroberfläche 90 ist eine Werkzeugleiste 91 vorhanden, die dem Benutzer verschiedene Auswahlwerkzeuge bereitstellt: Ein Dreieckwerkzeug 92, ein Rechteckwerkzeug 93, ein Ellipsenwerkzeug 94, ein Polygonwerkzeug 95 und ein Pinselwerkzeug 96. Darüber hinaus ist 3 zu entnehmen, dass der Benutzer das Rechteckwerkzeug 93 dazu verwendet, einen quadratischen Bildausschnitt zu definieren, der den mittleren Schraubenkopf umschließt.
Anhand von 4 kann das Bestimmen einer Beleuchtungsfarbe auf Grundlage einer Farbverteilung V gemäß einer Ausführungsform erklärt werden. Die Farbverteilung V ist als Histogramm dargestellt, wobei sich auf der horizontalen Achse ein kontinuierliches Spektrum aller im Auswahlbild A vorkommenden Farben befindet und auf der vertikalen Achse deren relative Häufigkeit im Auswahlbild A. An dem Histogramm kann erkannt werden, dass Farben im Bereich der Farben F1 = (1, 0, 1) und F2 = (0, 0.39, 0) zu hohen Anteilen in dem Auswahlbild A vorkommen, wobei sich die Schreibweise der Farben F1 und F2 hier auf das RGB-Farbmodell bezieht.
Gemäß der in der Einleitung dieser Beschreibung erwähnten Methode lassen sich den Farben F1 und F2 die Grauwerte x₁ = 0.28 und x₂ = 0.2808 zuordnen, die bei Transformation in ein Graustufenbild auftreten könnten. Wird die Differenz der Grauwerte als Abstandswert aufgefasst und ein Schwellenwert von δ = 0.01 festgelegt, so unterschreitet der Abstandswert 0.0008 diesen Schwellenwert. Es kann somit davon ausgegangen werden, dass Bildbereiche der Farben F1 und F2 bzw. jeweils benachbarte Farben in einem Graustufenbild nicht bzw. schwer unterscheidbar sind.
Dementsprechend ist zu erwarten, dass bei einer farbigen Beleuchtung mit F1 als Beleuchtungsfarbe der Kontrast einer Schwarz-Weiß-Aufnahme optimiert wird, da die F1-farbigen Bereiche aufgehellt werden. Alternativ kann F2 als Beleuchtungsfarbe gewählt werden.
An dieser Stelle sei darauf hingewiesen, dass alle oben beschriebenen Teile jeweils für sich - auch ohne im jeweiligen Zusammenhang zusätzlich beschrie-bene Merkmale, selbst wenn diese nicht explizit als optionale Merkmale im jeweiligen Zusammenhang individuell kenntlich gemacht worden sind, z. B. durch Verwendung von: insbesondere, vorzugsweise, beispielsweise, z. B., ggf. , runden Klammern, etc. - und in Kombination oder jeglicher Unterkombination als eigenständige Ausgestaltungen bzw. Weiterbildungen der Erfindung, wie sie insbesondere in der Beschreibungseinleitung sowie den Ansprüchen definiert ist, anzusehen sind. Abweichungen hiervon sind möglich. Konkret sei darauf hingewiesen, dass das Wort insbesondere oder runde Klammern keine im jeweiligen Kontext zwingende Merkmale kennzeichnen.
Abschließend sei explizit darauf hingewiesen, dass sämtliche hinsichtlich des erfindungsgemäßen Verfahrens beschriebenen Aspekte mit dem erfindungsgemäßen Aufnahmesystem kombiniert werden können und anders herum.
Bezugszeichenliste

10: SW-Kamera
20: Farbbeleuchtungseinheit
30: Objekt
70: Aufnahmesystem
71: Speichermedium
72: Recheneinheit
73: Interaktionseinheit
74: KI-Modul
90: Benutzeroberfläche zur Markierung eines Bildausschnitts
91: Werkzeugleiste
92: Dreieckwerkzeug
93: Rechteckwerkzeug
94: Ellipsenwerkzeug
95: Polygonwerkzeug
96: Pinselwerkzeug
A: Auswahlbild
A1: Bildausschnitt
E: Eingangsaufnahme
F: Beleuchtungsfarbe
F1: erste Farbe
F2: zweite Farbe
V: Farbverteilung
V1: Ausschnittsfarbverteilung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018119691 A1 [0011]
DE 102019113647 A1 [0012]
DE 102015216446 A1 [0013]
DE 102019103397 A1 [0014]

Claims

Computerimplementiertes Verfahren zur Bestimmung einer Beleuchtungsfarbe (F) für die Verbesserung und/oder Optimierung des Kontrasts einer zu erstellenden Bildaufnahme unter Verwendung der Beleuchtungsfarbe (F), wobei das Verfahren folgende Schritte umfasst: - Empfangen einer Eingangsaufnahme (E) eines zu erfassenden Objekts (30) in Graustufen, bei der das Objekt (30) weiß beleuchtet ist; - Erzeugen eines farbigen Auswahlbilds (A) auf Grundlage der Eingangsaufnahme (E); - Bestimmen einer Farbverteilung (V) des Auswahlbilds (A); - Bestimmen der Beleuchtungsfarbe (F) auf Grundlage der Farbverteilung (V).
Verfahren nach Anspruch 1, wobei das Bestimmen der Beleuchtungsfarbe (F) ferner auf Grundlage eines Bildausschnitts (A1) im Auswahlbild (A) und einer Ausschnittsfarbverteilung (V1) des Bildausschnitts (A1) erfolgt, wobei der Bildausschnitt (A1) festgelegt wird durch - einen Algorithmus zur Objekterkennung und/oder - einen Benutzer, wobei das Festlegen insbesondere die Verwendung eines geometrischen Auswahlwerkzeugs (91, 92, 93, 94, 95) und/oder eines Pinselwerkzeugs (96) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erzeugen des Auswahlbildes (A) und/oder das Bestimmen der Beleuchtungsfarbe (F) unter Verwendung künstlicher Intelligenz, insbesondere unter Verwendung eines trainierten künstlichen neuronalen Netzes, erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Auswahlbild (A) durch Transformation von Graustufenwerten der Eingangsaufnahme (E) in ein zuvor festgelegtes Farbspektrum erzeugt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsfarbe (F) in Abhängigkeit von einer ersten Farbe (F1) und einer zweiten Farbe (F2) aus der Farbverteilung (V) bestimmt wird und ein Abstandswert zwischen der ersten Farbe (F1) und der zweiten Farbe (F2), insbesondere ein Abstand von Grauwerten der ersten und zweiten Farbe, einen Schwellenwert unterschreitet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner den folgenden Schritt umfasst: - Senden eines Steuersignals an eine Farbbeleuchtungseinheit (20), wobei das Steuersignal mit der bestimmten Beleuchtungsfarbe (F) korrespondiert und die Farbbeleuchtungseinheit (20) das zu erfassende Objekt (30) beleuchtet.
Verfahren nach einem der vorgehenden Ansprüche, insbesondere nach Anspruch 6, wobei das Verfahren ferner die folgenden Schritte umfasst: - Empfangen einer zweiten Eingangsaufnahme des zu erfassenden Objekts (30) in Graustufen, wobei das zu erfassende Objekt (30) auf der zweiten Eingangsaufnahme mit der bestimmten Beleuchtungsfarbe (F) ausgeleuchtet wurde, insbesondere mit einer Farbbeleuchtungseinheit (20); - Erkennen von Bereichen und/oder Konturen in der zweiten Eingangsaufnahme und/oder in einem Bildausschnitt der zweiten Eingangsaufnahme.
Computerlesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, das Verfahren nach einem der vorangehenden Ansprüche zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
Bildverarbeitungsvorrichtung, Folgendes aufweisend: - ein computerlesbares Speichermedium (71) nach Anspruch 8 und - eine Recheneinheit (72), die dazu ausgebildet ist, gespeicherte Instruktionen des computerlesbaren Speichermediums auszuführen.
Aufnahmesystem (70), Folgendes aufweisend: - eine Bildverarbeitungsvorrichtung nach Anspruch 9, - eine SW-Kamera (10) und - eine Farbbeleuchtungseinheit (20), wobei die SW-Kamera (10) dazu ausgebildet ist, eine Aufnahme eines zu erfassenden Objekts (30) zu erstellen und diese der Bildverarbeitungseinrichtung bereitzustellen, wobei die Farbbeleuchtungseinheit (20) dazu ausgebildet ist, das zu erfassende Objekt (30) farbig zu beleuchten.
Aufnahmesystem nach Anspruch 10, wobei die Bildverarbeitungsvorrichtung, die SW-Kamera (10) und die Farbbeleuchtungseinheit (20) in einem einzigen Gerät verbaut sind.
Aufnahmesystem nach Anspruch 10, wobei die Bildverarbeitungsvorrichtung und die SW-Kamera (10) in einem einzigen Gerät verbaut sind und die Farbbeleuchtungseinheit (20) eine externe Vorrichtung ist, die mit dem Gerät verbunden ist.
Aufnahmesystem nach einem der Ansprüche 10 bis 12, ferner aufweisend: - eine Sendeeinheit und - eine Empfangseinheit, wobei - die Sendeeinheit dazu ausgebildet ist, die erstellte Aufnahme an die Empfangseinheit zu übermitteln und - die Empfangseinheit dazu ausgebildet ist, die empfangene Aufnahme der Bildverarbeitungsvorrichtung bereitzustellen.
Aufnahmesystem nach einem der Ansprüche 10 bis 13, ferner aufweisend eine Interaktionseinheit (73), die dazu ausgebildet ist, mittels Ein- und Ausgabegeräten - die Eingangsaufnahme und/oder das Auswahlbild darzustellen, vorzugsweise in verringerter Bildauflösung auf einer Übersichtsseite, und/oder - einen Bildausschnitt zu erfassen, den ein Benutzer, insbesondere mittels geometrischer Auswahlwerkzeuge (91, 92, 94, 95) und/oder durch ein Pinselwerkzeug (96), festlegt.