-
Die Erfindung betrifft ein Verfahren zur Zustandskontrolle einer Komponente in einer Komponentenumgebung eines Objekts gemäß dem Patentanspruch 1.
-
Heutzutage werden in der Produktion von Kraftfahrzeugen zur optischen Qualitätssicherung Bilderkennungsverfahren, welche auf Computervision und somit maschinellem Sehen beruhen eingesetzt. Hierzu werden Bilder einer Kamera und somit Sensordaten eines Kamerasensors des zu prüfenden Bereichs aufgenommen. Bei dem maschinellen Sehen handelt es sich um einen Ansatz des maschinellen Lernens beziehungsweise künstlicher Intelligenz. Für deren Trainieren eines Modells, welches das zu untersuchende Produkt charakterisieren beziehungsweise erkennen soll, müssen Trainingsdaten vorgehalten werden. Diese Trainingsdaten sind im Beispiel Bilder der Kamera, welche gelabeled beziehungsweise markiert werden, sodass ein lernendes System somit weiß, was auf dem Bild enthalten ist, um dadurch eine Objekterkennung ausführen zu können.
-
Je bessere und/oder mehr Trainingsdaten zum Trainieren des Modells vorliegen, desto besser funktioniert das maschinelle Sehen. Sowohl das Training als auch das Erzeugen von Trainingsdaten kann sehr aufwändig sein. Ferner kann das Modell in Abhängigkeit der Trainingsdaten beziehungsweise der tatsächlichen Umgebung fehleranfällig sein.
-
Zur Verwendung für ein Fahrzeug zeigt die
DE 10 2020 108 861 A1 ein Verfahren zum Ermitteln eines Zustands eines Bauteils eines Fahrzeugs.
-
Aufgabe der vorliegenden Erfindung ist es ein Verfahren zum Ermitteln eines Zustands einer Komponente beziehungsweise eines Bauteils in einer Bauteilumgebung bereitzustellen, welches besonders robust durchgeführt werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch den Gegenstand des unabhängigen Patentanspruchs gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen sowie in der Beschreibung und in der Zeichnung angegeben.
-
Das erfindungsgemäße Verfahren zur Zustandskontrolle einer Komponente in einer Komponentenumgebung eines Objekts, von welchen die Komponente ein Bauteil ist, umfasst mehrere Schritte.
-
In einem ersten Schritt erfolgt ein Aktivieren einer Funktion der Komponente und/oder der Komponentenumgebung durch eine Funktionseinrichtung. In einem zweiten Schritt erfolgt ein Erfassen der Komponente und zumindest teilweise der Komponentenumgebung mittels einer Sensoreinrichtung während die Funktion aktiviert ist. In einem dritten Schritt erfolgt ein Erzeugen von Sensordaten, welche durch das Erfassen erhaltene beziehungsweise gewonnene Information über die Komponente und/oder die Komponentenumgebung enthalten. In einem vierten Schritt erfolgt ein Vergleichen der Sensordaten mit einem in einer Steuerungseinrichtung hinterlegten Modell der Komponente und/oder der Komponentenumgebung. In einem fünften Schritt erfolgen ein Identifizieren der Komponente in den Sensordaten, und somit insbesondere eine Objekterkennung, aufgrund des Vergleichs. Im Anschluss erfolgt in einem sechsten Schritt ein Ermitteln eines Zustands der identifizierten Komponente aus den Sensordaten beziehungsweise anhand der Sensordaten.
-
Bei der Komponente handelt es sich somit um ein Bauteil des Objekts, wobei die Komponentenumgebung ebenfalls Teil des Objekts ist. Die Komponente kann beispielsweise ein Lenkrad sein, sodass es sich bei dem Objekt beispielsweise um ein Kraftfahrzeug handeln kann. In diesem Fall wäre die Komponentenumgebung beispielsweise ein Armaturenbrett beziehungsweise der Fahrzeuginnenraum des Kraftfahrzeugs. Mit anderen Worten kann die Komponentenumgebung ein Bindeglied insbesondere bei bestimmungsgemäßen Gebrauch zwischen dem Objekt und der Komponente herstellen. Beispielsweise kann es sich bei der Komponente um einen Fensterheber für eine Fahrzeugtüre handeln, sodass die Komponentenumgebung die Fahrzeugtüre darstellen kann.
-
Der Zustand kann insbesondere eine Qualität der Komponente beziehungsweise des Bauteils beschreiben. Die Funktion ist beispielsweise eine tatsächlich Funktion, welche die Komponente an ihrem Bestimmungsort, der Komponentenumgebung durchführt, beispielsweise das Wischen eines Scheibenwischers, wenn es sich bei der Komponente um den Scheibenwischer handelt. Die Funktionseinrichtung ist beispielsweise eine elektronische Recheneinrichtung beziehungsweise eine Steuerungseinrichtung des Objekts oder zumindest für das Objekt.
-
Die Funktionseinrichtung ist in der Regel unabhängig von der Steuerungseinrichtung ausgebildet. Alternativ können die Funktionseinrichtungen und die Steuerungseinrichtung jedoch gemeinsam ausgebildet sein. Die Sensoreinrichtung kann beispielsweise eine Kamera sein, sodass es sich bei den erzeugten Sensordaten um eine Aufnahme beziehungsweise ein Bild der Komponente und zumindest eines Teils der Komponentenumgebung handeln kann. Bei dem Modell handelt es sich vorzugsweise um ein Modell, welches durch maschinelles Lernen erzeugt wurde, beispielsweise in einem neuronalen Netz und somit durch künstliche Intelligenz ermittelt worden ist. Dabei vergleicht vorzugsweise die künstliche Intelligenz das Modell mit den Sensordaten, sodass die Steuerungseinrichtung vorteilhafterweise über eine neuronale Einheit verfügt, welche dazu ausgebildet ist einen durch ein neuronales Netz ausführbaren Algorithmus auszuführen.
-
Dabei liegt der Erfindung die Erkenntnis zugrunde, dass Modelle für maschinelles Lernen und somit beispielsweise das maschinelles Sehen, nur gut und robust sind, wenn sie mit ausreichend Daten trainiert wurde, sodass optische Merkmale einfach unterschieden werden können. Sind die Merkmale beispielsweise gleichfarbig, sodass die Komponente und die Komponentenumgebung beide schwarz sind, ist es für das maschinelle Sehen beziehungsweise für das Modell sehr schwer, eine treffsichere Klassifikation zu treffen, welche dem Identifizieren zugrunde liegen kann. So kann es sich beim Identifizieren insbesondere um eine Objekterkennung beziehungsweise eine Objektklassifikation handeln. Häufig werden Bilddateien beispielsweise in mehreren Stufen verarbeitet, so können die Sensordaten zuerst segmentiert und dann in einzelnen Bereiche klassifiziert werden.
-
Durch die Erfindung wird nun der zu prüfende Bereich, also die Komponente in ihrer Komponentenumgebung bewusst durch die Interaktion mit dem Aktivieren der Funktion, welche beispielsweise durch Sensorik und/oder Aktorik verändert werden kann, beeinflusst. Wobei die Funktion so gewählt wird, dass beispielsweise bewusst markante optische Situation geschaltet werden können, um ein Modell leichter beziehungsweise einfacher trainieren zu können und für das Verfahren ein robustes Modell verwenden zu können. So kann die Zustandskontrolle besonders robust ausgeführt werden.
-
Somit ist ein Vorteil des Verfahrens, dass ein Zustand einer Komponente eines Objekts besonders vorteilhaft ermittelt werden kann.
-
In vorteilhafter Ausgestaltung der Erfindung ist die Komponente ein Fahrzeugbauteil und/oder das Objekt ein Kraftfahrzeug. Zusätzlich oder alternativ umfasst das Kraftfahrzeug die Funktionseinrichtung. Mit anderen Worten ist das Kraftfahrzeug dazu ausgebildet, die Funktion der Komponente zu steuern und somit zu aktiveren, da die Funktionseinrichtung beispielsweise als ein Steuergerät des Kraftfahrzeugs ausgebildet ist. Wenn es sich bei dem Objekt um das Kraftfahrzeug handelt, ist somit ferner die Komponente ein Kraftfahrzeugbauteil. Hierdurch ergibt sich der Vorteil, dass das Verfahren beispielsweise besonders vorteilhaft in der Qualitätssicherung bei der Kraftfahrzeugproduktion und/oder im Service für Kraftfahrzeuge verwendet werden kann. Zusätzlich kann das Verfahren vorteilhaft für Fahrzeugapps, welche mit dem Kraftfahrzeug verbunden sind, verwendet werden.
-
In vorteilhafter Ausgestaltung der Erfindung entspricht die aktivierte Funktion einer Fahrzeugfunktion der Komponente und/oder der Komponentenumgebung im Normalbetrieb des Kraftfahrzeugs. Mit anderen Worten ist die Funktion, welche beispielsweise das Bewegen eines Scheibenwischers darstellen kann, eine Fahrzeugfunktion, welche durch einen Benutzer des Kraftfahrzeugs bei normaler Verwendung ebenso aktiviert und verwendet werden kann. Somit wird nicht extra eine ansonsten nicht genutzte Funktion benötigt. Dabei ergibt sich der Vorteil, dass das Verfahren besonders effizient durchgeführt werden kann.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung wird beziehungsweise werden der Vergleich und/oder das Identifizieren und/oder das Ermitteln durch wenigstens eine Methode des maschinellen Lernens durchgeführt. Mit anderen Worten wird wenigstens ein Algorithmus und/oder ein neuronales Netz verwendet, welcher beziehungsweise welches dazu ausgebildet ist beziehungsweise trainiert ist, den Vergleich das Identifizieren und/oder das Ermitteln durchzuführen. Dadurch ergibt sich der Vorteil, dass das Verfahren besonders vorteilhaft automatisiert und/oder mit besonders weniger Nutzerinteraktion durchgeführt werden kann, da es beispielsweise keine beziehungsweise nur wenige Kontrolle beziehungsweise Aufsicht während des Durchführens des Verfahren bedarf.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung wird bei dem Identifizieren die Information der Komponente von der Information der Komponentenumgebung getrennt. Mit anderen Worten wird bei beispielsweise der Bildverarbeitung mittels des maschinellen Sehens, Daten beziehungsweise die Sensordaten derart analysiert beziehungsweise bearbeitet, dass die Komponente in der Umgebung identifiziert beziehungsweise aus dieser herausgelöst werden kann. Dabei ergibt sich der Vorteil, dass auf besonders vorteilhafte Weise das Objekt identifiziert werden kann und darüber hinaus im Anschluss besonders vorteilhaft der Zustand der Komponente ermittelt werden kann.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung wird als das Modell ein durch maschinelles Lernen trainiertes Modell verwendet. Zusätzlich oder alternativ werden Trainingsdaten für das Modell verwendet beziehungsweise in einem weiteren Schritt das Verfahren zum Trainieren des Modells verwendet, indem insbesondere markierte beziehungsweise gelabelte Sensordaten verwendet werden. Diese werden erzeugt beziehungsweise erfasst während die Funktion aktiviert ist. Handelt es sich bei der Funktion beispielsweise um eine Beleuchtung einer als Lenkrad ausgebildeten Komponente, umfassend die Trainingsdaten jeweils Bildinformationen bei denen die Beleuchtung aktiviert ist. So kann das Modell besonders robust trainiert werden, sodass ein weiterer Vorteil des Verfahrens eine besonders robuste Anwendung des Modells darstellt.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung stellt die Sensoreinrichtung optische und/oder akustische Sensordaten bereit. Mit anderen Worten kann es sich bei der Sensoreinrichtung um eine Kamera handeln, welche Bilder beziehungsweise Videos bereitstellt, sodass auch akustische Informationen in den Sensordaten enthalten sind. Zusätzlich oder alternativ kann es bei der Sensoreinrichtung um ein Mikrofon handeln, sodass nur akustische Sensordaten erfasst werden. Damit können beispielsweise akustische Zustände beziehungsweise Zustände, welche sich über ihre Akustik bemerkbar machen erfasst werden. Dadurch ergibt sich der Vorteil, dass das Verfahren besonders flexibel angewandt werden kann. Darüber hinaus sind beispielsweise auch haptische und/oder olfaktorische Sensordaten denkbar.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung ist eine Kommunikationsverbindung zwischen Steuerungseinrichtung und Funktionseinrichtung ausgebildet und/oder die Steuerungseinrichtung umfasst die Funktionseinrichtung. Mit anderen Worten besteht beispielsweise eine Kabel- und/oder Funkverbindung zwischen der Steuerungseinrichtung und der Funktionseinrichtung, welche dem Datenaustausch dient. So kann, um das Verfahren vorteilhaft und besonders automatisiert durchführen zu können, die Steuerungseinrichtung die Funktionseinrichtung anweisen die Funktion zu aktivieren. Dadurch ergibt sich der Vorteil, dass das Verfahren besonders effizient eingesetzt werden kann.
-
In weiterer vorteilhafter Ausgestaltung der Erfindung wird anhand des ermittelten Zustands eine Qualitätskontrolle der Komponente durchgeführt. Mit anderen Worten können aus dem ermittelten Zustand Rückflüsse über eine Qualität der Komponente beziehungsweise des Bauteils ermöglicht werden können, sodass das Verfahren vorteilhaft bei der Qualitätskontrolle in der Kraftfahrzeugproduktion verwendet werden kann.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigt:
- 1 ein schematisches Ablaufdiagramm für ein Verfahren zur Zustandskontrolle einer Komponente in einer Komponentenumgebung eines Objekts;
- 2 eine schematische Ansicht des als ein Kraftfahrzeug ausgebildeten Objekts sowie einer Steuerungseinrichtung und einer Sensoreinrichtung zum Durchführen des Verfahrens;
- 3 eine schematische Perspektivansicht der Komponente in einer Komponentenumgebung, beziehungsweise; und
- 4 eine schematische Perspektivansicht der Komponente in der Komponentenumgebung gemäß 3 mit aktivierter Funktion der Komponente.
-
1 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zur Zustandskontrolle einer Komponente 1 einer Komponentenumgebung 2 eines Objekts 3, von welchem die Komponente 1 ein Bauteil ist, wobei das Verfahren mehrere Schritte umfasst.
-
In einem ersten Schritt S1 erfolgt ein Aktivieren einer Funktion der Komponente und/oder aber der Komponentenumgebung 2 durch eine Funktionseinrichtung 4.
-
In einem zweiten Schritt S2 erfolgt ein Erfassen der Komponente und zumindest teilweise der Komponentenumgebung 2 mittels einer Sensoreinrichtung 5, während die Funktion aktiviert ist.
-
In einem dritten Schritt S3 erfolgt ein Erzeugen von Sensordaten, welche durch das Erfassen enthaltene beziehungsweise gewonnene Information über die Komponente 1 und/oder die Komponentenumgebung 2 enthalten.
-
In einem vierten Schritt S4 erfolgt ein Vergleich der Sensordaten mit einem in einer Steuerungseinrichtung 6 hinterlegten Modell der Komponente 1 und/oder der Komponentenumgebung 2.
-
In einem fünften Schritt S5 erfolgt ein Identifizieren der Komponente 1 in den Sensordaten aufgrund des Vergleichs.
-
Schließlich erfolgt in einem sechsten Schritt S6 ein Ermitteln eines Zustands beziehungsweise einer Eigenschaft der identifizierten Komponente 1 aus den Sensordaten.
-
Durch das vorgestellte Verfahren wird beispielsweise ein Problem gelöst, dass auftritt wenn für ein maschinelles Sehen ein zu geringer Unterschied, beispielsweise im Kontrast zwischen Komponente und Komponentenumgebung herrschen, da beide die gleiche Farbe aufweisen. Dabei kommen bei dem Verfahren, insbesondere für den Vergleich, das Identifizieren und/oder das Ermitteln vorzugsweise Methoden des maschinellen Lernens zum Einsatz, sodass es sich bei dem Modell ebenfalls um ein Modell handelt, welches durch maschinelles Lernen trainiert worden ist. Zusätzlich oder alternativ können als Trainingsdaten zum Trainieren des Modells, damit das Verfahren besonders vorteilhaft durchgeführt werden kann, Sensordaten verwendet werden, in welchen die Funktion der Komponente 1 aktiviert ist, um beispielsweise das Modell besonders vorteilhaft trainieren zu können.
-
Wie in der schematischen Ansicht in 2 gezeigt, kann es sich bei der Komponente 1 um ein Fahrzeugbauteil handeln, da das Objekt 3 als Kraftfahrzeug ausgebildet ist und zusätzlich oder alternativ kann das Kraftfahrzeug die Funktionseinrichtung 4 aufweisen. Dabei ist es Vorteil wenn eine Kommunikationsverbindung beispielsweise über einen Server 7, welcher beispielsweise als Fahrzeugbackend ausgebildet ist, zwischen Steuerungseinrichtung 6 und Funktionseinrichtung 4 ausgebildet wird. In einer alternativen Ausführungsform kann die Steuerungseinrichtung 6 die Funktionseinrichtung 4 umfassen.
-
Bei der Sensoreinrichtung 5 kann es sich beispielsweise um ein Mobilgerät, wie ein Smartphone oder Tablet handeln. So kann die Sensoreinrichtung 5 optische und/oder akustische Sensordaten bereitstellen, da die Sensoreinrichtung 5 beispielsweise eine Kamera und/oder ein Mikrofon umfasst.
-
Die aktivierte Funktion ist vorteilhafterweise eine Fahrzeugfunktion der Komponente und/oder der Komponentenumgebung 2 und entspricht einer Funktion welche auch im Normalbetrieb des Kraftfahrzeugs beziehungsweise des Objekts 3 verwendet werden kann.
-
Sind die Komponente 1, welche beispielsweise als Lenkrad ausgebildet ist, und die Komponentenumgebung 2, welche beispielsweise als Armaturenbrett ausgebildet ist, schwarz, ist es sehr schwer bei den Schritten S4 bis S6 eine treffsichere Klassifikation beziehungsweise Identifizierung der Komponente 1 zu treffen. Oft werden Bilddaten daher auch in mehreren Stufen verarbeitet, beispielsweise erst segmentiert und dann in einzelne Bereiche klassifiziert.
-
3 und 4 zeigen einmal die als Lenkrad ausgebildete Komponente 1 in ihrer Komponentenumgebung 2, dem Fahrzeuginnenraum beziehungsweise Armaturenbrett. 3 zeigt die Komponente 1, wobei die Funktion nicht aktiviert ist. 4 zeigt die Funktion, eine Lenkradbeleuchtung 8, angeschaltet beziehungsweise aktiviert. Soll der Zustand des schwarzen Lenkrads kontrolliert beziehungsweise geprüft werden, wird für das Training des Modells die Beleuchtung des Lenkrads einschalten, wodurch ein Kontrast erhöht wird und das Modell besonders vorteilhaft beim Identifizieren der Komponente 1 helfen kann, da durch den Kontrast das Modell deutlich schneller und/oder robuster trainiert ist.
-
Ein weiteres Beispiel könnte sein, dass die Anwesenheit einer Abdeckkappe an einem Scheibenwischer überprüft werden soll, in einer Normalstellung des Scheibenwischers ist das optisch schwer zu erkennen. Daher wird als Funktion der Scheibenwischer zum Training des KI Modells und beim Anwenden des Modells aktiv in eine günstige Stellung gefahren die einen besseren optischen Kontrast liefern kann.
-
Vorteilhafterweise kann das Verfahren bei der Qualitätskontrolle der Fahrzeugproduktion eingesetzt werden, ist jedoch nicht darauf beschränkt. Ein Vorteil des vorgestellten Verfahrens ist es, dass eine Zuverlässigkeit der Zustandskontrolle erhöht werden kann. Gleichzeitig kann beispielsweise das Modell schneller trainiert werden, da weniger Trainingsdaten vorgehalten werden müssen, da die Trainingsdaten günstiger sind. Dadurch kann das Verfahren beispielsweise auch besonders schnell verwendet werden.
-
Bezugszeichenliste
-
- S1
- erster Schritt
- S2
- zweiter Schritt
- S3
- dritter Schritt
- S4
- vierter Schritt
- S5
- fünfter Schritt
- S6
- sechster Schritt
- 1
- Komponente
- 2
- Komponentenumgebung
- 3
- Objekt
- 4
- Funktionseinrichtung
- 5
- Sensoreinrichtung
- 6
- Steuerungseinrichtung
- 7
- Server
- 8
- Lenkradbeleuchtung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102020108861 A1 [0004]
