-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Überwachungssystems einer Produktionseinrichtung für ein Kraftfahrzeug gemäß dem geltenden Patentanspruch 1. Ferner betrifft die Erfindung ein Computerprogrammprodukt sowie ein Überwachungssystem.
-
Moderne Produktionssysteme setzen zunehmend bildbasierte Systeme ein, um beispielsweise mit einer Bildüberwachung die Produktionsprozesse zu überwachen. Die von den Kameras aufgenommenen Bilder werden in der Regel zeitlich befristet gespeichert. Um im Falle von Fehlern beziehungsweise Qualitätsproblemen im Feld analysefähig zu sein, ist es wichtig, die Bilddateien über längere Zeiträume, beispielsweise mehrere Jahre, zu speichern. Hierzu werden nach dem Stand der Technik entsprechende Cloudspeicher oder lokale Speicher mithin eingesetzt. Ebenso sind Komprimierungsverfahren bekannt, die Bilddaten in verkleinerter Form speichern.
-
Trotz aktueller Komprimierungsverfahren und moderner Cloudinfrastruktur ist die massenhafte, langfristige Speicherung von Bilddaten ein enorm aufwendiger Prozess. In modernen Produktionssystemen können hier Millionenbeträge an Speicherkosten entstehen. Nachteilig bei den heute bekannten Verfahren ist, dass sie nur bestehende Bildinhalte komprimiert speichern, nicht aber dynamisch, automatisierte Bildinhalte aussortieren und speichern. Ferner ist auch der Speicherbedarf, wie bereits erwähnt, ein hochgradig technisches Problem.
-
Die
DE 10 2017 219 747 A1 beschreibt eine Vorrichtung zur Erfassung des Zustands eines eingebauten Objekts, die ein Informationen-Erwerbsmittel, das mindestens eine physikalische Information, die sich außerhalb eines Objekts zeigt, in dem ein Gegenstand eingebaut ist, dessen Zustand von außen nicht direkt erfassbar ist, und ein Zustand-Feststellungsmittel aufweist, das auf der Basis von einer oder mehreren erworbenen physikalischen Informationen den Zustand des Gegenstands feststellt.
-
Die
DE 10 2016 107 532 A1 beschreibt eine Bearbeitungsvorrichtung, aufweisend eine Handhabungseinrichtung und eine Vorschubeinrichtung. Die Handhabungseinrichtung ist zur Handhabung eines Werkstücks und/oder eines Werkzeugs eingerichtet und weist eine vorgebbare physikalische Reichweite auf. Die physikalische Reichweite definiert einen Handhabungsraum, in welchem das Werkstück und/oder das Werkzeug von der Handhabungseinrichtung in einer statischen Konfiguration erreichbar ist, wobei die Vorschubeinrichtung eingerichtet ist, das Werkstück und/oder das Werkzeug über den Handhabungsraum der Handhabungseinrichtung hinaus zu befördern, um so eine dynamische Konfiguration herbeizuführen und das Werkstück und/oder das Werkzeug außerhalb des Handhabungsraums der statischen Konfiguration bereitzustellen.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt sowie ein Überwachungssystem zu schaffen, mittels welchen datenreduziert eine Überwachung der Produktionseinrichtung realisiert werden kann.
-
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt sowie durch ein Überwachungssystem gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Überwachungssystems einer Produktionseinrichtung für ein Kraftfahrzeug. Es erfolgt das Erfassen eines ersten Bilds einer Umgebung der Produktionseinrichtung mit einem Kraftfahrzeugrohling mittels einer optischen Erfassungseinrichtung des Überwachungssystems, wobei der Kraftfahrzeugrohling zumindest ein in der Produktionseinrichtung angeordnetes Bauteil umfasst. Es erfolgt das Bestimmen einer Region von Interesse in dem ersten Bild mittels einer elektronischen Recheneinrichtung des Überwachungssystems, wobei die Region von Interesse das angeordnete Bauteil umfasst. Es wird der Informationsgehalt im ersten Bild außerhalb der Region von Interesse reduziert und es erfolgt das Erzeugen eines zweiten Bilds auf Basis des reduzierten Informationsgehalts im ersten Bild mittels der elektronischen Recheneinrichtung. Es wird dann das zweite Bild in einer Speichereinrichtung des Überwachungssystems abgespeichert.
-
Insbesondere macht sich somit die Erfindung zunutze, dass bekannt ist, welcher Produktionsschritt in einer jeweiligen Produktionseinrichtung genau durchgeführt wird. Beispielsweise erfolgt der Zusammenbau von unterschiedlichen Bauteilen zum Kraftfahrzeugrohling, wobei der Kraftfahrzeugrohling wiederum mit weiteren Bauteilen ergänzt werden kann, wodurch am Schluss der Produktionseinrichtung beziehungsweise einer Produktionsanlage wiederum das Kraftfahrzeug steht. Dabei ist bekannt, dass beispielsweise in der Produktionseinrichtung ein Einbau einer Kraftfahrzeugtür erfolgt. Somit wird dieses Wissen genutzt, so dass lediglich die Überwachung des Schritts des Einbaus der Tür überwacht wird. Insbesondere kann somit festgestellt werden, dass beispielsweise zur Qualitätsüberwachung innerhalb dieser einen Produktionseinrichtung lediglich das eine Bauteil beziehungsweise der Verbau dieses Bauteils überwacht werden muss. Somit können Informationen im Bild, welche außerhalb dieses Bauteils liegen, reduziert werden, wodurch das Bild mit einer geringeren Datenrate beispielsweise abgespeichert werden kann. Dies führt zu einer Reduzierung des Gebrauchs von Speicher.
-
Insbesondere werden somit Bilddaten beziehungsweise Bildinhalte gezielt optimiert beziehungsweise entfernt und entsprechend gespeichert. Dazu kombiniert wiederum das Überwachungssystem Informationen der Montagereihenfolge und Situationsdaten, zum Beispiel die Anwesenheit von Personen an Aufnahmeorten, und Segmentierungsinformationen, zum Beispiel Bereiche des Kraftfahrzeugs, und entfernt so Bildbereiche, die eine geringere Wahrscheinlichkeit für spätere Verwendung haben.
-
Gemäß einer vorteilhaften Ausgestaltungsform werden Objekte außerhalb der Region von Interesse mit einer Gitternetzdarstellung als reduzierter Informationsgehalt abgespeichert. Die Gitternetzdarstellung wird auch als so genanntes Wireframe bezeichnet. Insbesondere kann dabei vorgesehen sein, dass lediglich im Nahbereich des Bauteils die Wireframe-Struktur dargestellt wird. Somit kann datenreduziert das zweite Bild erzeugt und abgespeichert werden.
-
Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass auf Basis einer Objekterkennung und/oder Objektsegmentierung und/oder einer Objektklassifizierung im ersten Bild die Region von Interesse bestimmt wird. Beispielsweise kann bei einem Türeneinbau ganz genau das Bauteil Tür entsprechend als Objekt erkannt werden und lediglich auf Basis dessen die Region von Interesse bestimmt werden. Ferner ist es auch möglich, dass beispielsweise der Kraftfahrzeugrohling in unterschiedliche Segmente eingeteilt wird, und lediglich die Segmente, welche in der Produktionsanlage eingebaut/bearbeitet werden, überwacht beziehungsweise mit abgespeichert werden. Des Weiteren kann auch eine Objektklassifizierung durchgeführt werden, wobei auf Basis dann wiederum die Region von Interesse zuverlässig bestimmt werden kann.
-
Ferner hat es sich als vorteilhaft erwiesen, wenn die elektronische Recheneinrichtung mit einem maschinellen Lernalgorithmus, insbesondere mit einem neuronalen Netzwerk, bereitgestellt wird. Der maschinelle Lernalgorithmus beziehungsweise das neuronale Netzwerk kann auch als so genannte künstliche Intelligenz (KI) bezeichnet werden. Insbesondere kann somit die Bestimmung der Region von Interesse und die Datenreduktion mittels des neuronalen Netzwerks durchgeführt werden. Somit kann hocheffizient das Verfahren durchgeführt werden.
-
Ebenfalls vorteilhaft ist, wenn das Überwachungssystem für eine weitere Produktionseinrichtung für das Kraftfahrzeug bereitgestellt wird und Bildinformationen von der weiteren Produktionseinrichtung zur Reduzierung des Informationsgehalts berücksichtigt werden. Beispielsweise kann eine erste Produktionseinrichtung und eine zweite Produktionseinrichtung vorgesehen sein. Bilder, welche in der ersten Produktionseinrichtung von dem Kraftfahrzeugrohling beziehungsweise Bauteil gemacht werden, können wiederum Informationsgehalte aufweisen, welche auch für die weitere Produktionseinrichtung von Relevanz sind. Diese Informationen können übergeben werden, so dass beispielsweise zusätzliche Informationen innerhalb des Bildes der zweiten Produktionseinrichtung reduziert werden können, da diese Informationen bereits in dem ersten Bild der ersten Produktionseinrichtung vorhanden sind. Insbesondere kann dies dadurch passieren, indem entsprechende Bilder miteinander verglichen werden und Ähnlichkeiten im Bild gesucht werden, wobei diese Ähnlichkeiten dann im nächsten Schritt reduziert werden können.
-
Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass zusätzlich in der Region von Interesse eine Reduzierung des Informationsgehalts durchgeführt wird. Beispielsweise kann vorgesehen sein, dass bei einem Montageprozess entsprechende Farbinformationen ebenfalls mit herausgefiltert werden können. Es ist beispielsweise irrelevant, ob eine rote Tür oder eine blaue Tür korrekt eingebaut wird. Es ist lediglich der korrekte Verbau interessant. Somit können beispielsweise die entsprechenden Türen als reine Grauinformation hinterlegt werden, wodurch ebenfalls eine Datenreduktion durchgeführt werden kann.
-
Ferner hat es sich als vorteilhaft erwiesen, wenn als Reduzierung des Informationsgehalts außerhalb der Region von Interesse eine Reduzierung der Farbinformation und/oder das Entfernen von Objekten durchgeführt werden. Wie bereits erwähnt, können Farbinformationen auch außerhalb der Region von Interesse entsprechend reduziert werden. Beispielsweise kann die Umgebung der Region von Interesse lediglich in Grau dargestellt werden. Des Weiteren können Objekte, beispielsweise Personen oder Gebäudeteile in dem ersten Bild entsprechend entfernt werden, wodurch eine Reduzierung des Informationsgehalts realisiert werden kann.
-
Weiterhin vorteilhaft ist, wenn als Reduzierung des Informationsgehalts außerhalb der Region von Interesse eine Löschung von Bildinformationen durchgeführt wird. Insbesondere kann somit alles außerhalb der Region von Interesse entsprechend gelöscht werden, so dass lediglich die Region von Interesse weiterhin als zweites Bild abgespeichert wird. Dies führt zu einer enormen Datenreduktion und somit zu weniger Speicherbedarf.
-
Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen. Das Computerprogrammprodukt kann auch als Computerprogramm bezeichnet werden. Daher betrifft ein weiterer Aspekt der Erfindung auch ein computerlesbares Speichermedium mit dem Computerprogrammprodukt.
-
Ferner betrifft die Erfindung auch ein Überwachungssystem für eine Produktionseinrichtung für ein Kraftfahrzeug, mit zumindest einer Erfassungseinrichtung, einer elektronischen Recheneinrichtung und einer Speichereinrichtung, wobei das Überwachungssystem zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Überwachungssystems durchgeführt.
-
Die elektronische Recheneinrichtung weist beispielsweise elektronische Bauteile, wie Prozessoren, Schaltkreise, insbesondere integrierte Schaltkreise, sowie weitere elektronische Bauteile auf, um entsprechende Verfahrensschritte durchführen zu können.
-
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Computerprogrammprodukts sowie des Überwachungssystems anzusehen. Das Überwachungssystem weist insbesondere gegenständliche Merkmale auf, um entsprechende Verfahrensschritte durchführen zu können.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:
- 1 ein schematisches Blockdiagramm gemäß einer Ausführungsform eines Überwachungssystems; und
- 2 eine schematische Ansicht eines abgespeicherten Bilds gemäß einer Ausführungsform des Verfahrens.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
-
1 zeigt ein schematisches Blockschaltbild gemäß einer Ausführungsform eines Überwachungssystems 10. Das Überwachungssystem 10 ist für eine Produktionseinrichtung 12, 14, 16 für ein Kraftfahrzeug 18 ausgebildet. Das Überwachungssystem 10 weist hierfür eine Erfassungseinrichtung 20, 22, 24 auf. Ferner weist das Überwachungssystem 10 zumindest eine elektronische Recheneinrichtung 26 sowie eine Speichereinrichtung 28 auf. Ferner ist eine Datenbank 30 gezeigt.
-
Im folgenden Ausführungsbeispiel ist das Überwachungssystem 10 insbesondere für eine erste Produktionseinrichtung 12 mit einer ersten Erfassungseinrichtung 20, für eine zweite Produktionseinrichtung 14 mit einer zweiten Erfassungseinrichtung 22 und für eine dritte Produktionseinrichtung 16 mit einer dritten Erfassungseinrichtung 24 gezeigt. Insbesondere ist somit eine Art Produktionslaufband gezeigt, wobei ein Kraftfahrzeugrohling 32 durch die verschiedenen Produktionseinrichtungen 12, 14, 16 zum Kraftfahrzeug 18 gebaut wird.
-
Zur Überwachung der Qualität der Produktion zum Kraftfahrzeug 18 ist insbesondere vorgesehen, dass die Erfassungseinrichtungen 20, 22, 24 als optische Erfassungseinrichtungen, insbesondere als Kameras ausgebildet sind. Von den Kameras kann wiederum ein erstes Bild 32 erfasst werden. Das erste Bild 32 umfasst zumindest die Umgebung 42 der Produktionseinrichtungen 12, 14, 16 mit dem Kraftfahrzeugrohling 32, wobei der Kraftfahrzeugrohling 32 zumindest ein in der Produktionseinrichtung 12, 14, 16 angeordnetes Bauteil 36 (2) umfasst. Insbesondere wird somit das Bauteil 36 jeweils in der Produktionseinrichtung 12, 14, 16 an dem Kraftfahrzeugrohling 32 angeordnet. Im vorliegenden Ausführungsbeispiel kann beispielsweise in der ersten Produktionseinrichtung 12 ein Rad an den Kraftfahrzeugrohling 32 angeordnet werden. In der zweiten Produktionseinrichtung 14 kann beispielsweise ein Verkleidungsteil an den Kraftfahrzeugrohling 32 angeordnet werden. In der dritten Produktionseinrichtung 16 kann eine Motorhaube als Bauteil 36 an dem Kraftfahrzeugrohling 32 angeordnet werden.
-
Erfindungsgemäß ist nun vorgesehen, dass eine Region von Interesse ROI im ersten Bild 34 mittels der elektronischen Recheneinrichtung 26 bestimmt wird, wobei die Region von Interesse ROI zumindest das angeordnete Bauteil 36 umfasst. Es erfolgt dann das Reduzieren eines Informationsgehalts im ersten Bild 34 außerhalb der Region von Interesse ROI und Erzeugen eines zweiten Bilds 40 auf Basis des reduzierten Informationsgehalts im ersten Bild 34 mittels der elektronischen Recheneinrichtung 26 und das Abspeichern des zweiten Bilds 40 in der Speichereinrichtung 28.
-
Beispielsweise kann vorgesehen sein, dass die Datenbank 30 ein Montageplanungssystem, eine Montagereihenfolge, insbesondere eine Ist-Montagereihenfolge im Werk, sowie weitere Informationen bezüglich des Kraftfahrzeugs 18, beispielsweise auf Basis einer Fahrzeugidentifikationsnummer (VIN), umfasst. Hierzu können beispielsweise Ausstattungsinformationen sowie Farbinformationen mit genutzt werden. Die elektronische Recheneinrichtung 26 ist insbesondere als maschineller Lernalgorithmus, insbesondere als neuronales Netzwerk beziehungsweise künstliche Intelligenz, ausgebildet. Hierbei kann eine Objektsegmentierung, Objektklassifizierung und/oder Objekterkennung durchgeführt werden. Es erfolgt dann wiederum eine Wahrscheinlichkeits- beziehungsweise Fehlerrelevanzanalyse 38. Auf Basis dessen kann wiederum das zweite Bild 40 erstellt werden.
-
Insbesondere kann vorgesehen sein, dass das zweite Bild 40 datenreduziert abgespeichert wird, wobei zusätzliche Informationen der Reduzierung des Informationsgehalts weiter genutzt werden können. Beispielsweise kann vorgesehen sein, dass bei der Datenreduzierung entsprechende Informationen zur Datenreduzierung mit abgespeichert werden können, so dass zukünftig eine Rekonstruierung des ursprünglichen ersten Bilds 34 auf Basis des zweiten Bilds 40 dennoch durchgeführt werden kann.
-
Ferner kann vorgesehen sein, dass beispielsweise die Informationen der ersten Produktionseinrichtung 12, insbesondere des ersten Bilds 34, welches mit der ersten Erfassungseinrichtung 20 erfasst wurde, auch bei der Datenreduzierung für das erste Bild 34 der zweiten Produktionseinrichtung 14 genutzt wird. Somit können durch Vergleich überschüssige Daten ebenfalls reduziert werden, so dass datenreduziert das zweite Bild 40 erzeugt werden kann.
-
2 zeigt eine schematische Ansicht eines mittels des Verfahrens erzeugten zweiten Bilds 40. Das Kraftfahrzeug-Bauteil 36 ist dabei im Wesentlichen in einer hohen Qualität dargestellt, während eine Umgebung 42 datenreduziert dargestellt ist. Im vorliegenden Ausführungsbeispiel ist insbesondere vorgesehen, dass die Objekte außerhalb der Region von Interesse ROI mit einer Gitternetzdarstellung als reduzierter Informationsgehalt abgespeichert werden. Alternativ kann auch vorgesehen sein, dass beispielsweise eine Reduzierung des Informationsgehalts außerhalb der Region von Interesse ROI durch die Reduzierung einer Farbinformation und/oder durch das Entfernen von Objekten, beispielsweise von Personen 44 (1) durchgeführt wird. Des Weiteren kann auch vorgesehen sein, dass zur Reduzierung des Informationsgehalts Bildinformationen außerhalb der Region von Interesse ROI gesamtheitlich gelöscht werden.
-
Insbesondere zeigen somit die Figuren, dass beispielsweise eine Produktionsanlage drei Produktionseinrichtungen 12, 14, 16 aufweisen kann und somit drei Stationen bildet, welche jeweils mit den Erfassungseinrichtungen 20, 22, 24 den Kraftfahrzeugrohling 32 erfasst. Beispielsweise kann ein erstes Bild 34 alle 60 Sekunden gespeichert werden beziehungsweise kann alle 60 Sekunden der Kraftfahrzeugrohling 32 an die weitere Produktionseinrichtung 12, 14, 16 übergeben werden, oder es können beispielsweise drei Bilder pro Produktionseinrichtung 12, 14, 16 gemacht werden. Das Überwachungssystem 10 ermittelt zunächst die Teile beziehungsweise Segmente, an denen Montageoperationen durchgeführt werden. Hierzu greift es auf die Montagedatenbank zu und ermittelt aufgrund der relevanten Bauteile 36 entsprechende Bildsegmente. Anschließend werden mit der künstlichen Intelligenz alle Segmente reduziert, zum Beispiel weiße Farbe oder Transparenz, die nicht betroffen sind. Sollten in der Zeit der Montage Personen 44 in der Montagestation sein, die nicht für den Montagevorgang geplant sind, werden alle Segmente gespeichert beziehungsweise nur statische Segmente, wie Hintergrund, werden entfernt. Die Speicherkosten können durch ein derartiges System beispielsweise um bis zu 50 Prozent reduziert werden.
-
In der 2 ist insbesondere gezeigt, dass beispielsweise Außenhautflächen in der Region von Interesse ROI in der Originalqualität bleiben. Personen 44 können vollständig gelöscht werden. Gewerke, wie zum Beispiel Betriebsmittel, Anlagen oder dergleichen im Nahbereich können in der Wireframe, also in der Gitternetzstruktur, dargestellt werden. Ein Boden kann gelöscht werden. Gebäude können ebenfalls als Wireframe im Nahbereich dargestellt werden. Ferner können auch Gebäude gelöscht werden.
-
Insgesamt zeigen die Figuren eine effiziente Speicherung bildbasierter Produktionsdaten.
-
Bezugszeichenliste
-
- 10
- Überwachungssystem
- 12
- erste Produktionseinrichtung
- 14
- zweite Produktionseinrichtung
- 16
- dritte Produktionseinrichtung
- 18
- Kraftfahrzeug
- 20
- erste Erfassungseinrichtung
- 22
- zweite Erfassungseinrichtung
- 24
- dritte Erfassungseinrichtung
- 26
- elektronische Recheneinrichtung
- 28
- Speichereinrichtung
- 30
- Datenbank
- 32
- Kraftfahrzeugrohling
- 34
- erstes Bild
- 36
- Bauteil
- 38
- Fehlerrelevanzanalyse
- 40
- zweites Bild
- 42
- Umgebung
- 44
- Person
- ROI
- Region von Interesse
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017219747 A1 [0004]
- DE 102016107532 A1 [0005]
