-
Die vorliegende Erfindung betrifft ein Verfahren zur optischen Inspektion mittels eines Kamerasystems, insbesondere zur Bestimmung eines Zustands von Elektronikbauteilen, sowie das Kamerasystem zur optischen Inspektion. Des Weiteren betrifft die Erfindung auch ein Fahrzeug mit dem Kamerasystem.
-
Stand der Technik
-
JP 5870168 B2 offenbart ein Verfahren zur Analyse eines Objektes mittels mehrerer Kameras.
-
DE 103 01 941 A1 offenbart eine Kamera zur optischen Aufnahme eines Schirms, wobei für die optische Aufnahme eine vorbestimmte Gesamtauflösung vorgesehen ist.
Es sind ein Array von optischen Einzelkameras sowie eine Bildverarbeitungseinrichtung zum Bearbeiten von digitalen Einzelbildern des Arrays von optischen Einzelkameras vorgesehen, um die optische Aufnahme des Schirms mit der vorbestimmten Gesamtauflösung zu erzeugen.
-
US 6,002,743 B offenbart ein Bilderfassungssystem, welches mehrere Kameras verwendet. Die Kameras oder Sensoren sind in Zeilen und Spalten angeordnet.
-
Die Aufgabe der vorliegenden Erfindung ist es, eine optische Inspektion bereitzustellen, welche eine Ermittlung eines Zustands eines Messobjektes mit hoher Gesamtauflösung verbessert durchführt.
-
Offenbarung der Erfindung
-
Die vorstehende Aufgabe wird durch ein Verfahren zur optischen Inspektion gemäß Anspruch 1 und durch ein Kamerasystem gemäß Anspruch 13 sowie durch ein Fahrzeug gemäß Anspruch 16 gelöst.
-
Durch die unabhängigen Ansprüche 1, 13 und 16 resultiert jeweils vorteilhafterweise bei einer optischen Inspektion mit hoher Gesamtauflösung eine geringe Bildverarbeitungsdauer, wobei kostengünstige Einzelkameras mit relativ geringer Auflösung und Recheneinheiten mit relativ geringer Rechenleistung verwendet werden. Dadurch ergeben sich geringe Herstellungskosten für das Kamerasystem und weitere technische Vorteile, wie beispielsweise eine höhere Geschwindigkeit bis zur Bestimmung des Zustands des Messobjektes und/oder eine schnellere und zuverlässigere Steuerung des Fahrzeugs.
-
Das erfindungsgemäße Kamerasystems zur optischen Inspektion umfasst mindestens eine erste Kamera und eine zweite Kamera, wobei die erste und zweite Kamera jeweils dazu eingerichtet sind, einen Bereich eines Messobjektes zu erfassen. Das Kamerasystem weist eine erste Recheneinheit auf, welche mit der ersten Kamera verbunden ist. Die erste Recheneinheit ist dazu eingerichtet, wenigstens eine erste abstrahierte Bildinformation zu ermitteln und die erste abstrahierte Bildinformation an eine Hauptrecheneinheit zu übertragen. Das Kamerasystem weist eine zweite Recheneinheit auf, welche mit der zweiten Kamera verbunden ist. Die zweite Recheneinheit ist dazu eingerichtet, wenigstens eine zweite abstrahierte Bildinformation zu ermitteln und die zweite abstrahierte Bildinformation an die Hauptrecheneinheit zu übertragen. Das Kamerasystem weist auch eine Hauptrecheneinheit auf, welche dazu eingerichtet ist, die erste und zweite abstrahierte Bildinformation zu empfangen, wobei der Empfang insbesondere kabellos erfolgt. Die Hauptrecheneinheit ist ferner dazu eingerichtet, einen Zustand des Messobjektes in Abhängigkeit der übertragenen ersten und zweiten abstrahierten Bildinformation zu ermitteln. Vorzugsweise sind die von der ersten und zweiten Kamera erfassten Bereiche des Messobjektes im Wesentlichen unterschiedlich. Alternativ überlappen die von der ersten und zweiten Kamera erfassten Bereiche des Messobjektes im Wesentlichen.
-
Das erfindungsgemäße Verfahren umfasst eine Erfassung mindestens eines ersten Kamerabildes mittels der ersten Kamera. Anschließend erfolgt eine Ermittlung wenigstens einer ersten abstrahierten Bildinformation in Abhängigkeit des erfassten ersten Kamerabildes mittels der ersten Recheneinheit. Die erste abstrahierte Bildinformation repräsentiert vorteilhafterweise eine Eigenschaft des von der ersten Kamera erfassten Bereichs des Messobjektes. Das Verfahren weist ferner eine Erfassung mindestens eines zweiten Kamerabildes mittels der zweiten Kamera auf. Diese Erfassung des zweiten Kamerabildes erfolgt vorteilhafterweise zeitgleich zur Erfassung des ersten Kamerabildes. Nach der Erfassung des zweiten Kamerabildes erfolgt die Ermittlung wenigstens einer zweiten abstrahierten Bildinformation in Abhängigkeit des erfassten zweiten Kamerabildes mittels der zweiten Recheneinheit. Die zweite abstrahierte Bildinformation repräsentiert vorteilhafterweise eine Eigenschaft des von der zweiten Kamera erfassten Bereichs des Messobjektes.
Die Ermittlung der ersten und zweiten abstrahierten Bildinformation erfolgt vorteilhafte parallel beziehungsweise zeitgleich. Das Verfahren umfasst ferner eine Übertragung der ersten abstrahierten Bildinformation an eine Hauptrecheneinheit und eine Übertragung der zweiten abstrahierten Bildinformation an die Hauptrecheneinheit, beispielsweise jeweils mittels eines Kabels oder vorteilhafterweise jeweils kabellos mittels einer Funkverbindung, beispielsweise mittels Bluetooth. Danach erfolgt eine Bestimmung eines Zustands des Messobjektes in Abhängigkeit der übertragenen ersten abstrahierten Bildinformation und der übertragenen zweiten abstrahierten Bildinformation mittels der Hauptrecheneinheit. Durch das Verfahren resultiert der Vorteil, dass ein Messobjekt mittels eines Kamerasystems aus mehreren vergleichsweise günstiger beziehungsweise niedrig auflösender Kameras erfasst werden kann, wodurch ein hochauflösendes Kamerasystem resultiert. Durch das Verfahren wird dadurch vorteilhafterweise eine hochauflösende und teure Kamera, wie sie häufig in automatischen optischen Inspektionsverfahren des Standes der Technik eingesetzt wird, durch mehrere niedriger auflösende und günstigere Kameras des Kamerasystems ersetzt. Ferner wird die zur Hauptrecheneinheit übertragene Datenmenge trotz einer erreichten großen Gesamtauflösung des Kamerasystems gegenüber herkömmlichen Inspektionssystemen erheblich reduziert, da keine Kamerabilder sondern erste und/oder zweite abstrahierte Bildinformationen beziehungsweise Eigenschaften des Messobjektes an die Hauptrecheneinheit zur Bestimmung des Zustands des Messobjektes übertragen werden. Mit anderen Worten umfasst das Verfahren vorteilhafterweise einen effizienten zweistufigen Rechenprozess, wobei die Bestimmung des Zustandes des Messobjektes auf bereits ermittelten Bildinformationen basiert. Die einzelnen Ermittlungen der ersten und/oder zweiten Bildinformation werden vorteilhafterweise einfacher beziehungsweise weniger rechenintensiv, da die erste und/oder zweite Kamera vorteilhafterweise nicht das gesamte Messobjekt, sondern einen Teilbereich des Messobjektes erfassen. Durch eine insbesondere parallele Ermittlung der Bildinformationen basierend auf den jeweiligen Kamerabildern mit geringerer Auflösung beziehungsweise Datenmenge wird die Geschwindigkeit erhöht. Außerdem wird die benötigte Rechenleistung der Hauptrechnereinheit und eine erforderliche Kühlleistung der Hauptrechnereinheit reduziert. Die Bestimmung des Zustands des Messobjektes wird insgesamt zuverlässiger.
-
Bevorzugt weist das Kamerasystem eine Vielzahl beziehungsweise mehr als zwei Kameras auf, wobei die weiteren Kameras ergänzend zur ersten und zweiten Kamera des Kamerasystems angeordnet sind und jeweils ebenfalls weitere Recheneinheiten aufweisen, welche basierend auf den jeweils erfassten weiteren Kamerabildern weitere abstrahierte Bildinformation ermitteln und an die Hauptrecheneinheit übertragen. Vorteilhafterweise unterscheiden sich die mittels der Kameras erfassten Bereiche des Messobjektes im Wesentlichen. Dadurch wird der erfasste Bereich des Messobjektes und/oder die Auflösung des Kamerasystems vergrößert.
-
In einer bevorzugten Ausgestaltung erfolgt die Ermittlung der wenigstens einen ersten und/oder zweiten abstrahierten Bildinformation mittels eines Bildverarbeitungsalgorithmus und/oder mittels eines angelernten maschinellen Erkennungsverfahrens, welches insbesondere auf einem neuronalen Netz basiert. Mit anderen Worten werden vorteilhafterweise die erste und/oder zweite abstrahierte Bildinformation beziehungsweise eine Eigenschaft des Messobjektes mittels einer künstlichen Intelligenz erkannt und/oder analytisch mittels eines Bildverarbeitungsalgorithmus ermittelt. Beispielsweise erfolgt die Ermittlung der ersten und/oder zweiten abstrahierten Bildinformation vorteilhafterweise mittels einer künstlichen Intelligenz sehr schnell. Alternativ erfolgt die Ermittlung der ersten und/oder zweiten abstrahierten Bildinformation vorteilhafterweise mittels eines Bildverarbeitungsalgorithmus unabhängig von Trainingsdaten und anhand analytisch zugänglicherer beziehungsweise auf physikalischen Zusammenhängen basierenden Gleichungssystemen. Es kann vorgesehen sein, dass die erste und/oder zweite Bildinformation sowohl Daten umfassen, welche mittels eines Bildverarbeitungsalgorithmus und mittels eines angelernten maschinellen Erkennungsverfahrens ermittelt worden sind. Beispielsweise könnte die erste und/oder zweite Recheneinheit im jeweiligen ersten beziehungsweise zweiten Kamerabild Objekte mittels einer künstlichen Intelligenz erkennen und den erkannten Objekten eine mittels eines Bildverarbeitungsalgorithmus ermittelte Bewegungsrichtung und/oder Bewegungsgeschwindigkeit und/oder einen ermittelten Abstand zuordnen.
-
Vorzugsweise umfasst die als erste und/oder zweite abstrahierte Bildinformation ermittelte mindestens eine Eigenschaft des Messobjektes wenigstens einen Kantenverlauf des Messobjektes, einen Zustand einer Öffnung des Messobjektes (z.B. Via-Prüfung bei Elektronikbauteilen), ein erkanntes Segment und/oder ein erkanntes Objekt im beziehungsweise auf dem Messobjekt und/oder einen ermittelten optischen Fluss in Abhängigkeit einer Bewegung des Messobjekts und/oder einer Bewegung im Messobjekt.
-
In einer Weiterführung umfasst die erste und/oder zweite abstrahierte Bildinformation eine Lokalisation im erfassten Bereich des Messobjektes. Mit anderen Worten umfasst die erste und/oder zweite abstrahierte Bildinformation bevorzugt eine Information zur Lage einer ermittelten Eigenschaft des Messobjektes im ersten und/oder zweiten Kamerabild. Dadurch erfolgt die Bestimmung des Zustands des Messobjekts mittels der Hauptrecheneinheit genauer und/oder differenzierter.
-
In einer bevorzugten Ausführung sind die von der ersten und zweiten Kamera erfassten Bereiche des Messobjektes im Wesentlichen unterschiedlich. Mit anderen Worten weisen die von der ersten und zweiten Kamera erfassten Bereiche des Messobjektes keinen oder einen im Vergleich zu den jeweils erfassten Bereichen kleinen Überlappungsbereich auf. Dadurch wird der erfasste Bereich des Messobjektes vergrößert.
-
In einer Weiterführung erfassen die erste und zweite Kamera jeweils mehrere erste beziehungsweise zweite Kamerabilder unter unterschiedlicher Beleuchtung und/oder mit unterschiedlichen optischen Einstellungen und/oder mit unterschiedlichen optischen Filtern. Durch eine Erfassung mehrerer erster beziehungsweise zweiter Kamerabilder unter unterschiedlicher Beleuchtung und/oder mit unterschiedlichen optischen Einstellungen und/oder mit unterschiedlichen optischen Filtern lassen sich vorteilhafterweise unterschiedliche Eigenschaften des Messobjektes als Bildinformation ermitteln. Beispielsweise können unterschiedliche thermische Eigenschaften eines Messobjektes und/oder unterschiedliche Materialien eines Messobjektes und/oder unterschiedliche Reflektionseigenschaften für verschiedener Wellenlängen in verschiedenen Bereichen eines Messobjektes ermittelt werden. Dadurch wird der durch die Hauptrecheneinheit ermittelte Zustand des Messobjektes genauer.
-
In einer anderen Ausgestaltung überlappen die von der ersten und zweiten Kamera erfassten Bereiche des Messobjektes im Wesentlichen, wobei die erste und zweite Kamera insbesondere unterschiedliche Optiken und/oder optische Filter aufweisen und/oder unterschiedliche Wellenlängenbereiche erfassen. Durch diese Ausgestaltung wird der erfasste Bereich genauer erfasst, so dass weitere Eigenschaften des Messobjektes bestimmt werden können, und/oder eine Redundanz zwischen dem erfassten ersten und zweiten Kamerabild erzielt wird, so dass der Zustand des Messobjektes durch die Hauptrecheneinheit zuverlässiger und genauer bestimmt werden kann.
-
In einer Ausführung erfolgt die Übertragung der ersten und zweiten abstrahierten Bildinformation an eine Hauptrecheneinheit kabellos. Dadurch werden Kosten für eine Verkabelung und ein Montageaufwand des Kamerasystems reduziert. Ferner erlaubt diese Ausführung eine gegenüber der ersten und zweiten Kamera mobile Hauptrecheneinheit, beispielsweise kann die Hauptrecheneinheit als ein mobiles elektronisches Gerät, insbesondere als Smartphone oder Tablet, ausgestaltet sein.
-
In einer besonders bevorzugten Ausgestaltung ist das Messobjekt ein Elektronikbauteil, beispielsweise ein beschichtetes LTCC-Substrat. Wenn das Verfahren als automatisches optisches Inspektionssystem zur Überprüfung eines Elektronikbauteils beispielsweise in einer Fertigungslinie des Elektronikbauteils verwendet wird, kann auf eine bewegte sehr teure hochauflösende Kamera zur optischen Inspektion verzichtet werden. Dadurch können auch teure Linearachsen zur Bewegung der hochauflösenden Kamera und teure erschütterungsfreie Unterbauten zur Montage der hochauflösenden Kamera eingespart werden.
-
In einer alternativen Ausgestaltung ist das Messobjekt ein Innen- und/oder Außenraum beziehungsweise Innen- und/oder Außenbereich eines Gebäudes, wobei bevorzugt die erste und/oder zweite Kamera an einer Decke und/oder Wand eines Innenraums des Gebäudes angeordnet und nach unten auf den Boden des Innenraums gerichtet sind. Dadurch lässt sich beispielsweise eine Fertigung vorteilhafterweise zentral mittels kostengünstiger Komponenten überwachen.
-
In einer anderen alternativen Ausgestaltung des Verfahrens ist das Kamerasystems an einem Fahrzeug angeordnet und das Messobjekt ist die Umgebung des Fahrzeugs. Die Hauptrecheneinheit ist in dieser Ausgestaltung vorteilhafterweise zusätzlich dazu eingerichtet, das Fahrzeug automatisch durch Ansteuerung einer Lenkung und/oder eines Antriebssystems jeweils in Abhängigkeit des bestimmten Zustands der Umgebung des Fahrzeugs zu steuern. Die Hauptrecheneinheit kann in dieser Ausgestaltung alternativ oder zusätzlich dazu eingerichtet sein, ein abstrahiertes Umgebungsmodell in Abhängigkeit der ersten und/oder zweiten Bildinformation zu ermitteln und anzuzeigen, wobei das abstrahierte Umgebungsmodell insbesondere keine real erfassten Bilder umfasst. Dadurch wird vorteilhafterweise eine Anzeige von Bildartefakten vermieden, welche beispielsweise durch im Nahbereich vor einer Kamera platzierte Objekte resultieren kann. In dieser Ausgestaltung werden vorteilhafterweise mehrere Kameras, beispielsweise 10 Kameras, rund um das Fahrzeug angeordnet, wobei sich vorteilhafterweise von zumindest zwei unterschiedlichen Kameras erfasste Bereiche vorteilhafterweise so überlappen, dass bei einem Ausfall einer Kamera oder bei einer Verschmutzung einer Kameraoptik eine oder mehrere andere Kameras redundante Bildinformationen liefern. Ferner werden vorteilhafterweise Bereiche der Umgebung in dieser Ausgestaltung aus verschiedenen optischen Perspektiven gleichzeitig erfasst, so dass beispielsweise bei einer niedrig stehenden und in Fahrtrichtung aufgehenden Sonne eine Kamera weniger geblendet ist als eine andere Kamera oder eine Kameraperspektive ein Objekt besser erkennen lässt als eine andere Kameraperspektive. Demnach wird der Zustand der Umgebung mittels der Hauptrecheneinheit in dieser Ausgestaltung zuverlässiger bestimmt, wodurch die Hauptrecheneinheit das Fahrzeug sicherer steuern kann.
-
Vorzugsweise ist die Hauptrecheneinheit dazu eingerichtet, die erste Kamera, die zweite Kamera, die erste Recheneinheit und/oder die zweite Recheneinheit zu steuern, so dass die Erfassung des ersten Kamerabildes, die Erfassung des zweiten Kamerabildes, die Ermittlung der ersten abstrahierten Bildinformation und/oder die Ermittlung der zweiten abstrahierten Bildinformation durch die Steuerung angepasst werden. Dadurch kann vorteilhafterweise die Hauptrecheneinheit die Erfassung der ersten und/oder zweiten Kamerabilder und/oder die Ermittlung der ersten und/oder zweiten abstrahierten Bildinformationen in Abhängigkeit einer Fahrsituation beziehungsweise in Abhängigkeit einer Betriebsgröße des Fahrzeugs anpassen, beispielsweise werden Kamerabilder bei einer Geschwindigkeit des Fahrzeugs oberhalb eines Schwellenwertes mit anderen optischen Einstellungen der Optik erfasst und/oder abstrahierte Bildinformationen in Abhängigkeit der Geschwindigkeit des Fahrzeugs mit unterschiedlichen Ermittlungsverfahren ermittelt, beispielsweise wird zur Ermittlung der ersten und/oder zweiten abstrahierten Bildinformation ein erstes neuronales Netz oberhalb eines Ermittlungsschwellenwertes für die Geschwindigkeit und ein zweites neuronales Netz unterhalb des Ermittlungsschwellenwertes für die Geschwindigkeit verwendet. Insbesondere werden Objekte mittels der jeweiligen Recheneinheit in Abhängigkeit der Geschwindigkeit des Fahrzeugs im jeweiligen Kamerabild mit unterschiedlichen angelernten maschinellen Erkennungsverfahren erkannt. Die Hauptrecheneinheit kann zu diesem Zweck Betriebsparameter des Fahrzeugs erfassen und die Erfassungsverfahren der Kameras und/oder die Ermittlungsverfahren der Recheneinheiten in Abhängigkeit der Betriebsparameter anpassen. Es kann darüber hinaus vorgesehen sein, dass die Hauptrecheneinheit in Abhängigkeit der ersten und/oder zweiten Bildinformationen eine Beleuchtung des Messobjektes anpasst. Es kann darüber hinaus vorgesehen sein, dass sich die Hauptrecheneinheit in Abhängigkeit einer Position der Hauptrecheneinheit mit unterschiedlichen ersten und/oder zweiten Kameras beziehungsweise ersten und/oder zweiten Recheneinheiten verbindet beziehungsweise sich von diesen trennt.
-
In einer optionalen Ausgestaltung des Verfahrens erfolgt eine Verbindung der Hauptrecheneinheit per Funk mit mindestens einer anderen Recheneinheit in Abhängigkeit einer Position der Hauptrecheneinheit, wobei die Recheneinheit mit einer anderen Kamera verbunden ist. Die Hauptrecheneinheit ist insbesondere dazu eingerichtet, die Position zu erfassen, beispielsweise mittels eines Ortssensors, insbesondere mittels eines Sensors für ein globales Sattelitennavigationssystem. In dieser Ausgestaltung erfolgt ein Empfang einer anderen abstrahierten Bildinformation von der anderen Recheneinheit. Die Bestimmung des Zustands des Messobjektes erfolgt zusätzlich in Abhängigkeit der empfangenen anderen abstrahierten Bildinformationen. Durch diese Ausgestaltung kann insbesondere im Falle, dass das Messobjekt ein Fahrzeug ist, eine andere abstrahierte Bildinformation, welche beispielsweise von einer anderen ortsfesten Recheneinheit in Abhängigkeit einer beispielsweise ortsfesten Kamera ermittelt wurde, zur Bestimmung des Zustandes beziehungsweise der Fahrsituation des Fahrzeuges vorteilhafterweise berücksichtigt werden.
-
Die Erfindung betrifft auch ein Fahrzeug, umfassend ein erfindungsgemäßes Kamerasystem.
-
In einer bevorzugten Ausgestaltung ist die Hauptrecheneinheit des Fahrzeugs zusätzlich dazu eingerichtet, eine Lenkung und/oder ein Antriebssystem des Fahrzeugs in Abhängigkeit der ersten und/oder zweiten abstrahierten Bildinformation und/oder in Abhängigkeit des ermittelten Zustands der Umgebung des Fahrzeugs zu steuern oder diese Steuerung des Fahrzeuges anzupassen.
-
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.
- 1: Verfahren zur optischen Inspektion
- 2: Kamerasystem
- 3: Kamerasystem an einem Fahrzeug mit einer Umgebung als Messobjekt
- 4: Kamerasystem zur optischen Inspektion mit einer Vielzahl an Kameras Ausführungsbeispiele
-
In 1 ist ein Ablaufdiagramm eines Verfahrens zur optischen Inspektion als Blockschaltbild dargestellt. Das Verfahren beginnt mit einer Erfassung 110 mindestens eines ersten Kamerabildes mittels einer ersten Kamera. Anschließend erfolgt eine Ermittlung 130 wenigstens einer ersten abstrahierten Bildinformation in Abhängigkeit des erfassten ersten Kamerabildes mittels einer ersten Recheneinheit. Das Verfahren umfasst auch eine Erfassung 120 mindestens eines zweiten Kamerabildes mittels einer zweiten Kamera, und eine anschließende Ermittlung 140 wenigstens einer zweiten abstrahierten Bildinformation in Abhängigkeit des erfassten zweiten Kamerabildes mittels einer zweiten Recheneinheit. Die Erfassung 110 des ersten Kamerabildes und die Erfassung 120 des zweiten Kamerabildes erfolgen bevorzugt zeitgleich. Die Ermittlung 130 der ersten abstrahierten Bildinformation zum ersten Kamerabild und die Ermittlung 140 der zweiten abstrahierten Bildinformation zum zweiten Kamerabild erfolgen bevorzugt zeitgleich. Mit anderen Worten werden vorteilhafterweise die unterschiedlichen Kamerabilder parallel erfasst und die abstrahierten Bildinformationen aus unterschiedlichen Kamerabildern parallel ermittelt. Bevorzugt werden weitere Kamerabilder mittels einer beliebigen Anzahl weiterer Kameras erfasst (siehe auch 4). Falls weitere Kameras vorgesehen sind, erfolgt nach der optionalen Erfassung 121, 122 jeweils eine Ermittlung 141, 142 weiterer Bildinformationen in Abhängigkeit des erfassten jeweiligen weiteren Kamerabildes mittels einer weiteren Recheneinheit, welche mit der jeweiligen Kamera 121, 122 verbunden ist. Gegenüber einer Erfassung eines Bereiches eines Messobjektes mittels nur einer hochauflösenden Kamera resultiert das Verfahren in einer erfassten geringeren Datenmenge pro Kamera bei gleicher Gesamtauflösung. Die resultierende geringere Datenmenge und die Parallelisierung der Rechenoperationen zur Ermittlung 130 und 140, 141, 142 resultieren vorteilhafterweise in einer erhöhten Geschwindigkeit des Verfahrens. Anschließend werden in einem Schritt 151 die erste abstrahierte Bildinformation an eine Hauptrecheneinheit und in einem Schritt 152 die zweite abstrahierte Bildinformation an die Hauptrecheneinheit übertragen. Falls weitere Kameras und Recheneinheiten vorgesehen sind, erfolgt jeweils eine weitere Übertragung 153 und 154 der jeweiligen abstrahierten weiteren Bildinformationen an die Hauptrecheneinheit mittels der jeweiligen Recheneinheit. Danach erfolgt mittels der Hauptrecheneinheit eine Bestimmung 160 eines Zustands des Messobjektes in Abhängigkeit der übertragenen ersten abstrahierten Bildinformation und in Abhängigkeit der zweiten abstrahierten Bildinformation und optional in Abhängigkeit der ermittelten weiteren Bildinformationen. Die Hauptrecheneinheit 230 kann dazu eingerichtet sein, die Optik und/oder die Erfassungsparameter der ersten und/oder zweiten Kamera zu steuern. Die Hauptrecheneinheit 230 ist optional ferner dazu eingerichtet, die die Ermittlungsverfahren der ersten und/oder zweiten Recheneinheit anzupassen, beispielsweise in Abhängigkeit der ersten und/oder zweiten abstrahierten Bildinformationen. Dadurch resultiert eine Überprüfung beziehungsweise Optimierung der Erfassung 110, 120, 121 und/oder 122 der Kamerabilder und/oder der Ermittlung 130, 140, 141 und/oder 142 abstrahierter Bildinformationen.
-
In 2 ist ein Kamerasystem 200 skizziert, welches die erste Kamera 210 und die zweite Kamera 220 umfasst. Die ersten Kamera 210 und die zweite Kamera 220 erfassen jeweils einen Bereich eines Messobjektes 290. Das Messobjekt 290 ist in diesem Beispiel ein Elektronikbauteil. Die erste Kamera 210 ist mit einer ersten Recheneinheit 211 und die zweite Kamera 220 ist mit einer zweiten Recheneinheit 221 verbunden. Die erste Recheneinheit weist eine erste Kommunikationsschnittstelle 212 zur Übertragung 151 der ersten abstrahierten Bildinformation an eine Hauptrecheneinheit 230 auf. Die erste Recheneinheit 211 ist mittels der ersten Kommunikationsschnittstelle 212 dazu eingerichtet, die erste abstrahierte Bildinformation kabellos zur Hauptrecheneinheit 230 zu übertragen. Die zweite Recheneinheit weist eine zweite Kommunikationsschnittstelle 222 zur Übertragung 152 der zweiten abstrahierten Bildinformation an die Hauptrecheneinheit 230 auf. Die zweite Recheneinheit 221 ist mittels der zweiten Kommunikationsschnittstelle 222 dazu eingerichtet, die erste abstrahierte Bildinformation kabellos zur Hauptrecheneinheit 230 zu übertragen. Die Hauptrecheneinheit 230 ist dazu eingerichtet, den Zustand des Messobjektes 290 in Abhängigkeit der übertragenen ersten und zweiten abstrahierten Bildinformationen zu bestimmen. Beispielsweise wird als Zustand eine Ausfüllung einer Durchkontaktierung beziehungsweise eines Vias des Elektronikbauteils bestimmt. Dazu kann vorteilhafterweise eine Beleuchtung des Elektronikbauteils von der den Kameras gegenüberliegenden Seite des Elektronikbauteils vorgesehen sein, so dass bei einer Öffnung Licht das Elektronikbauteil durchdringt. Die Hauptrecheneinheit ist optional dazu eingerichtet, mit der ersten und/oder zweite Kommunikationsschnittstelle 212, 222 zu kommunizieren, um die Ermittlung der ersten und/oder zweiten abstrahierten Bildinformation und/oder um die Erfassung des ersten und/oder zweiten Kamerabildes anzupassen beziehungsweise zu steuern. Die Hauptrecheneinheit 230 ist in diesem Beispiel gegenüber den Kameras 210 und 220 beweglich, was durch die kabellose Übertragung der ersten und zweiten Bildinformation ermöglicht bzw. vereinfacht wird. Optional ist es vorgesehen, entsprechend der ersten und zweiten Kamera, eine Vielzahl von weiteren Kameras 240, 250 mit einer jeweiligen weiteren Recheneinheit 241, 251 anzuordnen, wobei die weiteren Kameras 240 jeweils ein weiteres Kamerabild erfassen und mittels der zugeordneten Recheneinheit 241 die jeweilige weitere Bildinformation ermittelt wird. Die ermittelte weitere Bildinformation wird anschließend an die Hauptrecheneinheit 230 mittels weiteren Kommunikationsschnittstellen 242 und 252 übertragen, beispielsweise kabellos wie in 2 dargestellt. Es kann vorgesehen sein, dass sich die Hauptrecheneinheit 230 in Abhängigkeit einer Position der Hauptrecheneinheit 230 mit einer jeweiligen Recheneinheit 211, 221, 241, 251 verbindet oder trennt. Alternativ kann die erste Bildinformation und/oder die zweite Bildinformation und/oder jede weitere Bildinformation zwischen den Recheneinheiten 211, 221, 241 und 251 beziehungsweise zwischen den Kommunikationsschnittstellen 212, 222, 242, und 252 und der Hauptrecheneinheit 230 jeweils mittels eines Kabel übertragen werden. Die Erfassung der jeweiligen Kamerabilder mittels der Kameras 210, 220, 240 und 250 sowie die Ermittlung der jeweiligen Bildinformation mittels der Recheneinheiten 211, 221, 241 und 251 sowie die Übertragung der jeweils ermittelten Bildinformationen erfolgen bevorzugt jeweils zeitgleich, so dass eine Parallelisierung der benötigten Rechenoperationen erreicht wird, wodurch die Geschwindigkeit des Kamerasystems zur Bestimmung des Zustands des Messobjektes erhöht wird. Das in 2 skizzierte Prinzip des Kamerasystems 200 kann prinzipiell zur Bestimmung des Zustands einer Vielzahl von Messobjekten eingesetzt werden beziehungsweise in einer Vielzahl von unterschiedlichen Anwendungsbereichen zum Einsatz kommen. Beispielsweise können die Kameras je nach Anwendung unterschiedliche Bereiche eines Messobjektes aus unterschiedlichen Perspektiven und/oder mit unterschiedlichen Optiken erfassen. Das Kamerasystem kann beispielsweise zur Bestimmung eines Zustands eines Elektronikbauteils oder zur Bestimmung eines Zustands eines Innenbereichs eines Gebäudes oder zur Bestimmung eines Zustands einer Umgebung eines Fahrzeugs verwendet werden. Die Erfassung der Kamerabilder mittels der Kameras 210, 220 erfolgt optional unter einer Beleuchtung, wobei die Recheneinheit optional dazu eingerichtet ist, die Beleuchtung, insbesondere in Abhängigkeit der ersten und/oder zweiten abstrahierten Bildinformationen, anzupassen. Die Erfassung der Kamerabilder mittels der Kameras 210, 220 erfolgt ferner optional in unterschiedlichen Wellenlängenbereichen, beispielsweise im infraroten, im ultravioletten oder im sichtbaren Lichtspektrum, oder mit unterschiedlichen optischen Filtern, beispielsweise mit gekreuzt polarisierten optischen Filtern.
-
In 3 ist das Kamerasystem 200 an einem Fahrzeug 300 angeordnet, wobei das Messobjekt eine Umgebung 390 des Fahrzeugs 300 ist. Das Fahrzeug 300 umfasst ein Antriebssystem 301, beispielsweise einen Fahrzeugmotor, und eine Lenkung 302. Die Kameras 210, 220, 240, 250, 260, 270, 280, 290, 310, 320 und 330 sind dazu eingerichtet, jeweils einen Bereich beziehungsweise Teilbereich der Umgebung 390 des Fahrzeugs zu erfassen, wobei sich die erfassten Bereiche vorzugsweise überlappen und die Kamerabilder vorzugsweise zeitgleich erfasst werden. Die mittels der Kameras 310, 320 und 330 erfassten Bereiche 340, 341 und 342 der Umgebung überlappen sich in 3 in Fahrtrichtung 350 vor dem Fahrzeug 300. Jede Kamera weist eine ihr zugeordnete Recheneinheit 211, 221, 241, 251, 261, 271, 281, 291, 311, 321 und 331 auf. Jede Recheneinheit 211, 221, 241, 251, 261, 271, 281, 291, 311, 321 und 331 ist mittels einer Kommunikationsschnittstelle (nicht dargestellt in 3) und mittels eines Kabels und/oder kabellos mit der Hauptrecheneinheit 230 verbunden. Die Recheneinheiten 211, 221, 241, 251, 261, 271, 281, 291, 311, 321 und 331 sind dazu eingerichtet, insbesondere zeitgleich beziehungsweise parallel, abstrahierte Bildinformationen zu ermitteln, wobei die abstrahierten Bildinformationen jeweils in Abhängigkeit des mittels der jeweiligen Kamera 210, 220, 240, 250, 260, 270, 280, 290, 310, 320 oder 330 erfassten Kamerabilds ermittelt werden. Die Recheneinheiten 211, 221, 241, 251, 261, 271, 281, 291, 311, 321 und 331 sind auch dazu eingerichtet, beispielsweise mittels einer jeweiligen Kommunikationsschnittstelle, die jeweils ermittelten Bildinformationen an die Hauptrecheneinheit 230 zu übertragen. Die Hauptrecheneinheit 230 ist dazu eingerichtet, in Abhängigkeit der übertragenen abstrahierten Bildinformationen einen Zustand der Umgebung 390 zu bestimmen. Vorteilhafterweise ist die Recheneinheit des Weiteren dazu eingerichtet, das Fahrzeug 300 durch Ansteuerung des Fahrzeugmotors 301 und/oder durch Ansteuerung der Lenkung 302 in Abhängigkeit des bestimmten Zustands zu steuern beziehungsweise die Steuerung des Fahrzeugmotors 301 und/oder der Lenkung 302 anzupassen, beispielsweise zur Kollisionsvermeidung, teilautonom, beispielsweise durch Erkennung von Fahrspuren, oder vollständig autonom. Das erfindungsgemäße Kamerasystem 200 des Fahrzeugs 300 weist gegenüber bekannten Kamerasystemen den Vorteil einer höheren Rechengeschwindigkeit und einer größeren Zuverlässigkeit auf, da sich die mittels der Kameras erfassten Bereiche der Umgebung vorteilhafterweise zumindest teilweise überlappen. Bei einem technischen Defekt oder einer Verschmutzung der Optik an einer Kamera oder einem technischen Defekt einer Recheneinheit wird beispielsweise der Bereich der Umgebung zumindest teilweise noch durch eine andere Kamera erfasst. Insbesondere liegt in einem mittels der anderen Kamera erfassten Bereich der Umgebung eine hohe Wahrscheinlichkeit vor, dass ein Objekt basierend auf dem mittels der anderen Kamera aus einer anderen Kameraperspektive erfassten anderen Kamerabild als abstrahierte Bildinformation mittels der entsprechenden verbundenen anderen Recheneinheit ermittelt beziehungsweise erkannt wird. Es kann vorgesehen sein, dass für eine Anzeige eines Umgebungsmodells sowohl die abstrahierten Daten als auch die Kamerabilder an die Hauptrecheneinheit 230 übertragen und ein Umgebungsmodell in Abhängigkeit der Kamerabilder und der abstrahierten Bildinformationen ermittelt wird. Es kann ferner vorgesehen sein, dass die Hauptrecheneinheit des Fahrzeugs dazu eingerichtet ist, sich mit wenigstens einer ortsfesten oder mobilen Recheneinheit in der Umgebung des Fahrzeugs zu verbinden, wobei die Recheneinheit mit einer Kamera verbunden ist. Die Hauptrecheneinheit ist dazu eingerichtet, abstrahierte Bildinformationen von der ortsfesten oder mobilen Recheneinheit in der Umgebung des Fahrzeugs zu empfangen und den Zustand der Umgebung in Abhängigkeit der empfangenen abstrahierten Bildinformation zu ermitteln. Es kann ferner vorgesehen sein, dass die Hauptrecheneinheit des Fahrzeugs dazu eingerichtet ist, eine Beleuchtung des Fahrzeugs in Abhängigkeit des ermittelten Zustands der Umgebung und/oder in Abhängigkeit der empfangenen abstrahierten Bildinformation anzupassen.
-
In 4 ist ein Kamerasystem zur optischen Inspektion mit einer Vielzahl an Kameras 210, 220, 240, 250, 260, 270, 280, 410, 420, 430, 440, 450, 460 und 470 schematisch dargestellt. Die Kameras 210, 220, 240, 250, 260, 270 und 280 sind in einer ersten Reihe 510 und die Kameras 410, 420, 430, 440, 450, 460 und 470 sind in einer zweiten Reihe 520 angeordnet. Die Kamera 210 erfasst beispielsweise den Bereich 401 des Messobjektes beziehungsweise Elektronikbauteils 290. Analog erfassen die Kameras 220, 240, 250, 260, 270 und 280 jeweils den Bereich 402, 403, 404, 405, 406 oder 407 des Messobjektes 290. Die von der ersten Reihe 510 von Kameras erfassten Bereiche 401, 402, 403, 404, 405, 406 oder 407 überlappen sich in diesem Beispiel teilweise, wobei der überlappende Anteil klein ist, beispielsweise jeweils kleiner 10% des erfassten Bereichs 401, 402, 403, 404, 405, 406 oder 407. Jede Kamera 210, 220, 240, 250, 260, 270, 280, 410, 420, 430, 440, 450, 460, 470 erfasst bevorzugt gleichzeitig den jeweils zugeordneten Bereich des Messobjektes 290. Mit jeder Kamera ist ferner eine Recheneinheit 211, 221, 241, 251, 261, 271, 281, 411, 421, 431, 441, 451, 461 oder 471 verbunden. Diese Recheneinheit ermittelt jeweils eine abstrahierte Bildinformation zu dem jeweils erfassten Kamerabild der jeweiligen mit der Recheneinheit verbundenen Kamera und überträgt die Bildinformation an eine Hauptrecheneinheit 230 des Kamerasystems. Die Ermittlung der jeweiligen abstrahierten Bildinformationen mittels der Recheneinheiten 211, 221, 241, 251, 261, 271, 281, 411, 421, 431, 441, 451, 461 oder 471 erfolgt vorteilhafterweise zeitgleich beziehungsweise parallel. Die Übertragung der abstrahierten Bildinformationen, beispielsweise jeweils mittels einer Kommunikationsschnittstelle der entsprechenden Recheneinheit, umfasst gegenüber dem zugehörigen Kamerabild relativ wenige Daten und erfolgt deswegen schnell und beispielsweise kabellos. Die Hauptrecheneinheit 230 bestimmt in Abhängigkeit der empfangenen beziehungsweise übertragenen Bildinformationen einen Zustand des Messobjektes 290, beispielsweise eine Füllung einer Durchkontaktierung (Via) eines Elektronikbauteils, insbesondere eines LTCC-Substrates. Die Erfassung der Kamerabilder mittels der Kameras 210, 220, 240, 250, 260, 270, 280, 410, 420, 430, 440, 450, 460 und 470 erfolgt optional unter einer Bestrahlung mit Licht. Die Erfassung der Kamerabilder mittels der Kameras 210, 220, 240, 250, 260, 270, 280, 410, 420, 430, 440, 450, 460 und 470 erfolgt ferner optional in unterschiedlichen Wellenlängenbereichen, beispielsweise im infraroten, im ultravioletten oder im sichtbaren Lichtspektrum, oder mit unterschiedlichen optischen Filtern, beispielsweise mit gekreuzt polarisierten optischen Filtern.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 5870168 B2 [0002]
- DE 10301941 A1 [0003]
- US 6002743 [0004]
