DE102016002186A1

DE102016002186A1 - Verfahren und Bildverarbeitungsvorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes

Info

Publication number: DE102016002186A1
Application number: DE102016002186.1A
Authority: DE
Inventors: Jan-Friso Evers-Senne; Hellen Altendorf
Original assignee: Testo SE and Co KGaA
Current assignee: Testo SE and Co KGaA
Priority date: 2016-02-24
Filing date: 2016-02-24
Publication date: 2017-08-24
Also published as: US20190066321A1; EP3420531A1; WO2017144162A1

Abstract

Die Erfindung betrifft einerseits ein Verfahren und andererseits eine Bildaufnahmevorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes, wobei in einem Aufnahmeschritt zumindest ein visuelles Bild des Objektes aufgenommen wird, in einem 3D-Bilderstellungsschritt ein maßstabgetreues 3D-Bild des Objektes aufgenommen und/oder berechnet wird, in einem Punktwolkenberechnungsschritt eine Teilmenge von 3D-Punkten des 3D-Bildes berechnet wird, in einem Einpassungsschritt für die Teilmenge aus 3D-Punkten ein geometrisches Primitiv rechnergestützt eingepasst wird, in einem Merkmalsdetektionsschritt eine Merkmalsauswahl auf das zumindest eine visuelle Bild angewandt wird, um wenigstens zwei Merkmalspunkte in dem visuellen Bild zu identifizieren, in einem Projektionsschritt die wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte projiziert werden, in einem Berechnungsschritt eine geometrische Messgröße für die wenigstens zwei Messpunkte berechnet wird.

Description

Die Erfindung betrifft einerseits ein Verfahren und andererseits eine Bildaufnahmevorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes. Eine solche geometrische Messgröße kann beispielsweise eine räumliche Distanz und/oder ein Flächeninhalt sein.
Derartige Verfahren zur Bestimmung einer geometrischen Messgröße sind an sich bekannt und beruhen stets auf zumindest einem manuellen Bearbeitungsschritt und zum anderen auf einer Skalierung des Bildes mittels eines zusätzlich erforderlichen Maßstabes. Um ein aufgenommenes Bild für die Bestimmung einer geometrischen Messgröße verwenden zu können, sind manuelle Vorbereitungsschritte zur Bildbearbeitung, beispielsweise zu einer Verzeichnungskorrektur und/oder zu einer perspektivischen Entzerrung, erforderlich, die eine Schulung eines Benutzers erfordern.
Es besteht daher die Aufgabe zur Vereinfachung der Bestimmung einer geometrischen Messgröße ein verbessertes Verfahren durch Automatisierung zu schaffen, bei welchem die genannten Nachteile ausgeräumt sind.
Die Lösung dieser Aufgabe wird durch die Kombination der Merkmale gemäß Anspruch 1 erreicht. Insbesondere wird erfindungsgemäß zur Lösung der Aufgabe ein Verfahren zur Bestimmung einer geometrischen Messgröße eines Objektes vorgeschlagen, wobei:

– in einem Aufnahmeschritt zumindest ein visuelles Bild des Objektes aufgenommen wird,
– in einem 3D-Bilderstellungsschritt ein maßstabgetreues 3D-Bild des Objektes aufgenommen und/oder berechnet wird,
– in einem Punktwolkenberechnungsschritt eine Teilmenge von 3D-Punkten des 3D-Bildes berechnet wird,
– in einem Einpassungsschritt für die Teilmenge aus 3D-Punkten ein geometrisches Primitiv rechnergestützt eingepasst wird,
– in einem Merkmalsdetektionsschritt eine Merkmalsauswahl auf das zumindest eine visuelle Bild angewandt wird, um wenigstens zwei Merkmalspunkte in dem visuellen Bild zu identifizieren,
– in einem Projektionsschritt die wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte projiziert werden,
– in einem Berechnungsschritt eine geometrische Messgröße für die wenigstens zwei Messpunkte berechnet wird.

Auf diese Weise ermöglicht die Erfindung, dass zum einen Fischaugenbilder und/oder eine Verzeichnung und/oder eine perspektivische Verzerrung des aufgenommenen visuellen Bildes zur Bestimmung einer geometrischen Messgröße korrigierbar ist und zum anderen, dass die Messgenauigkeit gegenüber einer direkten Verwendung eines 3D-Modells erhöht wird. Besonders vorteilhaft kann es insbesondere sein, dass kein manuell ausgeführter Zwischenschritt, beispielsweise zur Bestimmung einer geometrischen Messgröße notwendig ist. Ausgenommen davon, kann es zweckmäßig sein, wenn die Merkmalsauswahl durch den Benutzer manuell vorgenommen wird. Durch die Einpassung eines geometrischen Primitivs in eine Teilmenge von 3D-Punkten ist es zudem möglich, Messungenauigkeiten, beispielsweise durch eine verrauschte Aufnahme des 3D-Bildes, zu reduzieren. Das geometrische Primitiv entspricht also einer Näherung an die tatsächliche geometrische Form oder Oberfläche des Objektes. Es kann vorgesehen sein, dass die geometrische Messgröße eine räumliche Distanz ist, insbesondere eine Breite, eine Höhe, ein, insbesondere kürzester und/oder größter, Abstand zwischen zwei Begrenzungslinien, und/oder eine Diagonale, und/oder ein Flächeninhalt, insbesondere des gesamten Objektes oder eines Teiles davon. Die Gesamtheit aller 3D-Punkte, welche mittels einer 3D-Kamera aufgenommen werden, können auch als 3D-Bild oder Punktewolke bezeichnet werden. Die Erfindung hat somit den Vorteil, dass die erwähnten manuellen Vorbereitungsschritte der Bildbearbeitung vor der Bestimmung der geometrischen Messgröße verzichtbar sind, da sie automatisiert ausführbar sind und ausgeführt werden.
Abhängig von der geometrischen Form des Objektes können unterschiedliche geometrische Primitive, insbesondere für verschiedene Oberflächen des Objektes, berechnet werden. Beispielsweise kann es erfindungsgemäß vorgesehen sein, dass in dem Einpassungsschritt des erfindungsgemäßen Verfahrens als geometrisches Primitiv ein, vorzugsweise parametrierter und/oder berandeter, Kegelmantelteil, Zylindermantelteil und/oder Ebenenteil verwendet wird. Soll mittels des erfindungsgemäßen Verfahrens, wie hierin beschrieben und beansprucht, beispielsweise eine ebene Fläche oder ein Teil davon, wie eine Gebäudewandung vermessen werden, so kann für das als Gebäudewandung ausgebildete Objekt durch Einpassung eines als Ebenenteil ausgebildeten geometrischen Primitivs in die Teilmenge aus 3D-Punkten eine Raumrichtung (insbesondere als eine oder mittels einer Normalenrichtung und/oder als eine Verlaufsrichtung des ebenen Objektes) bestimmt werden.
Ferner kann es bei einer spezifischen Ausgestaltung des erfindungsgemäßen Verfahrens zweckmäßig sein, wenn vor Durchführung des Einpassungsschrittes ein Gruppierungsschritt vorgenommen wird, um für jeden 3D-Punkt eine Raumrichtung, vorzugsweise rechnergestützt, zu bestimmen und die 3D-Punkte anschließend gemäß ihren jeweiligen Raumrichtungen in eine Untermenge an 3D-Punkten, vorzugsweise rechnergestützt, zuzuordnen. Insbesondere kann dabei erfindungsgemäß vorgesehen sein, dass für jeden 3D-Punkt zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechnet wird.
Zur Erstellung eines 3D-Bildes im 3D-Bilderstellungsschritt des erfindungsgemäßen Verfahrens kann es vorteilhaft sein, wenn eine Bildaufnahmevorrichtung mit einer 3D-Kamera zur Aufnahme des 3D-Bildes verwendet wird. Geeignete 3D-Kameras können beispielsweise ein Time-of-Flight-Sensor zur Durchführung einer Laufzeitmessung eines optischen Signals, ein Laserscanner und/oder eine Stereokamera sein. Darüber hinaus kann es ebenso zweckmäßig sein, im 3D-Bilderstellungsschritt das 3D-Bild durch ein Mehrbild-Rekonstruktionsverfahren aus einer Folge von mehreren, visuellen Bildern zu berechnen, insbesondere rechnergestützt zu berechnen. Die Folge aus mehreren visuellen Bildern kann beispielsweise mittels einer visuellen Kamera aufgenommen werden, wobei vorzugsweise die einzelnen visuellen Bilder aus unterschiedlichen Kameraposen aufgenommen werden. Ein geeignetes Verfahren kann hierbei beispielsweise das Structure-from-Motion-Verfahren sein.
Alternativ oder ergänzend kann im 3D-Bilderstellungsschritt erfindungsgemäß vorgesehen sein, dass ein Marker auf dem Objekt abgebildet wird, insbesondere auf das Objekt projiziert und/oder auf dem Objekt angebracht wird, und/oder eine Distanzmessung zwischen einer oder der bereits zuvor erwähnten Bildaufnahmevorrichtung und dem Objekt durchgeführt wird. Der Marker kann beispielsweise ein Muster, vorzugsweise aus mehreren Musterbestandteilen aufweisen, wobei eine Skalierung und/oder die Bestimmung der Raumrichtung des Objektes mit Hilfe des auf das Objekt abgebildeten Markers möglich ist. Die Distanzmessung kann zudem einen weiteren Parameter liefern, welcher zur Berechnung der Skalierung des Objekts heranziehbar ist.
Es kann daher zweckmäßig sein, wenn ein Marker, vorzugsweise ein mechanischer Marker, mit dem Objekt abgebildet, beispielsweise durch eine Anordnung an oder nahe bei dem Objekt, wird, insbesondere wobei die Abmessungen des Markers bekannt sind. Dadurch kann/können eine Skalierung des Objektes und/oder eine Bestimmung der Raumrichtung des Objektes einfach bestimmt werden. Alternativ oder ergänzend dazu kann es gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung zweckmäßig sein, wenn der Marker als Laserkreuz auf das Objekt projiziert wird. Durch den Grad der Verzerrung des Laserkreuzes aus einer Kamerapose im aufgenommen Bild kann beispielsweise die Raumrichtung des Objektes genauer bestimmt werden. Hierbei kann ein Projektor, mit welchem das Laserkreuz projiziert wird oder projizierbar ist, mit der Bildaufnahmevorrichtung starr gekoppelt sein. Eine Skalierung des aufgenommenen Objektes kann somit aus einem bekannten optischen Achsabstand (Baseline) mit bekannten Methoden ermittelt werden. Darüber hinaus kann es alternativ oder ergänzend auch erfindungsgemäß vorgesehen sein, dass eine Mehrstrahl-Entfernungsmessung, insbesondere wobei die Einzelmessungen jeweils auf unterschiedliche Messpunkte am Objekt gerichtet sind, vorgenommen wird. Mittels der Mehrstrahl-Entfernungsmessung ist eine bessere Bestimmung der Raumrichtung des Objektes möglich. Vorzugsweise erfolgen eine Projektion und eine Aufnahme des visuellen Bildes und/oder des 3D-Bildes aus einer ortsfesten, insbesondere gekoppelten, Position.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens kann es zweckmäßig sein, wenn das visuelle Bild und das 3D-Bild jeweils aus einer ortsfesten, insbesondere aus einer gekoppelten, Kamerapose aufgenommen werden. Bei dieser Konfiguration ist es ausreichend, wenn jeweils ein visuelles Bild und ein 3D-Bild aufgenommen werden. Besonders vorteilhaft ist darüber hinaus, dass eine möglichst einfache Projektion von Merkmalspunkten auf das geometrische Primitiv als Messpunkte möglich ist.
Ein wesentlicher Nachteil vorbekannter Verfahren beruht darauf, dass zur Auswahl von wenigstens zwei Merkmalspunkten in einem manuellen Zwischenschritt eine gewisse Erfahrung notwendig ist. Beispielsweise kann es dabei erforderlich sein, dass der Benutzer eine hohe Klickgenauigkeit bei der Auswahl der Merkmalspunkte benötigt. Gemäß einer erfindungsgemäßen Ausgestaltung des Verfahrens kann es zweckmäßig sein, wenn die Auswahl von wenigstens zwei Merkmalspunkten im Merkmalsdetektionsschritt durch eine rechnergestützte automatisierte Merkmalsdetektion vorgenommen wird. Der Benutzer muss bei der Aufnahme des Objektes lediglich darauf achten, nicht außerhalb des Objektes zu liegen. Eine derart hohe Genauigkeit, wie bei der manuellen Auswahl bei vorbekannten Verfahren, ist jedoch nicht erforderlich. Solange der Benutzer durch inhaltliche Kontrolle sicherstellt, dass er in dem identifizierten Objekt beziehungsweise dessen Ebene bleibt und nicht demgegenüber vorspringende oder rückspringende Einzelheiten anwählt, ist somit eine Platzierung von Merkmalspunkten zur erfindungsgemäßen Messung vereinfachbar. Alternativ oder ergänzend dazu kann es erfindungsgemäß ebenso denkbar sein, dass die Auswahl von wenigstens zwei Merkmalspunkten durch eine manuelle Merkmalsauswahl vorgenommen wird.
Alternativ oder ergänzend kann bei dem erfindungsgemäßen Verfahren vorgesehen sein, dass in einer Plausibilitätsprüfung die Einpassung des geometrischen Primitivs rechnergestützt geprüft und/oder optimiert wird. Insbesondere kann dies derart vorgenommen werden, dass Ausreißer von 3D-Punkten, welche insbesondere durch Messfehler hervorgerufen sind, innerhalb einer Teilmenge von 3D-Punkten bei der Einpassung des geometrischen Primitivs ausgenommen werden. Die Durchführung einer Plausibilitätsprüfung hat daher den Vorteil, dass die Raumrichtung des geometrischen Primitivs besonders genau berechenbar ist.
Besonders vorteilhaft kann es weiter sein, wenn bei dem erfindungsgemäßen Verfahren im Einpassungsschritt ein RANSAC-Verfahren und/oder ein Region-Growing-Verfahren angewendet wird. Durch diese Verfahren ist jeweils eine besonders gute Einpassung des geometrischen Primitivs in die Teilmenge von 3D-Punkten möglich.
Gemäß einer weiteren Ausgestaltungsform des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass das Objekt eine ebene und/oder rechteckige Fläche aufweist, für die eine geometrische Messgröße bestimmt wird. Eine geometrische Messgröße kann beispielsweise eine räumliche Distanz und/oder ein Flächeninhalt sein.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann es zweckmäßig sein, wenn für die Berechnung des 3D-Bildes eine Laufzeitmessung und/oder ein Structure-from-Motion-Verfahren verwendet wird. Eine geeignete Laufzeitmessung kann beispielsweise das Time-of-Flight-Verfahren sein.
Bei einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann alternativ oder ergänzend vorgesehen sein, dass eine Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes oder der visuellen Bilder und/oder des 3D-Bildes automatisiert und/oder rechnergestützt vorgenommen wird. Die Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers sollte idealerweise vor Erstellung eines 3D-Bildes aus mehreren visuellen Bildern, bei den dazu verwendeten, visuellen Bildern erfolgen. Es kann alternativ oder ergänzend dazu erfindungsgemäß vorgesehen sein, dass die Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers vor dem Einpassungsschritt vorgenommen wird. Durch einen Verzeichnungskorrekturschritt kann somit die Genauigkeit bei der Bestimmung einer geometrischen Messgröße erhöht werden. Ferner kann die rechnergestützte und/oder automatisierte Verzeichnungskorrektur und/oder Korrektur eines lokalen Abbildungsfehlers eine schnelle Berechnung der geometrischen Messgröße ermöglichen.
Die genannte Aufgabe wird auch gelöst durch die Merkmale des unabhängigen auf eine Bildaufnahmevorrichtung gerichteten Anspruchs. Insbesondere wird somit erfindungsgemäß eine Bildaufnahmevorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes, mit:

– einer visuellen Kamera zur Aufnahme wenigstens eines visuellen Bildes und einer 3D-Kamera zur Aufnahme eines 3D-Bildes oder einer visuellen Kamera zur Aufnahme einer Folge mehrerer visueller Bilder und einer 3D-Bilderstellungseinheit zur Berechnung eines 3D-Bildes aus der Folge mehrerer visueller Bilder,
– einer Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge von 3D-Punkten des 3D-Bildes,
– einer Einpassungseinheit zur Einpassung eines geometrischen Primitivs in die Teilmenge von 3D-Punkten,
– einer Merkmalsdetektionseinheit zur manuellen und/oder zur automatischen Auswahl von wenigstens zwei Merkmalspunkten in dem wenigstens einen visuellen Bild,
– einer Projektionseinheit zur Projektion der wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte,
– einer Berechnungseinheit zur Berechnung der geometrischen Messgröße für die wenigstens zwei Messpunkte

Die erfindungsgemäße Bildaufnahmevorrichtung hat gegenüber vorbekannten Bildaufnahmevorrichtungen beispielsweise den Vorteil, dass damit die Berechnung einer geometrischen Messgröße eines Objektes insbesondere ohne manuellen Zwischenschritt, welcher beispielsweise mittels eines weiteren Eingabegerätes, wie einem PC, durchgeführt werden muss. Der Benutzer kann mittels der erfindungsgemäßen Bildaufnahmevorrichtung direkt vor Ort eine Messung vornehmen und erhält auch direkt vor Ort ein Ergebnis. Vorzugsweise sind alle Funktionseinheiten der erfindungsgemäßen Bildaufnahmevorrichtung derart programmierbar, dass diese automatisiert arbeiten können. Bei einer bestimmten Ausgestaltung kann es allerdings zweckmäßig sein, wenn die Merkmalsauswahl zumindest optional manuell durch den Benutzer ausführbar ist.
Gemäß einer bevorzugten Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung kann es zweckmäßig sein, wenn die Punktwolkenberechnungseinheit dazu eingerichtet ist, eine Raumrichtung eines 3D-Punktes zu bestimmen, vorzugsweise rechnergestützt automatisch zu berechnen. Eine Bestimmung der Raumrichtung eines 3D-Punktes kann den Vorteil haben, dass die 3D-Punkte gemäß ihren Raumrichtungen von Teilmengen von 3D-Punkten rechnergestützt zuordenbar sind. Daher kann die Punktwolkenberechnungseinheit derart eingerichtet sein, um die 3D-Punkte gemäß ihren Raumrichtungen zu Teilmengen von 3D-Punkten zuordnen zu können. Insbesondere kann die Punktwolkenberechnungseinheit dazu eingerichtet sein, dass für jeden 3D-Punkt zunächst eine lokale Ebene rechnergestützt bestimmbar ist, und anschließend daraus ein Normalenvektor rechnergestützt berechnet wird. Eine Einordnung zu Teilmengen der 3D-Punkte kann daher beispielsweise gemäß Ihren Normalenvektoren erfolgen.
Alternativ oder ergänzend kann bei einer weiteren bevorzugten Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung vorgesehen sein, dass die Bildaufnahmevorrichtung eine Plausibilitätsprüfungseinrichtung zur Prüfung und/oder zur Optimierung des geometrischen Primitivs aufweist. Beispielsweise kann es zweckmäßig sein, wenn die Plausibilitätsprüfungseinrichtung dazu eingerichtet ist, eine Optimierung des geometrischen Primitivs vorzunehmen, bis eine minimierte Diskrepanz zwischen den 3D-Punkten und den tatsächlichen Punkten des geometrischen Primitivs vorliegt. Die tatsächlichen Punkte des geometrischen Primitivs beziehen sich auf solche Punkte, welche direkt auf dem geometrischen Primitiv liegen. Durch die Plausibilitätsprüfungseinrichtung ist es daher möglich, eine erhöhte Genauigkeit bei der Berechnung der geometrischen Messgröße zu erreichen.
Besonders zweckmäßig kann es sein, wenn bei der erfindungsgemäßen Bildaufnahmevorrichtung vorgesehen ist, dass die visuelle Kamera zur Aufnahme wenigstens eines visuellen Bildes und die 3D-Kamera miteinander gekoppelt sind. Eine Kopplung kann insbesondere dadurch eingerichtet sein, dass die beiden Kameras über ein Verbindungselement, vorzugsweise in einem definierten und/oder einstellbaren Abstand, miteinander verbunden sind oder miteinander verbindbar sind. Durch diese erfindungsgemäße Ausgestaltung einer Bildaufnahmevorrichtung kann es möglich sein, eine geometrische Messgröße eines Objektes bereits durch Aufnahme nur eines einzelnen visuellen Bildes und nur eines einzelnen 3D-Bildes zu ermöglichen.
Gemäß einer weiteren Ausgestaltung der erfindungsgemäßen Bildaufnahmevorrichtung kann alternativ oder ergänzend vorgesehen sein, dass diese Bildaufnahmevorrichtung eine Gruppierungseinheit aufweist. Die Gruppierungseinheit kann dazu eingerichtet sein, eine Durchführung eines Gruppierungsschrittes rechnergestützt auszuführen, insbesondere wobei für jeden 3D-Punkt eine Raumrichtung bestimmbar ist und die 3D-Punkte gemäß ihrer Raumrichtung einer Teilmenge von 3D-Punkten rechnergestützt zuordenbar sind. Insbesondere kann vorgesehen sein, dass die Punktwolkenberechnungseinheit und die Gruppierungseinheit als eine einzelne Einheit ausgebildet sind. Besonders zweckmäßig kann es sein, wenn für jeden 3D-Punkt zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechenbar ist.
Die erfindungsgemäße Bildaufnahmevorrichtung, wie hierin beschrieben und beansprucht, kann vorzugsweise dazu eingerichtet sein, das erfindungsgemäße Verfahren, wie hierin beschrieben und beansprucht, ausführen zu können. Aus diesem Grund ergeben sich für die erfindungsgemäße Ausgestaltung einer solchen Bildaufnahmevorrichtung die gleichen Vorteile, wie die Vorteile, welche zuvor für das erfindungsgemäße Verfahren bereits beschrieben wurden.
Gemäß einer besonders vorteilhaften Ausführungsform der erfindungsgemäßen Bildaufnahmevorrichtung kann vorgesehen sein, dass die Bildaufnahmevorrichtung eine Korrektureinheit zur Durchführung, insbesondere zur automatisierten und/oder rechnergestützten Durchführung, einer Verzeichnungskorrektur und/oder einer Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes oder der visuellen Bilder und/oder des 3D-Bildes aufweist. Insbesondere kann diese Korrektureinheit dazu eingerichtet sein, dass ein auszuführender Korrekturschritt, beispielsweise vor Erstellung eines 3D-Bildes aus einer Folge von visuellen Bildern, bei allen visuellen Bildern aus der Folge erfolgt und/oder dass ein auszuführender Korrekturschritt vor Projektion der wenigstens zwei Merkmalspunkte auf das geometrische Primitiv als wenigstens zwei Messpunkte erfolgt.
Die Erfindung wird nun anhand eines Anwendungsbeispiels näher beschrieben, ist jedoch nicht auf dieses Anwendungsbeispiel beschränkt. Weitere erfindungsgemäße Anwendungsbeispiele ergeben sich durch die Kombination einzelner und/oder mehrerer Merkmale der Schutzansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des Anwendungsbeispiels.
Es zeigt:
1 eine vereinfachte schematische Darstellung eines visuellen Bildes, auf welchem ein Objekt in einer bestimmten Perspektive abgebildet ist,
2 eine vereinfachte schematische Darstellung in Draufsicht einer erfindungsgemäßen Ausführungsform der Bildaufnahmevorrichtung, welche zur Vermessung eines Objektes verwendet wird,
3 zwei Untermengen von 3D-Punkten eines 3D-Bildes des Objektes, welche einmal als ausgefüllte und einmal als nichtausgefüllte Punkte abgebildet sind, wobei in eine Teilmenge von 3D-Punkten (ausgefüllte 3D-Punkte) ein geometrisches Primitiv eingepasst ist,
4 eine Projektion von zwei Merkmalspunkten, die in dem visuellen Bild ausgewählt sind, auf das geometrische Primitiv gemäß 3, zur Berechnung der geometrischen Messgröße, der auf das geometrische Primitiv projizierten korrespondierenden Messpunkte,
5 ein visuelles Bild mit einer stark verzerrenden Abbildung mit einem daraus resultierenden Messfehler zwischen den Kanten des abgebildeten Objektes,
6 ein durch Verzeichnungskorrektur korrigiertes visuelles Bild des Objektes.
In 1 ist eine erfindungsgemäße Bildaufnahmevorrichtung 1 und in den 2 und 3 3 sind Schritte eines erfindungsgemäßen Verfahrens in vereinfachter schematischer Weise, wie sie beispielsweise mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1 ausführbar sind, dargestellt.
Die Bildaufnahmevorrichtung 1 ist zur Bestimmung einer geometrischen Messgröße 3 eines Objektes 2 eingerichtet. Die Bildaufnahmevorrichtung 1 weist gemäß der vorliegenden erfindungsgemäßen Ausführungsform eine visuelle Kamera 16 und eine 3D-Kamera 15 auf. Die beiden Kameras 15, 16 sind über ein Verbindungselement 18 in einem vorzugsweise definierten und/oder einstellbaren Abstand miteinander gekoppelt. Diese erfindungsgemäße Ausgestaltung weist den Vorteil auf, dass keine Entfernungsmessung zur Bestimmung der geometrischen Messgröße 3 erforderlich ist.
Alternativ kann es jedoch auch denkbar sein, dass die erfindungsgemäße Bildaufnahmevorrichtung 1 lediglich eine visuelle Kamera 16 zur Aufnahme einer Folge mehrerer visueller Bilder 4 und einer 3D-Bilderstellungseinheit zur Berechnung eines 3D-Bildes 5 aus der Folge mehrerer visueller Bilder 4 aufweist (nicht dargestellt). Darüber hinaus kann es dabei vorgesehen sein, dass eine derart ausgestaltete Bildaufnahmevorrichtung 1 eine Entfernungsmesseinheit aufweist. Des Weiteren kann die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Projektoreinheit zur Projektion eines, insbesondere visuellen, Markers auf das Objekt 2, insbesondere auf eine Objektebene 19, aufweisen.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 weist weiter eine Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge 8 von 3D-Punkten 6 des 3D-Bildes 5 auf. Zur Einpassung eines geometrischen Primitivs 7, welches wie im vorliegenden Fall beispielsweise als eine Ebenenteil ausgestaltet sein kann, in die Teilmenge 8 von 3D-Punkten 6 weist die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Einpassungseinheit auf. Die Bildaufnahmevorrichtung 1 weist darüber hinaus eine Merkmalsdetektionseinheit auf, welche beispielsweise dazu eingerichtet sein kann, um mittels einer manuellen Auswahl von wenigstens zwei Merkmalspunkten 9, 10 in dem visuellen Bild vornehmen zu können. Alternativ oder ergänzend dazu kann ebenso vorgesehen sein, dass die Merkmalsdetektionseinheit derart eingerichtet ist, insbesondere programmierbar ist, um eine automatische Auswahl von wenigstens zwei Merkmalspunkten 9, 10 in dem visuellen Bild 4 vornehmen zu lassen. Um eine bestimmte Raumrichtung 20 des Objektes 2 bei der Berechnung der geometrischen Messgröße 3 berücksichtigen zu können, weist die erfindungsgemäße Bildaufnahmevorrichtung 1 eine Projektionseinheit zur Projektion 11 der wenigstens zwei ausgewählten Merkmalspunkte 9, 10 auf das geometrische Primitiv 7 als wenigstens zwei Messpunkte 12, 13 auf. Durch die Projektion 11 der Merkmalspunkte 9, 10 als Messpunkte 12, 13 auf das geometrische Primitiv 7 kann die geometrische Messgröße 3 für die wenigstens zwei Messpunkte 12, 13 bestimmt werden. Die Raumrichtung 14, insbesondere die Verlaufsrichtung, des geometrischen Primitivs 7 entspricht dabei annähernd oder vollständig der tatsächlichen Raumrichtung 20, insbesondere die Verlaufsrichtung, des Objektes 2.
Wie in 1 zu sehen ist, können die 3D-Punkte 6 des 3D-Bildes 5 Ungenauigkeiten aufweisen, weshalb diese nicht genau auf einer Ebene, insbesondere auf einer der Objektebene 19 entsprechenden Ebene, liegen, sondern teilweise abweichend außerhalb der Ebene positioniert sind. Durch Einpassung eines geometrischen Primitivs 7, wie in 2 gezeigt ist, ist es möglich, eine Ausgleichsebene durch die Teilmenge 8 von 3D-Punkten 6 zu legen, um die Raumrichtung 20 des Objektes 2 bestimmen zu können. Bei der Einteilung der 3D-Punkte 6 in Teilmengen 8 wird zunächst die jeweilige Raumrichtung jedes 3D-Punktes 6 berechnet und berücksichtigt, um schließlich eine Einteilung vorzunehmen.
Anschließend ist es möglich, wie in 3 gezeigt ist, durch Auswahl wenigstens eines ersten Merkmalspunkt 9 und eines zweiten Merkmalspunkt 10 in dem visuellen Bild 4, welches durch die Bildaufnahmevorrichtung 1, beispielsweise durch eine Anzeigeeinheit, anzeigbar ist, manuell und/oder automatisch auszuwählen.
Durch die Projektion 11 der Merkmalspunkte 9, 10 auf das geometrische Primitiv 7 können für die wenigstens zwei Merkmalspunkte 9, 10 korrespondierende Messpunkte 12, 13 vorzugsweise rechnergestützt berechnet werden.
Anschließend kann mittels der Berechnungseinheit der erfindungsgemäßen Bildaufnahmevorrichtung 1 eine Berechnung der geometrischen Messgröße 3, welche wie hier beispielsweise eine räumliche Distanz zwischen den beiden Merkmalspunkten 9, 10 des Objektes 2 ist, vorgenommen werden.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 weist ferner eine Verzeichnungskorrektureinheit auf, mittels welcher eine Korrektur eines lokalen Fehlers der Abbildung des visuellen Bildes 4 und/oder des 3D-Bildes 5, vorzugsweise automatisiert und/oder rechnergestützt, vornehmbar ist. In den 4 bis 6 ist in schemenhafter Ausführung der Ablauf der Verarbeitung eines mittels der visuellen Kamera 16 aufgenommenen visuellen Bildes 4 dargestellt. Ein visuelles Bild 4 und/oder ein 3D-Bild kann beispielsweise aufgrund von Verzeichnungsfehlern und/oder aufgrund der Aufnahme des Bildes mittels einer Fischaugenkamera die Kanten des Objektes 17 ungerade abbilden, obwohl diese Kanten 17 in Wirklichkeit geradlinig verlaufen. Im in 4 dargestellten Fall weist das visuelle Bild 4 des Objektes 2 eine tonnenförmige Verzeichnung auf. Wie in 5 dargestellt ist, kann mittels der Verzeichnungskorrektureinheit der erfindungsgemäßen Bildaufnahmevorrichtung 1 eine Verzeichnungskorrektur, insbesondere automatisiert und rechnergestützt, vorgenommen werden, so dass ein verzeichnungsfreies visuelles Bild 4 entsteht (siehe korrigiertes visuelles Bild 4 in 5). In 6 ist eine orthogonale Darstellung des visuellen Bildes 4 (als Draufsicht und/oder Orthobild bzw. Orthofoto) gezeigt, welche mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1, insbesondere aus dem verzeichnungsfreien visuellen Bild 4, erstellbar ist.
Die erfindungsgemäße Bildaufnahmevorrichtung 1 ist weiter zur Durchführung des erfindungsgemäßen Verfahrens, wie hierin beschrieben und beansprucht, eingerichtet, wobei vorzugsweise alle Verfahrensschritte rechnergestützt, vorzugsweise automatisiert, durchführbar sind, ausgenommen des Merkmalsdetektionsschritts, welcher wahlweise automatisiert und/oder manuell durchführbar ist. Bei dem erfindungsgemäßen Verfahren, wie hierin beschrieben und beansprucht, ist also die Lage sowie die Orientierung einer Bildaufnahmevorrichtung relativ zum Objekt 2 bekannt oder ermittelbar.
Bei dem erfindungsgemäßen Verfahren, wie hierin beschrieben und beansprucht, beziehungsweise bei Verwendung der erfindungsgemäßen Bildaufnahmevorrichtung 1, wie hierin beschrieben und beansprucht, ist es daher nicht erforderlich, beispielsweise mittels einer Fotoaufmaß-Software manuell mehrere Einrichtungsschritte durchzuführen. Insbesondere entfallen dabei manuelle Schritte, mittels welchen eine Linsenverzeichnung korrigiert, eine perspektivische Abbildung eingerichtet und/oder eine Skalierung eingerichtet werden muss/müssen. All diese Schritte können mittels der erfindungsgemäßen Bildaufnahmevorrichtung 1 und/oder mittels des erfindungsgemäßen Verfahrens automatisiert vorgenommen werden. Damit entfallen für den Benutzer komplizierte und fehleranfällige Einrichtungsschritte. Vielmehr kann er direkt vor Ort ein Objekt, insbesondere die Geometrie eines Objektes, vermessen.
Um eine rechnergestützte automatisierte Merkmalsauswahl, insbesondere mittels der Merkmalsdetektionseinheit vornehmen zu können, kann es zweckmäßig sein, wenn dies über eine Merkmalsextraktion erfolgt. Ein weiterer Vorteil kann es sein, wenn ein geometrisches Primitiv 7 bereits durch Erfassung einer Anzahl von zumindest drei 3D-Punkten 6 möglich ist, um die Raumrichtung 20, insbesondere die Verlaufsrichtung, des Objektes 2 bestimmen zu können. Umso mehr 3D-Punkte 6 einer Teilmenge 8 bei der Einpassung berücksichtigt werden, umso höher ist in der Regel die Genauigkeit der Raumrichtung 14 des geometrischen Primitivs 7 bezogen auf die Raumrichtung 20 des Objektes 2, wobei Ausreißer ausgenommen werden können.
Bezugszeichenliste

1: Bildaufnahmevorrichtung
2: Objekt
3: geometrische Messgröße
4: visuelles Bild
5: 3D-Bild
6: 3D-Punkt
7: geometrisches Primitiv
8: Teilmenge von 3D-Punkten
9: erster Merkmalspunkt
10: zweiter Merkmalspunkt
11: Projektion der Merkmalspunkte
12: erster Messpunkt
13: zweiter Messpunkt
14: Raumrichtung des geometrischen Primitivs
15: 3D-Kamera
16: visuelle Kamera
17: Kante des Objektes
18: Verbindungselement
19: Objektebene
20: Raumrichtung des Objektes

Claims

Verfahren zur Bestimmung einer geometrischen Messgröße (3) eines Objektes (2), wobei: – in einem Aufnahmeschritt zumindest ein visuelles Bild (4) des Objektes (2) aufgenommen wird, – in einem 3D-Bilderstellungsschritt ein maßstabsgetreues 3D-Bild (5) des Objektes (2) aufgenommen und/oder rechnergestützt berechnet wird, – in einem Punktwolkenberechnungsschritt eine Teilmenge (8) von 3D-Punkten (6) des 3D-Bildes (5) rechnergestützt berechnet wird, – in einem Einpassungsschritt für die Teilmenge (8) aus 3D-Punkten (6) ein geometrisches Primitiv (7) rechnergestützt eingepasst wird, – in einem Merkmalsdetektionsschritt eine Merkmalsauswahl auf das zumindest eine visuelle Bild (4) angewandt wird, um wenigstens zwei Merkmalspunkte (9, 10) in dem visuellen Bild (4) zu identifizieren, – in einem Projektionsschritt die wenigstens zwei Merkmalspunkte (9, 10) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13) rechnergestützt projiziert werden, – in einem Berechnungsschritt eine geometrische Messgröße (3) für die wenigstens zwei Messpunkte (12, 13) rechnergestützt berechnet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in dem Einpassungsschritt als zumindest ein geometrisches Primitiv (7) ein vorzugsweise parametrierter und/oder berandeter Kegelmantelteil, Zylindermantelteil und/oder ein Ebenenteil verwendet wird und/oder dass vor Durchführung des Einpassungsschritts in einem Gruppierungsschritt für jeden 3D-Punkt (6) eine Raumrichtung rechnergestützt bestimmt wird, wobei die 3D-Punkte (6) gemäß ihrer Raumrichtungen der Teilmenge (8) rechnergestützt zugeordnet werden, insbesondere derart, dass für jeden 3D-Punkt (6) zunächst eine lokale Ebene und daraus ein Normalenvektor rechnergestützt berechnet wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass im 3D-Bilderstellungsschritt ein 3D-Bild (5) durch eine Bildaufnahmevorrichtung (1) mit einer 3D-Kamera (15), insbesondere einem Time-of-Flight-Sensor, einem Laserscanner oder einer Stereokamera, aufgenommen wird oder dass das 3D-Bild (5) durch eine Mehrbild-Rekonstruktion aus einer Folge von mehreren visuellen Bildern (4), welche insbesondere mittels einer Bildaufnahmevorrichtung (1) mit einer visuellen Kamera (16) aufgenommen wurden, vorzugsweise durch eine Structure-from-Motion-Verfahren, berechnet wird und/oder dass im 3D-Bilderstellungsschritt ein Marker auf das Objekt (2) abgebildet wird und/oder eine Distanzmessung zwischen einer oder der Bildaufnahmevorrichtung (1) und dem Objekt (2) durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das visuelle Bild (4) und das 3D-Bild (5) jeweils aus einer ortsfesten, insbesondere aus einer gekoppelten, Kamerapose aufgenommen werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Auswahl von wenigstens zwei Merkmalspunkten (12, 13) im Merkmalsdetektionsschritt durch eine rechnergestützte automatisierte Merkmalsdetektion vorgenommen wird und/oder durch eine manuelle Merkmalsauswahl vorgenommen wird und/oder dass in einer Plausibilitätsprüfung die Einpassung des geometrischen Primitivs (7) rechnergestützt geprüft und/oder optimiert wird, insbesondere derart, dass Ausreißer, welche insbesondere durch Messfehler hervorgerufen sind, innerhalb einer Teilmenge (8) von 3D-Punkten (6) bei der Einpassung des geometrischen Primitivs (7) ausgenommen werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass im Einpassungsschritt ein RANSAC-Verfahren und/oder ein Region-Growing-Verfahren angewendet wird und/oder dass das Objekt (2) eine ebene, insbesondere rechteckige, Fläche aufweist für die eine geometrische Messgröße (3), insbesondere eine räumliche Distanz und/oder ein Flächeninhalt, bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass für die Berechnung des 3D-Bildes (5) eine Laufzeitmessung und/oder ein Structure-from-Motion-Verfahren verwendet wird und/oder dass in einem Verzeichnungskorrekturschritt eine Verzeichnungskorrektur und/oder eine Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes (4) oder der visuellen Bilder (4) und/oder des 3D-Bildes (5) rechnergestützt vorgenommen wird.
Bildaufnahmevorrichtung (1) zur Bestimmung einer geometrischen Messgröße (3) eines Objektes (2), mit: – einer visuellen Kamera (16) zur Aufnahme wenigstens eines visuellen Bildes (4) und einer 3D-Kamera (15) zur Aufnahme eines 3D-Bildes (5) oder einer visuellen Kamera (16) zur Aufnahme einer Folge mehrerer visueller Bilder (4) und einer 3D-Bilderstellungseinheit zur Berechnung eines 3D-Bildes (5) aus der Folge mehrerer visueller Bilder (4), – einer Punktwolkenberechnungseinheit zur Berechnung einer Teilmenge (8) von 3D-Punkten (6) des 3D-Bildes (5), – einer Einpassungseinheit zur Einpassung eines geometrischen Primitivs (7) in die Teilmenge (8) von 3D-Punkten (6), – einer Merkmalsdetektionseinheit zur manuellen und/oder zur automatischen Auswahl von wenigstens zwei Merkmalspunkten (9, 10) in dem visuellen Bild (4), – einer Projektionseinheit zur Projektion der wenigstens zwei Merkmalspunkte (9, 16) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13), – einer Berechnungseinheit zur Berechnung der geometrischen Messgröße (3) für die wenigstens zwei Messpunkte (12, 13).
Bildaufnahmevorrichtung (1) nach Anspruch 8, dadurch gekennzeichnet, dass die Punktwolkenberechnungseinheit dazu eingerichtet ist, eine Raumrichtung eines 3D-Punktes (6) zu bestimmen, insbesondere um 3D-Punkte (6) gemäß ihren Raumrichtungen zu Teilmengen (8) von 3D-Punkten (6) zuordnen zu können, und/oder dass die Bildaufnahmevorrichtung (1) eine Plausibilitätsprüfungseinrichtung zur Prüfung und/oder Optimierung des geometrischen Primitivs (7) aufweist, insbesondere wobei diese dazu eingerichtet ist, eine Optimierung des geometrischen Primitivs (7) vorzunehmen, bis eine minimierte Diskrepanz zwischen den 3D-Punkten (6) und den tatsächlichen Punkten des geometrischen Primitivs vorliegt.
Bildaufnahmevorrichtung (1) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die visuelle Kamera (16) zur Aufnahme wenigstens eines visuellen Bildes (4) und die 3D-Kamera (15) miteinander gekoppelt sind, insbesondere derart, dass sie über ein Verbindungselement (18), vorzugsweise in einem definierten oder einstellbaren Abstand, miteinander verbunden sind und/oder dass die Bildaufnahmevorrichtung (1) eine Gruppierungseinheit aufweist, zur Durchführung eines Gruppierungsschritts, wobei für jeden 3D-Punkt (6) eine Raumrichtung bestimmbar ist oder bestimmt wird und die 3D-Punkte gemäß ihrer Raumrichtungen einer Teilmenge (8) rechnergestützt zuordenbar sind oder zugeordnet werden, insbesondere derart, dass für jeden 3D-Punkt (6) zunächst eine lokale Ebene und daraus ein Normalenvektor berechnet wird oder berechenbar ist.
Bildaufnahmevorrichtung (1) nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (1) dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
Bildaufnahmevorrichtung (1) nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass die Bildaufnahmevorrichtung (1) eine Korrektureinheit zur Durchführung, insbesondere zur automatisierten und/oder rechnergestützten Durchführung, einer Verzeichnungskorrektur und/oder einer Korrektur eines lokalen Abbildungsfehlers des visuellen Bildes (4) oder der visuellen Bilder (4) und/oder des 3D-Bildes (5) aufweist, insbesondere wobei die jeweilige Korrektur vor Erstellung eines 3D-Bildes (5) bei allen visuellen Bildern (4) aus einer oder der Folge von mehreren visuellen Bildern (4) und/oder vor Projektion der wenigstens zwei Merkmalspunkte (9, 16) auf das geometrische Primitiv (7) als wenigstens zwei Messpunkte (12, 13) erfolgt.