DE602006000627T2

DE602006000627T2 - Dreidimensionales Messverfahren und dreidimensionale Messvorrichtung

Info

Publication number: DE602006000627T2
Application number: DE602006000627T
Authority: DE
Inventors: Shiro Fujieda; Yasuyuki Ikeda
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2005-06-17
Filing date: 2006-06-16
Publication date: 2009-04-02
Anticipated expiration: 2026-06-17
Also published as: CN1880912A; JP2006349586A; JP4774824B2; CN100460806C; US20060285752A1; US7450248B2; DE602006000627D1; EP1734335B1; EP1734335A1

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren zum Ausführen einer dreidimensionalen Messung in einem Bereich, in dem Sichtfelder einer Vielzahl von Kameras einander überlappen, unter Verwendung der mit der Vielzahl von Kameras erzeugten Bildern, sowie eine dreidimensionale Messvorrichtung zum Ausführen des Verfahrens.
2. Beschreibung des Standes der Technik
Bei dreidimensionalen Messverfahren beruhend auf dem binokularen Sichtprinzip werden Bilder eines zu messenden Objekts mit zwei oder mehr Kameras aus unterschiedlichen Richtungen aufgenommen, und entsprechende Merkmalspunkte auf den erzeugten Bildern, die ein identisches Bild darstellen, werden überlappt. Eine Koordinate des aus jedem Bild extrahierten Merkmalspunktes wird in eine Funktionsgleichung eingegeben, um eine dreidimensionale Koordinate zu berechnen (siehe z. B. die offengelegte japanische Patentanmeldung Nr. 2002-99902 ).
Die EP 1 085 769 beschreibt das Spezifizieren eines stereographisch zu messenden Höhenbereichs, und das Extrahieren des Kameraabstandes als Funktion dieses Bereichs.
Wird die Messung, wie voranstehend in der offengelegten japanischen Patentanmeldung Nr. 2002-99902 durchgeführt, so muss jeder zu messende Punkt in den Sichtfeldern sämtlicher Kameras enthalten sein. Dies bedarf einer Justierung der positionsmäßigen Beziehung zwischen jeder Kamera beruhend auf einem Bereich, in dem das zu mes sende Objekt enthalten ist, oder eines Höhenbereichs, den das Messobjekt annehmen kann, um die Genauigkeit der dreidimensionalen Messung sicherzustellen.
Es ist jedoch äußerst schwierig, den Bereich oder den Höhenbereich zu erkennen, in dem die Sichtfelder sämtlicher Kameras einander überlappen. Insbesondere in einem Fall, wo die Vorrichtung von einem Benutzer ohne Erfahrung bezüglich dreidimensionaler Messungen benutzt wird, justiert der Benutzer die Kameras durch Ausprobieren, ohne dass er weiß, wie die Kameras zu justieren sind, um so in einen für die Messung geeigneten Zustand zu gelangen. Daher kann der Justiervorgang zeit- und arbeitsintensiv sein.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde unter Berücksichtigung des voranstehend erwähnten Problems gemacht, und ihre Aufgabe besteht darin, jede Kamera gemäß einem Messzweck einzustellen und eine einfache Ausführung der Messung zu ermöglichen, um zu überprüfen, dass eine derartige Einstellung vorgenommen worden ist.
Wird davon ausgegangen, dass ein Bild einer ebenen Fläche, die sich in einer vorgeschriebenen Höhe befindet, mit jeder einer Vielzahl von Kameras aufgenommen wird, so wird eine Koordinatenbeziehung derjenigen Pixel, die in den erzeugten Bildern einander entsprechen, durch eine homographische Matrix ausgedrückt. (vgl. „Calibration of Projector-Camera System", Nobuhiro Miichi, Toshikazu Wada, Takashi, Matsuyama, <URL:
http://vision.kuee.kyoto-u.ac.jp/Research/Thesis/Thesis_PDF/Miichi_20 02_P_147.pdf> recherchiert am 1. Juni 2005).
Sobald eine Beziehung (Abstand zwischen Ursprungspunkten, Winkelabweichung einer Koordinatenachse, etc.) eines Kamerakoordina tensystems aus den Kameras hergestellt worden ist, und falls ein in einer vorgeschriebenen Höhe innerhalb der Räume befindlicher Punkt ein Bild auf einer Bildaufnahmefläche der Kamera bildet, ist es deshalb möglich, eine Koordinate der Bilderzeugungsposition in eine Koordinate auf einer Bildaufnahmefläche einer anderen Kamera zu konvertieren, indem die Koordinate der Bilderzeugungsposition in einen Vergleichsausdruck unter Verwendung einer homographischen Matrix entsprechend der Höhe des Punktes eingegeben wird. Ist die Koordinate nach der Konvertierung in dem Bereich einer tatsächlichen Bildaufnahmefläche der Kamera enthalten, so kann davon ausgegangen werden, dass der eine Punkt innerhalb der Räume einem Punkt entspricht, der in den Sichtfeldern sämtlicher Kameras enthalten ist und an dem eine dreidimensionale Messung möglich ist.
Zur Vereinfachung der Beschreibung wird hier davon ausgegangen, dass zwei Kameras A und B angeordnet sind, und dass eine virtuelle ebene Fläche in einer bestimmten Höhe, die einen unendlichen Bereich einnimmt, einem zu messenden Gegenstand entspricht. In diesem Fall kann davon ausgegangen werden, dass das Bild eines an einer beliebigen Position auf der virtuellen ebenen Fläche befindlichen Punktes auf jedem Pixel gebildet wird, die eine Bildaufnahmefläche einer beliebigen Kamera bilden. Werden Koordinaten von Punkten auf einem der Kamera B zugewandten Bild erhalten, und falls die Punkte mit sämtlichen Pixeln, die ein mit der Kamera A aufgenommenes Bild ergeben, unter Verwendung homographischer Matrizen entsprechend der Höhe der virtuellen ebenen Fläche in Deckung gebracht werden, so kann deshalb eine Koordinate, die in dem Bereich des tatsächlichen Bildes enthalten ist, das mit der Kamera B aufgenommen wurde, aus den zuvor erhaltenen Punkten so angesehen werden, dass sie denjenigen Punkten entspricht, die in beiden Sichtfeldern der Kameras A und B enthalten sind. Mit anderen Worten, es wird festgestellt, ob die Gruppe von Koor dinaten der entsprechende Punkte einen Bereich anzeigen, in dem eine dreidimensionale Koordinate auf der virtuellen ebenen Fläche berechnet werden kann.
Im Folgenden wird ein Bereich, der auf dem Bild erscheint und in dem eine dreidimensionale Messung durchgeführt werden kann, als ein „messbarer Bereich" bezeichnet.
Da eine Bildaufnahmefläche einer Kamera rechtwinklig ist, wird darauf hingewiesen, dass keine Koordinaten von Punkten, die sämtlichen Pixeln auf einem Bild entsprechen, wie voranstehend beschrieben, erhalten werden, sondern jeweilige Koordinaten von Punkten, die den vier Eckpunkten eines Bildes entsprechen, erhalten werden und ein rechtwinkliger Bereich, der durch Verbinden dieser entsprechenden Punkte gebildet wird, als der Messbereich genommen wird. Des Weiteren wird ein Bereich, der sämtlichen Pixeln auf der Bildaufnahmefläche der Kamera B entspricht, derart extrahiert, dass der messbare Bereich auf die voranstehend beschriebene Weise erhalten wird, das Gleiche gilt für die Bildaufnahmefläche der Kamera A.
Ändert sich die Höhe der virtuellen ebenen Fläche innerhalb eines vorgeschriebenen Bereichs, so ändert sich des Weiteren eine homographische Matrix entsprechend der Höhenänderung, und der messbare Bereich kann sich ebenso ändern. In diesem Fall muss für die zuverlässige Messung eines Punktes innerhalb des sich geänderten Höhenbereichs ein Bereich, der sämtliche messbare Bereiche umfasst, die den jeweiligen Höhen in dem Höhenbereich entsprechen, nämlich einem Bereich, in dem sämtliche messbare Bereiche einander überlappen, auf ein zu messendes Objekt begrenzt werden.
Die vorliegende Erfindung wurde beruhend auf der voranstehend erwähnten Überlegung gemacht und richtet sich darauf, die Erkennung eines Bereichs zu vereinfachen (der Bereich einer Trägerfläche eines zu messenden Objekts oder der Höhenbereich des zu messenden Objekts), der von einem Benutzer messbar ist, und zwar in einem Verfahren und einer Vorrichtung zum Ausführen dreidimensionaler Messungen in einem Bereich, in dem Sichtfelder einer Vielzahl von Kameras einander überlappen, unter Verwendung von der mit der Vielzahl von Kameras erzeugten Bildern. Es wird darauf hingewiesen, dass in dieser Beschreibung die „Trägerfläche" des zu messenden Objekts nicht nur eine horizontale Fläche, sondern auch eine außerhalb der Horizontalen liegende Fläche umfasst. Ferner kann „Höhe" als ein „Abstand von der Trägerfläche" interpretiert werden.
Zunächst werden in einem ersten dreidimensionalen Messverfahren gemäß der vorliegenden Erfindung ein erster Schritt und ein zweiter Schritt ausgeführt. Beim ersten Schritt wird die Festlegung eines zu messenden Höhenbereichs akzeptiert. Beim zweiten Schritt wird in Bezug auf ein mit zumindest einer der Kameras erzeugtes Bild ein Bereich, in dem ein Punkt, der in den Sichtfeldern sämtlicher Kameras über den gesamten im ersten Schritt spezifizierten Höhenbereich enthalten ist, auf dem Bild erscheint, unter Verwendung einer Beziehung eines Kamerakoordinatensystems zwischen den einzelnen Kameras extrahiert.
In der obigen Situation kann der Benutzer im ersten Schritt willkürliche obere und untere Grenzen bezüglich der Höhe spezifizieren. Beim zweiten Schritt werden unter Verwendung des voranstehend beschriebenen Verfahrens jeweilige Messbereiche der Bilder, die mit sämtlichen Kameras aufgenommen wurden, entsprechend der oberen und der unteren Grenze des Höhenbereichs erhalten, und ein Abschnitt, in dem diese Bereiche einander überlappen, kann als ein Bereich (messbarer Bereich, der dem Höhenbereich entspricht) angesehen werden, in dem ein Punkt erscheint, der innerhalb des im ersten Schritt spezifizierten Höhenbereichs liegt und in dem die Sichtfelder sämtlicher Kameras enthalten sind.
Bei einer bevorzugten Ausführungsform der vorliegenden Erfindung wird des Weiteren ein dritter Schritt durchgeführt. Im dritten Schritt wird ein mit der Kamera erzeugtes Bild als ein Objekt für die Bearbeitung des zweiten Schrittes zusammen mit dem bei dem zweiten Schritt extrahierten Bereich angezeigt.
In dem dritten Schritt ist es z. B. möglich, ein Bild, das mit der Kamera erzeugt worden ist, als das Objekt zur Bearbeitung des zweiten Schrittes anzuzeigen, wobei dem Bild eine Grenze des in dem zweiten Schritt extrahierten Bereichs zugefügt ist. Ferner kann das Bild, dessen Anzeigemodus innerhalb und außerhalb des Bereichs unterschiedlich ist, z. B. derart angezeigt werden, dass das Bild innerhalb des Bereichs mit einer vorgeschriebenen Farbe gefärbt wird. Des Weiteren kann lediglich das Bild innerhalb des Bereichs angezeigt werden.
Wird vom Benutzer der zu messende Höhenbereich spezifiziert, wird gemäß dem voranstehend beschriebenen Verfahren ein Bild, das eine Relation zwischen einem Sichtfeld und einem messbaren Bereich von zumindest einer Kamera andeutet, angezeigt, wodurch dem Benutzer gestattet wird, auf eine einfache Weise einen Bereich zu erkennen, in dem die Höhe innerhalb des spezifizierten Bereichs derart messbar ist, so dass bestimmt werden kann, ob jede Kamera auf eine für einen Messzweck geeignete Weise eingestellt worden ist.
Bei einer bevorzugten Ausführungsform der vorliegenden Erfindung enthält der erste Schritt ferner einen Schritt, bei dem eine Spezifikation eines Messobjektbereichs auf einer Trägerfläche eines zu messenden Objekts akzeptiert wird, und des Weiteren wird ein vierter Schritt und ein fünfter Schritt durchgeführt. Im vierten Schritt wird in Bezug auf die Kamera als das Objekt für die Bearbeitung des zweiten Schrittes bestimmt, ob der Messobjektbereich auf dem Bild in dem in dem zweiten Schritt extrahierten Bereich enthalten ist. Im fünften Schritt wird ein Ergebnis der Bestimmung des vierten Schrittes ausgegeben.
Im ersten Schritt ist es möglich, einen beliebigen Messobjektbereich entsprechend der Größe des zu messenden Objekts oder eine Position zu spezifizieren, die das zu messende Objekt annehmen kann. Eine solche Spezifikation wird vorzugsweise auf einem Anzeigeschirm eines Bildes von einer der Kameras vorgenommen, wie im Anschluss beschrieben wird, allerdings ist sie nicht darauf beschränkt. Z. B. wird eine Grenzlinie des Messobjektbereichs auf der Trägerfläche des Objekts markiert und ihr Bild wird mit einer der Vielzahl von Kameras aufgenommen, um so die Grenzlinie aus dem erzeugten Bild zu extrahieren, wodurch es möglich ist, den Messobjektbereich zu erkennen. Es ist ebenso möglich, den Messobjektbereich durch ein Verfahren zu spezifizieren, bei dem eine spezifische dreidimensionale Koordinate jedes Eckpunktes des Messobjektbereichs eingegeben wird.
Spezifiziert der Benutzer den Messobjektbereich zusammen mit dem Höhenbereich, wird gemäß der obigen Ausführungsform der Messbereich entsprechend des Höhenbereichs im zweiten Schritt beruhend auf dem gleichen Prinzip wie bei dem ersten Verfahren extrahiert. Des Weiteren wird im vierten Schritt bestimmt, ob der spezifizierte Messobjektbereich in dem Messbereich enthalten ist.
Beim fünften Schritt ist es möglich, das Ergebnis der Bestimmung zusammen mit einem Bild der Kamera anzuzeigen. Überschreitet der Messobjektbereich den messbaren Bereich, kann ferner die Höhe des Objekts nicht gemessen werden, selbst wenn das Objekt innerhalb des Höhenbereichs liegt, der durch den Messobjektbereich spezifiziert ist. In diesem Fall ist es erwünscht, eine Ausgabe zu erzeugen, wie z. B. das Anzeigen eines Warnhinweises oder das Ertönen einer Warnung, um den Benutzer über die ungeeignete Bereichsspezifikation zu unterrichten.
Bei einer bevorzugten Ausführungsform der vorliegenden Erfindung wird ferner ein sechster Schritt durchgeführt. Beim sechsten Schritt wird ein Bild von der Kamera als das Objekt für die Bearbeitung des zweiten Schrittes angezeigt, während eine Spezifikation eines Messobjektbereichs in einem Bereich, der dem in dem zweiten Schritt extrahierten Bereich entspricht, akzeptiert wird.
Nach Spezifizierung des zu messenden Höhenbereichs muss bei der obigen Ausführungsform der Benutzer einen Vorgang durchführen, bei dem der Messobjektbereich auf einem Anzeigeschirm eines Bildes von einer der Kameras spezifiziert wird. Da derjenige Bereich, der als der Messobjektbereich spezifiziert werden kann, auf den Bereich beschränkt ist, in dem ein Punkt innerhalb des zuvor spezifizierten Höhenbereichs mit Bestimmtheit gemessen werden kann, wird gemäß dem dritten Schritt ein derartiger Bereich, in dem keine Messung durchgeführt werden kann, nicht spezifiziert, wodurch eine Messgenauigkeit sichergestellt wird.
Es wird darauf hingewiesen, dass z. B. in dem Fall, wenn der obere linke Eckpunkt und der untere rechte Eckpunkt des Messobjektbereichs spezifiziert sind, in dem sechsten Schritt der Einstellbereich eines Cursors derart eingeschränkt werden kann, dass der Cursor nicht außerhalb des messbaren Bereichs bewegt werden kann. Ferner kann lediglich ein Bild in dem messbaren Bereich angezeigt werden und der Spezifikationsvorgang kann lediglich in dem obigen angezeigten Bereich akzeptiert werden.
Bei einem zweiten dreidimensionalen Messverfahren gemäß der vorliegenden Erfindung werden ein siebter Schritt, ein achter Schritt sowie ein neunter Schritt ausgeführt. Im siebten Schritt wird die Spezifikation eines Messobjektbereichs auf einer Trägerfläche eines zu messenden Objekts akzeptiert. Im achten Schritt wird ein Höhenbereich eines Punktes, der in den Sichtfeldern sämtlicher Kameras enthalten ist, aus den Punkten, die zu dem Messobjektbereich gehören, erhalten, indem eine Relation eines Kamerakoordinatensystems zwischen jeder Kamera verwendet wird. Im neunten Schritt wird der im achten Schritt erhaltene Höhenbereich ausgegeben.
In der obigen Situation wird im achten Schritt der Messbereich entsprechend jeder Höhe extrahiert, während die Höhe der virtuellen ebenen Fläche durch eine vorgeschriebene Einheit verändert wird, so dass diejenige Höhe erhalten werden kann, die demjenigen messbaren Bereich entspricht, der in dem im siebten Schritt spezifizierten messbaren Bereich enthalten sein kann. Es ist deshalb möglich, den Höhenbereich aus der Gruppe dieser Höhen zu erhalten.
Gemäß dem zweiten Verfahren spezifiziert der Benutzer den als erforderlich erachteten Messobjektbereich, um so über einen Höhenbereich eines Punktes unterrichtet zu werden, der in den Sichtfelder sämtlicher Kameras enthalten ist, und zwar aus den Punkten, die sich in verschiedenen Höhen befinden, und die innerhalb des spezifizierten Bereichs liegen, insbesondere ein Höhenbereich eines Punktes, an dem das dreidimensionale Messverfahren durchgeführt werden kann.
Das voranstehend erwähnte erste und zweite Verfahren kann vor der beabsichtigten Messung für die Zwecke des Einstellens der Kameras ausgeführt werden, um so auf ordnungsgemäße Weise die Messung durchzuführen oder zu überprüfen, ob die Kameras derartige Justierzustände erreicht haben. Falls ein ordnungsgemäßes Produkt als defekt bestimmt wird, kann des Weiteren das erste und das zweite Verfahren durchgeführt werden, um zu überprüfen, ob das dreidimensionale Messverfahren auf ordnungsgemäße Weise durchgeführt worden ist.
Eine Vorrichtung zum Ausführen des ersten dreidimensionalen Messverfahrens umfasst: eine Eingabeeinrichtung zum Eingeben eines zu messenden Höhenbereichs und eine Bereichsextrahiereinrichtung zum Extrahieren, in Bezug auf ein mit zumindest einer der Vielzahl von Kameras erzeugtes Bild, eines Bereichs, in dem ein Punkt, der in den Sichtfeldern sämtlicher Kameras über den gesamten durch die Eingabeeinrichtung eingegebenen Höhenbereich enthalten ist, auf dem Bild erscheint, und zwar unter Verwendung einer Beziehung eines Kamerakoordinatensystems zwischen jeder der Kameras.
In der obigen Situation kann die Eingabeeinrichtung eine Maus, eine Konsole, eine Tastatur und dergleichen aufweisen. Die Bereichsextrahiereinrichtung kann einen Computer aufweisen, in dem ein Programm entsprechend der Bearbeitung der Bereichsextrahiereinrichtung gespeichert ist.
Eine bevorzugte Ausführungsform der vorliegenden Erfindung umfasst ferner: eine Anzeigebilderzeugungseinrichtung zum Erzeugen eines Anzeigebildes, das ein Bild, das mit der Kamera als das Objekt für die Bearbeitung der Bereichsextrahiereinrichtung erzeugt wurde, zusammen mit dem durch die Bereichsextrahiereinrichtung extrahierten Bereich darstellt, sowie eine Bildausgabeeinrichtung zum Ausgeben des Anzeigebildes.
Die Anzeigebilderzeugungseinrichtung kann einen Computer aufweisen, in dem ein Programm entsprechend der Bearbeitung der Bereichsextrahiereinrichtung gespeichert ist. Die Bildausgabeeinrichtung kann als ein Interfaceschaltkreis bezüglich einer Monitorvorrichtung zur Anzeige eines Bildes ausgebildet sein.
Eine bevorzugte Ausführungsform der vorliegenden Erfindung umfasst ferner: eine erste Bereichsspezifikationsannahmeeinrichtung zum Anzeigen auf einem Anzeigeschirm eines Bildes von einer beliebigen der Vielzahl von Kameras, während ein Vorgang des Spezifizierens eines Messobjektsbereichs auf dem Anzeigeschirm angenommen wird; eine Bestimmungseinrichtung zum Bestimmen, ob der spezifizierte Messobjektbereich in dem durch die Bereichsextrahiereinrichtung extrahierten Bereich enthalten ist; und eine Ausgabeeinrichtung zum Ausgeben eines Ergebnisses der Bestimmung der Bestimmungseinrichtung. Die Bereichsextrahiereinrichtung extrahiert den Bereich in Bezug auf die Kamera als ein Objekt für die Bereichspezifikation der Bereichsannahmeeinrichtung.
Die Eingabeeinrichtung ist die gleiche wie die der ersten Vorrichtung. Jede andere Einrichtung kann einen Computer aufweisen, in dem ein Programm gemäß der Bearbeitung der Einrichtung abgespeichert ist. In der Ausgabeeinrichtung ist jedoch wünschenswerterweise ein Interfaceschaltkreis bezüglich eines Monitors oder externem Zubehör enthalten.
Die erste Bereichsidentifikationsannahmeeinrichtung kann als eine Interface zwischen zwei Maschinen ausgebildet sein, die ein Bild von einer vorgeschriebenen Kamera auf einer Monitorvorrichtung anzeigt, und ein Cursor oder dergleichen für die Bereichsspezifikation wird angezeigt, der mit dem voranstehend erwähnten angezeigten Bild überlappt, um so einen Spezifikationsvorgang anzunehmen.
Die Bereichsextrahiereinrichtung ist im Wesentlichen die Gleiche wie bei der voranstehend erwähnten Ausführungsform, und die Extraktionsbearbeitung kann zumindest auf einem Bild von der Kamera als das Objekt für die Bereichsspezifikation durchgeführt werden.
Die Ausgabeeinrichtung kann als eine Einrichtung ausgebildet sein, die eine Information dahingehend anzeigt ob die Bereichsspezifikation auf dem Anzeigeschirm des gleichen Bildes genauso passend gewesen ist wie zum Zeitpunkt der Bereichsspezifikation. Zusätzlich dazu kann die Ausgabeeinrichtung derart ausgebildet sein, dass sie eine Warnung oder dergleichen ausgibt, wenn die Bereichsspezifikation ungeeignet ist.
Bei einer bevorzugten Ausführungsform der vorliegenden Erfindung umfasst eine zweite Bereichsspezifikationsannahmeeinrichtung zum Anzeigen eines Bildes von der Kamera als ein Objekt für die Bear beitung der Bereichsextrahiereinrichtung und für die Annahme der Spezifikation eines Messbereichs innerhalb desjenigen Bereichs auf dem Bild, der durch die Bereichsextrahiereinrichtung extrahiert wurde.
Überdies umfasst eine Vorrichtung zum Ausführen des zweiten dreidimensionalen Messverfahrens: eine Bereichsspezifikationsannahmeeinrichtung zum Anzeigen eines Bildes von einer der Vielzahl von Kameras und zum Annehmen eines Vorgangs zum Spezifizieren eines Messobjektbereichs auf dem Anzeigeschirm; eine Höhenbereichsextrahiereinrichtung zum Verwenden einer Relation eines Kamerakoordinatensystems zwischen jeder der Kameras, um einen Höhenbereich eines Punktes zu extrahieren, der in den Sichtfeldern sämtlicher Kameras enthalten ist, und zwar aus den Punkten, die zu dem Messobjektbereich innerhalb der Räume gehören; sowie eine Ausgabeeinrichtung zum Ausgeben des durch die Höhenbereichsextrahiereinrichtung erhaltenen Höhenbereichs.
Die Ausgabeeinrichtung der zweiten Vorrichtung ist wünschenswerterweise als eine Einrichtung zum Anzeigen des Höhenbereichs ausgebildet (diese Einrichtung weist z. B. einen Computer zur Erzeugung einer Information für die Anzeige, um einen Anzeigevorgang auf einem Monitor zu steuern, sowie eine Interface für die Anzeige auf). Die Anzeige in diesem Fall ist nicht lediglich auf eine Zahlenwertanzeige beschränkt. Z. B. kann der Höhenbereich zusammen mit der Trägerfläche des zu messenden Objekts als Referenz graphisch angezeigt werden.
Ferner kann bei der ersten und der zweiten dreidimensionalen Messvorrichtung die Kamera als das Objekt zum Spezifizieren des Messobjektbereichs derart ausgebildet sein, dass sie sich in einem Zustand befindet, in dem eine optische Achse orthogonal zur Trägerfläche des zu messenden Objekts verläuft. Mit solch einer Ausbildung kann ein Bild des zu messenden Objekts und seine Trägerfläche, die von vorne aufgenommen wurden, erzeugt werden, wodurch eine Spezifikation des Messobjektbereichs mit den gleichen Abständen wie bei der Spezifikation des Bereichs auf der tatsächlichen Trägerfläche ermöglicht wird.
Bei der dreidimensionalen Messvorrichtung wird gemäß der vorliegenden Erfindung eine Einrichtung zum Ausgeben (einschließlich Anzeigen) des Bearbeitungsergebnisses außerhalb angeordnet. Wird diese Vorrichtung für Inspektionszwecke eingesetzt, ist es ferner möglich, in der Vorrichtung eine Einrichtung zum Vergleichen des Messbearbeitungsergebnisses mit einem vorgeschriebenen Schwellenwert, eine Einrichtung zum Ausgeben von „OK" (ein gutes Bestimmungssignal) oder „NG" (ein schwaches Bestimmungssignal) oder beliebige andere Einrichtung anzuordnen.
Da die vorliegende Erfindung die Überprüfung durch den Benutzer vereinfachen kann, ob jeder Punkt innerhalb eines zu messenden Bereichs mit Bestimmtheit gemessen werden kann, so kann selbst ein Benutzer, der über eine nur geringe Kenntnis über die dreidimensionale Messung verfügt, auf einfache Weise das Einstellen und Justieren der Kameras durchführen. Da der Benutzer selbst während der Messung von dem messbaren Bereich auf der Trägerfläche und dem messbaren Höhenbereich unterrichtet werden kann, ist es ferner möglich zu erfassen, ob die Bedingungen so eingestellt worden sind, dass das beabsichtigte dreidimensionale Messverfahren ordnungsgemäß durchgeführt werden kann.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt eine Schrägansicht eines Aufbaus, zusammen mit einem Installationsbeispiel, eines Bildaufnahmeabschnittes einer Inspektionsvorrichtung, auf die die vorliegende Erfindung angewendet worden ist;
2 zeigt ein Blockdiagramm der Inspektionsvorrichtung;
3 zeigt eine erklärende Ansicht eines Anzeigeschirms zum Zeitpunkt des Aufnehmens eines Bildes beim Kalibriervorgang;
4 zeigt eine erklärende Ansicht von Beispielen einer Messbereichsanzeige;
5 zeigt eine erklärende Ansicht einer Relation zwischen entsprechenden Punkten auf jeweiligen Bildern;
6 zeigt eine erklärende Ansicht eines Verfahrens zum Extrahieren eines messbaren Bereichs;
7 zeigt ein Flussdiagramm einer Prozedur zum Einstellen einer Kamera, während ein messbarer Bereich angezeigt wird;
8 zeigt eine erklärende Ansicht eines Beispieles zum Spezifizieren eines Messgebiets;
9 zeigt ein Flussdiagramm zum Einstellen eines für einen Messbereich geeigneten Messgebiets; und
10 zeigt ein Flussdiagramm einer Prozedur zum Annehmen der Spezifikation des Messbereichs und zum Anzeigen eines messbaren Höhenbereichs.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
1 zeigt einen Aufbau sowie ein Installationsbeispiel eines Bildaufnahmeabschnitts einer Inspektionsvorrichtung, auf die die vorliegende Erfindung angewendet worden ist.
In diesem Beispiel weist die Inspektionsvorrichtung sowohl eine dreidimensionale als auch eine zweidimensionale Messfunktion auf, die nacheinander Bilder von Inspektionsobjekten W aufnimmt (die im An schluss als „Erzeugnis W" bezeichnet werden), die entlang einer Inspektionslinie L in einer Fabrik transportiert werden, und die einen Bildaufnahmeabschnitt 1 aufweist, mit dem die Messbearbeitung bzw. Messung sowie Bestimmungsbearbeitung bzw. Bestimmung für unterschiedliche Inspektionszwecke durchgeführt werden.
Der Aufbau des Bildaufnahmeabschnittes 1 enthält zwei Kameras C0 und C1 in einem Gehäuse 15, das eine vorgeschriebene Größe aufweist und an dem oberen Abschnitt der Inspektionslinie L installiert ist. Die Kamera C0 ist derart installiert, dass ihre optische Achse in vertikaler Richtung verläuft. Die andere Kamera C1 ist derart installiert, dass ihre optische Achse geneigt ist, so dass ihr Sichtfeld mit dem Sichtfeld der Kamera C0 überlappt. Durch eine derartige Installation erzeugt die Kamera C0 ein Bild (im Anschluss wird ein Bild, das der Kamera C0 zugewandt ist, als „vorderes Sichtbild" bezeichnet), das den Zustand der oberen Fläche des Erzeugnisses W, von der vorderen Seite aus betrachtet, anzeigt. Die andere Kamera C1 erzeugt ein geneigtes Bild (im Anschluss als „geneigtes Bild" bezeichnet) des Erzeugnisses W.
2 ist ein Blockdiagramm, das einen Gesamtaufbau der Inspektionsvorrichtung zeigt. Die Inspektionsvorrichtung weist einen Korpus 2, einen Monitor 3, eine Konsole 4 und dergleichen zusätzlich zu dem Bildaufnahmeteil 1 auf. Der Korpus 2 ist mit Bildeingabeteilen 10 und 11 in Bezug auf die Kameras C0 und C1, einem Kameraantriebsteil 12, einem Vorgangsbearbeitungsteil 20, einem Ausgabeteil 28 und dergleichen versehen.
Der Kameraantriebsteil 12 treibt die Kameras C0 und C1 gleichzeitig an nach Erhalt eines Detektionssignals von einem Sensor für die Erfassung des Erzeugnisses, der in der Figur nicht gezeigt ist. Mit den Kameras C0 und C1 erzeugte Bildsignale werden jeweils in die Bildeingabeteile 10 und 11 eingegeben und im Anschluss digital umgewandelt. Dadurch wird ein digitales Bild für die Messbearbeitung (das voranstehend beschriebene vordere Sichtbild sowie das geneigte Bild) mit jeder Kamera erzeugt.
Der Vorgangsbearbeitungsteil 20 weist einen Computer oder dergleichen auf. Nach Ausführung der Messbearbeitung unter Verwendung der Bilder, die mit den jeweiligen Kameras erzeugt werden, bestimmt der Vorgangsbearbeitungsteil 20 anhand der Bearbeitungsergebnisse den ordnungsgemäßen Zustand des Erzeugnisses W. Der Ausgangsteil 28 ist eine Ausgangsinterface, die dazu dient, die Ergebnisse der Messbearbeitung sowie der Bestimmungsbearbeitung an ein externes Gerät, wie z. B. einen PLC, auszugeben.
Der Vorgangsbearbeitungsteil 20 ist mit einem Bildbearbeitungsteil 22, einem Messbearbeitungsteil 23, einem Bestimmungsteil 24, einem Anzeigesteuerteil 25, einem Parameterberechnungsteil 26, einem Parameterspeicherteil 27 und dergleichen zusätzlich zu einem Bildspeicher 21 zum Abspeichern der voranstehend erwähnten Bilder A0 und A1 versehen. Es wird darauf hingewiesen, dass mit Ausnahme des Bildspeichers 21 und des Parameterspeicherteils 27 jeder dieser Teile einer Funktionsgruppe in dem Computer entsprechend einem Programm zur ausschließlichen Verwendung entspricht. Der Bildspeicher 21 und der Parameterspeicherteil 27 sind in einem Speicher (RAM etc.) des Computers untergebracht.
Es wird darauf hingewiesen, dass, wenngleich in 2 nicht gezeigt, der Vorgangsbearbeitungsteil 20 ebenso mit einem Speicher versehen ist zum Registrieren von Informationen (Bedingungen zum Einstellen eines Inspektionsbereichs, Bildes eines Modells, etc.), die für die Inspektion erforderlich sind (im Anschluss wird dieser Speicher als „Registerspeicher" bezeichnet). Es ist möglich, diese Registerbearbeitung in diesem Registerspeicher auszuführen, und das Einstellen oder Verändern der Bearbeitung, die mit jedem Bearbeitungsteil des Vorgangsbearbeitungsteils 20 ausgeführt wird, kann auf geeignete Weise entsprechend der Bedienung der Konsole 4 ausgeführt werden. In dem Bildbearbeitungsteil 22 wird ein Messobjektpunkt des Inspektionsobjektbe reichs des Erzeugnisses W aus dem vorderen Sichtbild extrahiert, und anschließend wird ein Punkt auf dem geneigten Bild, der dem zu messenden extrahierten Punkt entspricht, auf dem geneigten Bild erfasst. Der Messbearbeitungsteil 23 führt einen Vorgang unter Verwendung von Koordinatenpunkten aus, die mit dem Bildbearbeitungsteil 22 extrahiert wurden, um dreidimensionale Koordinaten entsprechend diesen Punkten zu berechnen.
Der Bestimmungsteil 24 vergleicht die durch das Messbearbeitungsteil 23 erhaltenen dreidimensionalen Koordinaten mit Koordinaten an vorgeschriebenen Referenzpositionen, um den ordnungsgemäßen Zustand des Erzeugnisses W zu bestimmen. Das Ergebnis dieser Bestimmung wird an den Ausgangsteil 28 und den Anzeigesteuerteil 25 ausgegeben.
Der Anzeigesteuerteil 25 dient dazu, den Anzeigebetrieb des Monitors 3 zu steuern, und er ist in der Lage, das vordere Sichtbild und das geneigte Bild parallel anzuzeigen, die jeweils mit den Bildeingangsteilen 10 und 11 erzeugt wurden. Desweiteren ist der Anzeigesteuerteil 25 in der Lage, Bearbeitungsergebnisse des Bildbearbeitungsteils 22, des Messbearbeitungsteils 23 und des Bestimmungsteils 24 auf geeignete Weise zu erhalten, um diese Ergebnisse zusammen mit den voranstehend erwähnten Bildern anzuzeigen.
Verschiedene Koeffizienten, die in einem funktionalen Ausdruck für die dreidimensionale Messung enthalten sind, werden in dem Parameterspeicherteil 27 gespeichert. Die Werte dieser Koeffizienten ändern sich entsprechend einer Relation zwischen einem zweifachen Koordinatensystem, das entsprechend jeder Kamera aufgebaut ist, und einem Raumkoordinatensystem, das eine tatsächliche Position in den Räumen (Abstand zwischen den Ursprungspunkten der jeweiligen Koordinaten, die winkelmäßige Abweichung des zweifachen Koordinatensystems in Bezug auf das räumliche Koordinatensystem, etc.) (jeder Koeffizient wird im Anschluss als „Parameter" bezeichnet) darstellt. Vor der Inspektion werden diese Parameter mit Hilfe des Bildbearbeitungsteils 22 und des Parameterberechnungsteils 26 berechnet und in dem Parameterspeicherteil 27 gespeichert. Ferner wird ebenso ein Parameter, der eine homographische Matrix eines im Anschluss beschriebenen funktionalen Ausdrucks (1) bildet, in dem Parameterspeicherteil 27 gespeichert.
Es wird darauf hingewiesen, dass ein Erzeugnis zur Kalibrierung, das eine Vielzahl von Merkmalspunkten aufweist, bei der Berechnung der Parameter verwendet wird.
Überdies kann bei der Inspektionsvorrichtung dieses Beispiels nach Ausführung der Kalibrierung auf dem Schirm überprüft werden, ob ein Bereich, in dem die dreidimensionale Messung ausführbar (messbarer Bereich) ist, geeignet ist. Diese Bearbeitung wird unter Verwendung einer homographischen Matrix ausgeführt, die durch Kombination der in dem Parameterspeicherteil 27 abgelegten Parameter und der Funktionen des Bildbearbeitungsteils 22, des Messbearbeitungsteils 23 und des Anzeigesteuerteils 25 erhalten wird.
3 zeigt einen Schirm eines Monitors 3 beim Aufnehmen von Bildern des Erzeugnisses zur Kalibrierung mit den Kameras C0 und C1. Der Schirm dieses Beispieles ist in vertikaler Richtung dreifach aufgeteilt. Bilder von den Kameras C0 und C1 werden im mittleren Bereich 30 angezeigt, und unterschiedliche Nachrichten sowie ein Eingabezustand eines Eingabewerts und dergleichen werden im oberen Bereich 31 und in einem unteren Bereich 32 angezeigt. Desweiteren ist der Anzeigebereich 30 des Bildes in rechts und links aufgeteilt. Ein vorderes Sichtbild A0 von der Kamera C0 wird auf der linken Seite angezeigt, während ein geneigtes A1 von der Kamera C1 auf der rechten Seite angezeigt wird.
In diesem Beispiel ist auf dem Erzeugnis zur Kalibrierung ein Muster (gitterähnliches Muster) ausgebildet, in dem eine Vielzahl gerader Linien zu gleichmäßigen Abständen in horizontaler oder vertikaler Rich tung angeordnet werden. Um das Positionieren des Erzeugnisses zur Kalibrierung zu vereinfachen, und um ebenso eine positionsmäßige Relation der Merkmalspunkte (Kreuzungspunkte des gitterförmigen Musters) zu spezifizieren, wird die mittlere gerade Linie in jeder Richtung dicker als die anderen geraden Linien ausgestaltet.
Ein visueller Unterschied erscheint zwischen den Bildern A0 und A1 in dem Bereich 30, der mit der Relation zwischen den Kamerakoordinatensystemen der Kameras C0 und C1 zusammenhängt. Jede gerade Linie auf dem Bild A1 ist ferner in horizontaler und vertikaler Richtung geringfügig geneigt.
Bei diesem Beispiel kann der Benutzer einen zu messenden Höhenbereich (in Anschluss als „Höhenmessbereich" bezeichnet) spezifizieren. Dadurch wird ein Bereich (messbarer Bereich entsprechend dem Höhenmessbereich) erhalten, in dem ein Punkt, der innerhalb des Höhenmessbereichs liegt und in beiden Sichtfelder der Kameras C0 und C1 enthalten ist, auf den mit den Kameras aufgenommenen Bildern erscheint, und die Bilder A0 und A1, die den erhaltenen messbaren Bereich widerspiegeln, werden angezeigt. 4 zeigt Beispiele einer solchen Anzeige. Es wird darauf hingewiesen, dass bei diesen Beispielen die Höhe in einer vorgeschriebenen Höhenposition von 0 als Referenz dargestellt wird, und dass die Einheit in mm angegeben ist.
In 4 stellt (1) ein Anzeigebeispiel mit einem Höhenmessbereich von 0 bis 20 mm, (2) ein Anzeigebeispiel mit einem Höhenmessbereich von –20 bis 40 mm und (3) ein Anzeigebeispiel mit einem Höhenmessbereich von 9 bis 10 mm dar. Bei jedem der Beispiele ist der messbare Bereich auf den Bildern A0 und A1 in Bezug auf den Höhenmessbereich mit einer vorgeschriebenen Farbe gefärbt. (In 4 sind die gefärbten Teile mit einem vorgeschriebenen Muster schattiert gezeigt.) In Abhängigkeit davon, ob der derjenige Bereich, der in dem Erzeugnis W enthalten sein kann, gefärbt ist, kann deshalb der Benutzer bestimmen, ob die Einstellung so vorgenommen worden ist, dass die dreidimensionale Messung in Bezug auf das Erzeugnis W ordnungsgemäß ausgeführt werden kann.
In dem unteren Informationsanzeigebereich 32 von jedem der Schirmbeispiele in 4 werden desweiteren der gegenwärtig eingestellte Höhenmessbereich, Information (nach oben und nach unten ist möglich) bezüglich einer Veränderung des eingestellten Bereichs und dergleichen angezeigt. Werden die nach oben und nach unten zeigenden Pfeiltasten (nicht gezeigt) einer Konsole in diesem Zustand betätigt, kann der Höhenmessbereich verändert werden. Selbst wenn der angezeigte messbare Bereich ungeeignet ist, kann entsprechend der Benutzer den Höhenmessbereich derart verändern, dass der messbare Bereich auf einen ordnungsgemäßen Bereich eingestellt wird.
Als nächstes wird ein Verfahren zum Erhalten des messbaren Bereichs beschrieben.
5 zeigt einen Zustand, in dem die Bilder eines Punktes P auf einer ebenen Fläche D in einer vorgeschriebenen Höhenposition innerhalb der Räume auf den Punkten p₀ und p₁ auf den Bildaufnahmeflächen F0 und F1 der jeweiligen Kameras C0 und C1 gebildet werden. Es wird darauf hingewiesen, dass in 5 X, Y und Z Koordinatenachsen entsprechen, die einen dreidimensionalen Raum darstellen, und D parallel zu X-Y Ebene verläuft. Überdies wird ein aus den Achsen x₀ und y₀ gebildetes zweidimensionales Koordinatensystem auf der Bildaufnahmefläche eingestellt. F0 sowie ein aus den Achsen x₁ und y₁ gebildetes zweidimensionales Koordinatensystem werden auf der Bildaufnahmefläche F1 eingestellt. Die Bilder A0 und A1 werden anhand von Signalen von Fotodetektorzellen der Bildflächen F0 bzw. F1 erzeugt.
In der obigen Situation wird davon ausgegangen, dass eine Koordinate der Bildgebungsposition (Punkt p₀) des Punktes p auf der Bildaufnahmefläche F0 gleich (x_cam0, y_cam0) ist, und eine Koordinate der Bildgebungsposition (Punkt p₁) des Punktes p auf der Bildaufnahme F1 gleich (X_cam1, y_cam1) ist. Wird davon ausgegangen, dass die Höhe Z der ebenen Fläche D sich von ZA auf ZB (ZA < ZB) hier ändert, kann die Relation zwischen den Punkten p₀ und p₁ durch die Gleichungen (1) und (2) ausgedrückt werden. Es wird darauf hingewiesen, dass dH in den Gleichungen (1) und (2) mit Hilfe der Gleichung (3) erhalten wird. (Mathematische Gleichung 1)
(Mathematische Gleichung 2)
(Mathematische Gleichung 3)
In den Gleichungen (1) bis (3) entspricht H_ZA einer homographischen Matrix, die der Höhe ZA entspricht, und H_ZB entspricht einer homographischen Matrix, die der Höhe ZB entspricht. Beide Matrizen H_ZA und H_ZB besitzen eine Größe von 3 × 3. Ferner entsprechen λ und λ' vorgeschriebenen Konstanten.
Die obige Gleichung (1) kann verwendet werden, um die Koordinate des entsprechenden Punktes p₀ auf dem Bild A0 anhand der Koordinate des Punktes p₁ auf dem Bild A1 zu bestimmen. Ferner kann die Gleichung (2) verwendet werden, um die Koordinate des entsprechenden Punktes p₁ auf dem Bild A1 anhand der Koordinate des Punktes p₀ auf dem Bild A0 zu bestimmen. Indem eine beliebige Höhe für Z in jede dieser Gleichungen eingesetzt wird, kann ein Punkt auf jedem Bild A0 und A1, der einem Punkt in dieser beliebigen Höhe entspricht, bestimmt werden.
In diesem Beispiel wird die Spezifikation eines beliebigen Bereichs für den Messbereich angenommen, bzw. akzeptiert, und beruhend auf dem in „KURZFASSUNG DER ERFINDUNG" beschriebenen Prinzip wird der dem Höhenmessbereich entsprechende messbare Bereich extrahiert.
Es wird darauf hingewiesen, dass die Koordinaten der vier Eckpunkte der Bilder A0 und A1 bei der Extraktion des messbaren Bereichs verwendet werden, und da diese Bilder bezüglich ihrer Größe identisch sind, sind die Koordinaten der vier Eckpunkte der jeweiligen Bilder identisch zueinander. Beträgt z. B. die Pixelzahl in horizontaler Richtung gleich 512 und die Pixelzahl in vertikaler Richtung gleich 484, sind die jeweiligen Koordinaten der vier Eckpunkte gleich (0,0), (511,0), (511,483), (0,483).
6 zeigt insbesondere ein Verfahren zum Extrahieren eines messbaren Bereichs.
In diesem Beispiel wird davon ausgegangen, dass die untere Grenze des Höhenmessbereichs gleich ZL und die obere Grenze des Höhenmessbereichs gleich ZU ist. In der Gleichung (1) wird Z = ZL und Z = ZU eingesetzt, und zwar unter der Annahme, dass eine Koordinate der vier Eckpunkte des Bildes gleich (x_cam1, y_cam1) ist, um vier Punkte für (x_cam0, y_cam0) in jeweils der Höhe ZL und ZU zu erhalten. Die Gebiete 5L und 5U, die jeweils die erhaltenen vier Punkte als Eckpunkte enthalten, werden auf dem Bild A0 eingestellt (das Gebiet 5L ergibt sich, wenn diese vier Punkte verbunden werden, die sich aus der Gleichung (1) für Z = ZL ergeben, während das Gebiet 5U durch Verbinden derjenigen vier Punkte erhalten wird, die sich aus der Gleichung (1) für Z = ZU ergeben). Ein Teil 50, in dem die Gebiete 5L und 5U im Bereich der Koordinaten des Bildes A0 überlappen, wird als ein messbarer Bereich entsprechend dem Höhenmessbereich extrahiert.
Die Grundlagen für die Extraktion können einfach beschrieben werden. Da jeweilige Punkte in den Höhen ZL und ZU in beliebigen Positionen in beiden Bildern A0 und A1 erscheinen können, wenn der gesamte Bereich des Bildes A1 zu dem Bild A0 durch Verwendung der homographischen Matrizen entsprechend der jeweiligen Höhen konvertiert wird, wird das Gebiet 5L nach der Konvertierung so angesehen, als dass es einem Punkt aus den Punkten in der Höhe ZL entspricht, der in dem Sichtfenster der Kamera C1 enthalten ist. Ähnlich wird das Gebiet 5U so angesehen, als dass es einem Punkt aus den Punkten in der Höhe ZU entspricht, der in dem Sichtfeld der Kamera C1 enthalten ist. Aus diesem Grund ist es möglich, eine dreidimensionale Koordinate in dem Abschnitt 50, der in dem Bereich des Bildes A0 jeweils in den Gebieten 5L und 5U (ein Teil ist in dem Sichtfeld der Kamera C0 enthalten) enthalten ist, zu messen, und der Abschnitt 50 kann auf diese Weise als der messbare Bereich angesehen werden.
Genauso wie für das Bild A1 beruhend auf dem gleichen Prinzip wie oben wird in der Gleichung (2) Z = ZL und Z = ZU eingesetzt, und zwar unter der Annahme, dass eine Koordinate der vier Eckpunkte des Bildes gleich (x_cam0, y_cam0) ist, um die vier Punkte als (x_cam1, y_cam1) zu erhalten, und die Gebiete 6L und 6U, die jeweils die erhaltenen vier Punkte als Eckpunkte aufweisen, werden eingestellt. Ein Abschnitt 60, in dem die Gebiete 6L und 6U innerhalb des Bereichs der Koordinaten des tatsächlichen Feldes überlappen, wird als ein messbarer Bereich entsprechend dem Höhenmessbereich extrahiert.
7 zeigt eine Einstellprozedur vor der Messung.
Diese Prozedur beginnt nach der Installation des Erzeugnisses für die Kalibrierung in einer Bildaufnahmeobjektposition, dem Positionieren der Kameras C0 und C1 über dem Erzeugnis für die Kalibrierung und der Einstellung der Vergrößerung jeder Kamera sowie der Neigung der optischen Achsen der Kamera C1 und dergleichen.
Bei einem Schritt ST1 (ST ist eine Abkürzung für „Schritt" und wird im Anschluss weiter verwendet) wird ein Bild des Erzeugnisses zur Kalibrierung der Kameras C0 und C1 aufgenommen, und anhand des erzeugten vorderen Sichtbildes A1 und des geneigten Bildes A2 werden unterschiedliche, für die dreidimensionale Messung erforderliche Parameter berechnet.
Es wird darauf hingewiesen, dass für den Erhalt sämtlicher Parameter, die für die dreidimensionale Messung erforderlich sind, mehrere Bildaufnahmen notwendig sind, während die Höhe des Erzeugnisses zur Kalibrierung verändert wird, und dass im Anschluss eine Vielzahl von Merkmalspunkten, die für die Kalibrierung notwendig sind, aus jedem der aufgenommenen Bilder extrahiert wird. Werden diese Parameter ordnungsgemäß erhalten, kann die dreidimensionale Messung ordnungsgemäß durchgeführt und die homographischen Matrizen H_ZA und H_ZB erhalten werden.
Sobald die Kalibrierung beendet ist, wird in ST2 eine Eingabe des Höhenmessbereichs angenommen. Bei einem nächsten Schritt ST3 werden die messbaren Bereiche 50 und 60 auf den Bildern A0 und A1 jeweils durch das in 6 gezeigte Verfahren erhalten. Beruhend auf den Ergebnissen werden ferner die messbaren Bereiche 50 und 60 auf den Bildern A0 und A1 farblich auf dem Monitor 3 angezeigt, wie in 4 gezeigt ist.
Der Benutzer schaut sich den Anzeigeschirm an, um zu bestimmen, ob der messbare Bereich geeignet ist oder nicht. Ist der messbare Bereich ungeeignet, kann der Benutzer hier den Höhenmessbereich ändern. Wird der spezifizierte Bereich geändert, wird ST4 zu „JA" und der Prozess kehrt zu ST3 zurück, um erneut einen messbaren Bereich gemäß einem Höhenmessbereich nach der Veränderung zu extrahieren. Ferner wird die Anzeige auf dem Monitor 3 ebenso entsprechend der erneuten Extraktion des messbaren Bereichs aktualisiert.
Wird beabsichtigt, den messbaren Bereich ohne Veränderung des Höhenmessbereichs einzustellen, verändert währenddessen der Benutzer die Kameraeinstellungen. In diesem Fall wird ST5 zu „JA", und der Prozess kehrt zu ST1 zurück, wo der Prozess erneut mit der Kalibrierung gestartet wird.
Andererseits, falls der messbare Bereich in Ordnung ist, führt der Benutzer einen registrierten Vorgang aus, ohne dass der Höhenmessbereich noch die Kameraeinstellungen verändert werden. Dadurch werden sowohl ST4 als auch ST5 zu „NEIN", und der Prozess geht zu ST6 über, um die Parameter und dergleichen, die bei der Kalibrierung erhalten wurden, in den Parameterspeicherteil 27 zu registrieren.
Entsprechend dem obigen Beispiel kann der Benutzer den Höhenmessbereich spezifizieren, um so auf einfache Weise den Breitenbereich zur überprüfen, in dem ein Punkt innerhalb des Höhenmessbereichs gemessen werden kann. Da das vordere Sichtbild A0 den Zustand des Erzeugnisses W und seine Trägerfläche, von oben aus betrachtet, zeigt, kann insbesondere der Benutzer eine Beziehung ähnlich einer Beziehung eines messbaren Bereichs in Bezug auf ein tatsächliches Erzeugnis W und seiner Trägerfläche überprüfen.
Ohne Erfahrung mit dreidimensionalen Messungen ist es deshalb möglich, die Kameras einfach und ordnungsgemäß einzustellen. Da der Höhenmessbereich ohne Einschränkung spezifiziert werden kann, ist es ferner möglich, eines Inspektionsvorrichtung entsprechend einer unterschiedlichen Anzahl von Erzeugnissen W herzustellen, um so eine höchst vielseitige Inspektionsvorrichtung vorzusehen.
Es wird darauf hingewiesen, dass, wenngleich der messbare Bereich entsprechend der Kalibrierung in dem obigen Beispiel dargestellt wurde, diese Anzahl ebenso während der Messung angezeigt werden kann. In diesem Fall kann der Benutzer eine Messung ausführen, während er überprüft, ob das Erzeugnis W ordnungsgemäß in die Messbereiche 50 und 60 auf dem Schirm fällt. Dadurch kann der Benutzer auf einfache Weise bestimmen, ob im Falle der Erfassung eines Defekts der Defekt einem realen Defekt entspricht, oder ob er durch ungeeignetes Positionieren oder eine ungeeignete Höhe des Erzeugnisses verursacht worden ist.
Das nächste Beispiel betrifft das Einstellen eines Messgebiets, indem ein korrektes Erzeugnis W verwendet und die Einstellbedingungen für das Gebiet (Position und Größe des Gebiets) registriert werden.
8 zeigt ein Beispiel des Einstellens eines Messgebiets. Die Kameras C0 und C1 werden bei diesem Beispiel ebenso simultan angetrieben, und das erhaltene vordere Sichtbild A0 und das geneigte Bild A1 werden parallel zueinander in dem Gebiet 30 angezeigt. Ferner wird die Spezifikation eines Messgebiets 7 derart angenommen, dass ein Cursor (nicht gezeigt) für die Zwecke der Bereichsspezifikation auf dem Anzeigeschirm des vorderen Sichtbildes A0 eingestellt wird.
Werden die Einstellbedingungen des Messgebiets 7 registriert und die Messung gestartet, wird das Messgebiet 7 jedes Mal in Bezug auf das Erzeugnis W beruhend auf den registrierten Bedingungen eingestellt, und die Messung wird an einem Punkt ausgeführt, der in dem Gebiet 7 enthalten ist. Erscheint ein Punkt in einem beabsichtigten Höhenbereich nicht in einem Gebiet, das dem Messgebiet 7 auf der Seite des Bildes A1 entspricht, kann jedoch keine dreidimensionale Koordinate dieses Punktes gemessen werden.
In Hinblick auf das voranstehend erwähnte Problem wird bei einem zweiten Beispiel die Spezifikation eines Höhenmessbereichs vor der Spezifikation des Messgebiets 7 angenommen, und ein messbarer Bereich, der dem spezifizierten Höhenmessbereich entspricht, wird extrahiert. Wenn das Messgebiet 7 in einem Bereich spezifiziert wird, der den messbaren Bereich überschreitet, wird die Spezifikation abgelehnt und eine Fehlernachricht wird angezeigt.
9 zeigt eine Prozedur zum Einstellen des Messgebiets 7. Diese Prozedur wird nach Beendigung der Kalibrierung durchgeführt. In einem ersten Schritt ST11 werden Bilder des korrekten Erzeugnisses W aufgenommen. In einem nächsten Schritt werden das in ST11 erzeugte vordere Sichtbild A0 und das geneigte Bild A1 auf dem Monitor 3 angezeigt.
In einem nächsten Schritt ST13 wird die Spezifikation des Höhenmessbereichs angenommen. In ST14 wird ein messbarer Bereich anhand dieser Spezifikation extrahiert. Es wird darauf hingewiesen, dass bei diesem Beispiel der messbare Bereich dafür erforderlich ist, um zu bestimmen, ob das Messgebiet 7 in Bezug auf das vordere Sichtbild A0 korrekt ist, und deshalb kann lediglich der messbare Bereich auf dem vorderen Sichtbild A0 extrahiert werden.
In ST15 wird die Spezifikation des Messgebiets 7 angenommen. Ist das hier spezifizierte Messgebiet 7 in dem messbaren Bereich enthalten, wird ST16 zu „JA" und der Prozess geht zu ST20 über, um die Einstellbedingungen für das Messgebiet 7 zu registrieren.
Ist das Messgebiet 7 in einem Bereich spezifiziert, der den messbaren Bereich überschreitet, wird andererseits ST16 zu „NEIN" und der Prozess geht zu ST17 über, um eine vorgeschriebene Fehlernachricht in dem Gebiet 31 für die Informationsanzeige anzuzeigen. Ändert der Be nutzer das Messgebiet 7 entsprechend dieser Anzeige, wird ST18 zu „JA" und der Prozess kehrt zu ST16 zurück. Ist das Messgebiet 7 dabei in dem messbaren Bereich enthalten, geht der Prozess zu ST20 über, um die Einstellbedingungen für das Messgebiet 7, das wie voranstehend verändert worden ist, zu registrieren.
Möchte der Benutzer das Messgebiet 7 nicht ändern, wird währenddessen der Höhenmessbereich verändert. In diesem Fall wird ST18 zu „NEIN", während ST19 zu „JA" wird, und der Prozess wird von dem zuvor genannten ST14 aus durchgeführt.
Es wird darauf hingewiesen, dass, wenn der Benutzer weder das Messgebiet 7 noch den Höhenmessbereich verändern möchte, es notwendig ist, die Bearbeitung in 9 zur Änderung der Kameraeinstellbedingungen zu beenden, und anschließend die Bearbeitung erneut von der Kalibrierung aus durchzuführen. Entsprechend der obigen Bearbeitung ist es möglich, eine stabile Messung durchzuführen, da kein Risiko besteht, das Messgebiet 7 in einem Bereich einzustellen, in dem ein Punkt in einem spezifizierten Höhenmessbereich nicht gemessen werden kann. Wenngleich eine Fehlernachricht angezeigt wird, falls die Spezifikation des Messgebiets 7 in dem obigen Beispiel ungeeignet ist, kann zusätzlich stattdessen ein Bereich beschränkt werden, in dem das Messgebiet 7 spezifiziert werden kann. Z. B. ist es möglich, den Cursor daran zu hindern, sich aus dem extrahierten messbaren Bereich zu bewegen oder die Anzeige des Bildes A0 auf den messbaren Bereich zu begrenzen, um so das Messgebiet 7 lediglich innerhalb des angezeigten Bereichs zu spezifizieren.
Bei dem in 10 gezeigten Beispiel wird, nachdem die Spezifikation des Messgebiets 7 auf dem vorderen Sichtbild A0 angenommen worden ist, ein messbarer Höhenbereich innerhalb des spezifizierten Messbereichs berechnet, und das Berechnungsergebnis wird auf dem Monitor 3 angezeigt. Im Anschluss wird eine Beschreibung des Flussdiagramms der 10 gegeben.
Bei einem ersten Schritt ST31 wird eine Markierung F auf 0 zurückgestellt. Zusätzlich dient diese Markierung dazu, abzuspeichern, dass die untere Grenze ZL des Höhenbereichs eingestellt worden ist.
Bei einem nächsten Schritt ST32 wird die Höhe Z auf einen vorgeschriebenen Anfangswert Z₀ eingestellt. In einem nachfolgenden Schritt ST33 wird die Spezifikation des Messgebiets 7 auf dem vorderen Sichtbild A0 auf die in 8 gezeigte Weise angenommen. Ist die Spezifikation beendet, geht der Prozess zu ST34 über, um eine Koordinate jedes Eckpunktes des Messgebiets aus dem vorderen Sichtbild A0 zu extrahieren.
In ST35 werden die jeweiligen Koordinaten der vier Eckpunkte in die Gleichung (2) eingesetzt, um die Koordinaten der Eckpunkte in Koordinaten an der Seite des geneigten Bildes A1 zu konvertieren. Es wird darauf hingewiesen, dass der Anfangswert Z₀ für Z in die Gleichung (2) bei der ersten Einstellung in ST35 eingesetzt wird.
In ST36 wird bestimmt, ob die Koordinaten der Eckpunkte, die in ST35 erhalten wurden, innerhalb des Bereichs der Koordinaten des Bildes A1 fallen. Falls ein Punkt außerhalb des Bildes A1 liegt, wird hier ST36 zu „NEIN", und der Prozess geht zu ST43 über. Da die Markierung F gleich 0 zu diesem Zeitpunkt ist, wird ST43 ebenso zu „NEIN" und der Prozess geht zu ST40 über.
Bei einem nächsten Schritt ST40 wird ein gegenwärtiger Wert der Höhe Z mit einem zuvor eingestellten begrenzten Wert Z_over verglichen. Da Z < Z_over ist, wenn Z gleich dem Anfangswert Z₀ ist, wird ST40 zu „NEIN", und der Prozess geht zu ST41 über, um die Höhe Z auf einen Wert zu aktualisieren, dem ein vorgeschriebener Wert d hinzugefügt wurde. Im Anschluss kehrt der Prozess zu ST35 zurück, um die Konver tierung der Eckpunkte des Messgebiets 7 gemäß der Gleichung (2) mit dem darin eingesetzten aktualisierten Z auszuführen.
Nimmt die Höhe Z einen vorgeschriebenen Wert als Ergebnis der Wiederholung des voranstehenden Flusses an, und falls sämtliche Eckpunkte, die in ST35 erhalten wurden, so bestimmt sind, dass sie in dem Bereich des Bildes A1 enthalten sind, wird ST36 zu „JA". Wird diese „JA"-Bestimmung angenommen, wird die Markierung in einem nächsten Schritt ST37 überprüft, und da zu diesem Zeitpunkt F = 0 ist, geht der Prozess zu ST38 über. In ST38 wird der gegenwärtige Wert der Höhe Z auf die untere Grenze ZL und die Markierung F auf 1 eingestellt.
Indem die Höhe Z um den vorgeschriebenen Wert d zunimmt, werden im Anschluss ST35 und ST36 ausgeführt. Wird die Bestimmung in ST35 zu „JA", nachdem die Markierung F auf 1 eingestellt worden ist, wird in einem nächsten Schritt ST37 zu „NEIN". Der Prozess geht dabei zu ST39 über, um den gegenwärtigen Wert der Höhe Z auf die obere Grenze ZU des Höhenbereichs einzustellen.
So lange wie das Messgebiet auf dem Bild A1, das durch die Verwendung der aktualisierten Höhe Z erhalten wird, innerhalb des Bereichs des Bildes A1 fällt, schreitet der Prozess im Anschluss mit den Schritten ST36, ST37 und ST39 fort, und die obere Grenze ZU wird aktualisiert.
Überschreitet der Messbereich an der Seite des Bildes A1 den Bereich des Bildes A1, wird ST36 zu „NEIN", während ST43 zu „JA" wird, und der Prozess geht zu ST42 über. Liegt sogar der Messbereich innerhalb des Bereichs des Bildes A1, und wenn die Höhe Z den begrenzten Wert Z_over erreicht, wird ferner ST40 zu „JA" und der Prozess geht zu ST42 über. In ST42 werden die untere Grenze ZL sowie die obere Grenze ZU zu diesem Zeitpunkt auf dem Monitor 3 angezeigt, um den Benutzer über den messbaren Höhenbereich zu unterrichten.
Da der Benutzer das Messgebiet 7 spezifizieren kann, um so einen messbaren Höhenbereich innerhalb des Gebiets 7 zu erhalten, kann gemäß dem obigen Beispiel auf einfache Weise erkannt worden, ob die Messung entsprechend einem beliebigen Zweck möglich ist, oder nicht. Es wird darauf hingewiesen, dass, wenngleich das Messgebiet 7 erneut spezifiziert werden kann, um so eine Lösung für den Fall zu finden, bei dem der Höhenbereich nicht den Zweck befriedigt und die Einstellung des Messgebiets 7 nicht verändert werden soll, es notwendig ist, die Kameraeinstellungen zu verändern und die Kalibrierung erneut durchzuführen.

Claims

Dreidimensionales Messverfahren zur Ausführung einer dreidimensionalen Messung auf einen Bereich, wo Gesichtsfelder einer Anzahl von Kameras einander überlappen, unter Verwendung von mit der Anzahl von Kameras erzeugten Bildern, wobei das Verfahren aufweist: einen ersten Schritt des Annehmens einer Spezifikation eines zu messenden Höhenbereichs; und einen zweiten Schritt des Extrahierens, in Bezug auf ein mit wenigstens einer der Kameras erzeugtes Bild, eines Bereichs, wo ein Punkt, der in den Gesichtsfeldern aller Kameras über den im ersten Schritt spezifizierten Höhenbereich hinweg enthalten ist, auf dem Bild erscheint, unter Verwendung einer Beziehung eines Kamerakoordinatensystems zwischen den einzelnen Kameras.
Dreidimensionales Messverfahren nach Anspruch 1, wobei das Verfahren ferner aufweist: einen Schritt des Anzeigens eines mit der Kamera erzeugten Bildes als Objekt zur Verarbeitung des zweiten Schritts zusammen mit dem im zweiten Schritt extrahierten Bereich.
Dreidimensionales Messverfahren nach Anspruch 1, wobei der erste Schritt ferner einen Schritt des Annehmens einer Spezifikation eines Messobjektbereichs auf einer Trägerfläche eines zu messenden Objekts enthält, und ferner aufweist: einen Schritt des Bestimmens in Bezug auf die Kamera als das Objekt für die Verarbeitung des zweiten Schritts, ob der Messobjektbereich auf dem Bild in dem im zweiten Schritt extrahierten Bereich enthalten ist oder nicht; und einen Schritt des Ausgebens eines Ergebnisses des Bestimmungsschritts.
Dreidimensionales Messverfahren nach Anspruch 1, wobei das Verfahren ferner aufweist: einen Schritt des Anzeigens eines Bildes von der Kamera als Objekt für die Verarbeitung des zweiten Schritts unter Annahme einer Spezifikation eines Messobjektbereichs in einem Bereich, der dem im zweiten Schritt extrahierten Bereich entspricht.
Dreidimensionales Messverfahren zur Ausführung einer dreidimensionalen Messverarbeitung auf einem Bereich, wo Gesichtsfelder einer Anzahl von Kameras einander überlappen, unter Verwendung von mit der Anzahl von Kameras erzeugten Bildern, wobei das Verfahren aufweist: einen Schritt des Annehmens einer Spezifikation eines Messobjektbereichs auf einer Trägerfläche eines zu messenden Objekts; einen Schritt des Gewinnens eines Höhenbereichs eines im Gesichtsfeld aller Kameras enthaltenden Punktes unter Punkten, die zu dem Messobjektbereich gehören, unter Verwendung einer Beziehung eines Kamerakoordinatensystems zwischen den einzelnen Kameras; und einen Schritt des Ausgebens eines in dem Gewinnungsschritt gewonnenen Höhenbereichs.
Dreidimensionale Messvorrichtung zur Ausführung einer dreidimensionalen Messung auf einem Bereich, wo Gesichtsfelder einer Anzahl von Kameras einander überlappen, unter Verwendung von Bildern, die mit der Anzahl von Kameras erzeugt sind, wobei die Vorrichtung aufweist: eine Eingabevorrichtung zur Eingabe eines zu messenden Höhenbereichs; und eine Bereichsextrahiervorrichtung zum Extrahieren, in Bezug auf ein mit wenigstens einer der Anzahl von Kameras erzeugtes Bild, eines Bereichs, wo ein Punkt, welcher in den Gesichtsfeldern aller Kameras über den mit der Eingabevorrichtung eingegebenen. Höhenbereich hinweg enthalten ist, auf dem Bild erscheint, unter Verwendung einer Beziehung eines Kamerakoordinatensystems zwischen den einzelnen Kameras.
Dreidimensionale Messvorrichtung nach Anspruch 6, welche aufweist: eine Anzeigebilderzeugungsvorrichtung zur Erzeugung eines Anzeigebilds, das ein Bild, hergestellt mit der Kamera als Objekt zur Verarbeitung der Bereichsextrahiervorrichtung, zusammen mit dem mit der Bereichsextrahiervorrichtung herausgezogenen Bereich darstellt; und eine Bildausgabevorrichtung zur Ausgabe des Anzeigebilds.
Dreidimensionale Messvorrichtung nach Anspruch 6, welche aufweist: eine erste Bereichspezifikationsannahmevorrichtung zur Anzeige, auf einem Anzeigebildschirm, eines Bildes irgendeiner der Anzahl von Kameras unter Annehmen eines Vorgangs der Spezifikation eines Messobjektbereichs auf dem Anzeigebildschirm; eine Bestimmungsvorrichtung zur Bestimmung, ob der spezifizierte Messobjektbereich in dem mit der Bereichsextrahiervorrichtung extrahierten Bereich enthalten ist oder nicht; und eine Ausgabevorrichtung zur Ausgabe eines Bestimmungsergebnisses mit der Bestimmungsvorrichtung, wobei die Bereichsextrahiervorrichtung den Bereich in Bezug auf die Kamera als Objekt zur Bereichspezifikation der Bereichsannahmevorrichtung extrahiert.
Dreidimensionale Messvorrichtung nach Anspruch 6, welche eine zweite Bereichspezifikationsannahmevorrichtung zur Anzeige eines Bildes von der Kamera als Objekt zur Verarbeitung der Bereichsextraktionsvorrichtung und Annahme von Spezifikation eines Messbereichs innerhalb des Bereichs aus dem mit der Bereichsextrahiervorrichtung extrahierten Bildes aufweist.
Dreidimensionale Messvorrichtung zur Ausführung einer dreidimensionalen Messung auf einem Bereich, wo Gesichtsfelder einer Anzahl von Kameras einander überlappen, unter Verwendung von mit der Anzahl von Kameras erzeugten Bildern, wobei die Vorrichtung aufweist: eine Bereichspezifikationsannahmevorrichtung zur Anzeige eines Bildes von irgendeiner der Anzahl von Kameras unter Annehmen einer Operation der Spezifizierung eines Messobjektbereichs auf dem Anzeigeschirm; eine Höhenbereichsextrahiervorrichtung zum Extrahieren, mit Spezifizieren eines Messobjektbereichs, eines Höhenbereichs eines Punktes, der in den Gesichtsfeldern aller Kameras enthalten ist, unter den Punkten, die zu dem Messobjektbereich in Räumen gehören, unter Verwendung einer Beziehung eines Kamerakoordinatensystems zwischen den einzelnen Kameras; und eine Ausgabevorrichtung zur Ausgabe des mit der Höhenbereichsextrahiervorrichtung gewonnenen Höhenbereichs.