DE112013003338B4

DE112013003338B4 - Größenmessvorrichtung und Größenmessverfahren

Info

Publication number: DE112013003338B4
Application number: DE112013003338.0T
Authority: DE
Inventors: c/o Panasonic Intellectual Prope Hata Ryouta; c/o Panasonic Intellectual Pro Shoji Takahiro; c/o Panasonic Intellectual Proper Toyomura Yuuji
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2012-07-02
Filing date: 2013-06-19
Publication date: 2017-09-07
Anticipated expiration: 2033-06-20
Also published as: JPWO2014006832A1; GB201423377D0; WO2014006832A1; GB2519006A; GB2519006B; DE112013003338T5; JP6132275B2; US20150187091A1; US9607406B2

Abstract

Größenmessvorrichtung zum Messen einer Größe eines Objekts aus einem aufgenommenen Bild des Objekts, wobei die Vorrichtung umfasst:
eine Bildaufnahmeeinheit, die ein Bild eines Objekts aufnimmt,
eine Anzeigeeinheit, die Bilddaten anzeigt, die durch die Bildaufnahmeeinheit aufgenommen wurden,
eine Eingabeeinheit zum Eingeben von Instruktionen eines Benutzers,
eine Bereichseinstelleinheit, die, wenn Positionen mit der Eingabeeinheit in den Bilddaten bezeichnet sind, die auf der Anzeigeeinheit angezeigt werden, Umgebungsbereiche einstellt, die die jeweiligen bezeichneten Positionen einschließen und
eine Merkmalspunktbestimmungseinheit, die in den Umgebungsbereichen, die durch die Bereichseinstelleinheit eingestellt sind, Merkmalspunkte bestimmt, die Koordinaten des zu messenden Objekts angeben.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Größenmessvorrichtung und ein Größenmessverfahren zum Messen einer Größe eines Objekts aus aufgenommenen Bilddaten.
Technischer Hintergrund
Es ist in einem weiten Bereich von Gebieten bekannt, ein Label mit einem darauf gedruckten Barcode oder Ähnlichem auf Paketen von Artikeln anzubringen, um die Lieferung der Artikel in Logistik- und Produktionsprozessen zu verwalten. Beispielsweise existiert ein Artikellieferverwaltungssystem, bei dem, wenn Artikel transportiert werden, die Information auf den Labels, die an den Paketen angebracht sind, in denen die Artikel verpackt sind, am Sammel- und Lieferzentrum durch ein Handendgerät oder Ähnliches gelesen werden, das mit einem Barcode-Leser ausgerüstet ist, um die Artikel zu identifizieren, wobei auf Basis der Identifikationsinformation der Verteilungskanal eines jeden Artikels bestimmt wird, ein Transfer des Artikels bestätigt wird, und so weiter. In einem solchen System ist es, zusätzlich zum Lesen der Information auf den Labels und zum Sortieren der Artikel entsprechend der jeweiligen Ziele, nötig, die Größe eines jeden Pakets zu messen, um die Kapazität und Zahl von Transportvehikeln zum Transport zu bestimmen.
Als ein Mittel zum Messen der Größe des Pakets unter Verwendung eines aufgenommenen Bildes existiert eine Größenmessvorrichtung, die, vorausgesetzt, dass das Paket, in dem der Artikel verpackt ist, die Form eines Kubus oder eines rechteckigen Parallelepipeds aufweist und die Labelgröße bekannt ist, ein Bild des Pakets und des daran angebrachten Labels zur gleichen Zeit aufnimmt und die Paketgröße unter Verwendung der Länge des Labels im aufgenommenen Bild als eine Referenzlänge misst (siehe beispielsweise Patentdokument 1).
[Patentdokument 1] JP2004-219255A
In US 2010/0290665 A1 werden ein Verfahren und eine Konfiguration zum Abschätzen der Abmessungen eines Quaders beschrieben. Die Konfiguration umfasst zwei Bildaufnahmeeinheiten, die gegeneinander versetzt angeordnet sind, wobei wenigstens eine der Einheiten in einer vorbestimmten Aufnahmehöhe oberhalb eines Hintergrundbildes angeordnet ist. Bildverarbeitungstechniken werden verwendet, um einen Umfang einer oberen Fläche des Quaders aus Paaren von aufgenommenen Bildern zu extrahieren, der auf der Hintergrundfläche platziert ist. Eine Höhenabschätzungstechnik wird verwendet, um eine absolute Höhe des Quaders zu berechnen. Die absolute Höhe des Quaders wird zusammen mit dem extrahierten Umfang der oberen Fläche des Quaders verwendet um eine absolute Länge und eine absolute Breite des Quaders zu berechnen. Die Höhe, Länge und Breite kann verwendet werden, um ein abgeschätztes Volumen des Quaders zu berechnen.
US 2011/0115730 A1 sieht ein mobiles Endgerät mit einem berührungsempfindlichen Bildschirm und ein Verfahren zum Messen von geometrischen Daten darin vor. Das Verfahren umfasst ein Bestimmen, ob wenigstens zwei Berührungsereignisse in einem Geometriedatenmessmodus des Messens von wenigstens einer Länge, einer Fläche oder eines Volumens erfasst werden, Berechnen der Geometriedaten von den erfassten Berührungsereignissen und Anzeigen der berechneten Geometriedaten. Mit dem Verfahren kann das Endgerät eine Länge, eine Fläche oder ein Volumen aus wenigstens zwei Berührungsereignissen berechnen, die auf dem berührungsempfindlichen Bildschirm erfasst wurden.
US 2013/014883 A1 sieht eine Vorrichtung zum Evaluieren eines Volumens eines Objekts und ein entsprechendes Verfahren vor. Die vorgesehene Vorrichtung und das Verfahren können das Volumen des Objekts mit einer einzelnen Kamera evaluieren und die benötigte Evaluierungszeit ist kurz. Entsprechend können Transportunternehmen den am meisten geeigneten Container oder Frachtraum zur Lieferung eines jeden Objekts verwenden, wodurch Betriebskosten reduziert werden und die Transportflotte optimiert wird.
Kurze Zusammenfassung der Erfindung
Durch die Erfindung zu erreichendes Ziel
Wenn die Größe eines Objekts auf Basis von davon aufgenommenen Bilddaten gemessen wird, ist es jedoch von Bedeutung, wie die Merkmalspunkte (Knotenpunkte im Fall eines Pakets) bestimmt werden, die als eine Referenz für eine Größenmessung des Objekts dienen. In einem Fall, in dem Merkmalspunkte lediglich durch Bildverarbeitung zum Durchführen von Kantenerfassung und so weiter extrahiert werden, wird die Bildverarbeitung für die gesamten Bilddaten durchgeführt, und daher ist nicht nur die Prozesslast groß, sondern es kann auch vorkommen, dass das Objekt nicht effizient extrahiert wird, das der Benutzer zu messen wünscht.
In einem Fall, in dem der Benutzer die Merkmalspunkte bezeichnet, kann man sich vorstellen, die aufgenommenen Bilddaten auf einer Anzeigevorrichtung anzuzeigen, sodass der Benutzer die Merkmalspunkte unter Verwendung einer Eingabevorrichtung bezeichnen kann. Infolge von Hardwarelimitierungen hinsichtlich der Anzeigevorrichtung und der Eingabevorrichtung ist es jedoch für den Benutzer schwierig, die Koordinaten akkurat anzugeben, die als Merkmalspunkte dienen.
Patentdokument 1 offenbart ferner, dass der Benutzer Knotenpunkte eines Pakets unter Verwendung von Laserlicht bezeichnen kann. Die Knotenpunkte eines Pakets und das Laserlicht sind in idealer Weise Punkte, und es ist nicht einfach für den Benutzer, Laserlicht auf die Knotenpunkte beispielsweise eines Pappkartons vor Ort einzustrahlen.
Ein Aspekt der vorliegenden Erfindung ist es, eine Größenmessvorrichtung und ein Größenmessverfahren vorzustellen, die dazu in der Lage sind, die äußere Größe eines Pakets mit der Form eines Kubus oder eines rechteckigen Parallelepipeds mit hoher Genauigkeit auf Basis von Bezeichnungen durchzuführen, die in einfacher Weise durch den Benutzer durchgeführt werden können.
Mittel zum Erreichen des Zwecks
Die Größenmessvorrichtung der vorliegenden Erfindung ist eine Größenmessvorrichtung zum Messen einer Größe eines Objekts aus einem aufgenommenen Bild des Objekts, wobei die Vorrichtung umfasst: eine Bildaufnahmeeinheit, die ein Bild eines Objekts aufnimmt, eine Anzeigeeinheit, die Bilddaten anzeigt, die durch die Bildaufnahmeeinheit aufgenommen wurden, eine Eingabeeinheit zum Eingeben von Instruktionen eines Benutzers, eine Bereichseinstelleinheit, die, wenn Positionen mit der Eingabeeinheit in den Bilddaten bezeichnet sind, die auf der Anzeigeeinheit angezeigt werden, Umgebungsbereiche einstellt, die die jeweiligen bezeichneten Positionen einschließen und eine Merkmalspunktbestimmungseinheit, die in den Umgebungsbereichen, die durch die Bereichseinstelleinheit eingestellt sind, Merkmalspunkte bestimmt, die Koordinaten des zu messenden Objekts angeben.
Wirkung der Erfindung
Nach Wirkung der Erfindung bei der vorliegenden Erfindung werden, wenn der Benutzer Positionen in dem angezeigten Bild bezeichnet, Umgebungsbereiche eingestellt, die die jeweilig bezeichneten Positionen einschließen, wodurch der Prozess des Bestimmens der Merkmalspunkte, die die Koordinaten des zu messenden Objekts angeben, nämlich die Suche für die Knotenpunkte, lediglich in den vorbestimmten Umgebungsbereichen anstelle des gesamten Bildschirms durchgeführt werden, und so kann die Prozesslast reduziert werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein erläuterndes Diagramm eines Zustands der Benutzung einer Größenmessvorrichtung entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung,
2 ist ein Blockdiagramm, das eine Struktur der Größenmessvorrichtung entsprechend des Ausführungsbeispiels der vorliegenden Erfindung zeigt,
3(a) ist eine Aufsicht auf ein Kamerateil des Größenmesshandgeräts und
3(b) ist eine Frontansicht des Kamerateils,
4 ist ein Ablaufdiagramm, das einen Modus der Steuerung der Größenmessvorrichtung zeigt,
5 ist ein schematisches Diagramm, das Positionen, die mit einem Stift bezeichnet sind, und dazu entsprechende Umgebungsbereiche anzeigt,
6 ist ein erläuterndes Diagramm, das eine Beziehung zwischen einem Objekt P, das aufzunehmen ist, und einer linken und einer rechten Kamera für eine Stereoaufnahme zeigt, und
6(b) ist ein erläuterndes Diagramm zum Erläutern des Prinzips des Erhaltens einer Distanz Zp zwischen den Kameras und dem Objekt P (Entfernungsmessung),
7 ist eine perspektivische Ansicht zum Erläutern des Prinzips der Distanz Zp zwischen den Kameras und dem Objekt P (Entfernungsmessung),
8(a) ist ein Diagramm, das ein linkes Bild zeigt, das eine Kantenerfassung in jedem Umgebungsbereich illustriert, der in 5 gezeigt ist, und
8(b) ist ein Diagramm, das ein rechtes Bild zeigt,
9(a) ist ein Diagramm, das einen Abzweigprozess für eine Ausnahmebehandlung im Fluss von 4 zeigt,
9(b) ist ein Diagramm, das ein anderes Beispiel eines Abzweigprozesses zeigt,
10(a) ist ein Diagramm zum Erläutern eines Falls, bei dem keine Kante in einigen der Umgebungsbereiche erfasst wurde, 10(b) ist ein Diagramm zum Erläutern von Schritt ST12 in 9(a), und 10(c) ist ein Diagramm zum Erläutern der Schritte ST13 und ST14 in 9(a),
11(a) ist ein Diagramm zum Erläutern des Schritts ST17 in 9(b) und 11(b) ist ein Diagramm zum Erläutern von Schritt ST18 in 9(b), und
12(a) ist ein Diagramm zum Erläutern von Schritt ST19 in 9(b) und 12(b) ist ein Diagramm zum Erläutern von Schritt ST20 in 9(b).
Ausführungsbeispiele zum Ausführen der Erfindung
In einem ersten Aspekt der Erfindung, die zum Erreichen des obigen Ziel gemacht wurde, wird eine Größenmessvorrichtung zum Messen einer Größe eines Objekts aus einem aufgenommenen Bild des Objekts vorgesehen, wobei die Vorrichtung umfasst: eine Bildaufnahmeeinheit, die ein Bild eines Objekts aufnimmt, eine Anzeigeeinheit, die Bilddaten anzeigt, die durch die Bildaufnahmeeinheit aufgenommen wurden, eine Eingabeeinheit zum Eingeben von Instruktionen eines Benutzers, eine Bereichseinstelleinheit, die, wenn Positionen mit der Eingabeeinheit in den Bilddaten bezeichnet sind, die auf der Anzeigeeinheit angezeigt werden, Umgebungsbereiche einstellt, die die jeweiligen bezeichneten Positionen einschließen und eine Merkmalspunktbestimmungseinheit, die in den Umgebungsbereichen, die durch die Bereichseinstelleinheit eingestellt sind, Merkmalspunkte bestimmt, die Koordinaten des zu messenden Objekts angeben.
Bei einer solchen Struktur werden, wenn der Benutzer Positionen in dem angezeigten Bild bezeichnet, Umgebungsbereiche eingestellt, die darin jeweilig bezeichnete Positionen einschließen, wodurch der Prozess des Bestimmens der Merkmalspunkte, die die Koordinaten des zu messenden Objekts angeben, nämlich die Suche der Knotenpunkte, lediglich in den vorbestimmten Umgebungsbereichen durchgeführt werden kann, anstelle des gesamten Bildschirms, womit die Prozesslast verringert werden kann.
Entsprechend einem zweiten Aspekt der vorliegenden Erfindung ist die Vorrichtung des ersten Aspekts der vorliegenden Erfindung ausgestaltet, ferner eine Messeinheit aufzuweisen, die, wenn die Merkmalspunkte in wenigstens zwei Umgebungsbereichen bestimmt sind, einen Abstand zwischen den zwei Merkmalspunkten auf Basis der aufgenommenen Bilddaten berechnet. In dieser Struktur wird der Abstand zwischen zwei Merkmalspunkten berechnet und kann zum Erhalten der Größe des Pakets verwendet werden.
Entsprechend einem dritten Aspekt der vorliegenden Erfindung werden in der Vorrichtung des ersten Aspekts der vorliegenden Erfindung die Umgebungsbereiche, die durch die Bereichseinstelleinheit eingestellt sind, auf der Anzeigeeinheit angezeigt. Bei dieser Struktur werden die Umgebungsbereiche entsprechend den Knotenpunkten des Pakets, die durch den Benutzer bezeichnet sind, in der Anzeigeeinheit angezeigt und damit kann der Benutzer schnell die angezeigten Positionen überprüfen.
Entsprechend einem vierten Aspekt der vorliegenden Erfindung ist bei der Vorrichtung des ersten Aspekts der vorliegenden Erfindung jeder Umgebungsbereich, der durch die Umgebungsbereichseinstelleinheit eingestellt wird, kreisförmig. Ferner, entsprechend einem fünften Aspekt der vorliegenden Erfindung ist bei der Vorrichtung des ersten Aspekts der vorliegenden Erfindung jeder Umgebungsbereich, der durch die Bereichseinstelleinheit eingestellt wird, rechteckig. Bei diesen Strukturen wird jeder Umgebungsbereich als ein Kreis oder ein Rechteck eingestellt und es ist daher einfach möglich, beispielsweise Kantenbereiche einzustellen, die die Umgebungsbereiche verbinden.
Entsprechend einem sechsten Aspekt der vorliegenden Erfindung umfasst in der Vorrichtung des ersten Aspekts der vorliegenden Erfindung die Bildaufnahmeeinheit eine erste Kamera und eine zweite Kamera, die so positioniert sind, dass sie voneinander um einen vorbestimmten Abstand beabstandet sind, um Bilder des Objekts simultan von unterschiedlichen Positionen aufzunehmen und die Messeinheit berechnet den Abstand zwischen den Merkmalspunkten durch Durchführen einer arithmetischen Verarbeitung auf Basis von Information hinsichtlich einer Parallaxe zwischen der ersten und der zweiten Kamera. In dieser Struktur ist es dank der Stereoaufnahme möglich, die Positionen der Knotenpunkte mit einer einfachen Struktur noch genauer aufzunehmen.
Entsprechend einem siebten Aspekt der vorliegenden Erfindung sind bei der Vorrichtung des ersten Aspekts der vorliegenden Erfindung die Eingabeeinheit und die Anzeigeeinheit durch ein Bildschirm-Tastfeld gebildet. Bei dieser Struktur kann der Benutzer, beispielsweise durch Bezeichnen von Positionen mit einem Stift, Instruktionsoperationen in einfacher Weise durchführen. Ferner können die bezeichneten Punkte (berührten Punkte) in einfacher Weise erfasst werden und die Regionen mit einer vorbestimmten Größe können einfach eingestellt werden, die die jeweiligen bezeichneten Punkte umgeben.
Entsprechend einem achten Aspekt der vorliegenden Erfindung nimmt bei der Vorrichtung des ersten Aspekts der vorliegenden Erfindung die Bildaufnahmeeinheit Bilder eines Pakets mit einer Form eines rechteckigen Parallelepiped als Objekt auf und wenn vier Punkte einschließlich eines Knotenpunkts, an dem drei Kanten des Pakets konvergieren, und der Endpunkte der drei Kanten, die zu dem Knotenpunkt konvergieren, die dem Knotenpunkt gegenüberliegen, durch die Eingabeeinheit als zu messende Punkte für das Bild, das auf der Anzeigeeinheit angezeigt wird, bezeichnet sind die Bereichseinstelleinheit die Umgebungsbereiche für die jeweiligen vier Punkte einstellt und die Merkmalspunktbestimmungseinheit einen Merkmalspunkt in jedem Umgebungsbereich bestimmt.
Wenn vier Punkte einschließlich eines Knotenpunkts, an dem drei Kanten, die das Paket bilden, das auf dem Bildschirm der Anzeigeeinheit angezeigt wird, konvergieren und der Endpunkte der drei Kanten, die an dem Knotenpunkt konvergieren und dem Knoten gegenüberliegen, durch den Benutzer beispielsweise mit einem Stift bezeichnet sind, wird in dieser Struktur jeder bezeichnete Punkt (berührte Punkt) erfasst und Umgebungsbereiche mit einer vorbestimmten Größe werden eingestellt, die die jeweiligen bezeichneten Punkte umgeben. Dann ist es möglich, in einfacher Weise die Knotenpunkte des Pakets zu bestimmen, indem in jedem Umgebungsbereich ein Punkt, an dem drei Kanten des Pakets konvergieren, als ein Knotenpunkt angenommen wird.
Entsprechend einem neunten Aspekt der vorliegenden Erfindung ist die Vorrichtung des achten Aspekts der vorliegenden Erfindung ausgestaltet, ferner eine Messeinheit aufzuweisen, die, wenn die vier Merkmalspunkte bestimmt wurden, Längen von Kanten des Pakets auf Basis von Positionen der vier Merkmalspunkte berechnet. Bei dieser Struktur können die Längen zwischen den Knotenpunkten als die Längen der drei Kanten erhalten werden und damit kann die äußere Größe des Pakets mit einer hohen Genauigkeit erhalten werden.
Entsprechend einem zehnten Aspekt der vorliegenden Erfindung leitet die Bereichseinstelleinheit in der Vorrichtung des achten Aspekts der vorliegenden Erfindung in einem Fall, in dem ein Merkmalspunkt nicht in einem der vier Umgebungsbereiche erfasst wurde, die für die bezeichneten Positionen der vier Punkte eingestellt wurden, auf Basis von Positionsbeziehungen zwischen den vier Umgebungsbereichen weitere Umgebungsbereiche ab, deren Positionen nicht durch den Benutzer bezeichnet wurden, und die Merkmalsbestimmungseinheit erhält die Merkmale in den abgeleiteten Umgebungsbereichen.
In einem Fall, in dem ein Merkmalspunkt in einem der vier Umgebungsbereiche, die durch den Benutzer bezeichnet wurden, nicht erfasst wurde, werden andere Umgebungsbereiche in dieser Struktur abgeleitet, die Positionen aufweisen, die nicht durch den Benutzer bezeichnet wurden, und Merkmalspunkte (Knotenpunkte) werden in diesen Umgebungsbereichen erfasst. Durch Nutzen des Wissens, dass das Paket als ein zu messendes Objekt im Wesentlichen die Form eines rechteckigen Parallelepiped aufweist, können Umgebungsbereiche an den Positionen (Knotenpunkten) abgeleitet werden, die nicht durch den Benutzer bezeichnet wurden, und auf diese Weise kann auch in einem Fall, bei dem das Bild beispielsweise unter schlechten Lichtbedingungen aufgenommen wurde, die Paketgröße akkurat gemessen werden.
Entsprechend einem elften Aspekt der vorliegenden Erfindung extrahiert die Merkmalspunktbestimmungseinheit in der Vorrichtung des achten Aspekts der vorliegenden Erfindung in einem Fall, bei dem ein Merkmalspunkt nicht in einem der vier Umgebungsbereiche erfasst wurde, wenigstens zwei Kanten in Räumen zwischen den Umgebungsbereichen, in denen der Merkmalspunkt nicht erfasst wurde, und wenigstens zwei anderen Umgebungsbereichen, die dazu benachbart sind, und betrachtet einen Schnittpunkt oder einen kürzesten Abstandspunkt zwischen den extrahierten zwei Kanten als einen Merkmalspunkt entsprechend des Umgebungsbereichs, in dem ein Merkmalspunkt nicht erfasst wurde.
In einem Fall, bei dem ein Merkmalspunkt nicht in einem der vier Umgebungsbereiche, die durch den Benutzer bezeichnet wurden, erfasst wurde, werden bei dieser Struktur Kanten in den Räumen extrahiert, die die vier Umgebungsbereiche verbinden, die durch den Benutzer bezeichnet wurden, sodass der Punkt eines Schnitts oder ein Punkt des kleinsten Abstands zwischen zwei extrahierten Kanten als eine Angabe der Position eines Merkmalspunkts (Knotenpunkt) verstanden werden. Jede Kante wird durch ein Liniensegment gebildet und kann im Allgemeinen mit einer höheren Wahrscheinlichkeit als ein Punkt erfasst werden, sodass auch in einem Fall, bei dem das Bild beispielsweise unter schlechten Lichtbedingungen aufgenommen wurde, möglich ist, die Paketgröße akkurat zu messen.
Entsprechend einem zwölften Aspekt der vorliegenden Erfindung ist ein Größenmessverfahren zum Messen einer Größe eines Objekts aus einem aufgenommenen Bild des Objekts vorgesehen, wobei das Verfahren umfasst: Aufnehmen eines Bildes des Objekts, Anzeigen aufgenommener Bilddaten, Einstellen, wenn ein Benutzer Positionen in den angezeigten Bilddaten bezeichnet, von Umgebungsbereichen einschließlich der jeweilig bezeichneten Positionen und Bestimmen von Merkmalspunkten in den Umgebungsbereichen, die Koordinaten des zu messenden Objekts angeben.
Bei dieser Struktur wird, wenn der Benutzer Positionen in dem angezeigten Bild bezeichnet, ein Schritt durchgeführt, um Umgebungsbereiche einzustellen, die jeweilig bezeichnete Positionen einschließen und Merkmalspunkte bestimmen, die Koordinaten des zu messenden Objekts angeben, wodurch eine Bestimmung der Merkmalspunkte wie den Knotenpunkten eines Pakets, nämlich das Suchen nach den Knotenpunkten, lediglich in den Umgebungsbereichen durchgeführt werden kann, die die durch den Benutzer angezeigten Positionen einschließen, anstelle einer Suche im gesamten Bildschirm und so kann die Prozesslast reduziert werden.
Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben.
1 ist ein erläuterndes Diagramm zum Erläutern eines Zustands der Benutzung einer Größenmessvorrichtung 1 entsprechend einer Ausführungsform der vorliegenden Erfindung. In dieser Ausführungsform wird ein hexahedraler Körper zum Verpacken eines Produkts oder ähnlichem benutzt, nämlich ein Paket (beispielsweise ein Paketkarton usw.) Ob der im Wesentlichen die Form eines rechteckigen Parallelepipeds oder eines Kubus aufweist, wird als Beispiel eines Objekts verwendet, das zu messen ist, und die äußeren Dimensionen davon, nämlich die Länge der drei Kanten (W: Breite, L: Länge, H: Höhe), die das Paket Ob bilden, werden in einer Nicht-Kontaktweise gemessen. Es ist jedoch zu bemerken, dass das Objekt nicht auf ein Paket beschränkt ist.
Die Größenmessvorrichtung 1 in der vorliegenden Ausführungsform wird von einem Größenmessendgerät 12 und einer Steuervorrichtung 13 gebildet. Das Größenmessendgerät 12 kann in einer Vorrichtung wie in einem handgehaltenen Endgerät installiert sein, das an einem Logistikort zum Verwalten von Artikeln in Logistikprozessen, wie beispielsweise Empfang, Check-in, Inventur, Check-out und Versand wird, und wird in diesen Prozessen benutzt. Wie in 1 gezeigt, benutzt ein Benutzer die Größenmessvorrichtung 1 zum Messen der Größe eines Pakets Ob dessen Größe zu messen ist. Genauer nimmt der Benutzer ein Bild des Pakets Ob mit dem Größenmessendgerät 12 auf und auf Basis der aufgenommenen Bilddaten berechnet die Steuervorrichtung 13 die Längen der Kanten des Pakets Ob. Die Größenmessvorrichtung 1 kann als eine Endgerätvorrichtung ausgeführt sein, in der das Größenmessendgerät 12 und die Steuervorrichtung 13 integral inkorporiert sind, oder als ein System, in dem das Größenmessendgerät 12 und die Steuervorrichtung 13 über eine Kommunikationsleitung verbunden sind. Die Kommunikationsleitung muss nicht notwendigerweise ein Lokalbereichsnetzwerk sein und kann ein Großbereichsnetzwerk wie das Internet sein. Es ist vorstellbar, dass die Größeninformation, die durch die Größenmessvorrichtung 1 erhalten wird, kumulativ in einer Datenbank eines Servers oder ähnlichem gespeichert wird der in einem Verwaltungszentrum oder ähnlichem installiert ist, das nicht in den Zeichnungen gezeigt ist, sodass die Größeninformation genutzt werden kann. In einem solchen Fall kann die Information benutzt werden, um die Transportgebühr eines jeden Pakets zu bestimmen und/oder die verschiedenen Pakete optimal zu kombinieren und die Typen und/oder Anzahl von Lastern zu bestimmen, die für den Transport nötig sind, wodurch eine effiziente Benutzung der Ressourcen im Transportgeschäft ermöglicht wird. Ferner ist die Größenmessvorrichtung 12 nicht auf ein dediziertes Endgerät wie ein handgehaltenes Endgerät beschränkt und kann durch ein Endgerät wie ein Tablet oder Smartphone realisiert werden, indem eine dedizierte Applikation installiert ist. Die Steuervorrichtung 13 kann als ein Personal Computer, als eine dedizierte Set-Top-Box oder Ähnliches realisiert werden. Die Steuervorrichtung 13 kann eine Funktion des Ausgebens von Labeln aufweisen, die auf Basis der gemessenen Größeninformation gebildet werden.
2 ist ein Blockdiagramm der Größenmessvorrichtung 1. Wie in 2 gezeigt, umfasst die Größenmessvorrichtung 1 in dieser Ausführungsform das Größenmessendgerät 12 und die Steuervorrichtung 13. Das Größenmessendgerät 12 ist mit einer linken Kamera (erste Kamera) 4L und einer rechten Kamera (zweite Kamera) 4R (wenn es nicht nötig ist, zwischen links und rechts zu unterscheiden, kann auf diese Kameras einfach als Kameras 4 Bezug genommen werden) versehen, die Bilder der Gesamtheit des Pakets Ob von unterschiedlichen Winkeln aufnehmen, einer Anzeigeeinheit 7, die beispielsweise von einer Flüssigkristallanzeige gebildet wird, ein Tastfeld 7a, das über der Anzeigeeinheit 7 angeordnet ist und das als ein Erfassungsmittel für bezeichnete Punkte dient, und eine Eingabeeinheit 10 mit Schaltern, Knöpfen und Ähnlichem, die eine Eingabe von Benutzerinstruktionen wie einen Auslösebetrieb beim Aufnehmen von Bildern erlaubt. Die Kameras 4 bilden eine Bildaufnahmeeinheit der vorliegenden Erfindung, die Anzeigeeinheit 7 bildet eine Anzeigeeinheit der vorliegenden Erfindung und die Eingabeeinheit 10 bildet eine Eingabeeinheit der vorliegenden Erfindung. Die Anzeigeeinheit 7 und die Eingabeeinheit 10 können an der Steuervorrichtung 13 vorgesehen sein. Die Steuervorrichtung 13 wird gebildet aus Speichern 5, die temporär linke und rechte Bilddaten speichern, die von den Kameras 4 aufgenommen wurden, einer Bildverarbeitungseinheit 6, die die Bilddaten verarbeitet, die in den Speichern 5 gespeichert sind, um die Längen der drei Kanten des Pakets Ob zu berechnen, einem nicht-flüchtigen Speicher 8, der die Bilddaten speichert, die von der Bildverarbeitungseinheit 6 für Parallaxenberechnung verwendet wurden und auf deren Basis das Messergebnis erhalten wurde, und einer Gesamtsteuereinheit 9, die den Gesamtbetrieb der Größenmessvorrichtung 1 steuert. Die Bildverarbeitungseinheit 6 wird von einer Hochgeschwindigkeits-CPU(Central Processing Unit), einem DSP (Digital Signal Processor), einem Speicher usw. gebildet, die nicht in den Zeichnungen gezeigt sind, und, wie später erläutert wird, spielt eine Hauptrolle im Messen der Paketgröße. Die Bildaufnahmeeinheit 6 bildet eine Bereichseinstelleinheit, eine Merkmalspunktbestimmungseinheit und ein Messeinheit der vorliegenden Erfindung.
Die Gesamtsteuereinheit 9 umfasst eine CPU, ein EEPROM (Electrically Erasable Programmable Read-Only Memory), das Programme speichert, und einen Arbeitsspeicher, die nicht in den Zeichnungen gezeigt sind. Die Gesamtsteuereinheit 9 verwaltet die Gesamtheit der Größenmessvorrichtung 1 einschließlich der Bildverarbeitungseinheit 6 durch Behandeln eines jeden Tasks, der durch ein vorbestimmtes RTOS (Real-time operating System) verwaltet wird, als eine Einheit.
Es ist zu bemerken, dass der zuvor erwähnte Begriff „Aufnehmen von Bildern aus unterschiedlichen Winkeln” nicht auf einen Fall begrenzt ist, bei dem optische Achsen der zwei Kameras einen Konvergenzwinkel relativ zum aufzunehmenden Objekt bilden und kann auch einen Fall umfassen, bei dem die optischen Achsen der zwei Kameras parallel zueinander sind und die Positionen des Objekts und der zwei Kameras ein Dreieck bilden. „Aufnehmen von Bildern aus unterschiedlichen Winkeln” kann als „Aufnehmen von Bildern von unterschiedlichen Positionen (Blickpunkten)” umformuliert werden. Im Folgenden wird eine Beschreibung einer beispielhaften Anordnung vorgenommen, bei der die optischen Achsen der zwei Kameras parallel zueinander sind.
3 ist ein Diagramm, das die Struktur der Kameras 4 des Größenmessendgeräts 12 entsprechend der Ausführungsform der vorliegenden Erfindung zeigt. 3(a) zeigt eine Aufsicht eines Abschnitts, der die Kameras 4 umfasst, während 3(b) eine Frontansicht desselben zeigt. Es ist zu bemerken, dass das Koordinatensystem, das in 3(a) und 3(b) gezeigt ist, dem entspricht, das in 1 gezeigt ist, wobei x eine Richtung einer Basislinienlänge B (beispielsweise Rasterrichtung) bezeichnet, y die Richtung senkrecht zu der Richtung der Basislinienlänge (B) in der Bildaufnahmefläche einer Bildaufnahmevorrichtung 20, und z bezeichnet die Richtung von den Kameras 4 zum Objekt, das heißt die Tiefenrichtung des aufgenommenen Bildes.
Bei jeder Kamera 4 steht Bezugszeichen 20 in 3(a) für eine Bildaufnahmevorrichtung (zweidimensionaler Bildsensor) wie einem CMOS (Complementary Metal Oxide Semiconductor) oder einem CCD (Charge Coupled Device) und Bezugszeichen 21 steht für ein Objektiv zum Bilden eines Bildes auf der Bildaufnahmefläche der Bildaufnahmevorrichtung 20, namentlich ein Bildaufnahmeoptiksystem (dessen Fokuslänge fc ist). Wie oben beschrieben, umfasst die Größenmessvorrichtung 1 in der vorliegenden Ausführungsform zwei Kameras, nämlich die linke Kamera 4L und die rechte Kamera 4R und diese Kameras 4 sind mit derselben Bildaufnahmevorrichtung 20 und demselben Bildaufnahmeoptiksystem 21 ausgestattet. Die optische Achse der linken Kamera 4L wird durch CAxL repräsentiert, während die optische Achse der rechten Kamera 4R durch CAxR repräsentiert wird und der Abstand zwischen diesen optischen Achsen (Basislinienlänge B) ist beispielsweise auf 50 mm eingestellt. Es ist zu bemerken, dass sowohl ein Einzelplattentyp Farbsensor und ein Monochromsensor ohne einen Farbfilter als die Bildaufnahmevorrichtung 20 verwendet werden können, obgleich in einem Fall, bei dem die Bildaufnahmevorrichtung 20 in einer Anwendung verwendet wird, die eine hohe Auflösung benötigt, wie beispielsweise Barcodelesen oder Paketgrößenmessung, es bevorzugt wird, einen Monochromsensor zu verwenden.
Wie in 3(a) gezeigt sind, wenn die Kameras 4 von oben gesehen werden (in der y-Richtung), die optischen Achsen CAxL und CAxR der Kameras 4 parallel zueinander und um die Basislinienlänge B voneinander beabstandet. Ferner, wie in 3(b) gezeigt, sind die optischen Achsen CAxL und CAxR der Kameras 4 an derselben Position in y-Richtung positioniert, wenn die Kameras 4 von der Front gesehen werden (in z-Richtung).
Als Nächstes, unter Bezug auf das Ablaufdiagramm von 4 wird eine Beschreibung eines Überblicks über den Prozess eines Größenmessausführungstasks gegeben, der auf der Größenmessvorrichtung 1 gemäß der Ausführungsform der vorliegenden Erfindung abläuft. Der Prozess des Messens der externen Größe des Pakets Ob wird durch den Größenmessausführungstask verwaltet, der durch ein Programm ausgeführt wird. Der Größenmessausführungstask überwacht die Eingabeeinheit 10 über die Gesamtsteuereinheit 9.
Zunächst wird in Schritt ST0 eine Bewegtbildaufnahme begonnen. Insbesondere werden die Bildaufnahmevorrichtungen 20 der Kameras 4R, 4L auf Basis eines Kamerasteuersignals betrieben, das von der Gesamtsteuereinheit 9 ausgegeben ist, sodass die Bilddaten, die von der linken Kamera 4L und der rechten Kamera 4R aufgenommen werden, in den Speichern 5, die den jeweiligen Kameras 4 entsprechen, mit einer vorbestimmten Frame-Rate wie beispielsweise 30 Frames/Sek gespeichert (jede Frame-Rate kann verwendet werden, solange das angezeigte Bild, das sich mit der Kameraarbeit ändert, die sich wiederum in Antwort auf eine Bedienung des Benutzers ändert, aktualisiert wird, ohne dass dem Benutzer Stress verursacht wird. Die Bilddaten, die temporär in den Speichern 5 gespeichert sind, werden an die Bildverarbeitungseinheit 6 übermittelt, wo die Bilddaten einer bekannten Bildverarbeitung wie einer Mosaik-Verarbeitung, Weißabgleichsjustierung, Farbkorrektur, y-Korrektur, Größenänderung, usw. unterworfen werden. Die Bilddaten, die durch die Bildverarbeitungseinheit 6 verarbeitet sind, werden durch die Gesamtsteuereinheit 9 an die Anzeigeeinheit 7 übermittelt, sodass die Bilder, die von den Kameras 4 aufgenommen werden, in Echtzeit auf der Anzeigeeinheit 7 angezeigt werden.
Als Nächstes wird in Schritt ST1 bestimmt, ob ein Auslöseknopf, der an der Eingabeeinheit 10 vorgesehen ist, gedrückt ist (Vorliegen/Abwesenheit einer Standbildaufnahmeanweisung). Im Fall, in dem der Auslöseknopf nicht gedrückt ist, wird Schritt ST1 wiederholt (Nein in Schritt ST1) und wenn das Drücken erfasst wird, beendet die Gesamtsteuereinheit 9 das Aktualisieren des Bildes, das auf der Anzeigeeinheit 7 angezeigt wird, und schreitet zu Schritt ST2 fort. In Schritt ST2 wird eine Vorverarbeitung für das aufgenommene Bild durchgeführt. Als das Vorverarbeiten werden Hilfsprozesse zum Verbessern der Genauigkeit einer später durchgeführten Kantenerfassung durchgeführt, die beispielsweise Kontrastanpassung und Rauschentfernung umfassen können, die an der Gesamtheit des Bildes vorgenommen werden, obgleich diese Vorgänge auf begrenzten Bereichen wie den Bereichen in der Nähe von Knotenpunkten, die durch den Benutzer bezeichnet sind, und Bereichen zwischen Knotenpunkten (Umgebungsbereiche und Kantenbereiche) durchgeführt werden, wie es später im Detail beschrieben wird.
Es ist zu bemerken, dass die Bereiche, die von den Kameras 4 aufgenommen sind, nämlich ein linker Aufnahmebereich 200L (im Folgenden hier als linkes Bild bezeichnet) und ein rechter Bildaufnahmebereich 200R (im Folgenden hier als rechtes Bild bezeichnet) (siehe 1) voneinander unterschiedlich sind und eine Parallaxe zwischen den Bildern, die in den Speichern 5 gespeichert sind, in Abhängigkeit von der Entfernung zwischen dem Größenmessendgerät 12 und dem Paket Ob besteht, dass das aufzunehmende Objekt ist.
Ferner, beim Vorverarbeiten werden die Bilddaten, die in den Speichern 5 zum Zeitpunkt, zu dem die Standbildaufnahmeinstruktion erfasst wurde (linke und rechte Bilddaten, die von der linken Kamera 4L und der rechten Kamera 4R aufgenommen wurden, die, wie oben beschrieben, eine Parallaxe aufweisen) an den nicht-flüchtigen Speicher 8 weitergeleitet und darin gespeichert.
Zu diesem Zeitpunkt wird eines der beiden Standbilder, das von der linken Kamera 4L und der rechten Kamera 4R aufgenommen wurde, auf der Anzeigeeinheit der Größenmessvorrichtung 1 angezeigt und der Benutzer bezeichnet in dem Bild, dass die Gesamtheit des Pakets Ob umfasst, Punkte auf Basis derer die Größenmessung durchzuführen ist.
In Schritt ST3 wird bestimmt, ob vier Knotenpunkte (P0, P1, P3, P5), die als eine Referenz für eine Größenmessung des Pakets Ob dienen, durch Berühren des Tastfeldes mit dem Stift (Bezugszeichen 14 in 1) bezeichnet wurden, wie dies durch die schwarzen Kreise (TP0, TP1, TP3, TP5) in 5 gezeigt ist. In der vorliegenden Ausführungsform ist ein Mittel zum Eingeben einer Koordinate durch Berühren des Tastfeldes 7a als der Stift 14 verwirklicht, obgleich jeder Artikel, der eine Koordinate angeben kann, verwendet werden kann, wobei auch ein Finger benutzt werden kann. Ferner kann auch ein anderes Zeigegerät wie ein Trackball oder eine Maus stattdessen verwendet werden.
Wenn alle vier Knotenpunkte bezeichnet wurden, schreitet der Ablauf zu Schritt ST4 fort, während Schritt ST3 wiederholt wird, bis die vier Knotenpunkte bezeichnet wurden. Es ist zu bemerken, dass das Bild, das auf der Anzeigeeinheit 7 angezeigt wird, wenn die vier Knotenpunkte bezeichnet werden, sowohl das rechte als auch das linke Bild (200L, 200R) sein kann, obgleich in der vorliegenden Ausführungsform eine Beschreibung unter der Annahme vorgenommen wird, dass das linke Bild (200L) angezeigt wird.
Die vier Knotenpunkte umfassen beispielsweise einen Knotenpunkt P0, der durch drei Flächen (Fläche x1y1, Fläche y1z1, Fläche z1x1) des Pakets Ob, das auf dem Bildschirm angezeigt wird, definiert wird, und Knotenpunkte P1, P3 und P5, die die gegenüberliegenden Enden zu dem Knotenpunkt P0 der jeweiligen Kanten x1, y1 und z1 sind, die durch zwei der drei Flächen definiert sind (der Satz von Knotenpunkten P0, P1, P3 und P5 wird als ein bezeichnetes Muster PA0 bezeichnet). Wie oben beschrieben, berührt der Benutzer (Bediener) das Tastfeld 7a mit dem Stift 14, der in der Hand gehalten wird, um die Knotenpunkte auf dem Bildschirm zu bezeichnen, während jeder Knotenpunkt idealerweise ein Punkt ist, während die Auflösung des Tastfeldes 7a begrenzt ist und die Spitze des Stiftes 14 eine vorbestimmte Größe aufweist und es daher schwierig ist, die Knotenpunkte P0, P1, P3 und P5 akkurat zu bezeichnen. Typischerweise, wenn der Benutzer die Bezeichnung durch Berühren während des Betrachtens des angezeigten Bildes (im Folgenden als „Bezeichnung durch Berühren” bezeichnet) durchführt, wie es durch die schwarzen Kreise in 5 gezeigt ist, neigen diese dazu, von den Knotenpunkten P0, P1, P3 und P5 versetzt zu sein, wie dies durch die Punkte TP0, TP1, TP3 und TP5 dargestellt ist.
Wenn die Paketgröße gemessen wird, bezeichnet der Benutzer vier Knotenpunkte, obgleich der Satz von Knotenpunkten, die bezeichnet werden, nicht auf den zuvor erwähnten Knotenpunkt P0 (Knotenpunkt definiert durch drei Flächen des Pakets Ob) und die gegenüberliegenden Enden zum Knotenpunkt P0 der Kanten, die im Knotenpunkt P0 zusammenlaufen, beschränkt sind.
Beispielsweise können in 5 ein Satz von Knotenpunkten P1, P2, P0 und P6 (als Satzmuster PA1 bezeichnet), ein Satz von Knotenpunkten P3, P2, P0 und P4 (als ein Satzmuster PA3 bezeichnet) oder ein Satz von Knotenpunkten P5, P6, P0 und P4 (als ein Satzmuster PA5) bezeichnet werden. Im Satzmuster PA0 ist der Knotenpunkt P1 ein gemeinsamer Knotenpunkt und ein Liniensegment P1–P2, ein Liniensegment P1–P0 und ein Liniensegment P1–P6 konvergieren zum Knotenpunkt P1. Im Satzmuster PA3 ist der Knotenpunkt P3 ein gemeinsamer Knotenpunkt und ein Liniensegment P3–P2, ein Liniensegment P3–P0 und ein Liniensegment P3–P4 konvergieren in den Knotenpunkt P3. In dem Satzmuster PA5 ist der Knotenpunkt P5 ein gemeinsamer Knotenpunkt und ein Liniensegment P5–P6, ein Liniensegment P5–P0 und ein Liniensegment P5–P4 konvergieren in den Knotenpunkt P5. Daher kann der Benutzer in dem aufgenommenen Bild, das das Paket Ob abdeckt, einen beliebigen gemeinsamen Knotenpunkt, an dem drei Kanten konvergieren, und die Enden der jeweiligen Linien, die in den gemeinsamen Knotenpunkt konvergieren, gegenüber dem gemeinsamen Knotenpunkt bezeichnen. In anderen Worten ist es ausreichend, vier Knotenpunkte zu bezeichnen, die Kanten definieren, die jeweils zu W, L, H (Breite, Länge, Höhe) des Pakets entsprechen, das auf dem Bildschirm angezeigt wird.
Im Folgenden wird eine Beschreibung eines Falles gegeben, bei dem die Knotenpunkte um der einfachen Erklärung willen in dem zuvor erwähnten bezeichneten Muster PA0 bezeichnet werden.
Es ist ebenso zu bemerken, dass, obwohl die Beschreibung hier für ein Beispiel vorgenommen wird, in dem der Prozess nicht zum nächsten Schritt fortschreitet, bevor alle vier Knotenpunkte bezeichnet wurden, es ebenso möglich ist, die Prozesse in den Schritten ST3, ST4, und ST5 in Sequenz für einen bezeichneten Punkt durchzuführen und diese Prozesse viermal zu wiederholen.
Im nächsten Schritt ST4 werden jeweils Bereiche AO, A1, A3 und A5 entsprechend den berührten Punkten TP0, TP1, TP3 und TP5 (Positionen, an denen Messungen vorzunehmen sind) aus Schritt ST3 eingestellt. Diese Regionen umfassen jeweils Knotenpunkte P0, P1, P3 und P5, die sich jeweils in der Nähe der berührten Punkte befinden, die durch den Stift 14 oder Ähnliches bezeichnet wurden (diese Bereiche werden im Folgenden als Umgebungsbereiche bezeichnet) und, wie durch die durchgehenden Linien in 5 gezeigt, kann jeder Umgebungsbereich A0, A1, A3, A5 ein Kreis mit einem vorbestimmten Radius und einem Mittelpunkt an dem entsprechenden berührten Punkt (TP0, TP1, TP3, TP5) sein. Die Größe des Kreises kann unter Berücksichtigung des Fehlerbereichs beim Bezeichnen der Knotenpunkte des Paketes durch den Benutzer beim Berühren des Bildschirms der Anzeigeeinheit 7 bestimmt werden. Es ist natürlich ebenso möglich, den Umfang eines jeden Umgebungsbereichs als ein Rechteck darzustellen.
Der Kreis oder das Rechteck, der/das jeden Umgebungsbereich bezeichnet, kann auf der Anzeigeeinheit 7 jedes Mal angezeigt werden, wenn der berührte Punkt (einer aus TP0, TP1, TP3, TP5) bezeichnet wird. Auf diese Weise kann der Benutzer in einfacher Weise prüfen, ob der angezeigte Kreis oder Ähnliches einen Knotenpunkt des Pakets Ob (einer aus P0, P1, P3 und P5) umgibt, was angenehm für den Benutzer ist. Ferner kann, obwohl nicht in dem Ablaufdiagramm gezeigt, eine Konfiguration hinsichtlich Schritte ST3 und ST5 vorgenommen werden, derart, dass der Benutzer, wenn er bestimmt, das der angezeigte Kreis oder Ähnliches den zu bezeichnenden Knotenpunkt nicht umgibt, den Umgebungsbereich erneut mit dem Stift 14 berührt und die Bezeichnung (vorgenommen durch Berühren) aufgehoben wird. In diesem Fall wird die Anzeige des Kreises oder ähnlichem zusammen mit der Aufhebung der Bezeichnung entfernt. Die Anzeige des Kreises oder Ähnliches (Bezeichnen des Punkts durch Berühren und die Entfernung des Kreises (Aufhebung der Bezeichnung) können durch jedes Berühren des Tastfeldes 7a abwechselnd umgeschaltet werden. Dadurch ist es möglich, in einfacher Weise eine Situation zu vermeiden, in der ein Betrieb der Bezeichnung eines Knotenpunktes in einem Umgebungsbereich resultiert, der den Knotenpunkt nicht umgibt, sodass die Benutzerfreundlichkeit verbessert ist.
Wenn die vier Knotenpunkte, die durch die jeweiligen Umgebungsbereiche umgeben werden, wie oben beschrieben bezeichnet wurden, sind die Prozesse in den Schritten ST3 und ST4 abgeschlossen.
Im nächsten Schritt ST5 wird eine Kantenerfassung in jedem Umgebungsbereich A0, A1, A3, A5 in dem linken Bild (200L) durchgeführt, um Kantenbilder zu erhalten. Als ein Verfahren zum Erfassen von Kanten, wie es beispielsweise im japanischen Patent Nr. 4338405 beschrieben ist, ist es beispielsweise möglich, einen Differentialoperator erster Ordnung zu verwenden, um horizontale und vertikale Komponenten von Kanten mit Drei-mal-drei-Filtern Kantenbilder durch Kombinieren der Verarbeitungsergebnisse zu erzeugen, die Kantenbilder nach dem Filterprozess zu binarisieren und die Kanten nach der Binarisierung zu verfolgen (nachzuverfolgen). Im Bestimmen eines Endes einer jeden Kante in der Kantenverfolgung, wie in dem obigen Patentdokument beschrieben, kann eine Position, an der eine Kontinuität beendet ist, als ein Ende der Kante bestimmt werden, wenn die Anzahl von Pixeln zwischen der Position, an der die Kontinuität einer Kante beendet ist und die Position, an der die nächste Kante erfasst wurde, größer als ein vorbestimmter Wert ist, oder wenn die Anzahl von zusammenhängenden Pixeln der nächsten Kante geringer als ein vorbestimmter Wert ist. Ferner, hinsichtlich der Bestimmung eines Endes einer jeden Kante ist es, zusätzlich zu der allgemeinen Bedingung, wie sie oben beschrieben ist, möglich, eine zusätzliche Bedingung zu verwenden, darin dass der Bereich der Nachverfolgung sich innerhalb eines jeden Umgebungsbereichs befindet. Diese zusätzliche Bedingung stellt sicher, dass die Nachverfolgung ohne Versagen abbricht. Es ist hier zu bemerken, dass beim Verwenden eines rechteckigen Umgebungsbereichs es möglich ist, schnell zu bestimmen, ob diese Bedingungen erfüllt sind (es ist ebenso möglich, einen kreisförmigen Umgebungsbereich in der Anzeige zu verwenden, während ein rechteckiger Umgebungsbereich beim Bestimmen des Endes des Nachverfolgens verwendet wird). Damit, wie in 8 gezeigt, ist es beispielsweise möglich, Kantensegmente E (Dicke Linien in der Zeichnung) entsprechend den drei Kanten zu erfassen, die zu einem Knotenpunkt in jedem Umgebungsbereich A0, A1, A3, A5 konvergieren und die Kantenbilder zu erhalten. Da der Bereich, in dem die Kantenerfassung durchgeführt wird, auf das Innere eines jeden Umgebungsbereichs beschränkt ist, kann eine Hochgeschwindigkeitsverarbeitung erreicht werden.
Es ist zu bemerken, dass, auch wenn die Beschreibung hier dahingehend vorgenommen wurde, dass die Kantensegmente den drei Kanten entsprechend, in einigen Fällen nicht alle der drei Kanten in Abhängigkeit von der Kameraarbeit zum Zeitpunkt der Bildaufnahme und/oder dem bezeichneten Knotenpunkt (beispielsweise im Falle des zuvor erwähnten Satzmusters PA1) in dem aufgenommenen Bild gezeigt, sind und damit können Fälle vorliegen, bei denen Kantensegmente entsprechend von zwei Kanten verwendet werden (nicht in den Zeichnungen gezeigt).
Im nächsten Schritt ST6 wird bestimmt, ob wirksame Kantensegmente in jedem der Umgebungsbereiche A0, A1, A3, A5 durch die Kantenerfassung erfasst wurden, die im Schritt ST5 durchgeführt wird. Wenn drei Kantensegmente, die in einem Punkt konvergieren, in einem Bereich erfasst sind, ist es möglich, einen Knotenpunkt des Pakets Ob in zuverlässiger Weise zu erhalten, obgleich sogar in einem Fall, bei dem Zweikantensegmente in einem Punkt konvergieren, der Schnittpunkt als ein Knotenpunkt bestimmt werden kann. Wenn Kantensegmente, die zum Erhalten eines Knotenpunktes wirksam sind, in jedem Umgebungsbereich A0, A1, A3, A5 bestimmt sind, schreitet der Ablauf zu Schritt ST7 fort und wenn wenigstens ein Umgebungsbereich besteht, für den wirksame Kantensegmente nicht gefunden wurden, schreitet der Ablauf zum später beschriebenen Schritt ST12 (oder Schritt ST17, der ein anderes Beispiel eines Abzweigeprozesses ist) fort.
Die Bestimmung, ob eine wirksame Kantenerfassung durchgeführt wurde, kann beispielsweise durch Erfassen einer Kontrastdifferenz zwischen einem Teil, der als eine Kante bildend in dem Kantennachverfolgen bestimmt wurde und in einem anderen Teil und Akkumulieren des absoluten Werts der Kontrastdifferenz vorgenommen werden, die für jeden Pixel erhalten wurde, der in dem Nachverfolgen untersucht wurde, um einen Evaluationsfunktion zu erzeugen. Im Allgemeinen ist es umso einfacher, eine Kante zu erfassen, je größer die Kontrastdifferenz ist, und daher kann abgeleitet werden, dass eine wirksame Kantenerfassung durchgeführt wurde, wenn der Wert der Evaluationsfunktion größer als ein vorbestimmter Schwellenwert ist.
In Schritt ST7 wird eine Koordinate eines Schnittpunkts der Kantensegmente erhalten, die in jedem Umgebungsbereich A0, A1, A3, A5 erfasst wurden. Wie vorgehend beschrieben, steht der Schnittpunkt der Kantensegmente in jedem Umgebungsbereich für einen Knotenpunkt, in dem drei Kanten des Pakets Ob konvergieren.
Die Form, die durch Verbinden der berührten Punkte (TP0, TP1, TP3 und TP5, die in 5 gezeigt sind) erhalten wurde, ändert sich in Abhängigkeit von der Anordnung des Pakets Ob und es ist möglich, die Koordinaten eines jeden Knotenpunktes unter Verwendung dieses Merkmals zu berechnen. Im Folgenden wird eine Beschreibung unter Bezug auf 8(a) vorgenommen. In dem aufgenommenen Bild wird beispielsweise ein Formmuster der drei Kanten, die in dem gemeinsamen Knotenpunkt P0 konvergieren (so wie die Winkel zwischen den Kanten) derart angenommen, dass sie im Wesentlichen dem Muster in der Nähe des Umgebungsbereichs A0 entspricht (oder ihm ähnelt). Ferner wird angenommen, dass ein Formmuster, das durch Erstrecken der Kante z1, die mit dem Knotenpunkt P0 verbunden ist, über den Umgebungsbereich A0 hinaus und Löschen der originalen Kante z1, im Wesentlichen dem Muster in der Nähe des Knotens P3 entspricht. Dies gilt auch für die Muster in der Nähe der Knotenpunkte P1 und P5. Es ist nämlich möglich, die Form der Kanten, die mit jedem Knotenpunkt verbunden sind, von der Form der Kanten abzuleiten, die in dem gemeinsamen Knotenpunkt E0 konvergieren. Dadurch, durch Erzeugen eines Musters von Kanten in der Nähe eines jeden der vier Knotenpunkte auf Basis der Positionsbeziehung zwischen den vier berührten Punkten und Anpassen der Kantenbilder, die durch das Kantennachverfolgen erzeugt wurden, mit den Kanten, ist es möglich, die Koordinaten der Knotenpunkte P0, P1, P3 und P5 zu bestimmen, die als Merkmalspunkte dienen (beispielsweise zweidimensionale Koordinaten im linken Bild, genauer x-y-Koordinaten des Bildsensors, der Bilder aufnimmt, die die Knotenpunkte enthalten).
Im nächsten Schritt werden entsprechend den Umgebungsbereichen A0, A1, A3, A5 im linken Bild (200L) die in 8(a) gezeigt sind, Umgebungsbereiche A0R, A1R A3R und A5R im rechten Bild (200R) eingestellt, wie in 8(b) gezeigt. Dann werden die Koordinaten der Knotenpunkte P0R, P1R, P3R und P5R aus diesen Umgebungsbereichen erhalten.
Im Folgenden wird dieser Schritt im Detail beschrieben.
Im allgemeinen wird eine Kalibrierung zwischen linken und rechten Kameras 4L und 4R in der Versatzrichtung entlang der y-Achse und der z-Achse und in Rotationsrichtung um die x-Achse, die y-Achse und die z-Achse, wie in 1 gezeigt, ebenso wie eine Justierung auf Basis der Kalibrierung während beispielsweise des Herstellungsprozesses vorgenommen, und es kann angenommen werden, dass die Parallaxe in aufgenommenen Bildern eines Objekts nur in der x-Achsen-Richtung verursacht werden kann. Entsprechend dieser Annahme sind Bilder des Pakets Ob, die von der linken und der rechten Kamera 41 und 4R aufgenommen sind, in x-Achsen-Richtung (Links- und Rechts-Richtung) relativ zueinander versetzt, so dass, wenn die Ursprünge des linken und rechten Bildes (beispielsweise der obere linke Punkt eines jeden Bildbereichs) miteinander ausgerichtet sind, das Objekt im rechten Bild nach links entlang der x-Achse versetzt ist (in einer negativen Richtung, wenn die Richtung, die durch den Pfeil im Koordinatensystem, das in 1 gezeigt ist, eine positive Richtung angibt) relativ zum Objekt, das im linken Bild gezeigt ist.
Ferner, wie weiter unten im Detail beschrieben wird, sind die Basislinienlänge B zwischen der linken und rechten Kamera 4L und 4R, der Pixel-Abstand und die Größe des Bildsensors, der in jeder Kamera angebracht ist, die Fokuslänge f des optischen System usw. bekannte fixierte Größen im Messsystem und, unter der Annahme, dass eine praktische Beschränkung dahingehend besteht, dass der Abstand zum zu messenden Objekt im Bereich von beispielsweise 1 bis 2 Metern zum Ort, an dem die Größe des Pakets gemessen wird, ist es möglich, ein Maß des Versatzes (Zahl von Pixeln) des Objekts zwischen dem linken und rechten Bild abzuschätzen, die durch die Stereokamera aufgenommen sind.
Folglich ist es möglich abzuleiten, welchen Bereichen in dem rechten Bild die Punkte (TP0, TP1, TP3, TP5) in dem linken Bild, die durch den Benutzer jeweils durch Berühren bezeichnet sind, entsprechen. Auf diese Weise ist es möglich, die berührten Punkte in dem rechten Bild zu bestimmen und auf deren Basis werden Umgebungsbereiche (A0R, A1R, A3R, A5R) definiert. Dann, wie bei dem Prozess für das linke Bild, der oben beschrieben ist, werden Kantensegmente in jedem Umgebungsbereich erfasst und Koordinaten der Knotenpunkte (P0R, P1R, P3R, P5R) werden schließlich als zweidimensionale Koordinaten in dem rechten Bild erhalten.
Aus der vorgehend vorgenommenen Beschreibung ist offensichtlich, dass die Knotenpunkte P0, P1, P3 und P5 im linken Bild jeweils den Knotenpunkten P0R, P1R, P3R und P3R im rechten Bild entsprechen. In der vorliegenden Ausführungsform ist beispielsweise der Umgebungsbereich A0 um den berührten Punkt TP0 definiert, der für den Knotenpunkt P0 bezeichnet ist, und auf Basis des Abstands zwischen den Kameras 4 und des Pakets Ob0 in einer Benutzungssituation wird der Umgebungsbereich A0R, der den entsprechenden Knotenpunkt P0R im rechten Bild umgibt, definiert, so dass Koordinaten (zwei-dimensionale Koordinaten) der Knotenpunkte P0 und P0R voneinander unabhängig für den jeweiligen rechten und linken Umgebungsbereich erhalten werden (das gleiche gilt für die Knotenpunkte P1 und PR1, die Knotenpunkte P3 und P3R und die Knotenpunkte P5 und P5R).
In einem Fall, bei dem die Koordinaten der Knotenpunkte wie oben beschrieben sowohl im rechten als auch im linken Bild erhalten werden, wird ein Suchprozess für entsprechende Punkte, der ein Stereoanpassprozess genannt wird, unnötig. In einem Fall, in dem eine hochgenaue Parallaxe gewünscht wird, ist es möglich, den Stereoanpassprozess durchzuführen, um eine hochgenaue Parallaxe zu erhalten.
6 ist ein erläuterndes Diagramm zum Erläutern des Prinzips des Erhaltens eines Abstands (Zp) (Abstandsmessung) zwischen einem beliebigen Punkt auf dem aufzunehmenden Objekt (Punkt von Interesse P) und den Kameras 4 für eine Stereoaufnahme in Relation zur Größenmessvorrichtung 1 entsprechende Ausführungsform der vorliegenden Erfindung, wobei 6(a) eine Positionsbeziehung zwischen dem aufzunehmenden Objekt und den Kameras 4 zeigt, während 6(b) ein ähnliches Diagramm darstellt, in der eine bipolare Linie EL als eine Hilfslinie eingefügt ist. 7 ist ein erläuterndes Diagramm zum Erläutern, wie das Prinzip der Abstandsmessung, das für den zweidimensionalen Raum erläutert wurde, auf den dreidimensionalen Raum in Relation auf die Größenmessvorrichtung 1 entsprechend der Ausführungsform der vorliegenden Erfindung erweitert werden kann.
Im folgenden wird unter Bezug auf 6(a) und 6(b) eine Beschreibung des Prinzips der dreidimensionalen Abstandsmessung und des Prozesses zum Erhalten der räumlichen Koordinaten (Xp, Yp, Zp) des Punktes von Interesse P vorgenommen. Es ist zu bemerken, dass das Koordinatensystem, das in den 6(a) und 6(b) verwendet wird, das gleiche ist, das auch in 1, 3 usw. verwendet wird.
In 6(a) ist der Punkt von Interesse, P in jedem der Bildaufnahmebereiche der linken Kamera 4L und der rechten Kamera 4R enthalten, wobei allerdings der Punkt von Interesse P von der optischen Achse CAxL der linken Kamera 4L und der optischen Achse CAxR der rechten Kamera 4R nach rechts in der x-Richtung in der Zeichnung versetzt ist. Als ein Ergebnis davon ist mit Bezug auf den Schnittpunkt 20c zwischen jeder optischen Achse und der entsprechenden Bildaufnahmevorrichtung 20 der Punkt von Interesse P nach links in der x-Richtung um xL in der linken Kamera 4L und um xR in der rechten Kamera 4R auf der Bildaufnahmefläche einer jeden Bildaufnahmevorrichtung 20 versetzt.
Wie in 6(b) gezeigt, ist eine Linie EL, die durch den Mittelpunkt des optischen Aufnahmesystems 21 der rechten Kamera 4R verläuft, als eine Hilfslinie hinzugefügt. Es ist hier zu bemerken, dass die Linie EL durch Projizieren einer Linie BL, die das Bildaufnahmeoptiksystem 21 der linken Kamera 4L mit dem Punkt von Interesse P verbindet, zu der rechten Kamera 4R gebildet wird, und dass damit die Linie BL und die Linie EL parallel zueinander sind. In einer derartigen Zeichnung sind ein Dreieck Oαβ und ein Dreieck Ovξ, die auf der Seite der rechten Kamera 4R gebildet sind, ähnlich zueinander. Wenn das Bild, das von der rechten Kamera 4R aufgenommen wird, als ein Basisbild bezeichnet wird, und das Bild, das von der linken Kamera 4L aufgenommen wird, als ein Referenzbild angenommen wird, ist der Punkt xR im Basisbild (ein Maß des Versatzes von der optischen Achse CAxR in der x-Richtung) zu dem Punkt xL (ein Maß des Versatzes von der optischen Achse CAxL in der x-Richtung) im Referenzbild bewegt und daher ein Maß der Bewegung in x-Achsenrichtung |xL – xR| als eine Parallaxe δx im Basisbild definiert, wobei δx = |xL – xR|. Wenn die Fokuslänge des Objektivs durch f dargestellt wird, wird der Abstand (Basislinienlänge) zwischen den optischen Achsen der zwei Kameras 4 durch B dargestellt und der Abstand (Tiefe) Zp kann wie folgt berechnet werden: Zp = f × (B/δx) (Gleichung 1)
Mit Bezug auf 6(a) und 6(b), die die linke Kamera 4L und die rechte Kamera 4R von oben (in der y-Achsenrichtung) betrachten, wurde das Prinzip der dreidimensionalen Abstandsmessung hinsichtlich der Parallaxe erläutert, die in der x-Richtung verursacht wird (in der Richtung der Basislinienlänge B). Wie jedoch in 7 gezeigt, sind die tatsächlichen Bildaufnahmevorrichtungen 20 im dreidimensionalen Raum positioniert und der Punkt von Interesse P wird auf einen bestimmten Pixel projiziert, der in der Bildaufnahmefläche (x'y'-Ebene) jeder Bildaufnahmevorrichtung 20 angeordnet ist. Diese x'y'-Ebene ist die Bildaufnahmefläche einer jeden Bildaufnahmevorrichtung 20 und, wie auf 6b) usw. zu verstehen ist, im wesentlichen das gleiche wie das zuvor erwähnte xyz-Koordinatensystem. Daher wird der Punkt von Interesse P auf eine Koordinate (xL, yL) in der Bildaufnahmevorrichtung 20 und in eine Koordinate (xR, yR) in der Bildaufnahmevorrichtung 20 der rechten Kamera 4R projiziert, wobei die konkreten Koordinaten Werte auf Basis der Bilder erhalten werden, die von den Kameras 4 ausgegeben werden.
Sobald der Abstand Zp auf Basis von Gleichung 1 erhalten wurde, können dann die Koordinatenwerte Yp, Zp des Punkts von Interesse P unter Verwendung der Koordinate (xR, yR) des Punkts von Interesse erhalten werden, der in dem Basisbild beobachtet wird (d. h. dem Bild, das von der rechten Kamera 4R aufgenommen wird), wie es in 2 gezeigt ist: (Xp, Yp, Zp) = ((Zp/f)xR, (Zp/f)yR, (B × f)/δx) = (B/δx)(xR, yR, f) (Gleichung 2).
Wie vorangehend beschrieben umfasst die Größenmessvorrichtung 1 die zwei Kameras 4 und die Positionen der linken Kamera 4L und der rechten Kamera 4R in der Größenmessvorrichtung 1 sind durch Auslegung eindeutig bestimmt. Namentlich ist der Abstand zwischen den optischen Achsen mit der linken Kamera 4L und der rechten Kamera 4R (Basislinienlänge B) ein fixierter Wert, der durch Auslegung bestimmt ist, und die Fokuslänge des Bildaufnahmeoptiksystems 21, das an jeder der linken und rechten Kameras 4 angebracht ist, ist ebenso ein fixierter Wert. Daher, wenn der gleiche Merkmalspunkt aus Bildern extrahiert werden kann, wie jeweilig durch die linke Kamera 4L und die rechte Kamera 4R aufgenommen wurden, nämlich von den Ausgaben der linken und rechten Bildaufnahmevorrichtungen, ergibt die Differenz im Koordinatenwert des Merkmalspunkts zwischen dem linken und rechten Bild die Parallaxe δx. Auf diese Weise, wenn die Basislinienlänge B, die Fokuslänge f und die Parallaxe δx erhalten werden, kann der Abstand Zp von den Kameras 4 (Kameras, die als Referenz dienen) zum Punkt von Interesse berechnet werden.
Wie zuvor beschrieben werden in der vorliegenden Ausführungsform, unter der Annahme der Entfernung zwischen den Kameras 4 und dem aufzunehmenden Objekt (dem Paket Ob), wenn sich die Größenmessvorrichtung 1 tatsächlich in Benutzung befindet, werden die Umgebungsbereiche A0, A1, A3 und A5 im linken Bild (200L) entsprechend jeweils den Umgebungsbereichen A0R, A1R, A3R und A5R im rechten Bild (200R) gemacht. Im folgenden wir die Beziehung zwischen den Umgebungsbereichen im linken Bild und den Umgebungsbereichen im rechten Bild quantitativ erläutert werden.
Bei den Kameras 4L, 4R, die in der vorliegenden Ausführungsform verwendet werden, sind die Basislinienlänge B und die Fokuslänge f fixierte Werte, und daher kann, wenn ein Ausmaß der Variation von Zp entsprechend dem Bildaufnahmebereich bestimmt ist, ein Bereich (Ausmaß an Variation) der Parallaxe δx bekannt sein. Es kann daher angenommen werden, dass die Knotenpunkte P0, P1, P3 und P5 jeweils innerhalb der Umgebungsbereiche A0R, A1R, A3R und A5R im rechten Bild, die jeweils den zuvor erwähnten Umgebungsbereichen A0, A1, A3 und A5 im linken Bild, das als eine Referenz dient, positioniert sind, und entsprechend kann der Bereich, in dem nach jedem Knotenpunkt gesucht wird (Umgebungsbereich) eingeschränkt werden, und die Prozesslast der folgenden Prozesse, wie beispielsweise Kantenerfassung, kann reduziert werden.
Insbesondere ist bei der vorliegenden Ausführungsform in einem Beispielfall, bei dem die Basislängenlinie B 75 mm beträgt, die Fokuslänge f 6 mm beträgt und die Kameras 4 jeweils eine Bildaufnahmevorrichtung 20 mit einem Pixelabstand von 0,003 mm besitzen, die Parallaxe δx 0,45 mm, wenn der Abstand Zp 1 m beträgt, und 0,225 mm, wenn der Abstand gleich 2 m ist, entsprechend der obigen Gleichung 3. Da der Pixelabstand 0,003 mm beträgt, kann der Bereich der Parallaxe δx ausgedrückt werden als 75 Pixel < δx < 150 Pixel, und auf Basis dieses Bereichs kann der Suchbereich bei der Stereoanpassung als ein enger Bereich definiert werden. Genauer wird die Größe (Durchmesser) des Umgebungsbereichs, der angezeigt wird, wenn der Benutzer einen Punkt im linken Bild durch Berühren bezeichnet, auf 150 Pixel als Pixel des Bildaufnahmesensors eingestellt, und um den entsprechenden Umgebungsbereich im rechten Bild zu definieren, wird der berührte Punkt im linken Bild nach links entlang der x-Achsenrichtung (in einer negativen Richtung, wenn die Richtung, die durch den Pfeil in dem Koordinatensystem, das in 1 gezeigt ist, eine positive Richtung angibt), um (75 + 150)/2 = 112 Pixel versetzt, um die Mittelkoordinate des Umgebungsbereichs grob einzustellen. Auf diese Weise ist es möglich, wenn die berührten Punkte unter Verwendung des linken Bildes eingestellt werden, die Umgebungsbereiche im rechten Bild unter Berücksichtigung der Parallaxe einzustellen. Daher ist es für den Benutzer lediglich nötig, in entweder dem linken oder dem rechten Bild die berührten Punkte einzustellen, um die Paketgröße zu messen.
Im nächsten Schritt ST9 wird die Parallaxe auf Basis der Koordinaten eines jeden Knotens im linken und rechten Bild erhalten. Wie oben beschrieben wurden Justierungen in den Kameras 4L, 4R auf Basis des Ergebnisses einer Kalibrierung vorgenommen, die vor Auslieferung vorgenommen wurde, mit Ausnahme für die x-Achsenversatzrichtung und daher steht die Differenz in der x-Koordinate zwischen den entsprechenden Knotenpunkten P0 und P0R, P1 und P1R, P3 und P3R und P5 und P5R (der linke in einem jeden Knotenpunktpaar wird aus dem linken Bild abgeleitet, während der rechte aus dem rechten Bild abgeleitet wird) direkt für die Parallaxe δx der entsprechenden Knotenpunkte.
In einem Fall, in dem die Parallaxe δx direkt von den Koordinaten von Knotenpunkten berechnet wird, die durch die Kantenbilder erhalten sind, ist jedoch das Berechnungsergebnis ein diskreter Wert, der in Pixeln ausgedrückt wird, da die Kantenerfassung eine Binarisierung umfasst. In einem Fall, in dem die Anzahl von Pixeln im Bildaufnahmesensor ausreichend groß ist und die Parallaxe selbst groß ist (beispielsweise, wenn der Abstand zwischen den Kameras und dem Objekt, das aufzunehmen ist, klein ist), ist der Effekt gering. Wenn dies nicht der Fall ist, ist es jedoch möglich, die Parallaxe δx in Sub-Pixeln zu berechnen, in dem ein Blockanpassungsprozess unter Verwendung der Bilder (natürlich Graustufenbild) in den entsprechenden Umgebungsbereichen im linken Bild und im rechten Bild durchgeführt wird.
In Schritt ST10 wird auf Basis der Parallaxe, die in Schritt ST9 für jeden Knotenpunkt P0, P1, P3, P5 erhalten wurde, die dreidimensionale Koordinate eines jeden Knotenpunktes berechnet. Es ist zu bemerken, dass der Abstand Zp aus der zuvor erwähnten Gleichung 1 erhalten werden kann. Durch ein derartiges Erhalten der dreidimensionalen Koordinaten eines jeden Knotenpunktes P0, P1, P3, P5 ist es möglich, die Länge einer jeden der drei Kanten zu berechnen, die in dem gemeinsamen Knotenpunkt P0 konvergieren (P0 zu P1, P0 zu P3, P0 zu P5) und die Größe des Pakets Ob auf dieser Basis zu erhalten.
Als nächstes wird eine Beschreibung eines Falles gegeben, bei dem im oben beschriebenen Schritt ST6 in 4 bestimmt wurde, dass effektive Kantensegmente in einem der vier Umgebungsbereiche A0, A1, A3 und A5 nicht bestimmt wurden, nämlich einen Abzweigprozess für eine Ausnahmebehandlung unter Bezug auf 9(a). Es ist zu bemerken, wie bereits beschrieben, dass eine Effektivität eines Kantensegments durch Untersuchen der Kontrastdifferenz zwischen dem Kantensegment und seinem Umgebungsbereich usw. bestimmt werden kann.
Im folgenden werden eine Beschreibung eines beispielhaften Falls gegeben, bei dem kein Kantensegment in einigen Umgebungsbereichen erfasst wurde, wie es in 10(a) illustriert ist, wobei insbesondere Kantensegmente in den Umgebungsbereichen A1 und A3 erfasst wurden, aber kein Kantensegment in den Umgebungsbereichen A0 und A5.
Wie oben beschrieben gibt es vier Umgebungsbereiche, die auf Basis der berührten Punkte erzeugt wurden. Wenn angenommen werden kann, dass die Umgebungsbereiche einen gemeinsamen Knotenpunkt, der durch drei Kanten definiert wird, die das Paket bilden, und die Enden der drei Kanten umfassen, die dem Knotenpunkt gegenüberliegen, ist es möglich, die Positionen der Umgebungsbereiche abzuleiten (in diesem Beispiel A2, A4 und A6), die den Knotenpunkten (in diesem Beispiel Knotenpunkte P2, P4 und P6), die tatsächlich nicht durch Berühren bezeichnet wurden, auf Basis der Positionsbeziehung zwischen den Umgebungsbereichen. Dies liegt daran, dass das Paket, das ein Objekt ist, das zu messen ist, im wesentlichen die Form eines rechteckigen Parallelepipeds aufweist.
Insbesondere wird in Schritt ST12 von 9(a), wie in 10(b) gezeigt, ein virtuelles kantenförmiges Objekt BX, das einem rechteckigen Parallelepiped ähnelt und aus Kanten gebildet ist, die jeweils eine Dicke (Breite) entsprechend der Größe (Durchmesser) der Umgebungsbereiche (A0, A1, A3, A5) entsprechend den Y-förmigen drei Kanten (A0 zu A1, A0 zu A3, A0 zu A5), die in dem Umgebungsbereich A0 als einem gemeinsamen Knotenpunkt konvergieren, in den Bildschirm so eingesetzt ist, dass die Ecken des virtuellen kastenförmigen Objekts BX mit den Umgebungsbereichen A1 und A3 zusammenfallen, in denen Kantensegmente E erfasst wurden. Zu diesem Zeitpunkt kann eine Feinjustierung zum Ausrichten der Kantenabschnitte des virtuellen kastenförmigen Objekts BX mit den erfassten Kantensegmenten E als Führung durchgeführt werden. Durch Überlagern des virtuellen kastenförmigen Objekts BX, wie es oben beschrieben wird, werden die Positionen der Umgebungsbereiche A2, A4, A6 bestimmt, die nicht durch Berühren bezeichnet wurden.
Im nächsten Schritt ST13 wird eine Kantenerfassung in jedem der Umgebungsbereiche A2, A4 und A6 entsprechend zu den drei Knotenpunkten außer denen, die den vier Umgebungsbereichen A0, A1, A3 und A5 entsprechen, die in Antwort auf die Bezeichnung unter Verwendung des Stiftes 14 erzeugt wurden, durchgeführt. In einem Fall, in dem ein Bild des Pakets Ob mit dieser Form eines rechteckigen Parallelepipeds aufgenommen wird, so dass das Bild darin einen beliebigen Knotenpunkt (einen Knotenpunkt, der auf die Kameras 4 gerichtet ist) und die drei Kanten, die mit dem Knotenpunkt verbunden sind, zeigt, liegen sieben Knotenpunkte P0 bis P6 in dem Bild vor, wie es 5 gezeigt ist, dass die drei Knotenpunkte P2, P4 und P6 außer denen umfasst, die durch den Benutzer unter Verwendung des Stiftes 14 bezeichnet wurden, und daher können die Knotenpunkte P2, P4 und P6 in den jeweiligen Umgebungsbereichen A2, A4 und A6 des virtuellen kastenförmigen Objekts BX positioniert werden. Wenn ein Erfassen der Kanten (Kantensegmente) zum Erhalten der Knotenpunkte P2, P4 und P6 durchgeführt wird, ist daher eine Bildverarbeitung (Kantenverarbeitung usw.) nur insoweit nötig, als dass sie in den begrenzten Bereichen der Umgebungsbereiche A2, A4 und A6 durchgeführt wird, und es besteht keine Notwendigkeit, Kantenverarbeitung für den gesamten Bildschirm durchzuführen, wodurch die Bildverarbeitungsprozesslast reduziert werden kann.
Im nächsten Schritt ST14, wenn Kantensegmente E in zwei Umgebungsbereichen A2, A4 in Schritt ST13 erfasst wurden, wie es in 10c) beispielsweise gezeigt ist, werden im nächsten Schritt die Kantensegmente E, die in den Umgebungsbereichen A2, A4 erfasst wurden, als effektiv angenommen.
Im nächsten Schritt ST15 wird bestimmt, ob alle Knotenpunkte, die die drei Kanten (Kante x1, Kante y1, Kante z1) bestimmen, die zum Erhalten der Größe des Pakets Ob nötig sind, erfasst wurden. Im dargestellten Beispiel entsprechen die Knotenpunkte P2 und P3 der Kante x1, die Knotenpunkte P3 und P4 der Kante y1 und die Knotenpunkte P1 und P2 der Kante z1, so dass alle Knotenpunkte P1 bis P4, die eine Extraktion der Kanten x1, y1, z1 ermöglichen, die zum Erhalten der Größe des Pakets Ob nötig ist, erhalten wurden. In diesem Schritt schreitet der Ablauf zu Schritt ST8 (ja in Schritt ST15) fort.
In Schritt ST8 und den folgenden Schritten werden die Prozesse, die mit Bezug auf 4 beschrieben wurden, um die Größe des Pakets Ob zu messen. In einem Fall, in dem in Schritt ST15 bestimmt wurde, dass nicht alle notwendigen Knotenpunkte erhalten wurden (nein in Schritt ST15), kann die Größe des Pakets Ob nicht gemessen werden, und daher schreitet der Ablauf zu Schritt ST16 fort, wo beispielsweise eine Fehlermeldung auf der Anzeigeeinheit 7 angezeigt wird und der Ablauf wird beendet.
Wie oben beschrieben leitet in der Ausnahmebehandlung, die im Ablauf von 9(a) gezeigt ist, wenn die Knotenposition in einem der vier Umgebungsbereiche (A0, A1, A3 und A5 in der vorliegenden Ausführungsform) nicht erfasst wurde, die Bildbearbeitungseinheit (siehe 2) aus der Positionsbeziehung zwischen den vier Umgebungsbereichen andere Umgebungsbereiche (A2, A3 und A6 in der vorliegenden Ausführungsform) ab, die Knotenpunktpositionen einschließen, die nicht durch den Benutzer bezeichnet wurden, und erhält die Knotenpunktpositionen in den abgeleiteten Umgebungsbereichen.
Als nächstes wird mit Bezug auf 9(b) eine Beschreibung eines anderen Beispiels des Abzweigungsprozesses gegeben, der durchgeführt wird, im Fall, dass in dem zuvor erwähnten Schritt ST6 in 4 bestimmt wurde, dass effektive Kantensegmente in einem der vier Umgebungsbereiche A0, A1, A3 und A5 nicht bestimmt wurden.
In Schritt ST17 von 9(b), wie es in 11(a) gezeigt ist, werden hinsichtlich der vier Umgebungsbereiche A0, A1, A3 und A5, die den Positionen entsprechen, die durch den Stift 14 als große Knotenpunkte bestimmt wurden, Räume X1, Y1 und Z1 (im folgenden als Kantenbereiche bezeichnet) eingestellt, die den Umgebungsbereich A0, der den gemeinsamen Knotenpunkt einschließt, mit den Bereichen A1, A3 und A5 verbinden, wobei jeder Raum eine Breite aufweist, die der Größe des Umgebungsbereichs A0, A1, A3, A5 (Durchmesser, wenn der Umgebungsbereich kreisförmig ist) entspricht. Da jeder Umgebungsbereich einen Bereich aufweist, weist auch jeder Kantenbereich, der die Umgebungsbereiche verbindet, einen Bereich auf. Vorausgesetzt, dass jeder Umgebungsbereich einen Knotenpunkt aufweist, ist es höchst wahrscheinlich, dass eine Kante, die die zwei Knotenpunkte verbindet, in jedem Kantenbereich enthalten ist. Daher wird Kantenerfassung in jedem Kantenbereich X1, Y1, Z1 durchgeführt, um eine Kante zwischen den Knotenpunkten zu extrahieren, nämlich eine Gleichung eines Liniensegments.
Während die Erfassung eines Knotenpunktes in dem Umgebungsbereich A0 (A1, A3, A5) die Erfassung eines Punktes ist, ist in diesem Fall die Erfassung einer Kante im Kantenbereich X1 (Y1, Z1) eine Erfassung einer Linie. Die Genauigkeit der Erfassung eines Knotenpunktes, der theoretisch ein Punkt ist, hängt stark von einer lokalen Bedingung ab. Im Kontrast dazu, im Fall einer Kante, die theoretisch eine Linie ist, ist es möglich, auch wenn Abschnitte mit einer schlechten Bildaufnahmebedingung vorliegen, das Ganze durch Verbinden der Kantensegmente abzuleiten, die als effektiv bestimmt sind, und dadurch kann Kantenerfassung mit einer hohen Wahrscheinlichkeit durchgeführt werden, so dass auch unter Umständen, in denen die Beleuchtungsbedingung schlecht ist, die Frequenz von Fehlern infolge eines Erfassungsversagens reduziert werden.
Im nächsten Schritt ST18 wird, in der gleichen Weise wie im zuvor erwähnten Schritt ST12, ein virtuelles kastenförmiges Objekt BX, das einem rechteckigen Parallelepiped ähnelt und aus Kanten gebildet ist, die eine Dicke entsprechend der Größe der Umgebungsbereiche (beispielsweise A0) aufweist, in den Bildschirm entsprechend den Kantensegmenten Ex1, Ey1 und Ez1 eingestellt, die jeweils in den Kantenbereichen X1, Y1 und Z1 erfasst wurden, wie es in 11(b) (12(a)) gezeigt ist.
Das Konzept des Einstellens von Kantenbereichen und des Durchführens der Suche lediglich in den Kantenbereichen ist signifikant zum effizienten Extrahieren der Kanten, die die Knotenpunkte verbinden. Andererseits, in einem Fall, bei dem aus den vier Knotenpunkten, die für eine Größenmessung notwendig sind, lediglich einer der Knotenpunkte außer dem gemeinsamen Knotenpunt nicht erfasst wurde, ist es theoretisch lediglich nötig, nur zwei Kanten zu extrahieren, die mit diesem Knotenpunkt verbunden sind und daher können die Prozesse in Schritt ST18 (Positionsjustierung des virtuellen kastenförmigen Objekts BX) und Schritt ST19 (Kantenerfassung in dem virtuellen kastenförmigen Objekt BX), die weiter unten beschrieben werden, ausgelassen werden. Aus dem gleichen Grund kann auch der zuvor erwähnte Schritt ST12 in 9(a) ausgelassen werden.
Da es der Zweck der Kantenerfassung ist, wenigstens zwei Liniensegmente zu extrahieren, die aus Kantensegmenten gebildet sind, und eine Knotenpunktkoordinate des Pakets Ob vom Schnittpunkt (oder Punkt des kleinsten Abstandes) zwischen den zwei Liniensegmenten zu erhalten, sind ferner wenigstens drei Umgebungsbereiche mit Kantenbereichen dazwischen (zueinander benachbarte Umgebungsbereiche) notwendig.
Im nächsten Schritt ST19, wie in 12(a) gezeigt, wird beispielsweise Kantenerfassung in jedem der Kantenbereiche durchgeführt, der zu den Kanten des virtuellen kastenförmigen Objekts BX korrespondiert, das in Schritt ST18 eingestellt ist. In diesem Fall muss die Bildverarbeitung (Kantenverarbeitung und so weiter) lediglich in begrenzten engen Bereichen durchgeführt werden und daher kann die Verarbeitungslast der Kantenerfassung reduziert werden.
Im nächsten Schritt ST20 werden die Liniensegmente, die in den Kantenbereichen des virtuellen kastenförmigen Objekts BX durch die Kantenerfassung extrahiert wurden, ausgedehnt und jeder Schnittpunkt zwischen den Ausdehnungslinien wird als ein Knotenpunkt bestimmt (in der folgenden Beschreibung werden ohne Unterscheidung die Liniensegmente und die Erstreckungslinien als Kantensegmente bezeichnet). Der Schnittpunkt wird derart betrachtet, dass er die Knotenpunktposition in jedem Umgebungsbereich angibt, in dem die Knotenpunktposition nicht in dem Ablauf von 4 erfasst wurde. Im Ablauf, der in 9(b) gezeigt ist, werden nämlich Umgebungsbereiche (Gebietsinformation), die die berührten Punkte (Punktinformation) umgeben, erhalten, Kanten (Linieninformation, nämlich Gleichungen von geraden Linien im Raum) werden aus den Kantenbereichen extrahiert, die die Umgebungsbereiche verbinden und die Koordinate eines Knotenpunkts oder von Knotenpunkten (Punktinformation) wird durch Bestimmen des Schnittpunkts zwischen zwei geraden Linien berechnet.
In beispielsweise einem Fall in dem Kantensegmente Ex2, Ex3, Ey2, Ey3, Ez2 und Ez3 erfasst wurden, wie es in 12(a) gezeigt ist, wird jedes der Kantensegmente Ex2, Ex3, Ey2, Ey3, Ez2 und Ez3 in den Kantenbereichen des virtuellen kastenförmigen Objekts BX ausgedehnt, wie es durch Linien mit zwei kurzen und einem langen – in 12(b) angegeben ist, so dass Schnittpunkte zwischen den Kantensegmenten Ex2, Ex3, Ey2, Ey3, Ez2 und Ez3 und ihren Ausdehnungslinien als Knotenpunkte P1 bis P6 bestimmt werden. Dann schreitet der Ablauf zu Schritt ST15 fort.
Wenn die Kantensegmente Ex2, Ex3, Ey2, Ey3, Ez2 und Ez3 derart infolge von schlechten Bildaufnahmebedingungen erfasst werden, dass sie in einer verzerrten Beziehung zueinander stehen, wird in diesem Fall kein Schnittpunkt zwischen den Kantensegmenten und den Ausdehnungslinien erfasst. In einem solchen Fall kann eine Koordinate (punktkleinsten Abstands) einer Mittelposition zwischen den zwei Kanten in jedem Umgebungsbereich als eine Knotenpunktkoordinate verwendet werden, wo der Abstand zwischen den zwei Kanten am geringsten wird.
In Schritt ST15 wird, wie vorstehend beschrieben, bestimmt, ob die in Schritt ST20 als Knotenpunkte bestimmten Punkte, alle Knotenpunkte vorsehen, die zum Bestimmen der drei Kanten (Kante x1, y1, z1) bestimmen, die zum Messen der Größe des Pakets Ob nötig sind.
Im illustrierten Beispiel sind die Kantensegmente Ex2, Ex3, Ey2, Ey3, Ez2 und Ez3, die den sechs Kanten des virtuellen kastenförmigen Objects BX mit Ausnahme der Y-förmigen drei Kanten an dessen Mittelabschnitt sämtlich erfasst, und in entsprechender Weise werden im Schritt ST19 sechs Knotenpunkte (P1 bis P6) erhalten. In diesem Fall entsprechen ein Segment zwischen den Knotenpunkten P2 und P3 und ein Segment zwischen Knotenpunkten P5 und P6 jeweils der Kante x1, ein Segment zwischen Knotenpunkten P3 und P4 und ein Segment zwischen Knotenpunkten P1 und P6 jeweils der Kante y1 und ein Segment zwischen Knotenpunkten P1 und P2 und ein Segment zwischen Knotenpunkten P4 und P5 jeweils der Kante z1. Es ist zu bemerken, dass es nicht nötig ist, dass sämtliche sechs Knotenpunkte P1 bis P6 bestimmt werden, und es ist ausreichend, wenn die vier Knotenpunkte erhalten werden, die nötig sind, die drei Kanten (Kante x1, Kante y1, Kante z1) zu bestimmen, die zur Messung der Größe des Pakets Ob nötig sind, wie in dem zuvor erwähnten Fall, in dem die Knotenpunkte P1 bis P4 erhalten wurden.
In Schritt ST15 wird bestimmt, dass vier notwendige Knotenpunkte erhalten wurden und der Ablauf schreitet zum Schritt ST18 fort und in Schritt ST18 und den folgenden Schritten werden die Abläufe, die mit Bezug auf 4 beschrieben wurden, durchgeführt, um die Größe des Pakets Ob zu messen.
Wie im Vorstehenden beschrieben ist es bei der vorliegenden Erfindung lediglich nötig, Bereiche einzustellen, die Positionen entsprechen, die durch den Stift 14 bezeichnet sind, und Kantenerfassung und einen Blockanpassungsprozess in den engen Bereichen durchzuführen, die um die bezeichneten Positionen definiert sind, ohne dass es nötig wäre, die Kantenverarbeitung über die Gesamtheit des Bildschirms oder die Gesamtheit des Pakets Ob durchzuführen, wodurch die Bildverarbeitungslast signifikant reduziert werden kann. Dies ermöglicht auch, den Größenmessprozess schneller durchzuführen. Die Größe der Umgebungsbereiche ist unter Berücksichtigung des Fehlerbereichs der Bezeichnung eingestellt, die unter Nutzung des Stiftes 14 durchgeführt wird, und auch wenn kein Kantensegment in einigen Bereichen infolge des Einflusses von Beleuchtung oder Ähnlichem erfasst wird, wird es möglich, durch Einstellen von Kantenbereichen oder einem virtuellen kastenförmigen Objekt BX, während die Umgebungsbereiche als große Knotenpunkte angenommen werden, Kantensegmente entsprechend den jeweiligen Kanten zu erfassen, wodurch die Möglichkeit von einem Versagen der Kantenerfassung minimiert werden kann. Die Positionen, die durch den Stift 14 bezeichnet sind, werden ferner nicht direkt als die Knotenpunkte des Pakets Ob verwendet und statt dessen werden Bereiche in Antwort auf die Bezeichnung eingestellt und die Knotenpunkte werden in verlässlicher Weise auf Basis der Kantensegmente erhalten, die in den eingestellten Bereichen erfasst werden, und die länge der Kanten werden auf dieser Basis berechnet, und es ist daher möglich, die Ungenauigkeit hinsichtlich der Bezeichnung durch Berühren zu entfernen und die Paketgröße mit einer hohen Genauigkeit zu messen.
Ferner ist es nicht notwendig, auf alle Kanten Bezug zu nehmen, um die Knotenpunktkoordinaten zu erhalten. Beispielsweise können Kanten, für die im Prozess der Kantenextraktion bestimmt wurde, dass sie einen höheren Grad der Verlässlichkeit aufweisen, mit einer höheren Priorität verwendet werden. Der Grad der Verlässlichkeit kann hier auf Basis der Länge eines Teils einer Kante berechnet werden, für den Kantenerfassung beispielsweise kontinuierlich durchgeführt wurde. Verglichen mit einem Fall, bei dem eine Kante als separater Teil erfasst wurde, wie dies für das Kantensegment Ex3 in 12(a) gezeigt ist, wird das kontinuierlich erfasste Kantensegment Ex2 mit einem höheren Grad der Verlässlichkeit angenommen. Alternativ ist es ebenso möglich, den Grad der Verlässlichkeit auf Basis der Kontrastinformation eines Teils um ein Kantensegment zu berechnen, das als Teil einer Kante erfasst wurde. Ein Vergleich wird zwischen Verlässlichkeiten von zueinander parallelen Kanten in jeweils X-Achsen-, Y-Achsen- und Z-Achsen-Richtung für die Größenmessung vorgenommen, so dass die Kante mit dem höchsten Verlässlichkeitsgrad verwendet wird. Wenn beispielsweise in der zuvor erwähnten 12(a) das Kantensegment Ex2 den höchsten Verlässlichkeitsgrad zwischen den Kantensegmenten Ex1 bis Ex3 aufweist, die sich in der X-Achsen-Richtung erstrecken, wird das Kantensegment Ex2 als die Kante Ex1 in der X-Achsen-Richtung in der Erfassung von Koordinaten der Knotenpunkte verwendet. Das Gleiche gilt für die Y-Achse und die Z-Achse. Dieser Ansatz nutzt die Tatsache, dass das Objekt, für das Größenmessung durchgeführt wird, ein spezielles Objekt ist, das heißt es ist ein kastenförmiges Paket Ob mit der Form eines rechteckigen Parallelepiped. Wenn nämlich das Paket Ob die Form eines rechteckigen Parallelepiped aufweist, liegen drei parallele Kanten für eine beliebige Kante des Pakets Ob vor (beispielsweise Ex1 bis Ex3) und in der Größenmessung kann irgendeine der drei parallelen Kanten zum Erhalten der Koordinaten der Knotenpunkte verwendet werden, obgleich die Kante mit dem höchsten Grad an Verlässlichkeit vorzugsweise benutzt werden kann. Es ist zu bemerken, dass, wenn eine bestimmte Kante einen hohen Grad der Verlässlichkeit aufweist und die anderen Kanten, die diese Kante schneiden, einen geringen Grad der Verlässlichkeit aufweisen, die Genauigkeit der erfassten Knotenpunktkoordinaten gering sein wird, und daher ist es in tatsächlichen Prozessen vorzuziehen, multiple parallele Kanten entsprechend ihrem Grad an Verlässlichkeit einzuordnen, so dass beim Erhalten der Knotenpunktkoordinaten eine Kante mit einem höheren Rang bevorzugt verwendet wird. Es ist zu bemerken, dass im engeren Sinne ein Teil des Pakets, der weiter von der Kamera entfernt ist, kleiner erscheinen wird. Durch geeignetes Einstellen der Entfernung des Pakets Ob und des Betrachtungswinkels relativ zur Größe des Pakets Ob ist es jedoch möglich, die Form des Pakets annähernd so zu behandeln, als wenn es aus parallelen Kanten gebildet würde. Wie im Vorstehenden beschrieben, extrahiert bei der Ausnahmebehandlung, die im Ablaufdiagramm von 9(b) gezeigt ist, die Bildverarbeitungseinheit 6 (siehe 2) wenn eine Knotenpunktposition nicht in irgendeinem der vier Umgebungsbereiche (A0, A1, A3 und A5 in der illustrierten Ausführungsform) in den Räumen zwischen dem Umgebungsbereich (beispielsweise A0), in dem die Knotenpunktposition nicht erfasst wurde, und wenigstens zwei anderen Umgebungsbereichen (beispielsweise A1 und A3), die dazu benachbart sind (derartige Räume können der Kantenbereich X1 zwischen den Bereichen A0 und A1 und der Kantenbereich Z1 zwischen den Bereichen A0 und A3 beispielsweise sein) wenigsten zwei Kanten (beispielsweise die Kante Ex1 zwischen den Bereichen A0 und A1 und die Kante Ez1 zwischen den Bereichen A0 und A3) und behandelt den Schnittpunkt oder den punktkleinsten Abstand zwischen den extrahierten zwei Kanten als eine Knotenpunktposition in dem Umgebungsbereich (A0), in dem die Knotenpunktposition nicht erfasst wurde, und berechnet dann die Längen der Kanten des Pakets unter Verwendung dieser Knotenpunktposition.
Vorstehende wurde hinsichtlich der dreidimensionalen Abstandsmessung der Ausführungsform eine detaillierte Beschreibung eines sogenannten Stereoverfahrens als ein Beispiel gegeben. Angesichts des Suchens nach Knotenpunkten lediglich im Umgebungsbereich, die in der Nachbarschaft von berührten Punkten eingestellt sind, sollte die vorliegende Erfindung jedoch nicht auf das Stereoverfahren beschränkt sein und kann mit anderen Abstandsmessverfahren kombiniert werden. Als ein derartiges Abstandsmessverfahren sind beispielsweise bekannt: Ein Verfahren des Aufnehmen eines Bildes eines Objekts, das zu messen ist, zusammen mit einem Referenzobjekt, dessen Größe zuvor bekannt ist, und Ableiten der Größe des Objekts, das zu Messen ist, auf Basis der Größe des Referenzobjekts (Referenzlabelverfahren), ein Verfahren des Projizierens eines sinusoidalen Netzmusters, das durch ein optisches Projektionssystem erzeugt wird, während dessen Phase variiert wird und Aufnehmen des Bildes mit einer einzelnen Kamera zu mehreren Zeitpunkten zum Erhalten eines Phasenwerts aus der Änderung in Helligkeit an einem Messpunkt (Sinusoidalmusterpojektionsverfahren); ein Verfahren, das eine Verbesserung des Sinusoidalmusterprojektionsverfahrens ist, bei dem sinusoidale Randmusterlichter, deren Phasen relativ zueinander versetzt sind, auf das zu messende Objekt projiziert werden und ein synthetisierter Phasenwert aus einem Bild mit einem Moire-Muster erhalten wird, Interferenzrandprojektionsverfahren; ein Verfahren des Abtastens/Aufnehmen eines Objekts, das zu messen ist, zu mehreren Zeitpunkten mit linearem Laserlicht und Erhalten des Abstandes zum Messpunkt auf Basis eines Dreiecks, das eindeutig durch die Basislinienlänge, den Abtastwinkel und den Lichteinfallswinkel bestimmt wird (Lichtschnittverfahren) und ein Verfahren des Messens des Zeitablaufs von einer Emission eines Laserpulses auf ein zu messendes Objekt zur Erfassung des reflektierten Lichts und Erhalten des Abstandes zum Objekt, das zu messen ist, auf Basis der Lichtgeschwindigkeit C (TOF).
Durch Durchführen von dreidimensionalen Abstandsmessungen für jeden Abschnitt in einem Bildaufnahmebereich, der in Gitter aufgeteilt ist, unter Verwendung irgendeines der obigen Verfahren, während Knotenpunktkoordinaten des Pakets in einem Bild bezeichnet werden, das im Wesentlichen zum gleichen Zeitpunkt wie die Abstandsmessung aufgenommen wurde, ist es beispielsweise möglich, jede Knotenpunktkoordinate durch Durchführen einer Interpolation unter Verwendung der Gitterschnittkoordinaten zu berechnen. Es ist jedoch zum bemerken, dass in den Abstandsmessverfahren außer dem Stereoverfahren und dem Referenzlabelverfahren die Bezeichnung der Knotenpunktkoordinaten und die tatsächliche Abstandsmessung zu unterschiedlichen Zeiten durchgeführt werden und dass daher angesichts der Messgenauigkeit zu bevorzugen ist, dass das Stereoverfahren oder das Referenzlabelverfahren verwendet werden. Ferner wird angesichts der Vielseitigkeit bevorzugt, das Stereoverfahren zu verwenden, das kein Referenzlabel benötigt.
Vorstehend wurde die Erfindung hinsichtlich bevorzugter Ausführungsformen beschrieben. Wie jedoch sofort durch einen Fachmann erkannt wird, ist die vorliegende Erfindung nicht auf diese Ausführungsformen beschränkt und kann ohne Abweichung vom Geist der vorliegenden Erfindung angepasst werden. Obwohl die obige Beschreibung als ein Beispiel gegeben wurde, in dem das Objekt, das aufzunehmen ist, ein Paket ist, und vier Merkmalspunkte erhalten wurden, kann die vorliegende Erfindung natürlich auch in einem Fall verwendet werden, bei dem der Benutzer den Abstand zwischen zwei beliebigen Punkten des Objekts bestimmt. Ferner sind nicht alle strukturellen Elemente, die in den obigen Ausführungsformen gezeigt sind, notwendigerweise unverzichtbar und sie können selektiv eingesetzt werden, wie es angemessen ist, ohne vom Geist der vorliegenden Erfindung abzuweichen.
Gewerbliche Anwendbarkeit
Die Größenmessvorrichtung entsprechend der vorliegenden Erfindung ist dazu in der Lage, die Paketgröße genau mit einer einfachen Struktur zu messen und kann daher vorzugsweise in einem handgehaltenen Endgerät oder Ähnlichem verwendet werden, das zur Logistikverwaltung im Transportgeschäft oder Ähnlichem verwendet wird.
Bezugszeichenliste

1: Größenmessvorrichtung
4: Kamera
6: Bildverarbeitungseinheit
7: Anzeigeeinheit
7a: Tastfeld
9: Gesamtsteuereinheit
10: Eingabeeinheit
12: Größenmessendgerät
13: Steuervorrichtung
20: Bildaufnahmesensor
21: Bildaufnahmeoptiksystem
Ob: Paket

Claims

Größenmessvorrichtung zum Messen einer Größe eines Objekts aus einem aufgenommenen Bild des Objekts, wobei die Vorrichtung umfasst: eine Bildaufnahmeeinheit, die ein Bild eines Objekts aufnimmt, eine Anzeigeeinheit, die Bilddaten anzeigt, die durch die Bildaufnahmeeinheit aufgenommen wurden, eine Eingabeeinheit zum Eingeben von Instruktionen eines Benutzers, eine Bereichseinstelleinheit, die, wenn Positionen mit der Eingabeeinheit in den Bilddaten bezeichnet sind, die auf der Anzeigeeinheit angezeigt werden, Umgebungsbereiche einstellt, die die jeweiligen bezeichneten Positionen einschließen und eine Merkmalspunktbestimmungseinheit, die in den Umgebungsbereichen, die durch die Bereichseinstelleinheit eingestellt sind, Merkmalspunkte bestimmt, die Koordinaten des zu messenden Objekts angeben.
Größenmessvorrichtung nach Anspruch 1, ferner mit einer Messeinheit, die, wenn die Merkmalspunkte in wenigstens zwei Umgebungsbereichen bestimmt sind, einen Abstand zwischen den zwei Merkmalspunkten auf Basis der aufgenommenen Bilddaten berechnet.
Größenmessvorrichtung nach Anspruch 1, wobei die Umgebungsbereiche, die durch die Bereichseinstelleinheit eingestellt sind, auf der Anzeigeeinheit angezeigt werden.
Größenmessvorrichtung nach Anspruch 1, wobei jeder Umgebungsbereich, der durch die Bereichseinstelleinheit eingestellt wird, kreisförmig ist.
Größenmessvorrichtung nach Anspruch 1, wobei jeder Umgebungsbereich, der durch die Bereichseinstelleinheit eingestellt wird, rechteckig ist.
Größenmessvorrichtung nach Anspruch 1, wobei die Bildaufnahmeeinheit eine erste Kamera und eine zweite Kamera aufweist, die so positioniert sind, dass sie voneinander um einen vorbestimmten Abstand beabstandet sind, um simultan Bilder des Objekts von unterschiedlichen Positionen aufzunehmen, und wobei die Messeinheit den Abstand zwischen den Merkmalspunkten durch Durchführen einer arithmetischen Verarbeitung auf Basis von Informationen hinsichtlich einer Parallaxe zwischen der ersten und zweiten Kamera berechnet.
Größenmessvorrichtung nach Anspruch 1, wobei die Eingabeeinheit und die Ausgabeeinheit durch ein Bildschirm-Tastfeld gebildet werden.
Größenmessvorrichtung nach Anspruch 1, wobei die Bildaufnahmeeinheit Bilder eines Pakets mit einer Form eines rechteckigen Parallelepipeds als Objekt aufnimmt, und wenn vier Punkte einschließlich eines Knotenpunktes, an dem drei Kanten des Pakets konvergieren, und der Endpunkte der drei Kanten, die zu dem Knotenpunkt konvergieren, die dem Knoten gegenüberliegen, durch die Eingabeeinheit als zu messende Punkte für das Bild, das auf der Anzeigeeinheit angezeigt wird, bezeichnet sind, die Bereichseinstelleinheit die Umgebungsbereiche für die jeweiligen vier Punkte einstellt und die Merkmalspunktbestimmungseinheit einen Merkmalspunkt in jedem Umgebungsbereich bestimmt.
Größenmessvorrichtung nach Anspruch 8, ferner mit einer Messeinheit, die, wenn die vier Merkmalspunkte bestimmt wurden, Längen von Kanten des Pakets auf Basis der Position der vier Merkmalspunkte berechnet.
Größenmessvorrichtung nach Anspruch 8, wobei in einem Fall, in dem ein Merkmalspunkt nicht in einem der vier Umgebungsbereiche erfasst wurde, die für die bezeichneten Positionen der vier Punkte eingestellt wurden, die Bereichseinstelleinheit auf Basis von Positionsbeziehungen zwischen den vier Umgebungsbereichen weitere Umgebungsbereiche ableitet, deren Positionen nicht durch den Benutzer bezeichnet wurden, und die Merkmalspunktbestimmungseinheit die Merkmale in den abgeleiteten Umgebungsbereichen erhält.
Größenmessvorrichtung nach Anspruch 8, wobei in einem Fall, bei dem ein Merkmalspunkt nicht in einem der vier Umgebungsbereiche erfasst wurde, die Merkmalspunktbestimmungseinheit wenigstens zwei Kanten in Räumen zwischen dem Umgebungsbereich, in dem der Merkmalspunkt nicht erfasst wurde, und wenigstens zwei anderen Umgebungsbereichen benachbart dazu extrahiert, und einen Schnittpunkt oder einen Punkt kleinsten Abstands zwischen den extrahierten zwei Kanten als einen Merkmalspunkt entsprechend dem Umgebungsbereich betrachtet, in dem ein Merkmalspunkt nicht erfasst wurde.
Größenmessverfahren zum Messen einer Größe eines Objekts aus einem aufgenommenen Bild des Objekts, wobei das Verfahren umfasst: Aufnehmen eines Bildes des Objekts, Anzeigen aufgenommener Bilddaten, Eingeben von Instruktionen eines Benutzers, Einstellen, wenn mit den Instruktionen des Benutzers Positionen in den angezeigten Bilddaten bezeichnet sind, von Umgebungsbereichen einschließlich der jeweiligen bezeichneten Positionen und Bestimmen von Merkmalspunkten in den Umgebungsbereichen, die Koordinaten des zu messenden Objekts angeben.