DE19512575A1 - Verfahren und Vorrichtung zum Erkennen von Gegenständen - Google Patents

Verfahren und Vorrichtung zum Erkennen von Gegenständen

Info

Publication number
DE19512575A1
DE19512575A1 DE19512575A DE19512575A DE19512575A1 DE 19512575 A1 DE19512575 A1 DE 19512575A1 DE 19512575 A DE19512575 A DE 19512575A DE 19512575 A DE19512575 A DE 19512575A DE 19512575 A1 DE19512575 A1 DE 19512575A1
Authority
DE
Germany
Prior art keywords
objects
image sensor
image
determined
geometric elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE19512575A
Other languages
English (en)
Inventor
Klaus Dr Hesse
Michael Dr Haeusing
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bodenseewerk Geratetechnik GmbH
Original Assignee
Bodenseewerk Geratetechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bodenseewerk Geratetechnik GmbH filed Critical Bodenseewerk Geratetechnik GmbH
Priority to DE19512575A priority Critical patent/DE19512575A1/de
Publication of DE19512575A1 publication Critical patent/DE19512575A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

Technisches Gebiet
Die Erfindung betrifft ein Verfahren zum Erkennen von Gegenständen. Die Erfindung betrifft weiterhin eine nach diesem Verfahren arbeitende Vorrichtung zum Erkennen und Handhaben von Gegenständen.
Stand der Technik
Ein einzelner Bildsensor (eine elektro-optische Kamera) liefert von einer dreidimensionalen Szene nur ein zweidimensionales Bild. Es bietet Probleme, nach einem solchen zweidimensionalen Bild Gegenstände zu erkennen.
Es ist bekannt, aus zweidimensionalen Bildern durch Bildverarbeitung z. B. mit dem "Sobel-Operator" Kanten zu extrahieren. Man versucht, das so erhaltenen Strichmuster mit bestimmten Modellen von zu erkennenden, räumlichen Gegenständen in Übereinstimmung zu bringen. Dabei wird versucht, ausgehend von besonders markanten Linien im Bild (einem "Keim") weitere Linien in dem Bild zu finden, die zu der Beschreibung eines vermuteten Modells passen. Das wird fortgesetzt, bis durch die weiteren in dem Bild in der Umgebung des Keims tatsächlich vorhandenen Linien, die eine oder andere Vermutung bestätigt oder widerlegt wird. Das ist in den Arbeiten von Koch, Bader und Hinding "A Study of an Integrated Image and Inertial Sensor System" in AGARD Conference Proceedings No. 474 (1990) und von Hanson und Riseman "Segmentation of Natural Scenes" in "Computer Vision Systems", New York 1978, pp 129-163 beschrieben. Dabei wird die Anzahl der möglichen Kombinationen von Linien schnell sehr groß. Diese "kombinatorische Explosion" ist sehr schwer zu beherrschen.
Die Zuordnung der dreidimensionalen Modelle zu den zweidimensionalen Bildinhalten, die nur eine Projektion der dreidimensionalen Welt auf eine Bildebene darstellen, ist sehr schwierig. Es ergeben sich Mehrdeutigkeiten, d. h. man kann die erhaltenen Kanten-Linien zu verschiedenen Modellen zusammensetzen. Das ist z. B. in folgenden Arbeiten geschildert: Brooks "Symbolic Reasoning Among 3-D Models and 2-D Images" in "Artificial Inteligence Journal", 17 (1981), 285-348; Kanade "Representation and Control in Vision" in NATO ASI Series Bd. F4, Pictorial Data Analysis, Springer Verlag 1983; Herman und Kanade "The 3D Mosaic Scene Understanding System" in A.P.Pentland (Herausg.) "From Pixels to Predicates" Kapitel 14, Ablex Publishing Corporation, Norwood, NJ und Horaud und Bolles "3 DPO: A System for Matching 3D Objects in Range Data" IEEE 1984 Conference on Robotics.
Man könnte versuchen, ein dreidimensionales Objekt durch zwei Kameras aufzunehmen. Das wäre das Verfahren, das bei der Herstellung von visuell zu betrachtenden Stereobildern angewandt wird. Bei einer Auswertung der Bildinhalte durch Bildverarbeitung müssen die zu jeweils einem Objektpunkt in den beiden Bildern gehörigen Bildpunkte einander zugeordnet werden. Diese Zuordnung ist schwierig. Durch unterschiedliche Verzeichnung der beiden Objektive der Bildsensoren kann dies Zuordnung weiter erschwert werden.
Aus diesem Grund ist es durch die DE-A-34 12 533 bekannt, für die dreidimensionale Szenenerfassung einen einzigen Bildsensor stetig relativ zu dem Gegenstand längs einer definierten Bahn aus einer ersten Aufnahmeposition in eine zweite Aufnahmeposition zu bewegen. Dabei erfaßt die Kamera auch Zwischenbilder, die zwischen den beiden Endstellungen, den Aufnahmepositionen aufgenommen werden. Mit Hilfe dieser Zwischenbilder kann der Weg der Bildpunkte, die zu den einzelnen Objektpunkten gehören, von dem Bild in der einen Aufnahmeposition zu dem Bild in der anderen Aufnahmeposition verfolgt werden. Zu diesem Zweck werden Bildpunkten in kontrastreichen Bildteilen "Mikromuster" von z. B. 3 × 3 oder 5 × 5 Pixeln zugeordnet. Die Verschiebung dieses Mikromusters wird von einem Zwischenbild zum nächsten durch ein Korrelations-Verfahren bestimmt, indem das Mikromuster des einen Bildes gegenüber dem anderen Bild schrittweise verschoben wird, bis eine Korrelationsfunktion, z. B. die Summe der Beträge der Helligkeitsdifferenzen, des Mikromusters des einen Bildes gegenüber dem anderen Bild ein Minimum hat. Dadurch ist es möglich, Punkten des in der einen Aufnahmeposition erhaltenen Bildes korrespondierende Punkte in dem der anderen Aufnahmeposition erhaltenen Bildes zuzuordnen. Aus der Verschiebung der Punkte gegeneinander kann durch Triangulation die Entfernung des jeweils zugehörigen Objektpunktes berechnet und damit eine dreidimensionale Darstellung des Objektes erhalten werden.
Auch hierbei ist es schwierig, das so berechnete Relief einem Modell, d. h. einem bestimmten, bekannten Gegenstand zuzuordnen und damit den Gegenstand zu "erkennen".
Darstellung der Erfindung
Der Erfindung liegt die Aufgabe zugrunde, das Erkennen von Gegenständen durch Vergleich mit dreidimensionalen Modellen zu erleichtern.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren gelöst, mit den Verfahrensschritten:
  • (a) Fördern der zu erkennenden Gegenstände mit bekannter Geschwindigkeit auf Transportmitteln,
  • (b) Beobachten der bewegten Gegenstände mittels eines einzigen, feststehenden, ein Gesichtsfeld erfassenden Bildsensors, wobei
    • - aus den von dem Bildsensor erfaßten Bildern der Gegenstände durch Bildverarbeitung geometrische Elemente des jeweils beobachteten Gegenstandes bestimmt werden,
    • - aus der quasi-stetigen Verfolgung von kontrastreichen, im Bild des Gegenstandes erscheinenden Mikromustern auf ihrer Bahn durch das Gesichtsfeld des Bildsensors einander zugeordnete Punkte zweier Einzelbilder bestimmt werden, die unterschiedlichen Lagen des Gegenstandes relativ zu dem Bildsensor entsprechen,
    • - durch Triangulation aus solchen einander zugeordneten Punkten dieser Einzelbilder die räumliche Lage von auf den geometrischen Elemente liegenden Objektpunkten und daraus die Lage der Elemente im Raum bestimmt wird, und
  • (c) zum Erkennen des Gegenstandes die so bestimmten räumlichen Lagen der geometrischen Elemente des Gegenstandes mit einer auf entsprechenden geometrischen Elementen beruhenden Modellbeschreibung zu erkennender Typen von Gegenständen verglichen werden.
Nach der Erfindung beruht die Erkennung eines Gegenstandes auf dem Vergleich einfach zu beschreibender geometrischer Elemente wie Kanten und Flächen mit den entsprechenden geometrischen Elementen eines Modells. Damit ist die Beschreibung des zu erkennenden Gegenstandes auf eine beherrschbare Anzahl von Merkmalen reduziert. Das ist günstiger als wenn der zu erkennende Gegenstand nur Punkt für Punkt als "Relief" definiert wäre, wie das bei der DE- A-34 12 533 der Fall ist. Die Kanten oder Flächen erscheinen jedoch nicht zweidimensional wie bei den oben diskutierten Veröffentlichungen, was die geschilderten Zuordnungs-Probleme ergäbe. Vielmehr wird die Lage der Kanten oder Flächen des Gegenstandes im Raum erfaßt. Es kann daher ein räumlich beschriebenes Modell mit einem ebenfalls räumlich beschriebenen Gegenstand verglichen werden. Die Lage der einfach zu beschreibenden, geometrischen Elemente, z. B. Kanten, im Raum wird wieder durch die Methode der DE-A-34 12 533 gewonnen.
Die beschriebene Bildverarbeitung erleichtert nicht nur einen Vergleich mit einem bekannten, gespeicherten "Modell" des Gegenstandes und damit die Erkennung. Die Bildverarbeitung liefert auch Position und Orientierung des Gegenstandes auf den Transportmitteln, z. B. einem Förderband. Dadurch wird die Handhabung des Gegenstandes durch einen "stromab" von dem Bildsensor angeordneten Roboter erleichtert. Der Roboter "weiß" dann nicht nur, wo der Gegenstand sich auf dem Förderband befindet und wann er in den Arbeitsbereich des Roboters gelangt. Vielmehr "erfährt" der Roboter auch, wie der Gegenstand orientiert ist und wo und unter welchem Winkel der Roboterarm an dem Gegenstand angreifen muß, um ihn sicher zu erfassen.
Eine nach dem geschilderten Verfahren arbeitende Vorrichtung zum Erkennen und Handhaben von Gegenständen enthaltend Transportmittel zum Fördern der zu erkennenden Gegenstände und einen einzigen, feststehenden, ein Gesichtsfeld erfassenden Bildsensor ist dementsprechend gekennzeichnet durch
  • (a) Bildverarbeitungs- und Rechnermittel, durch welche
    • 2- aus den von dem Bildsensor erfaßten Bildern der Gegenstände durch Bildverarbeitung geometrische Elemente des jeweils beobachteten Gegenstandes bestimmt werden,
    • - aus der quasi-stetigen Verfolgung von kontrastreichen, im Bild des Gegenstandes erscheinenden Mikromustern auf ihrer Bahn durch das Gesichtsfeld des Bildsensors einander zugeordnete Punkte zweier Einzelbilder bestimmt werden, die unterschiedlichen Lagen des Gegenstandes relativ zu dem Bildsensor entsprechen,
    • - durch Triangulation aus solchen einander zugeordneten Punkten dieser Einzelbilder die räumliche Lage von auf den geometrischen Elemente liegenden Objektpunkten und daraus die Lage der Elemente im Raum bestimmt wird, und
    • - zum Erkennen des Gegenstandes die so bestimmten räumlichen Lagen der geometrischen Elemente des Gegenstandes mit einer auf Kanten beruhenden Modellbeschreibung zu erkennender Typen von Gegenständen verglichen werden, und
  • (b) Handhabungsmittel, die von den Bildverarbeitungs- und Rechnermitteln gesteuert sind, zur Handhabung der Gegenstände nach Maßgabe des erkannten Typs des Gegenstandes.
Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Ein Ausführungsbeispiel der Erfindung ist nachstehend unter Bezugnahme auf die zugehörigen Zeichnungen näher erläutert.
Kurze Beschreibung der Zeichnungen
Fig. 1 zeigt schematisch eine Vorrichtung zum Erkennen und Handhaben von Gegenständen.
Fig. 2 zeigt ein Flußdiagramm und veranschaulicht die verschiedenen Schritte der Signalverarbeitung.
Fig. 3 ist ebenfalls ein Flußdiagramm und veranschaulicht die Rekonstruktion der Oberfläche des zu erkennenden Gegenstandes durch quasi-stetiges Verfolgen von Mikromustern in Verbindung mit einer Triangulation.
Fig. 4 ist ein Flußdiagramm und veranschaulicht die Erkennung des Gegenstandes anhand von leicht beschreibbaren, geometrischen Elementen.
Bevorzugte Ausführung der Erfindung
In Fig. 1 ist mit 10 ein Bildsensor in Form einer Fernsehkamera bezeichnet. Der Bildsensor 10 ist feststehend über Transportmitteln 12 in Form eines Förderbandes angeordnet. Die Transportmittel 12 fördern Gegenstände mit konstanter, bekannter Geschwindigkeit von links in Fig. 1 nach rechts. "Stromab", d. h. rechts von dem Bildsensor 10 sind zwei Roboter 14 und 16 angeordnet. Jeder der Roboter 14 und 16 ist von einem Roboter-Ansteuerungsrechner 18 bzw. 20 gesteuert. Die Roboter-Ansteuerungsrechner 18 und 20 erhalten Befehle von einem Host-Rechner 22. Der Host- Rechner 22 wirkt mit einem Bildverarbeitungs-Rechner 24 zusammen. Der Bildverarbeitungs-Rechner 24 erhält Bildinformationen von dem Bildsensor 10.
Die beschriebene Anordnung arbeitet in der Weise, daß ein auf den Transportmitteln 12 herangeführter Gegenstand mittels der Kamera 10 und dem. Bildverarbeitungs-Rechner 24 erkannt wird. Zu diesem Zweck gibt der aufgabenspezifisch programmierte Host-Rechner 22 dem Bildverarbeitungs-Rechner 24 gespeicherte, bekannte "Modelle" der verschiedenen Typen von Gegenständen vor, mit denen der reale Gegenstand verglichen werden soll. Der Host-Rechner 22 ist im vorliegenden Fall so programmiert, daß der Roboter 18 Gegenstände eines Typs "1" ergreift und z. B. in einen ersten (nicht dargestellten) Kanal abgibt und der Roboter 20 Gegenstände eines Typs "2" ergreift und in einen zweiten Kanal abgibt. Der Bildsensor 10 mit den Rechnern 24 und 22 "sagen" den Robotern 14 und 16 nicht nur, von welchem Typ ein herangeförderter Gegenstand ist, welcher Roboter also aktiviert werden muß. Der Bildsensor 10 und die Rechner 24 und 22 liefern auch Information darüber, wo sich der Gegenstand auf dem Förderband befindet (Position) und welche Orientierung der Gegenstand dort einnimmt. Die Roboter "wissen" daher jeweils, wo und unter welchem Winkel sie an dem Gegenstand angreifen müssen, um den Gegenstand sicher ergreifen zu können. Es ist schematisch angedeutet, daß auch mehr als zwei Roboter vorgesehen und in der beschriebenen Weise gesteuert werden können.
Fig. 2 zeigt eine Grobeinteilung der verschiedenen Schritte der Signalverarbeitung.
Aus den Signalen des Bildsensors 10 wird die räumliche Gestalt des zu erkennenden Gegenstandes einschließlich der Farben der Oberflächenteile bestimmt. Das ist in Fig. 1 durch Block 26 dargestellt.
Gemäß Block 28 erfolgt danach eine Erkennung des Gegenstandes. Zu diesem Zweck wird die räumliche Gestalt des Gegenstandes mit einem "Modell" aus gespeicherten Beschreibungen verschiedener Modelle, also Typen von Gegenständen, verglichen. Diese Schritte erfolgen in dem Bildverarbeitungs-Rechner 24. Der Host-Rechner 22 liefert die verschiedenen Modelle von zu erkennenden Gegenständen. Block 28 liefert Informationen über den Typ des erkannten Gegenstandes. Block 28 liefert weiterhin Informationen über die Position des Gegenstandes auf den Transportmitteln 12 und über die Orientierung des Gegenstandes im Raum.
Eine weitere Signalverarbeitung verknüpft die Informationen über Position und Orientierung des erkannten Gegenstandes mit Informationen z. B. über die Geschwindigkeit der Transportmittel 12 und leitet daraus Steuersignale für den Roboter 14 ab. Diese Signalverarbeitung ist in Fig. 2 durch einen Block 30 dargestellt. Der Block 30 repräsentiert auch eine Schnittstelle zu einem Bediener der Anlage und nimmt Vorgaben vom Bediener entgegen, beispielsweise: "Suche alle roten, zylinderförmigen Gegenstände !" Diese Funktionen werden von dem Host-Rechner 22 und dem Roboter- Ansteuerungsrechner 18 bzw. 20 wahrgenommen. Der Host- Rechner 22 liefert z. B. einen Befehl: "Greife zum Zeitpunkt t mit der Orientierung Φ des Greifers an den Ort r" Der Roboter-Ansteuerungsrechner 18 oder 20 bewirkt dabei die detaillierte Umsetzung des Befehls von Block 30 in die konkreten Bewegungen der verschiedenen Antriebe des Roboters 14 bzw. 16.
Fig. 3 ist ein Flußdiagramm und veranschaulicht die verschiedenen Schritte der dreidimensionalen Rekonstruktion der Oberfläche des zu erkennenden und zu handhabenden Gegenstandes.
Ein Block 32 stellt die "Startphase" dar. Die Startphase umfaßt alle Sonderschritte vor Erreichen des kontinuierlich laufenden Betriebs. Ein anschließender Block 34 stellt einen "Kontrast-Test" dar. Durch den Kontrast-Test werden in jedem Bild am eingangsseitigen Rand des Gesichtsfeldes des Bildsensors neu hinzugekommene Bildanteile auf hinreichenden Kontrast geprüft. Aus kontrastreichen Bildanteilen werden "Mikromuster" gebildet. "Mikromuster" sind Felder mit 3 × 3 oder 5 × 5 Pixeln um ein zentrales Pixel herum. Wenn diese Mikromuster eine ausreichende Erkennbarkeit und Unterscheidbarkeit besitzen, werden sie als "gültige Mikromuster" bei der Wanderung des Gegenstandes durch das Gesichtsfeld des Bildsensors kontinuierlich verfolgt.
Zu diesem Zweck werden als nächster Schritt die Verschiebungen aller gültigen Mikromuster in dem jeweils neuen Bild gegenüber dem vorhergehenden Bild erfaßt. Zu diesem Zweck werden, wie in der DE-A-34 12 533 beschrieben, die Mikromuster des vorhergehenden Bildes schrittweise verschoben. Nach jedem Schritt wird eine Korrelations- Funktion gebildet. Diese Korrelations-Funktion ist in dem bevorzugten Ausführungsbeispiel die Summe der Absolutbeträge der Differenzen der Helligkeitswerte der Pixel des verschobenen Mikromusters und der Helligkeitswerte der entsprechenden Pixel des neuen Bildes. Bezeichnet xn einen Bildpunkt, ξ die Verschiebung des Mikromusters des vorhergehenden Bildes und Bi bzw. Bj die Helligkeit eines Pixels in dem neuen bzw. dem vorhergehenden Bild, dann ist die Korrelationsfunktion
K(ξ) = Σ|Bi(xn-ξ) - Bj(xn)|.
Summiert wird über alle Bildpunkte eines Mikromusters des vorhergehenden Bildes. Es wird das Minimum dieser Korrelations-Funktion ermittelt. Dieses Minimum liefert einen Verschiebungs-Vektor für das zentrale Pixel des Mikromusters.
Auf diese Weise wird die Verschiebung jedes Mikromusters mit seinem zentralen Pixel von Bild zu Bild während der Bewegung des Gegenstandes durch das Gesichtsfeld des Bildsensors quasi-kontinuierlich verfolgt. Es können dadurch jedem durch ein Mikromuster charakterisierten Objektpunkt in allen Bildern die zugehörigen Bildpunkte eindeutig zugeordnet werden.
Der Bildsensor 10 ist so angeordnet, daß die Richtung der Bildzeilen in dem Pixel-Raster des Bildsensors 10 parallel zu der Bewegungsrichtung der Transportmittel 12 ist. Damit ist sichergestellt, daß die Bildpunkte bei der Bewegung des Gegenstandes durch das Gesichtsfeld des Bildsensors 10 nur in Zeilenrichtung wandern. Die Verschiebung ξ der Mikromuster braucht daher nur eindimensional in Zeilenrichtung zu erfolgen. Das vermindert den Rechenaufwand.
Diese Bestimmung der Mikromuster-Verschiebungen ist in Fig. 3 durch einen Block 36 dargestellt.
Der nächste Schritt ist ein Ähnlichkeitstest. Es wird geprüft, ob das betrachtete Mikromuster noch hinreichende Ähnlichkeit mit dem ursprünglichen Mikromuster hat. Ein Maß hierfür liefert das Minimum der oben angegebenen Korrelationsfunktion. Dieser Ähnlichkeitstest ist in Fig. 3 durch den Block 38 dargestellt.
Ist das Ergebnis des Ähnlichkeitstests positiv ("JA"), dann wird als nächster Schritt geprüft, ob für das betreffende Mikromuster der ausgangsseitige Rand des Gesichtsfeldes des Bildsensors 10 erreicht ist, das Mikromuster also das Gesichtsfeld des Bildsensors 10 verläßt. Das ist in Fig. 3 durch einen Block 40 dargestellt.
Ist der ausgangsseitige Rand des Gesichtsfeldes von dem Mikromuster noch nicht ereicht ("NEIN"), dann wird das Verfahren der Verfolgung des Mikromusters mit dem nächsten Bild fortgesetzt. Das ist in Fig. 3 durch eine Schleife 42 dargestellt.
Wenn der hintere Bildrand erreicht ist ("JA") oder der Ähnlichkeitstest gemäß Block 38 negativ ausfällt ("NEIN") wird das Mikromuster aus der Gruppe der "gültigen Mikromuster", die in der beschriebenen Weise von Bild zu Bild verfolgt werden, herausgenommen. Es wird die von dem Mikromuster durchlaufene Spurlänge von dem eintrittseitigen Gesichtsfeldrand bis zum austrittseitigen Gesichtsfeldrand bzw. zu dem Punkt, in welchem das Mikromuster aus der Gruppe der gültigen Mikromuster herausgenommen wurde, bestimmt. Unter Benutzung dieser Spurlänge als Basis wird durch Triangulation die Entfernung des Objektpunktes von dem Bildsensor 10 bestimmt. Diese Triangulation ist in Fig. 3 durch einen Block 44 dargestellt.
Diese Prozedur wird Bild für Bild mit allen gültigen Mikromustern durchgeführt. Zu jedem Bild werden daher für alle gültigen Mikromuster die Verschiebe-Vektoren gegenüber dem vorhergehenden Bild ermittelt. Nach Durchlauf des Gegenstandes durch das Gesichtsfeld des Bildsensors 10 ist für jedes Pixel eine durch die Triangulation berechnete Entfernung gespeichert. Das liefert eine dreidimensionale Relief-Darstellung des Gegenstandes.
Fig. 4 veranschaulicht die Gegenstands-Erkennung.
Es erfolgt zunächst eine Kanten-Extraktion aus den zweidimensionalen Bildern des Bildsensors 10 mit bekannten Algorithmen, z. B. des Sobel-Operators. Unter Verwendung der gemäß Fig. 3 gewonnenen dreidimensionalen Darstellung des Gegenstandes kann dann eine dreidimensionale Darstellung der Kanten im Raum gewonnen werden. Die Kanten-Extraktion liefert in dem zweidimensionalen Bild Pixel, die auf einer Kante liegen. Das ist eine Linie in dem zweidimensionalen Bild. Unter Verwendung der dreidimensionalen Darstellung kann festgestellt werden, wo die zu diesen Pixeln gehörigen Objektpunkte im Raum liegen. Man erhält so eine räumliche Darstellung der Kanten. Die Beschreibung des Gegenstandes ist dann reduziert auf die Angabe des Verlaufs seiner Kanten im Raum.
Das ist in Fig. 4 durch einen Block 46 dargestellt.
Weiterhin werden leicht beschreibbare Flächenstücke, d. h. ebene Flächen, Zylinderflächen, sphärische Flächen aus der gemäß Fig. 3 gewonnenen dreidimensionalen Darstellung des Gegenstandes extrahiert. Das kann mit einer dreidimensional verallgemeinerten Hough-Transformation geschehen. Es werden dann die Grenzen dieser Flächen zu anderen Flächentypen bestimmt. Es ergibt sich dann eine Beschreibung des Gegenstandes anhand von Flächenanordnungen im Raum. Dabei kann die von dem Bildsensor 10 gelieferte Farbinformation zur Vorsegmentierung herangezogen werden. Damit können die vorstehend beschriebenen Transformationen gezielt auf bestimmte Flächen beschränkt und damit vereinfacht werden.
Diese Flächen-Extraktion ist in Fig. 4 durch einen Block 48 dargestellt.
Durch einen Block 50 ist eine Sammlung von Kanten- und/oder Flächenmodellen aller möglicherweise einmal zu suchenden Gegenstände dargestellt. Die Modelle sind so beschrieben wie die jeweiligen Gegenstände durch die dreidimensionale Kanten- oder Flächen-Extraktion der Blöcke 46 bzw. 48 beschrieben werden. Die "Beschreibungen" sind somit abstrakt und enthalten nur die geometrischen Lagebeziehungen der Kantenstücke, Flächenstücke oder Farben der zu erkennenden Gegenstände. Von einem Suchbefehl-Geber 52 wird ein aktueller Suchbefehl gegeben. Dieser Suchbefehl enthält eine Liste der aktuell zu suchenden Gegenstände.
Ein Block 52 repräsentiert einen Vergleich der Beschreibung des beobachteten, zu erkennenden Gegenstandes mit den durch die Liste vorgegebenen Modellen. Es wird ein Modell aus der Sammlung 50 gesucht, das mit der Beschreibung des beobachteten, zu erkennenden Gegenstandes weitestgehend übereinstimmt. Da die "Beschreibung" die relative Lage von Kanten und/oder Flächen des Gegenstandes angibt, ist dieser Vergleich unabhängig von der zufälligen Orientierung des Gegenstandes auf den Transportmitteln 12. Auch wenn nicht alle Kanten oder Flächen des Gegenstandes von dem Bildsensor erfaßt werden, weil sie verdeckt sind, kann ein zur Identifizierung ausreichender Grad von Übereinstimmung vorliegen.

Claims (7)

1. Verfahren zum Erkennen von Gegenständen mit den Verfahrensschritten:
  • (a) Fördern der zu erkennenden Gegenstände mit bekannter Geschwindigkeit auf Transportmitteln,
  • (b) Beobachten der bewegten Gegenstände mittels eines einzigen, feststehenden, ein Gesichtsfeld erfassenden Bildsensors, wobei
    • - aus den von dem Bildsensor erfaßten Bildern der Gegenstände durch Bildverarbeitung geometrische Elemente des jeweils beobachteten Gegenstandes bestimmt werden,
    • - aus der quasi-stetigen Verfolgung von kontrastreichen, im Bild des Gegenstandes erscheinenden Mikromustern auf ihrer Bahn durch das Gesichtsfeld des Bildsensors einander zugeordnete Punkte zweier Einzelbilder bestimmt werden, die unterschiedlichen Lagen des Gegenstandes relativ zu dem Bildsensor entsprechen,
    • - durch Triangulation aus solchen einander zugeordneten Punkten dieser Einzelbilder die räumliche Lage von auf den geometrischen Elemente liegenden Objektpunkten und daraus die Lage der Elemente im Raum bestimmt wird, und
  • (c) zum Erkennen des Gegenstandes die so bestimmten räumlichen Lagen der geometrischen Elemente des Gegenstandes mit einer auf entsprechenden geometrischen Elementen beruhenden Modellbeschreibung zu erkennender Typen von Gegenständen verglichen werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als geometrische Elemente Kanten der Gegenstände erfaßt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß als geometrische Elemente geometrisch einfach zu beschreibende Flächen der Gegenstände erfaßt werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß aus den geometrischen Elementen und ihrer Lage im Raum die Position und Orientierung der Gegenstände im Raum bestimmt und Roboter zur Handhabung der Gegenstände nach Maßgabe der so gewonnenen Typen-, Positions- und Orientierungs-Informationen gesteuert werden.
5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß zur Charakterisierung von Flächen die von dem Bildsensor gelieferte Farbinformation herangezogen wird.
6. Vorrichtung zum Erkennen und Handhaben von Gegenständen enthaltend Transportmittel zum Fördern der zu erkennenden Gegenstände und einen einzigen, feststehenden, ein Gesichtsfeld erfassenden Bildsensor, gekennzeichnet durch
  • (a) Bildverarbeitungs- und Rechnermittel, durch welche
    • - aus den von dem Bildsensor erfaßten Bildern der Gegenstände durch Bildverarbeitung geometrische Elemente des jeweils beobachteten Gegenstandes bestimmt werden,
    • - aus der quasi-stetigen Verfolgung von kontrastreichen, im Bild des Gegenstandes erscheinenden Mikromustern auf ihrer Bahn durch das Gesichtsfeld des Bildsensors einander zugeordnete Punkte zweier Einzelbilder bestimmt werden, die unterschiedlichen Lagen des Gegenstandes relativ zu dem Bildsensor entsprechen,
    • - durch Triangulation aus solchen einander zugeordneten Punkten dieser Einzelbilder die räumliche Lage von auf den geometrischen Elemente liegenden Objektpunkten und daraus die Lage der Elemente im Raum bestimmt wird, und
    • - zum Erkennen des Gegenstandes die so bestimmten räumlichen Lagen der geometrischen Elemente des Gegenstandes mit einer auf Kanten beruhenden Modellbeschreibung zu erkennender Typen von Gegenständen verglichen werden, und
  • (b) Handhabungsmittel, die von den Bildverarbeitungs- und Rechnermitteln gesteuert sind, zur Handhabung der Gegenstände nach Maßgabe des erkannten Typs des Gegenstandes.
7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß
  • (a) an den Transportmitteln "stromab" von dem Bildsensor ein Roboter zur Handhabung von erkannten Gegenständen angeordnet ist,
  • (b) die Bildverarbeitungs- und Rechnermittel programmiert sind, aus den geometrischen Elementen und ihrer Lage im Raum die Position und Orientierung der Gegenstände im Raum zu bestimmen und
  • (c) der Roboter zur Handhabung der Gegenstände nach Maßgabe der so gewonnenen Typen-, Positions- und Orientierungs-Informationen gesteuert ist.
DE19512575A 1995-04-04 1995-04-04 Verfahren und Vorrichtung zum Erkennen von Gegenständen Withdrawn DE19512575A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19512575A DE19512575A1 (de) 1995-04-04 1995-04-04 Verfahren und Vorrichtung zum Erkennen von Gegenständen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19512575A DE19512575A1 (de) 1995-04-04 1995-04-04 Verfahren und Vorrichtung zum Erkennen von Gegenständen

Publications (1)

Publication Number Publication Date
DE19512575A1 true DE19512575A1 (de) 1996-10-10

Family

ID=7758737

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19512575A Withdrawn DE19512575A1 (de) 1995-04-04 1995-04-04 Verfahren und Vorrichtung zum Erkennen von Gegenständen

Country Status (1)

Country Link
DE (1) DE19512575A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19927251A1 (de) * 1999-06-15 2001-01-25 Siemens Ag Vorrichtung zum Handhaben von Stückgütern
WO2005050334A1 (en) * 2003-11-14 2005-06-02 Siemens Technology-To-Business Center, Llc System and method for programming motion control
WO2008036001A1 (fr) * 2006-09-19 2008-03-27 Obscestvo S Ogranichennoi Otvetstvennostiu 'specializirovannyi Delovoi Centr Po Informacionnoi Bezopasnosti Is Specialnym Tehnicheskim Sredstvam' Procédé pour obtenir une image de développement d'une surface latérale d'un objet déformé ayant une forme proche de la forme cylindrique
DE10162967B4 (de) * 2000-12-25 2013-08-14 Seiko Epson Corp. Verfahren zur Steuerung eines Roboters und dieses Verfahren verwendende Robotersteuerung
DE202014101714U1 (de) 2014-04-10 2015-07-14 Sick Ag Codelesesystem zum Lesen von Codes
EP3153242B1 (de) * 2015-10-09 2022-12-28 Deutsche Post AG Ansteuerung einer förderanlage

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19927251A1 (de) * 1999-06-15 2001-01-25 Siemens Ag Vorrichtung zum Handhaben von Stückgütern
DE19927251C2 (de) * 1999-06-15 2001-05-17 Siemens Ag Vorrichtung zum Handhaben von Stückgütern
DE10162967B4 (de) * 2000-12-25 2013-08-14 Seiko Epson Corp. Verfahren zur Steuerung eines Roboters und dieses Verfahren verwendende Robotersteuerung
WO2005050334A1 (en) * 2003-11-14 2005-06-02 Siemens Technology-To-Business Center, Llc System and method for programming motion control
US7765025B2 (en) 2003-11-14 2010-07-27 Siemens Aktiengesellschaft Systems and methods for programming motion control
WO2008036001A1 (fr) * 2006-09-19 2008-03-27 Obscestvo S Ogranichennoi Otvetstvennostiu 'specializirovannyi Delovoi Centr Po Informacionnoi Bezopasnosti Is Specialnym Tehnicheskim Sredstvam' Procédé pour obtenir une image de développement d'une surface latérale d'un objet déformé ayant une forme proche de la forme cylindrique
DE202014101714U1 (de) 2014-04-10 2015-07-14 Sick Ag Codelesesystem zum Lesen von Codes
EP3153242B1 (de) * 2015-10-09 2022-12-28 Deutsche Post AG Ansteuerung einer förderanlage

Similar Documents

Publication Publication Date Title
DE10080012B4 (de) Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
DE69722378T2 (de) Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren
DE112017002154B4 (de) Mobiler Roboter und Steuerverfahren für einen mobilen Roboter
DE102009016705B4 (de) System und Verfahren zur visuellen Erkennung
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE112012005350B4 (de) Verfahren zum Schätzen der Stellung eines Objekts
DE602004008131T2 (de) Automatisches Arbeitsgerät und automatisches Arbeitskontrollprogramm
DE102015111080B4 (de) Robotervorrichtung mit maschinellem Sehen
DE102015011914A1 (de) Konturlinienmessvorrichtung und Robotersystem
DE102021121063A1 (de) Effiziente datengenerierung für das greifenlernen mit allgemeinen greifern
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102021107532A1 (de) System und Verfahren zum Anlernen eines Roboters mittels Demonstration durch einen Menschen
DE102010045752A1 (de) Visuelles Wahrnehmungssystem und -verfahren für einen humanoiden Roboter
EP3685303A1 (de) Verfahren zur erkennung einer objektinstanz und/oder orientierung eines objekts
DE102021107333A1 (de) 3d-stellungsabschätzung mit einer 2d-kamera
DE102005008131A1 (de) Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
EP0263952B1 (de) Roboteranlage mit beweglichen Manipulatoren
Foresti et al. Automatic visual recognition of deformable objects for grasping and manipulation
DE102012223047B4 (de) Mehrteil-Korrespondierer (corresponder) für mehrere Kameras
DE102022107227A1 (de) Greifenlernen unter verwendung modularisierter neuronaler netze
DE102022130652A1 (de) Anlernen eines roboters durch vorführen mit visualservoing
DE19512575A1 (de) Verfahren und Vorrichtung zum Erkennen von Gegenständen
DE102022107311A1 (de) Aufheben von transparenten Objekten aus Behältern
DE102022107249A1 (de) Modularisierung von Netzen zum Lernen von hochdimensionalen Roboteraufgaben
DE102015115789A1 (de) Doppler-basierte Segmentierung und optischer Fluss in Radarbildern

Legal Events

Date Code Title Description
8139 Disposal/non-payment of the annual fee