DE19858750A1 - Inkrementelle Erkennung eines dreidimensionalen Objekts - Google Patents

Inkrementelle Erkennung eines dreidimensionalen Objekts

Info

Publication number
DE19858750A1
DE19858750A1 DE19858750A DE19858750A DE19858750A1 DE 19858750 A1 DE19858750 A1 DE 19858750A1 DE 19858750 A DE19858750 A DE 19858750A DE 19858750 A DE19858750 A DE 19858750A DE 19858750 A1 DE19858750 A1 DE 19858750A1
Authority
DE
Germany
Prior art keywords
discontinuities
data
model
scan line
interpretations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE19858750A
Other languages
English (en)
Other versions
DE19858750B4 (de
Inventor
Anthony Stentz
Keith Lay
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carnegie Mellon University
Original Assignee
Carnegie Mellon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carnegie Mellon University filed Critical Carnegie Mellon University
Publication of DE19858750A1 publication Critical patent/DE19858750A1/de
Application granted granted Critical
Publication of DE19858750B4 publication Critical patent/DE19858750B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2045Guiding machines along a predetermined path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Analysis (AREA)
  • Control And Safety Of Cranes (AREA)
  • Image Processing (AREA)

Description

Die Erfindung bezieht sich allgemein auf das Bestimmen der Position und Ausrichtung eines Objekts und insbesondere auf das inkrementelle Bestimmen der Position und Ausrichtung eines planaren Objekts zum Aufnehmen einer Materialladung in einer Erdbewegungsumgebung.
"Erdbewegungsmaschine" und verschiedene ähnliche Begriffe sollen sich in dieser Beschreibung auf Bagger, Radlader, Kettentraktoren, Walzen, Motorgrader, Landwirtschaftsmaschi­ nen, Pflastermaschinen, Asphaltiermaschinen und dergleichen beziehen, die sowohl (1) Mobilität über oder durch eine Bau­ stelle als auch (2) die Fähigkeit aufweisen, die Topographie oder Geographie einer Baustelle mit einem Werkzeug oder einem Funktionsteil der Maschine, wie zum Beispiel einer Schaufel, einer Klinge, einer Aufreißeinrichtung, einer Walze und der­ gleichen, zu verändern.
Beim Bedienen von Erdbewegungsmaschinen wie zum Beispiel Baggern, Radladern und Kränen zum Bewegen von Materialien von einem Ort zum anderen bestimmen menschliche Maschinenbediener visuell die Position und Ausrichtung des Objekts, das die Ladung aufnehmen soll und steuern das Laden des Materials entsprechend. Zum Beispiel wird in einer Erdbewegungsumgebung ein Bagger zum Laden von Material auf die Ladefläche eines Kippers verwendet. Der Baggerführer bestimmt visuell die Position und Ausrichtung des zu beladenden Kippers und lädt die Schaufel voll Material an dem erwünschten Ort ab.
In manchen Anwendungsbereichen werden autonome Lade- und Entladevorgänge durchgeführt. Ein System, das ohne Eingreifen eines menschlichen Bedieners die Position und Ausrichtung eines Objekts bestimmen kann, das ein Ladung aufnehmen soll, wird oft bei einem autonomen Ladesystem gebraucht, vor allem in Situationen, wo sich der Ort des Ladepunkts verändert. Beispiele dafür sind Ladesysteme für Kipper, Flachbettkipper, Bahnwägen, Bunker, Kähne und Frachtschiffe. In einer Erdbewe­ gungsumgebung verändert sich die Position und Ausrichtung des die Ladung aufnehmenden Objekts, wie zum Beispiel eines Kip­ pers von einem Kipper zum anderen, während die Ladeflächen von Kippern gefüllt werden und leere Kipper ankommen, um sie zu ersetzen. Wenn Erdbewegungsmaschinen autonom arbeiten, muß Information über die Position und Ausrichtung des jeweiligen zu beladenden Kippers an das Steuerungssystem der Maschine geliefert werden.
Bisher wurden Systeme entwickelt, die Objekte erkennen und identifizieren können. Diese Systeme, wie zum Beispiel das im US-Patent Nr. 5,471,541, erteilt am 28. November 1995 an Burtnyk et al., bringen typischerweise Bilddaten mit Modellen von Objekten in Übereinstimmung, die genaue Abmessungen haben. Das Burtnyk-et-al.-Patent verwendet Entfernungsprofile und von einem Modell abgeleitete synthetische Profile. Bei diesem Verfahren wird auch angenommen, daß außerdem eine ungefähre "Pose" des Objekts bekannt ist. Bei manchen Objekterkennungs­ lösungen wird die "Pose" (die Position und Ausrichtung) des Modells ständig aktualisiert, während Modelleigenschaften mit den Daten abgeglichen werden. Siehe Faugeras und Hebert, "The Representation, Recognition, and Locating of 3-D Objects" ("Die Darstellung, Erkennung und Lokalisierung dreidimensiona­ ler Objekte"), The International Journal of Robotics Research, Bd. 5, Nr. 3, S. 27-52, Herbst 1986. Eine weitere Möglichkeit zum Berechnen einer Pose eines steifen Modells ist als Ver­ fahren des Iterative Closest Point (I.D.P., etwa: Nächster iterativer Punkt) bekannt, das von Paul J. Besl und Neil D. McKay in einem Vortrag mit dem Titel "A method for registra­ tion of 3-D shapes" ("Ein Verfahren zur Bestimmung der Lage dreidimensionaler Formen") vorgestellt wurde, das in den IEEE Transactions on Pattern Analysis and Machine Intelligence, Bd. 14 (2), S. 239-256, 1992 veröffentlicht wurde. Bei diesem Verfahren werden die Daten für das Modell passend umgeformt, indem die Entfernung zwischen Punkten im Modell und Punkten im ursprünglichen Datensatz so minimiert werden, daß eine anfäng­ liche angenäherte Pose des Objekts verfeinert wird. Bei diesem Verfahren wird angenommen, daß mit dem Objekt zusammenhängende Punkt von anderen Punkten der Szene segmentiert wurden.
Im US-Patent Nr. 5,208,763, am 4. Mai 1993 an Hong et al. erteilt, wird ein Verfahren zum Bestimmen der Position und Ausrichtung mechanischer Objekte offenbart, wobei Euklidsche Transformationen verwendet werden, um das Objekt mit dem Modell in Übereinstimmung zu bringen. Das US-Patent Nr. 5,123,057, erteilt am 16. Juni 1992 an Verly et al., offenbart ein Verfahren, bei dem rekursive Verfahren zum in Überein­ stimmung bringen erfaßter Daten mit vorbestimmten Modellen und zum Bestimmen von "Übereinstimmungsgraden" zwischen einem Teilsatz von Daten mit einem Teilsatz von Modellteilen ver­ wendet werden. Die höchsten "Übereinstimmungsgrade" mit den Modellen werden zum Identifizieren des Objekts verwendet.
Bolles und Horaud haben ein Objekterkennungssystem ent­ wickelt, das als 3DPO (three dimensional part orientation system/etwa: System der Ausrichtung dreidimensionaler Teile) bekannt ist, bei dem eine Strategie des Lokalisierens des vielversprechendsten Merkmals in einem dreidimensionalen Bild eines Durcheinanders von Teilen verwendet und dann dieses Merkmal zum Vorschlagen anderer Merkmale benützt wird, die eine Hypothese bestätigen und dann zu anderen Merkmalen führen könnten, die die Pose des Objekts vollständig eingrenzen könn­ ten. Bei diesem System wurden Diskontinuitäten in einer ein­ zigen Abtastlinie gesucht und diese Diskontinuitäten in einem als Kantenverkettung bekannten Verfahren aneinandergehängt, wodurch lineare Merkmale geformt wurden, die dann zum Lenken der Suche nach Objekten verwendet wurden. Diese Arbeit wurde in einem technischen Vortrag von R.C. Bolles und P. Horaud mit dem Titel "3DPO: A Three Dimensional Part Orientation System" (etwa: "3DPO: Ein Orientierungssystem für dreidimensionale Teile"), The International Journal of Robotics Research, Bd. 5, Nr. 3, Herbst 1986, S. 3-26, vorgestellt.
In manchen Situationen ist es wünschenswert, Objekte eines bestimmten Typs zu erkennen und zu lokalisieren, von denen man weiß, daß sich ihre Abmessungen ändern. Ein Ver­ fahren zum Bestimmen des Orts, der Größe und der Ausrichtung dieser Objekte wird daher gebraucht. Außerdem ist es in Situa­ tionen, in der mehrere Maschinen zusammen und/oder autonom in einer Umgebung arbeiten müssen, wichtig, den Ort, die Größe und die Ausrichtung von Objekten, die zum Aufnehmen oder Umschichten von Materialien verwendet werden, zu erkennen. Das Maximieren der Produktivität einer automatisierten Erbewe­ gungsmaschine bedeutet, daß die Rechnereffizienz zum Verarbei­ ten ohne Zeitverzögerungen aller zum Steuern der Maschine benötigten Daten wichtig ist. Ein System, das kein vollständi­ ges Abtasten des Objekts und seiner Umgebung benötigt, ist daher wünschenswert. Außerdem ist es wünschenswert, die Bewe­ gung der Objekte zu verfolgen, wenn sie einmal erkannt wurden. Ein Verfahren und eine Vorrichtung, die in einer rauhen Umge­ bung eingesetzt werden können, mit Sensorsystemen, die Daten begrenzter Auflösung und Genauigkeit liefern können, ist außerdem wünschenswert.
Demnach ist es eine Aufgabe der Erfindung, eines oder mehrere der oben genannten Probleme zu lösen.
Erfindungsgemäß ist ein Verfahren und ein Vorrichtung zum Erkennen und Bestimmen des Orts und der Ausrichtung eines Objekts vorgesehen, bei dem inkrementelle Entfernungsdaten von einem Abtastsensor verwendet werden. Das vorliegende Erken­ nungsverfahren verwendet Merkmale von durch Abtastsensoren gelieferten Daten zusammen mit geometrischen Merkmalen von Objekten, die in einer Erdbewegungsumgebung typischerweise Ladungen aufnehmen, wie zum Beispiel Kipper. Die Daten einer einzigen Abtastlinie, die von einem Abtastsensorsystem gelie­ fert wird, werden verarbeitet, um zu bestimmen, ob in der Ab­ tastlinien Diskontinuitäten vorliegen. Da eine einzige Ab­ tastlinie in einem relativ kurzen Zeitraum aufgenommen wird, werden die geometrischen Verhältnisse von Merkmalen in der Abtastlinie beibehalten, auch wenn sich der Sensor bewegt hat und das nicht gemessen wurde. Beim vorliegenden Verfahren wird auch der Tatsache Rechnung getragen, daß Diskontinuitäten in nebeneinanderliegenden Abtastlinien nahe beieinander sein sollten und hervorstechenden Merkmalen eines Modells des Objekts entsprechen sollten. Die obere und die untere Kante eines Objekts, wie der Ladefläche eines Kippers, und hervor­ stehende Veränderungen des Terrains können als Diskontinuitä­ ten in einer einzigen Abtastlinie lokalisiert werden. Diese Diskontinuitäten werden zum Bilden möglicher Interpretationen der Position und Ausrichtung des Objekts verwendet. Bei den folgenden Abtastlinien werden dann Diskontinuitäten, die eng beieinander liegen, mit ähnlichen Kennzeichnungen versehen. Außerdem werden an die Diskontinuitäten Linien angelegt und mit den Kanten in einem oder mehr Modellen verglichen, die mögliche Interpretationen des Objekts darstellen. Vom Modell abgeleitete geometrische Einschränkungen werden zum Eliminie­ ren unbrauchbarer Interpretationen und zum Bestätigen brauch­ barer Interpretationen verwendet. Wenn eine brauchbare Inter­ pretation zustande kommt, wird das interessierende Objekt als erkannt angenommen. Die auf der Anzahl der verwendeten Ab­ tastlinien und den meisten gefundenen Modellmerkmalen beruhen­ de beste Interpretation wird zum Bestimmen der besten Position und Ausrichtung des Objekts verwendet. Beim Empfangen der Abtastlinien werden die Position und die Ausrichtung des Objekts ständig aktualisiert und an andere Untersysteme zum Steuern anderer Maschinen weitergeleitet. Eine Annahme kann auch bezüglich der allgemeinen Ausrichtung des Objekts getrof­ fen werden, das die Ladung mit Bezug auf die Lademaschine aufnimmt. Das vorliegende Erkennungsverfahren verringert die Zeitverzögerung im Vergleich zu Verfahren, die eine Abtastung des gesamten Objekts und des umgebenden Bereichs erfordern und die erst nach der vollständigen Abtastung mit der Verarbeitung der Daten beginnen, um dann die Position und Ausrichtung des Objekts zu bestimmen.
Das vorliegende Verfahren lokalisiert Diskontinuitäten, baut lineare Merkmale auf und verwendet geometrische Ein­ schränkungen, die unter Verwendung auf diesem Gebiet der Technik bekannter Verfahren vom Objektmodell abgeleitet wer­ den. Das vorliegende Verfahren zum Aufbauen von Teilinter­ pretationen des Objekts mit nur einem Teil der Szenendaten und der Verwendung einer Zustandstabelle zum Führen dieses Prozes­ ses sind einzigartige Aspekte des Verfahrens.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Figuren erläutert. Es zeigt:
Fig. 1 ein Flußdiagramm der erfindungsgemäßen Verfahrens­ schritte,
Fig. 2 eine perspektivische Darstellung eines Diagramms eines Kippers mit einer Abtastlinie mit Diskontinuitäten,
Fig. 3 ein Blockdiagramm eines Systems, das zum Anwenden des erfindungsgemäßen Verfahrens verwendet werden kann,
Fig. 4 eine Draufsicht auf einen Kipper, der in einer Vor­ beifahrtausrichtung bezüglich des Baggers positioniert ist,
Fig. 5 eine Draufsicht auf einen Kipper, der in einer Heck­ ladeposition bezüglich des Baggers positioniert ist,
Fig. 6 eine perspektivische Darstellung eines Schemas einer Kipperladefläche,
Fig. 7 eine Zustandstabelle zum Führen der Erzeugung von Interpretationen,
Fig. 8 Maschinen- und Abtastsensor-Orte für eine Kipperlade­ fläche mit bestimmten Zuständen,
Fig. 9 erfindungsgemäß durch ein Abtasten der Kipperladeflä­ che erzeugte Anfangszustände,
Fig. 10 die Verwendung mehrerer Abtastlinien zum Bewerten von Interpretationen und
Fig. 11 eine perspektivische Darstellung eines Schemas einer Kipperladefläche.
Fig. 1 zeigt ein Flußdiagramm 20 der folgenden Schritte, die beim erfindungsgemäßen Datenverarbeitungsverfahren durch­ geführt werden müssen: (a) Auffinden der Diskontinuitäten in einer einzigen Abtastlinie 22 unter Verwendung der Tatsache, daß Diskontinuitäten durch zu wenig Entfernungsdaten oder eine Bewegung der Lademaschine nicht verdunkelt werden, (b) Ver­ suchen, die Diskontinuitäten der aktuellen Abtastlinie unter Verwendung von Nähe- und Abmessungseinschränkungen 24 mit jeder Interpretation auf einer Liste aktiver Interpretationen zu verschmelzen, (c) Berechnen der Position und Ausrichtung des Objekts unter Verwendung der besten Interpretation 26. Diese Schritte werden im Folgenden weiter erklärt.
Beim ersten Schritt 22 des Flußdiagramms 20 werden Dis­ kontinuitäten in den Daten von einer senkrechten Rotation eines Abtastsensors, d. h. einer Abtastlinie, bestimmt. Eine Diskontinuität ist eine abrupte Veränderung der Richtung der Entfernungspunkte in einer Abtastlinie. In Fig. 2 ist eine einzelne Abtastlinie 27 gezeigt, die über ein Diagramm eines Kippers 28 geht. Drei unterschiedliche Verfahren können allein oder in Kombination miteinander zum Lokalisieren von Diskon­ tinuitäten in einer Abtastlinie verwendet werden. Zum Bei­ spiel:
  • (1) Versuchen, Liniensegmente in Entfernungsdaten in einer einzigen Abtastlinie einzupassen. Wenn der Fehler aus dem anzupassenden Liniensegment über einen Schwellenwert wächst, diesen Punkt als Diskontinuität kennzeichnen und ein neues Liniensegment beginnen.
  • (2) Die Entfernung zwischen aufeinanderfolgenden Punkten in einer Abtastlinie überprüfen. Wenn diese Entfer­ nung einen Schwellenwert übersteigt, diese Punkte als Diskontinuitäten kennzeichnen.
  • (3) Nach Sprüngen im Höhenwert (z-Koordinate) der Punkte in der Abtastlinie suchen.
Fig. 3 zeigt ein vereinfachtes Blockdiagramm eines Ver­ arbeitungssystems 29, das zum Implementieren der vorliegenden Erfindung verwendet werden kann. Die Abbildungs- oder Entfer­ nungsdaten werden von einem Abtastsensorsystem 30 erhalten, das zum Beispiel auf Radar-, Laser-, Infrarot und Sonarsenso­ ren beruht. Das erfindungsgemäße Verfahren kann in Computer­ software implementiert werden, die auf einem Datenprozessor 32, wie zum Beispiel einem Mikroprozessor, ausgeführt wird. Die Komponenten des Verarbeitungssystems 29 können mit Daten­ übertragungseinrichtungen 34, wie zum Beispiel einem Datenbus oder einem alternativen Sende- und Empfangssystem, wie zum Beispiel Funk, Satellit, Infrarot, Kabel usw. verbunden wer­ den, das es erlaubt, daß Daten zwischen einem oder mehr Sen­ sorsystemen 30, Datenspeichereinheiten 36, Dateneingabe-/-aus­ gabegeräten 38 und Datenprozessoren übertragen werden.
Zum Bestimmen der Position und Ausrichtung eines Objekts aus Entfernungsdaten einer Szene vergleicht die vorliegende Erfindung in der Szene gefundene Merkmale mit Modellen von Objekten, die in einer Datenbank gespeichert sind. Die Daten­ speichereinheiten 36 speichern Entfernungsdaten vom Sensorsy­ stem 30 und weitere vom Verarbeitungssystem 29 benötigte Information. Die Speichereinheiten 36 weisen auch eine Daten­ bank von Information für Modelle von Objekten auf, die mit den szene-Entfernungsdaten verglichen werden können, um zu bestim­ men, ob es eine Korrelation zwischen dem Objekt in der Szene und einem der Modelle gibt. Diese Modelldatenbank enthält Informationen über den Typ des Objekts, wobei jedes Modell geometrische Merkmale, wie die durchschnittliche Breite, Länge und Höhe des Modells enthält. Die Modelldatenbank enthält auch Informationen über die linearen Merkmale, die Diskontinuitäten in senkrechten Abtastlinien des Objekts entsprechen. Die linearen Merkmale werden durch einen Vektor, der die Richtung des Hauptachse der Linie im dreidimensionalen Raum angibt, und durch zwei Endpunkte repräsentiert.
Ein oder mehr Abtastsensorsysteme sind oft auf sich bewegenden Maschinen angebracht, wie zum Beispiel auf einem Bagger oder einem Radlader. Trotz der Bewegung und der Vibra­ tion der Maschine kann immer noch eine genaue Bestimmung von Diskontinuitäten in den Abtastlinien erreicht werden, wenn die Abtastfrequenz des Entfernungsscanners (zum Beispiel 5 bis 15 kHz) wesentlich größer ist als die Bewegungsfrequenz der Maschine (zum Beispiel 1 bis 10 Hz). Aufgrund der Frequenzdif­ ferenz werden die geometrischen Eigenschaften der Abtastlinie beibehalten, auch wenn die Maschine gräbt, ablädt oder von einem Ort zu anderen fährt.
Der nächste Schritt im in Fig. 1 gezeigten Algorithmus 20 ist das Verschmelzen der Diskontinuitäten in einer Abtastlinie mit Interpretationen über den möglichen Ort der Kipperladeflä­ che unter Verwendung von Abmessungs- und Näheeinschränkungen 24. Näheeinschränkungen werden dadurch implementiert, daß angenommen wird, daß Diskontinuitäten in nebeneinanderliegen­ den Abtastlinien, die dem gleichen geometrischen Merkmal eines Objekts entsprechen, ähnliche Orte haben sollten (d. h. nah beieinander liegen). Eine Interpretation ist ein Satz von Objektmodellmerkmalen mit entsprechenden Übereinstimmungen mit Szenenmerkmalen. Bei der vorliegenden Erfindung werden Teil- Szenendaten zum Vornehmen von Interpretationen über die Posi­ tion und die Ausrichtung eines Objekts unter Verwendung der folgenden Variablen eingesetzt:
  • (1) Zustand - ein Identifikator, der die Hypothese an­ gibt, nach der Merkmale eines Objekts gerade abgeta­ stet werden,
  • (2) Merkmalspunkte - die Diskontinuitätspunkte die mit bestimmten Objektmerkmalen in Beziehung stehen,
  • (3) Merkmalslinien - die am besten passende Linie durch die Merkmalspunkte, die aus einem Einheitsvektor für die Richtung und den beiden Endpunkten des Einheits­ vektors besteht,
  • (4) merkmalsspezifische Information - hängt vom Objekt und von der durchzuführenden Aufgabe ab, bei einem Kipper zum Beispiel besteht sie aus einer Verset­ zungsentfernung in der Höhe, weil die linearen Merk­ male die Kanten der Ladefläche sind, und daher werden die Linien ausgehend von einer Linie durch das Zen­ troid um die maximale Versetzung nach oben verscho­ ben, um sicherzugehen, daß die Schaufel der Erdbewe­ gungsmaschine über die Kanten des Kippers hinweggeht,
  • (5) Zentroid - ein Zentroid wird für jedes lineare Merk­ mal aus den Entfernungsdatenpunkten berechnet, und
  • (6) Eliminierung - ein Boolscher Wert, der anzeigt, ob die bestimmte Interpretation eliminiert werden soll­ te, nachdem sie zum Bilden aller möglicher neuer Interpretationen verwendet wurde.
Annahmen bezüglich Vorgängen an einer Erdbewegungsbau­ stelle können zum Vereinfachen der Interpretationsentwicklung verwendet werden. Erstens kann angenommen werden, daß ein Objekt in Richtungen in einem gewissen Bereich zeigt. Wie zum Beispiel in Fig. 4 und Fig. 5 gezeigt, zeigt ein Bediener eines Baggers 39 oder Radladers (nicht dargestellt) normaler­ weise an, ob der Kipper 40 in einer sogenannten Vorbeifahr- Ladeposition, wie in Fig. 4 gezeigt, geparkt werden sollte, oder in einer Heckladeposition, wie in Fig. 5 gezeigt. Eine weitere Annahme ist, daß der Kipper 40 von hinten nach vorn abgetastet wird. Weitere Annahmen können nach der jeweiligen Situation verwendet werden.
Unter Verwendung dieser Annahmen wird dann eine Zustands­ tabelle erzeugt, wie sie in Fig. 7 gezeigt ist, die den Vor­ gang des Erzeugens von Interpretationen führt, während das Objekt von einem oder mehr Abtastsensorsystemen 41 der Erdbe­ wegungsmaschine 39 abgetastet wird. Die Zustandstabelle kann im Speicher vorprogrammiert sein, oder eine Off-Line-Verarbei­ tungseinrichtung kann die Tabelle erzeugen und im Speicher speichern. Ein Einschränken der Merkmale, die übereinstimmen müssen, verringert die Rechneranforderungen. Im Fall eines Kipperladeflächenmodells 42, wie es in Fig. 6 gezeigt ist, kann der Ort und die Ausrichtung der Ladefläche unter Ver­ wendung von oberen Rändern 43, 44, 46, 48 der Seiten der Ladefläche 42 bestimmt werden. In der in Fig. 7 gezeigten Zustandstabelle sind die Spaltenüberschriften die möglichen Zustände, die bei jeder Abtastlinie in Betracht gezogen wer­ den. Die Reihenüberschriften sind die möglichen Zustände, in die eingetreten werden kann. Wenn eine Zelle als möglich gekennzeichnet wird, dann ist es möglich, vom Zustand der Spaltenüberschrift in den durch diese Reihe angegebenen Zu­ stand überzugehen. Der INITIAL-Zustand bedeutet, daß keine Abtastlinien mit 2 oder mehr Diskontinuitäten im Höhenbereich des oberen Endes der Seiten des Kippers angetroffen wurden. Fig. 8 zeigt die möglichen Positionen des Abtastsensorsystems 52, das auf einer Erdbewegungsmaschine sitzt, und des Kippers 50, wenn der Kipper 50 in einer Vorbeifahrtposition ist. Im INITIAL-Zustand in Fig. 7 könnte der Zustand möglicherweise LINKS-HINTEN sein, wobei die linke und die hintere Seite gekreuzt wurden, oder er könnte HINTEN-RECHTS sein, wobei die hintere und die rechte Seite des Kippers gekreuzt wurden, oder LINKS-RECHTS, wobei die linke und die rechte Seite gekreuzt wurden. Das Verarbeitungsverfahren ist um die Zustandstabelle von Fig. 7 herum organisiert. Die Tabelleneinträge sind Zeiger auf Funktionen, die die Möglichkeit der gegebenen Interpreta­ tion überprüfen und wenn möglich neue Interpretationen erzeu­ gen. Datenpunkte von jeder neuen Abtastlinie werden auf Dis­ kontinuitäten hin verarbeitet, und dann wird die aktuelle Liste der Interpretationen verwendet, um zu überprüfen, ob die Daten aus der neuen Abtastlinie zum Bilden einer neuen Inter­ pretation kombiniert werden können.
Nach dem Empfang der Abtastlinien werden diese zum Auf­ finden von Diskontinuitäten verarbeitet. Die Orte der Diskon­ tinuitäten im Verhältnis zur Maschine werden zum Eliminieren von Diskontinuitäten überprüft, die nicht zum Rand des Kippers gehören können. Derzeit richtet sich das nach einer Mindest­ höhe und einer Mindestentfernung zur Lademaschine, wie zum Beispiel dem Radlader oder Bagger. Die Diskontinuitäten werden dann nach ihrer Entfernung von der Lademaschine geordnet.
Die Diskontinuitäten in der anfänglichen Abtastlinie werden zum Erzeugen von Interpretationen über die mögliche Lage der Kipperladefläche verwendet. Wenn zum Beispiel die beiden Diskontinuitäten der Abtastlinie beim ersten Queren des Kippers 58, wie in Fig. 9 gezeigt, auftreten, verursachen sie das Erzeugen von zwei neuen Interpretationen, LINKS-HINTEN 60, 62 und HINTEN-RECHTS 62, 64. Die LINKS-RECHTS-60-64-Inter­ pretation kann eliminiert werden, da die in der Nähe des Ecks liegenden Diskontinuitäten weniger als eine Mindestbreite 65 voneinander entfernt sein werden. Diese Mindestbreite 65 wird als der Information aus dem Kippermodell zugehörig betrachtet. Da es keine vorhergehenden Daten zum Eliminieren der HINTEN- RECHTS-62-64-Interpretation gibt, muß sowohl LINKS-HINTEN als auch HINTEN-RECHTS erzeugt werden. Die Liste von Interpreta­ tionen aus einer Abtastlinie 68, 70 mit zwei Diskontinuitäten, das heißt, die erste Abtastlinie traf mehr als eine Diskon­ tinuität an, ist die folgende:
  • 1. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten 60, 62 aus der ersten Abtastlinie 68).
  • 2. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten 62, 64 aus der ersten Abtastlinie 70).
  • 3. Zustand: INITIAL, anfängliche Anzahl der Abtastlinien = 0, (keine Diskontinuitäten).
Wenn ein Rauschen in den durch das Abtastsensorsystem gelieferten Daten ist, erkennt das Datenverarbeitungssystem vielleicht mehr als zwei Diskontinuitäten in einer Abtastli­ nie. In dieser Situation würden zwei zusätzliche Interpreta­ tionen für jede zusätzliche Diskontinuität erzeugt. Wenn das Verarbeitungssystem nur zwei in aufeinanderfolgenden Abtastli­ nien vorkommende Diskontinuitäten erfaßt, werden die aufgrund von Rauschen erzeugten Interpretationen nicht als gültige Interpretationen angesehen und von der aktiven Interpreta­ tionsliste gestrichen.
Unter der Annahme von keinen Abtastlinien mit Diskon­ tinuitäten aufgrund von Rauschen, wird, wenn die zweite Ab­ tastlinie zwei Diskontinuitäten enthält, ein Versuch unter­ nommen, die zwei Diskontinuitäten mit den drei oben aufge­ führten Interpretationen zu kombinieren. An diesem Punkt wird nur die Entfernung zwischen den Diskontinuitäten überprüft. Richtungen werden erst überprüft, wenn 3 oder mehr Abtastlin­ ien verarbeitet wurden. Jede Interpretation erzeugt daher einen zusätzlichen Satz Interpretationen, außer der INITIAL- Zustand, der zwei Zustände erzeugt. Die Liste von Interpreta­ tionen nach dem Verarbeiten der zweiten Abtastlinie enthält die folgenden sieben Interpretationen:
  • 1. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der ersten und der zweiten Abtastlinie).
  • 2. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der ersten und der zweiten Abtastlinie).
  • 3. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der zweiten Abtastlinie).
  • 4. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der zweiten Abtastlinie).
  • 5. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der ersten Abtastlinie).
  • 6. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der ersten Abtastlinie).
  • 7. Zustand: INITIAL, anfängliche Anzahl der Abtastlinien = 0, (keine Diskontinuitäten).
Fig. 10 zeigt die Datenpunkte (oder Diskontinuitätspunk­ te) 71, 72, 73, 74, 75 und 76 aus drei Abtastlinien 77, 78, 79 zum Bestimmen, daß der LINKS-HINTEN-Zustand den Abmessungs- und Richtungseinschränkungen entspricht. Wenn die dritte gültige Abtastlinie 79 empfangen wird, werden die sieben Interpretationen auf der aktuellen Liste zum Erzeugen neuer Interpretationen verwendet. An diesem Punkt wird jedoch eine Linie durch die Datenpunkte gelegt, die sich auf das jeweilige lineare Merkmal beziehen, wie zum Beispiel die Datenpunkte 71, 72, 73, die sich auf den Rand links oben beziehen, und die Winkel zwischen den Merkmalen des Modells werden überprüft. Wenn ein Merkmal mehr als zwei Datenpunkte hat, werden Ein­ schränkungen unter Verwendung der Hauptachse durch den Satz von Punkten zum Eliminieren ungültiger Interpretationen über­ prüft. Das Verfahren zum Legen der Linien wird im Folgenden erörtert. Eine dritte Abtastlinie mit zwei Diskontinuitäten würde die folgende Interpretationsliste ergeben:
  • 1. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 3, (unter Verwendung von Diskontinuitäten aus allen 3 Abtastlinien).
  • 2. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der drit­ ten und der zweiten Abtastlinie).
  • 3. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der drit­ ten und der zweiten Abtastlinie).
  • 4. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der drit­ ten und der ersten Abtastlinie).
  • 5. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der drit­ ten und der ersten Abtastlinie).
  • 6. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der zwei­ ten und der ersten Abtastlinie).
  • 7. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der zwei­ ten und der ersten Abtastlinie).
  • 8. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der zwei­ ten Abtastlinie).
  • 9. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der zwei­ ten Abtastlinie).
  • 10. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der ersten Abtastlinie).
  • 11. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der ersten Abtastlinie).
  • 12. Zustand: INITIAL, anfängliche Anzahl der Abtastlinien = 0, (keine Diskontinuitäten).
Es ist zu bemerken, daß unter der Annahme, daß der Kipper 50 in einer Vorbeifahrtausrichtung im Verhältnis zur Ladema­ schine und dem Scanner 52, wie in Fig. 8 gezeigt, ist, nur der LINKS-HINTEN-Zustand den Abmessungseinschränkungen entspricht, wenn Information aus allen drei Abtastlinien verwendet wird, die bis zu diesem Punkt empfangen wurden.
Beim Empfangen jeder neuen Abtastlinie werden aufgrund des Zustands der Interpretationen auf der aktiven Liste neue Interpretationen erzeugt. Nach Verarbeiten der jeweiligen Abtastlinie und dem Erzeugen neuer Interpretationen werden neue Interpretationen vorne an die Liste angefügt, und die alten Interpretationen werden am Ende der Liste behalten. Es ist klar, daß dieses Verfahren dazu führen könnte, daß die Interpretationsliste sehr lang werden könnte, vor allem, wenn es mehr als zwei Diskontinuitäten pro Abtastlinie sind. Aus diesem Grund kann die Liste beschränkt werden, wenn die Anzahl der Zustände größer als eine Maximalzahl wird, die so gesetzt wird, daß sie die erwünschte Anzahl von Interpretationen enthält, wie zum Beispiel eine Beschränkung auf 20. Nach dem Aktualisieren der Liste wird sie nach der besten Kipperbe­ schreibung untersucht, was auf der Grundlage der Anzahl der Abtastlinien geschieht, die bei einer Interpretation verwendet werden, und der Anzahl der Modellmerkmale, die in Überein­ stimmung gebracht wurden. Das beste Merkmal wird immer an den Beginn der Liste gesetzt. Derzeit ist das Verfahren zum Auf­ finden des besten Merkmals das folgende:
Für jede Interpretation in der Liste:
  • (1) Die Anzahl von Merkmalen zählen, die mehr als zwei Punkte haben.
  • (2) Die Anzahl von Diskontinuitäten zählen, die bei der Lösung verwendet wurden. Die ist die Anzahl der Tref­ fer.
  • (3) Wenn die Anzahl der Merkmale größer als die vormals beste Kipperbeschreibung ist und die Anzahl von Tref­ fern größer als die bisherige beste Kipperbeschrei­ bung, dann diese Interpretation zur besten Interpre­ tation machen und die Liste nicht mehr weiter durch­ gehen.
Wenn keine Interpretation gefunden wurde, die mit den obigen Kriterien übereinstimmt, dann für jede Interpretation in der Liste:
  • (1) Merkmale zählen.
  • (2) Treffer zählen.
  • (3) Wenn die Anzahl von Merkmalen gleich der bisherigen besten Kipperbeschreibung und die Anzahl der Treffer größer als die bisherige beste Kipperbeschreibung ist, dann diese Interpretation zur besten Interpreta­ tion machen und die Liste nicht mehr weiter durch­ gehen.
Ein Vorgang, der in dem obigen Beispiel nicht beschrieben ist, besteht darin, daß ein Zustand eliminiert werden kann, nachdem er zum Erzeugen weiterer Zustände verwendet wurde. Wenn ein Zustand einen identischen Zustand erzeugt, wird nur der Zustand mit der meisten Information behalten. Dadurch werden einige redundante Zustände eliminiert, die sonst auf der aktiven Liste geführt würden. Das kann zu Problemen füh­ ren, wenn ein Punkt, der nicht wirklich auf der Kante einer Kipperladefläche liegt, in das Merkmal mit aufgenommen wird. Wenn zum Beispiel ein Erdklumpen über die Kante der Ladefläche hinausquillt, könnte die Lösung einen Punkt auf dem Erdklumpen beinhalten, und das würde das durchschnittliche Rauschen der Linien am linearen Merkmal erhöhen sowie die Linie in die Richtung des Rauschpunktes verschieben. Solange jedoch die Ladefläche nicht gänzlich verdeckt wird, sollten die Punkte auf der Ladeflächenkante bessere Linienübereinstimmungen aufweisen.
Die das Modell des Kippers bildenden linearen Merkmale können durch eine Gerade repräsentiert werden, die durch zwei Punkte des Modellmerkmals gebildet wird, nämlich den ersten Punkt und den aktuellsten Punkt. Auch wenn dieses Verfahren einen hohen Wirkungsgrad hat, kommt dabei keine sehr genaue Repräsentation des Merkmals heraus. Zum genauen Darstellen des Merkmals sollte eine Linie durch Punkte in drei Dimensionen gehen. Ein Verfahren dafür ist das Auffinden der Hauptachsen des Satzes von Punkten eines bestimmten Merkmals. Diese Achsen werden unter Verwendung der Hauptkomponentenanalyse bestimmt. Die 3×3-Kovarianz-Matrix des Punktsatzes wird ermittelt. Die Teilsummen, die zum Konstruieren der Kovarianzmatrix verwendet werden, werden zum Ermöglichen einer schnelleren Berechnung gespeichert, wenn die Diskontinuitäten von neuen Abtastlinien berücksichtigt werden. Die Eigenvektoren der Kovarianzmatrix der Punkte eines Merkmals ergeben die Richtung der Hauptachsen im Raum. Die Richtung der dreidimensionalen-Linie ist gegeben durch den Eigenvektor, der den größten Eigenwert hat. Dies ist der Vektor in unserer Darstellung der linearen Merkmale. Dieser Vorgang wird oft durchgeführt, weil jeder Zustand auf der Interpretationsliste neue Zustände erzeugt, je nach der Zustandstabelle, und jeder davon kann 1 oder 2 Merkmale be­ treffen, die neue Linienanpassungen erfordern. Ein Verfahren, das eine anfängliche Schätzung bei den Eigenvektoren und Eigenwerten erlaubt, könnte die Rechnerzeit bei dieser Anwen­ dung verringern, weil, wenn die Eigenvektoren einmal gefunden wurden, sie sich bei Hinzufügen eines neuen Punktes jeweils nur sehr wenig verändern.
Die Modelle in der Datenbank bestehen aus den Merkmalen, die durch Verarbeiten der senkrechten Abtastlinien einer Entfernungsabtastung des Objekts zum Auffinden der Diskon­ tinuitäten in der jeweiligen Abtastlinie konstruiert werden. Nur die Merkmale, die Diskontinuitäten in senkrechten Abtast­ linien des Objekts entsprechen, werden im Modell verwendet. Beispiele dieser Merkmale sind durch die fetten Linien für die Ränder 43, 44, 46, 48 in Fig. 6 angezeigt. Die linearen Merk­ male werden durch einen Vektor, der die Richtung der Haupt­ achse der Linie im dreidimensionalen Raum angibt, und durch zwei Endpunkte repräsentiert. Fig. 11 zeigt ein Modell für eine Kipperladefläche 80 mit weiteren linearen Merkmalen, wie den unteren Kanten 82, 84, 86, 88, 90, die in der Datenbank genauso wie die Seiten 92, 94 mit Winkelverhältnissen reprä­ sentiert sein können, die vom in Fig. 6 gezeigten Modell verschieden sind. Allgemeine Abmessungen wie die Länge, die Breite und die Höhe werden auch mit der Modellinformation angegeben. Die Modelle können in einem modellzentrierten Koordinatensystem gespeichert werden und die Merkmale in andere Koordinatensysteme umgewandelt werden, wodurch sie dann in den von der Zustandstabelle abgerufenen Funktionen zu verwenden sind. Zusätzlich zu den in Fig. 6 und 11 gezeigten Kipperladeflächen können auch andere Objekte mit linearen Merkmalen in der Datenbank gespeichert werden.
Wie oben angegeben, kann die Zustandstabelle durch ein Off-Line-Verfahren hergestellt werden. Bei der vorliegenden Erfindung wurde die Zustandstabelle manuell hergestellt und die von der Zustandstabelle aufgerufenen Softwarefunktionen wurden ebenfalls manuell geschrieben. Ein Verfahren, das die Zustandstabelle und die von der Zustandstabelle aufgerufenen Softwarefunktionen aufgrund einer auf einem Modell beruhenden Beschreibung generieren könnte, würde es erlauben, dieses Verfahren der inkrementellen Objekterkennung auf jedes Objekt anzuwenden, das eine erlaubte Modellbeschreibung hat.
Eine weitere Ausführungsform der Erfindung erlaubt es, daß eine Zustandstabelle und Software automatisch konfiguriert werden, indem das Abtasten eines Objektmodells simuliert wird und mögliche Zustände bestimmt werden, in die ein Übergang aus einem gegebenen Zustand möglich ist. Abmessungsbeschränkungen, die mögliche Zustände bestimmen, in die ein Übergang vom aktuellen Zustand aus möglich ist, werden unter Verwendung von Information aus dem Objektmodell automatisch kodiert. Dieser Vorgang kann off-line unter Verwendung eines Modells des Sensors und eines planaren Modells des Objekts durchgeführt werden. Mehrere simulierte Abtastungen des Objektmodells werden im Bereich von Positionen und Ausrichtungen durchge­ führt, die für das Objekt im Verhältnis zur Lademaschine, wie zum Beispiel einem Bagger, möglich sind. Die Zustandstabelle wird durch Kombinieren der Sätze von Zuständen generiert, die aus den simulierten Abtastungen des Objektmodells entstanden. Die erforderliche Information für die Funktionen, die die Zustandsübergänge bestimmen, besteht typischerweise aus dem Winkel zwischen den Merkmalen, der Länge der Merkmale, der Nähenentfernung für ein bestimmtes Merkmal und der Richtung der Kreuzprodukts von zwei linearen Merkmalen. Allgemeine Funktionen, die bestimmen, ob die Diskontinuitäten in der Abtastlinie ein Verbleiben des Systems im gleichen Zustand und/oder einen Übergang zu einem neuen Zustand verursachen, werden mit der spezifischen Modellinformation aufgerufen. Das Off-Line-System ermöglicht es, daß das Verfahren mit mehr als einer Art Modell verwendet werden kann und zur Verwendung mit Sensoren mit unterschiedlichen Abtastraten, Abtastauflösungen und Strahlbreiten abgestimmt werden kann.
Bei der vorliegenden Erfindung kann das Objekt erkannt werden, während es abgetastet wird, wodurch die Zeit zum Sammeln der Daten aus dem Erkennungsvorgang nicht mehr benö­ tigt wird. Der Betrieb ist relativ unempfindlich gegenüber Fehlern bei einem Abtastsensorsystem, das auf der automati­ sierten Lademaschine residiert. Außerdem werden dabei geringe Datenmengen aus gering auflösenden Sensoren verwendet, die unter rauhen Umweltbedingungen funktionieren. Bei nachfolgen­ den Abtastungen des Scanners kann das Verfahren dazu verwendet werden, nachzuverfolgen und nachzuprüfen, ob das Objekt noch am gleichen Ort ist, an dem es vorher lokalisiert wurde. Die Abmessungen des jeweiligen Kippers können unterschiedlich sein, daher müssen für jeden Kipper die Ladeflächenabmessungen wieder festgestellt werden.
Teilbeschreibungen der Objekte werden von Software-Pla­ nungsfunktionen zum Planen der Aktionen eines Hydraulikbaggers (hydraulic excavator/HEX) oder eines Radladers zum Beladen eines Behälters, wie zum Beispiel eines Kippers, eines Eisen­ bahnwaggons, eines Flachbettkippers oder eines Bunkers ver­ wendet. Bei der Anwendung auf den automatisierten Massenaushub plant ein HEX-Bewegungsplaner die Bewegung der Maschine, die zum Bewegen einer Schaufel voll Material von der Bodenober­ fläche und zum Laden in die Kipperladefläche benötigt werden. Ein weiteres Planmodul, ein Ladeplaner, wählt den Zielort in der Ladefläche, in dem der HEX das Material ablädt. Diese beiden Module erfordern ein Wissen über die Position des Kip­ pers. Durch die vorliegende Erfindung werden Informationen über das Objekt bereitgestellt, die von anderen Systemen verwendet werden können, wie zum Beispiel die Eckpunkte des Objekts (links vorne, links hinten, rechts vorne, rechts hinten und Tiefenpunkt), die Ladeflächenabmessungen (Länge, Breite, Tiefe der Fläche), Kipperpositionsinformation (Höhe, Richtung im Welt-Koordinatensystem) und Datenflags, die anzei­ gen, ob für die oben aufgeführten Lösungspunkte und Abmessun­ gen gültige Daten existieren.

Claims (27)

1. Verfahren zum Bestimmten der Position, Größe und Aus­ richtung eines Objekts mit mindestens einem linearen Merkmal aufgrund von Entfernungsdaten aus mehreren Abtastlinien, die durch ein das Objekt abtastendes Sensorsystem bereitgestellt werden, wobei ein Datenverarbeitungssystem verwendet wird, das eine Datenbank numerischer Daten aufweist, die mindestens einem Modell mit mindestens einem linearen Merkmal entspre­ chen, wobei das Verfahren die folgenden Schritte aufweist:
  • (a) Lokalisieren von Diskontinuitäten in den Abtastlinien, während diese empfangen werden,
  • (b) Verwenden einer Zustandstabelle erwarteter Merkmale zum Generieren einer Liste aktiver Interpretationen des Objekts unter Verwendung von Modellinformation und der Orte der Dis­ kontinuitäten nur von Teilentfernungsdaten des Objekts,
  • (c) Bewerten der Interpretationen zum Bestimmen der besten Interpretation, die die Interpretation mit den am besten übereinstimmenden Merkmalen ist, die eine Mindestdatenmenge bis zur aktuellen Abtastlinie haben, und
  • (d) Berechnen der Position und Ausrichtung des Objekts unter Verwendung der Interpretation, die mit dem Objekt am besten übereinstimmt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt (a) weiter beinhaltet, daß Diskontinuitäten in einer Abtastlinie dadurch lokalisiert werden, daß versucht wird, Liniensegmente in die Abtastlinienentfernungsdaten ein­ zupassen, und ein Entfernungspunkt als Diskontinuität markiert wird, wenn der Fehler aus einem einzupassenden Liniensegment über einem Schwellenwert liegt.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt (a) weiter beinhaltet, daß Diskontinuitäten in einer Abtastlinie dadurch lokalisiert werden, daß die Entfer­ nung zwischen aufeinanderfolgenden Entfernungsdatenpunkten in einer Abtastlinie überprüft werden und ein Punkt als Diskon­ tinuität gekennzeichnet wird, wenn die Entfernung einen Schwellenwert übersteigt.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt (a) weiter beinhaltet, daß Diskontinuitäten in einer Abtastlinie dadurch lokalisiert werden, daß Differenzen von Höhenwerten von Entfernungsdatenpunkten in der Abtastlinie erfaßt werden, die einen Schwellenwert übersteigen.
5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Generieren der Liste aktiver Interpretationen in Schritt (b) weiter beinhaltet, daß mindestens eine am besten passende Linie durch Entfernungsdatenpunkte des mindestens einen linea­ ren Merkmals des Objekts aus einem Einheitsvektor und zwei Endpunkten besteht.
6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Generieren der Liste aktiver Interpretationen in Schritt (b) weiter beinhaltet, daß der Zentroid für einen planaren Bereich des mindestens einen linearen Merkmals des Objekts be­ rechnet wird.
7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß Schritt (c) weiter beinhaltet, daß Näheneinschränkungen zum Beschränken der Anzahl von zu vergleichenden Interpretationen verwendet werden, wobei die Näheneinschränkungen auf Diskon­ tinuitäten in nebeneinanderliegenden Abtastlinien beruhen, die dem gleichen linearen Merkmal des Objekts entsprechen.
8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß Schritt (c) weiter beinhaltet, daß Abmessungseinschränkungen zum Beschränken der Anzahl zu vergleichender Interpretationen verwendet werden.
9. Vorrichtung zum Bestimmen der Position, Größe und Aus­ richtung eines Objekts mit mindestens einem linearen Merkmal, gekennzeichnet durch:
ein Datenverarbeitungssystem mit einer Datenspeichervor­ richtung und einem Datenprozessor, wobei die Datenspeichervor­ richtung Entfernungsdatenabtastlinien des Objekts und Daten aufweist, die mindestens einem Modell entsprechen, das minde­ stens ein lineares Merkmal hat, wobei der Datenprozessor Diskontinuitäten in den Abtastlinien lokalisiert, unter Ver­ wendung der Modelldatenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitäten mit den aktiven Interpretationen Abtastlinie für Abtastlinie vergleicht, um die Interpretation aufzufinden, die am besten mit dem Objekt übereinstimmt, und aufgrund der verfügbaren Daten die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt übereinstimmt.
10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß der Datenprozessor Diskontinuitäten in einer Abtastlinie dadurch lokalisiert, daß versucht wird, Liniensegmente in die Abtastlinienentfernungsdaten einzupassen, und ein Entfernungs­ punkt als Diskontinuität markiert wird, wenn der Fehler aus einem einzupassenden Liniensegment über einem Schwellenwert liegt.
11. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß der Datenprozessor Diskontinuitäten in einer Abtastlinie da­ durch lokalisiert, daß die Entfernung zwischen aufeinanderfol­ genden Entfernungsdatenpunkten in einer Abtastlinie überprüft werden und ein Punkt als Diskontinuität gekennzeichnet wird, wenn die Entfernung einen Schwellenwert übersteigt.
12. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß der Datenprozessor Diskontinuitäten in einer Abtastlinie da­ durch lokalisiert, daß Differenzen von Höhenwerten von Entfer­ nungsdatenpunkten in der Abtastlinie erfaßt werden, die einen Schwellenwert übersteigen.
13. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Interpretation mindestens eine am besten passende Linie durch das mindestens eine lineare Merkmal des Objekts auf­ weist, die aus einem Einheitsvektor und zwei Endpunkten be­ steht.
14. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß die Interpretation einen Zentroid für die Entfernungspunkte des mindestens einen linearen Merkmals des Objekts aufweist.
15. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß der Datenprozessor Näheneinschränkungen zum Beschränken der Anzahl von zu vergleichenden Interpretationen verwendet, wobei die Näheneinschränkungen auf Diskontinuitäten in nebenein­ anderliegenden Abtastlinien beruhen, die dem mindestens einen linearen Merkmal des Objekts entsprechen.
16. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß der Datenprozessor Abmessungseinschränkungen zum Beschränken der Anzahl zu vergleichender Interpretationen verwendet.
17. Vorrichtung zum Bestimmen der Position, Größe und Aus­ richtung eines Objekts in einer Erdbewegungsumgebung, wobei das Objekt mindestens ein lineares Merkmal aufweist, gekenn­ zeichnet durch:
ein Datenverarbeitungssystem mit einer Datenspeichervor­ richtung und einem Datenprozessor, wobei die Datenspeichervor­ richtung Entfernungsdatenabtastlinien des Objekts aufweist, die von einem Abtastsensorsystem geliefert werden, und Daten, die mindestens einem Modell entsprechen, das mindestens ein lineares Merkmal hat, wobei der Datenprozessor Diskontinuitä­ ten in den Abtastlinien lokalisiert, unter Verwendung der Modelldatenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitä­ ten mit den aktiven Interpretationen Abtastlinie für Abtastli­ nie vergleicht, um die Interpretation aufzufinden, die am besten mit dem Objekt übereinstimmt, und aufgrund der verfüg­ baren Daten die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt übereinstimmt.
18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, daß das Objekt die Ladefläche eines Kippers ist.
19. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, daß das Abtastsensorsystem auf einer Erdbewegungsmaschine ange­ bracht ist, die neben der Kipperladefläche positioniert ist, wobei das Abtastsensorsystem im wesentlichen senkrechte Ab­ tastlinien der Kipperladefläche erzeugt, wobei die Abtastli­ nien vom hinteren zum vorderen Ende der Kipperladefläche nebeneinander liegen.
20. Vorrichtung zum Erkennen eines Objekts und zum Bestimmen der Position, Größe und Ausrichtung des Objekts in einer Szene der Erdbewegungsumgebung, wobei das Objekt mindestens ein lineares Merkmal hat, gekennzeichnet durch:
ein Datenverarbeitungssystem mit einer Datenspeichervor­ richtung und einem Datenprozessor, wobei die Datenspeichervor­ richtung Entfernungsdatenabtastlinien des Objekts aufweist, die von einem Abtastsensorsystem geliefert werden, und Daten, die mindestens einem Modell entsprechen, das mindestens ein lineares Merkmal hat, wobei der Datenprozessor das Abtasten des Objekts unter Verwendung eines Modells des Objekts simu­ liert, eine Zustandstabelle generiert, die unter Verwendung von Daten vom simulierten Abtasten mögliche Ausrichtungen des Objekts in der Erdbewegungsumgebung angibt, Diskontinuitäten in den Abtastlinien lokalisiert, unter Verwendung der Modell­ datenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitäten mit den aktiven Interpretationen zum Auffinden der Interpretation vergleicht, die am besten mit dem Objekt übereinstimmt, und die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt über­ einstimmt.
21. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß die Zustandstabelle unter Verwendung von Abmessungseinschrän­ kungen des Objektmodells generiert wird, die mögliche Zustände bestimmen, in die von einem bestimmten Zustand übergegangen werden kann.
22. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß mehrere simulierte Abtastungen des Objektmodells über einen Bereich möglicher Positionen und Ausrichtungen des Objekts im Verhältnis zur Lademaschine durchgeführt werden.
23. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß die Zustandsübergänge bestimmt werden, indem Winkel zwischen Merkmalen des Objektmodells, die Länge der Merkmale, die Nähenentfernung für ein bestimmtes Merkmal und die Richtung des Kreuzprodukts zweier linearer Merkmale verwendet werden.
24. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß die Entscheidung, ob in einen anderen Zustand übergegangen werden soll, unter Verwendung von Objektmodellinformation vorgenommen wird, die Folgendes beinhaltet: Nähe von Merkmalen in einer Abtastlinie zu gemeinsamen Merkmalen im vorhergehen­ den Zustand, der Winkel zwischen Szenenmerkmalen und der Winkel zwischen möglichen Modellmerkmalen in Übereinstimmung gebracht mit den Szenenmerkmalen, die Richtung der inkremen­ tellen Szenenmerkmale und die Richtung der möglichen Modell­ merkmale in Übereinstimmung gebracht mit diesen Szenenmerkma­ len.
25. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß das Objektmodell unter Verwendung eines simulierten Sensormo­ dells mit veränderbaren Abtastraten abgetastet wird.
26. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß das Objektmodell unter Verwendung eines simulierten Sensormo­ dells mit veränderbaren Abtastauflösungen abgetastet wird.
27. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß das Objektmodell unter Verwendung eines simulierten Sensormo­ dells mit veränderbaren Strahlbreiten abgetastet wird.
DE19858750A 1997-12-19 1998-12-18 Verfahren und Vorrichtungen zum Bestimmen der Position, Größe und Ausrichtung eines Objekts Expired - Fee Related DE19858750B4 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US6834697P 1997-12-19 1997-12-19
US60/068,346 1997-12-19
US09/173,073 1998-10-14
US09/173,073 US6363173B1 (en) 1997-12-19 1998-10-14 Incremental recognition of a three dimensional object

Publications (2)

Publication Number Publication Date
DE19858750A1 true DE19858750A1 (de) 1999-06-24
DE19858750B4 DE19858750B4 (de) 2008-04-03

Family

ID=26748874

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19858750A Expired - Fee Related DE19858750B4 (de) 1997-12-19 1998-12-18 Verfahren und Vorrichtungen zum Bestimmen der Position, Größe und Ausrichtung eines Objekts

Country Status (3)

Country Link
US (1) US6363173B1 (de)
JP (1) JPH11325880A (de)
DE (1) DE19858750B4 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202007006501U1 (de) * 2007-01-25 2008-06-05 Liebherr-Werk Bischofshofen Ges.M.B.H. Arbeitsmaschine, vorzugsweise Radlader
US9826918B2 (en) 2015-08-28 2017-11-28 Juergen Marx Method and device for detecting the surface structure and properties of a probe
US20210002852A1 (en) * 2018-03-26 2021-01-07 Sumitomo Construction Machinery Co., Ltd. Shovel

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856698B1 (en) * 1997-11-26 2005-02-15 Cognex Corporation Fast high-accuracy multi-dimensional pattern localization
US7016539B1 (en) 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
JP4112762B2 (ja) * 1999-10-05 2008-07-02 株式会社東芝 画像処理装置およびx線診断装置
KR100530951B1 (ko) * 2002-11-14 2005-11-24 주식회사 포스콘 3차원 형상 분석장치를 이용한 무인 크레인 제어 시스템 및 방법
US8081820B2 (en) 2003-07-22 2011-12-20 Cognex Technology And Investment Corporation Method for partitioning a pattern into optimized sub-patterns
US7190834B2 (en) * 2003-07-22 2007-03-13 Cognex Technology And Investment Corporation Methods for finding and characterizing a deformed pattern in an image
US7463754B2 (en) * 2003-11-13 2008-12-09 Honda Motor Co. Adaptive probabilistic visual tracking with incremental subspace update
US6990390B2 (en) * 2004-05-19 2006-01-24 Caterpillar Inc. Method and apparatus to detect change in work tool
US7650011B2 (en) * 2004-07-09 2010-01-19 Honda Motor Co., Inc. Visual tracking using incremental fisher discriminant analysis
US8437502B1 (en) 2004-09-25 2013-05-07 Cognex Technology And Investment Corporation General pose refinement and tracking tool
US8485822B2 (en) * 2006-05-31 2013-07-16 Caterpillar Inc. Simulation system implementing historical machine data
US7865285B2 (en) * 2006-12-27 2011-01-04 Caterpillar Inc Machine control system and method
US8351684B2 (en) * 2008-02-13 2013-01-08 Caterpillar Inc. Terrain map updating system
US8345926B2 (en) 2008-08-22 2013-01-01 Caterpillar Trimble Control Technologies Llc Three dimensional scanning arrangement including dynamic updating
CA2683357C (en) 2008-10-21 2015-06-02 Motion Metrics International Corp. Method, system and apparatus for monitoring loading of a payload into a load carrying container
JP2011133273A (ja) * 2009-12-22 2011-07-07 Canon Inc 推定装置及びその制御方法、プログラム
US20120114181A1 (en) * 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
JP5693162B2 (ja) * 2010-11-09 2015-04-01 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム
CL2012000933A1 (es) 2011-04-14 2014-07-25 Harnischfeger Tech Inc Un metodo y una pala de cable para la generacion de un trayecto ideal, comprende: un motor de oscilacion, un motor de izaje, un motor de avance, un cucharon para excavar y vaciar materiales y, posicionar la pala por medio de la operacion del motor de izaje, el motor de avance y el motor de oscilacion y; un controlador que incluye un modulo generador de un trayecto ideal.
US8843279B2 (en) 2011-06-06 2014-09-23 Motion Metrics International Corp. Method and apparatus for determining a spatial positioning of loading equipment
US8620533B2 (en) 2011-08-30 2013-12-31 Harnischfeger Technologies, Inc. Systems, methods, and devices for controlling a movement of a dipper
US9206587B2 (en) 2012-03-16 2015-12-08 Harnischfeger Technologies, Inc. Automated control of dipper swing for a shovel
CN102733435A (zh) * 2012-07-12 2012-10-17 熔盛机械有限公司 一种轮式挖掘机行进方向自动识别装置及其识别方法
JP5469216B2 (ja) * 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
US9188676B2 (en) * 2012-08-15 2015-11-17 Digital Signal Corporation System and method for detecting a face contour using a three-dimensional measurement system
NL1040157C2 (nl) * 2013-04-12 2014-10-14 Hudson Bay Holding B V Mobiele inrichting met besturingssysteem.
US9679224B2 (en) 2013-06-28 2017-06-13 Cognex Corporation Semi-supervised method for training multiple pattern recognition and registration tool models
AU2014262221C1 (en) 2013-11-25 2021-06-10 Esco Group Llc Wear part monitoring
EP2894600B1 (de) * 2014-01-14 2018-03-14 HENSOLDT Sensors GmbH Verfahren zur Verarbeitung 3D-Sensordaten zur Bereitstellung von Geländesegmentierung
PE20190877A1 (es) 2015-02-13 2019-06-18 Esco Group Llc Monitoreo de productos de acondicionamiento del terreno para equipos de trabajo de movimiento de tierra
US9714497B2 (en) 2015-10-21 2017-07-25 Caterpillar Inc. Control system and method for operating a machine
JP6546883B2 (ja) * 2016-06-27 2019-07-17 株式会社関ヶ原製作所 被吊下物保持装置
CA2978389A1 (en) 2016-09-08 2018-03-08 Harnischfeger Technologies, Inc. System and method for semi-autonomous control of an industrial machine
US10146226B1 (en) * 2017-08-04 2018-12-04 Ford Global Technologies, Llc Autonomous vehicle sequential railcar loading and alignment
JP7278795B2 (ja) * 2019-02-21 2023-05-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN113311437B (zh) * 2021-06-08 2022-04-19 安徽域驰智能科技有限公司 一种提高车载雷达定位侧边车位角点位置精度的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8313338D0 (en) * 1983-05-14 1983-06-22 Gen Electric Co Plc Vehicle control
US5123057A (en) * 1989-07-28 1992-06-16 Massachusetts Institute Of Technology Model based pattern recognition
US5375059A (en) * 1990-02-05 1994-12-20 Caterpillar Inc. Vehicle position determination system and method
US5243665A (en) * 1990-03-07 1993-09-07 Fmc Corporation Component surface distortion evaluation apparatus and method
US5208763A (en) * 1990-09-14 1993-05-04 New York University Method and apparatus for determining position and orientation of mechanical objects
US5471541A (en) * 1993-11-16 1995-11-28 National Research Council Of Canada System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model
JP3275620B2 (ja) * 1994-04-13 2002-04-15 トヨタ自動車株式会社 自動課金システム
US5751853A (en) * 1996-01-02 1998-05-12 Cognex Corporation Locating shapes in two-dimensional space curves
US5982438A (en) * 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202007006501U1 (de) * 2007-01-25 2008-06-05 Liebherr-Werk Bischofshofen Ges.M.B.H. Arbeitsmaschine, vorzugsweise Radlader
US9826918B2 (en) 2015-08-28 2017-11-28 Juergen Marx Method and device for detecting the surface structure and properties of a probe
US20210002852A1 (en) * 2018-03-26 2021-01-07 Sumitomo Construction Machinery Co., Ltd. Shovel

Also Published As

Publication number Publication date
JPH11325880A (ja) 1999-11-26
DE19858750B4 (de) 2008-04-03
US6363173B1 (en) 2002-03-26

Similar Documents

Publication Publication Date Title
DE19858750A1 (de) Inkrementelle Erkennung eines dreidimensionalen Objekts
EP1987371B1 (de) Verfahren zur detektion von objekten mit einer schwenkbaren sensoreinrichtung
DE112019003159T5 (de) Bildverarbeitungssystem, anzeigevorrichtung, bildverarbeitungsverfahren, verfahren zur erzeugung eines trainierten modells und datensatz zum lernen
DE112018002247T5 (de) Hindernisabtastvorrichtung
DE102019211710A1 (de) Behälterwinkelerfassung unter verwendung eines bildsensors zur feedbackschleifensteuerung
DE102018207706A1 (de) Umgebungsabtastung unter Verwendung einer Arbeitsmaschine mit einer Kamera
DE10354209A1 (de) System und Verfahren zum Verbessern der Fahrzeugfahrer-Fahrunterstützung eines Kraftfahrzeugs
DE112020000310T5 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Verfahren zur Erzeugung eines gelernten Modells und Datensatz zum Lernen
DE102018122374B4 (de) Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
DE102019125045A1 (de) Baustellenplanung für autonome baufahrzeuge
EP3482622B1 (de) Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems
DE112021002328T5 (de) Verfahren und system zur erkennung einer halde
DE102022202296A1 (de) System und verfahren zur selektiven automatisierung von beladungsvorgangs-phasen für selbstfahrende arbeitsfahrzeuge
DE102021213706A1 (de) Mobile planiermaschine mit verbessertem planiersteuersystem
EP3575912A1 (de) Mähroboter
DE102004041938A1 (de) Stapelgerät, insbesondere Reachstacker, und Verfahren zum Greifen und Stapeln von Containern
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
DE102022203042A1 (de) System und verfahren zur beladungsunterstützung für arbeitsmaschinen
EP0912806B1 (de) Verfahren und anordnung zur steuerung eines bewegungsablaufs bei einer fortbewegbaren landbearbeitungsmaschine
EP3969673B1 (de) Verfahren zur berechnung eines aushubvolumens
DE102021208677A1 (de) Planiermaschinen mit verbesserter steuerung
DE102022112318B3 (de) Verfahren zur Ermittlung einer Ausdehnungsinformation eines Zielobjekts, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger
DE102018115895A1 (de) Verfahren und System zur Erkennung von Hindernissen
DE102022208059B3 (de) Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes
DE102022209351A1 (de) System und verfahren zur objekterfassung für eine arbeitsmaschine mit maskierung der arbeitsgeräte

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee