DE19858750A1 - Inkrementelle Erkennung eines dreidimensionalen Objekts - Google Patents
Inkrementelle Erkennung eines dreidimensionalen ObjektsInfo
- Publication number
- DE19858750A1 DE19858750A1 DE19858750A DE19858750A DE19858750A1 DE 19858750 A1 DE19858750 A1 DE 19858750A1 DE 19858750 A DE19858750 A DE 19858750A DE 19858750 A DE19858750 A DE 19858750A DE 19858750 A1 DE19858750 A1 DE 19858750A1
- Authority
- DE
- Germany
- Prior art keywords
- discontinuities
- data
- model
- scan line
- interpretations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2045—Guiding machines along a predetermined path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Analysis (AREA)
- Control And Safety Of Cranes (AREA)
- Image Processing (AREA)
Description
Die Erfindung bezieht sich allgemein auf das Bestimmen
der Position und Ausrichtung eines Objekts und insbesondere
auf das inkrementelle Bestimmen der Position und Ausrichtung
eines planaren Objekts zum Aufnehmen einer Materialladung in
einer Erdbewegungsumgebung.
"Erdbewegungsmaschine" und verschiedene ähnliche Begriffe
sollen sich in dieser Beschreibung auf Bagger, Radlader,
Kettentraktoren, Walzen, Motorgrader, Landwirtschaftsmaschi
nen, Pflastermaschinen, Asphaltiermaschinen und dergleichen
beziehen, die sowohl (1) Mobilität über oder durch eine Bau
stelle als auch (2) die Fähigkeit aufweisen, die Topographie
oder Geographie einer Baustelle mit einem Werkzeug oder einem
Funktionsteil der Maschine, wie zum Beispiel einer Schaufel,
einer Klinge, einer Aufreißeinrichtung, einer Walze und der
gleichen, zu verändern.
Beim Bedienen von Erdbewegungsmaschinen wie zum Beispiel
Baggern, Radladern und Kränen zum Bewegen von Materialien von
einem Ort zum anderen bestimmen menschliche Maschinenbediener
visuell die Position und Ausrichtung des Objekts, das die
Ladung aufnehmen soll und steuern das Laden des Materials
entsprechend. Zum Beispiel wird in einer Erdbewegungsumgebung
ein Bagger zum Laden von Material auf die Ladefläche eines
Kippers verwendet. Der Baggerführer bestimmt visuell die
Position und Ausrichtung des zu beladenden Kippers und lädt
die Schaufel voll Material an dem erwünschten Ort ab.
In manchen Anwendungsbereichen werden autonome Lade- und
Entladevorgänge durchgeführt. Ein System, das ohne Eingreifen
eines menschlichen Bedieners die Position und Ausrichtung
eines Objekts bestimmen kann, das ein Ladung aufnehmen soll,
wird oft bei einem autonomen Ladesystem gebraucht, vor allem
in Situationen, wo sich der Ort des Ladepunkts verändert.
Beispiele dafür sind Ladesysteme für Kipper, Flachbettkipper,
Bahnwägen, Bunker, Kähne und Frachtschiffe. In einer Erdbewe
gungsumgebung verändert sich die Position und Ausrichtung des
die Ladung aufnehmenden Objekts, wie zum Beispiel eines Kip
pers von einem Kipper zum anderen, während die Ladeflächen von
Kippern gefüllt werden und leere Kipper ankommen, um sie zu
ersetzen. Wenn Erdbewegungsmaschinen autonom arbeiten, muß
Information über die Position und Ausrichtung des jeweiligen
zu beladenden Kippers an das Steuerungssystem der Maschine
geliefert werden.
Bisher wurden Systeme entwickelt, die Objekte erkennen
und identifizieren können. Diese Systeme, wie zum Beispiel das
im US-Patent Nr. 5,471,541, erteilt am 28. November 1995 an
Burtnyk et al., bringen typischerweise Bilddaten mit Modellen
von Objekten in Übereinstimmung, die genaue Abmessungen haben.
Das Burtnyk-et-al.-Patent verwendet Entfernungsprofile und von
einem Modell abgeleitete synthetische Profile. Bei diesem
Verfahren wird auch angenommen, daß außerdem eine ungefähre
"Pose" des Objekts bekannt ist. Bei manchen Objekterkennungs
lösungen wird die "Pose" (die Position und Ausrichtung) des
Modells ständig aktualisiert, während Modelleigenschaften mit
den Daten abgeglichen werden. Siehe Faugeras und Hebert, "The
Representation, Recognition, and Locating of 3-D Objects"
("Die Darstellung, Erkennung und Lokalisierung dreidimensiona
ler Objekte"), The International Journal of Robotics Research,
Bd. 5, Nr. 3, S. 27-52, Herbst 1986. Eine weitere Möglichkeit
zum Berechnen einer Pose eines steifen Modells ist als Ver
fahren des Iterative Closest Point (I.D.P., etwa: Nächster
iterativer Punkt) bekannt, das von Paul J. Besl und Neil D.
McKay in einem Vortrag mit dem Titel "A method for registra
tion of 3-D shapes" ("Ein Verfahren zur Bestimmung der Lage
dreidimensionaler Formen") vorgestellt wurde, das in den IEEE
Transactions on Pattern Analysis and Machine Intelligence, Bd.
14 (2), S. 239-256, 1992 veröffentlicht wurde. Bei diesem
Verfahren werden die Daten für das Modell passend umgeformt,
indem die Entfernung zwischen Punkten im Modell und Punkten im
ursprünglichen Datensatz so minimiert werden, daß eine anfäng
liche angenäherte Pose des Objekts verfeinert wird. Bei diesem
Verfahren wird angenommen, daß mit dem Objekt zusammenhängende
Punkt von anderen Punkten der Szene segmentiert wurden.
Im US-Patent Nr. 5,208,763, am 4. Mai 1993 an Hong et al.
erteilt, wird ein Verfahren zum Bestimmen der Position und
Ausrichtung mechanischer Objekte offenbart, wobei Euklidsche
Transformationen verwendet werden, um das Objekt mit dem
Modell in Übereinstimmung zu bringen. Das US-Patent Nr.
5,123,057, erteilt am 16. Juni 1992 an Verly et al., offenbart
ein Verfahren, bei dem rekursive Verfahren zum in Überein
stimmung bringen erfaßter Daten mit vorbestimmten Modellen und
zum Bestimmen von "Übereinstimmungsgraden" zwischen einem
Teilsatz von Daten mit einem Teilsatz von Modellteilen ver
wendet werden. Die höchsten "Übereinstimmungsgrade" mit den
Modellen werden zum Identifizieren des Objekts verwendet.
Bolles und Horaud haben ein Objekterkennungssystem ent
wickelt, das als 3DPO (three dimensional part orientation
system/etwa: System der Ausrichtung dreidimensionaler Teile)
bekannt ist, bei dem eine Strategie des Lokalisierens des
vielversprechendsten Merkmals in einem dreidimensionalen Bild
eines Durcheinanders von Teilen verwendet und dann dieses
Merkmal zum Vorschlagen anderer Merkmale benützt wird, die
eine Hypothese bestätigen und dann zu anderen Merkmalen führen
könnten, die die Pose des Objekts vollständig eingrenzen könn
ten. Bei diesem System wurden Diskontinuitäten in einer ein
zigen Abtastlinie gesucht und diese Diskontinuitäten in einem
als Kantenverkettung bekannten Verfahren aneinandergehängt,
wodurch lineare Merkmale geformt wurden, die dann zum Lenken
der Suche nach Objekten verwendet wurden. Diese Arbeit wurde
in einem technischen Vortrag von R.C. Bolles und P. Horaud mit
dem Titel "3DPO: A Three Dimensional Part Orientation System"
(etwa: "3DPO: Ein Orientierungssystem für dreidimensionale
Teile"), The International Journal of Robotics Research, Bd.
5, Nr. 3, Herbst 1986, S. 3-26, vorgestellt.
In manchen Situationen ist es wünschenswert, Objekte
eines bestimmten Typs zu erkennen und zu lokalisieren, von
denen man weiß, daß sich ihre Abmessungen ändern. Ein Ver
fahren zum Bestimmen des Orts, der Größe und der Ausrichtung
dieser Objekte wird daher gebraucht. Außerdem ist es in Situa
tionen, in der mehrere Maschinen zusammen und/oder autonom in
einer Umgebung arbeiten müssen, wichtig, den Ort, die Größe
und die Ausrichtung von Objekten, die zum Aufnehmen oder
Umschichten von Materialien verwendet werden, zu erkennen. Das
Maximieren der Produktivität einer automatisierten Erbewe
gungsmaschine bedeutet, daß die Rechnereffizienz zum Verarbei
ten ohne Zeitverzögerungen aller zum Steuern der Maschine
benötigten Daten wichtig ist. Ein System, das kein vollständi
ges Abtasten des Objekts und seiner Umgebung benötigt, ist
daher wünschenswert. Außerdem ist es wünschenswert, die Bewe
gung der Objekte zu verfolgen, wenn sie einmal erkannt wurden.
Ein Verfahren und eine Vorrichtung, die in einer rauhen Umge
bung eingesetzt werden können, mit Sensorsystemen, die Daten
begrenzter Auflösung und Genauigkeit liefern können, ist
außerdem wünschenswert.
Demnach ist es eine Aufgabe der Erfindung, eines oder
mehrere der oben genannten Probleme zu lösen.
Erfindungsgemäß ist ein Verfahren und ein Vorrichtung zum
Erkennen und Bestimmen des Orts und der Ausrichtung eines
Objekts vorgesehen, bei dem inkrementelle Entfernungsdaten von
einem Abtastsensor verwendet werden. Das vorliegende Erken
nungsverfahren verwendet Merkmale von durch Abtastsensoren
gelieferten Daten zusammen mit geometrischen Merkmalen von
Objekten, die in einer Erdbewegungsumgebung typischerweise
Ladungen aufnehmen, wie zum Beispiel Kipper. Die Daten einer
einzigen Abtastlinie, die von einem Abtastsensorsystem gelie
fert wird, werden verarbeitet, um zu bestimmen, ob in der Ab
tastlinien Diskontinuitäten vorliegen. Da eine einzige Ab
tastlinie in einem relativ kurzen Zeitraum aufgenommen wird,
werden die geometrischen Verhältnisse von Merkmalen in der
Abtastlinie beibehalten, auch wenn sich der Sensor bewegt hat
und das nicht gemessen wurde. Beim vorliegenden Verfahren wird
auch der Tatsache Rechnung getragen, daß Diskontinuitäten in
nebeneinanderliegenden Abtastlinien nahe beieinander sein
sollten und hervorstechenden Merkmalen eines Modells des
Objekts entsprechen sollten. Die obere und die untere Kante
eines Objekts, wie der Ladefläche eines Kippers, und hervor
stehende Veränderungen des Terrains können als Diskontinuitä
ten in einer einzigen Abtastlinie lokalisiert werden. Diese
Diskontinuitäten werden zum Bilden möglicher Interpretationen
der Position und Ausrichtung des Objekts verwendet. Bei den
folgenden Abtastlinien werden dann Diskontinuitäten, die eng
beieinander liegen, mit ähnlichen Kennzeichnungen versehen.
Außerdem werden an die Diskontinuitäten Linien angelegt und
mit den Kanten in einem oder mehr Modellen verglichen, die
mögliche Interpretationen des Objekts darstellen. Vom Modell
abgeleitete geometrische Einschränkungen werden zum Eliminie
ren unbrauchbarer Interpretationen und zum Bestätigen brauch
barer Interpretationen verwendet. Wenn eine brauchbare Inter
pretation zustande kommt, wird das interessierende Objekt als
erkannt angenommen. Die auf der Anzahl der verwendeten Ab
tastlinien und den meisten gefundenen Modellmerkmalen beruhen
de beste Interpretation wird zum Bestimmen der besten Position
und Ausrichtung des Objekts verwendet. Beim Empfangen der
Abtastlinien werden die Position und die Ausrichtung des
Objekts ständig aktualisiert und an andere Untersysteme zum
Steuern anderer Maschinen weitergeleitet. Eine Annahme kann
auch bezüglich der allgemeinen Ausrichtung des Objekts getrof
fen werden, das die Ladung mit Bezug auf die Lademaschine
aufnimmt. Das vorliegende Erkennungsverfahren verringert die
Zeitverzögerung im Vergleich zu Verfahren, die eine Abtastung
des gesamten Objekts und des umgebenden Bereichs erfordern und
die erst nach der vollständigen Abtastung mit der Verarbeitung
der Daten beginnen, um dann die Position und Ausrichtung des
Objekts zu bestimmen.
Das vorliegende Verfahren lokalisiert Diskontinuitäten,
baut lineare Merkmale auf und verwendet geometrische Ein
schränkungen, die unter Verwendung auf diesem Gebiet der
Technik bekannter Verfahren vom Objektmodell abgeleitet wer
den. Das vorliegende Verfahren zum Aufbauen von Teilinter
pretationen des Objekts mit nur einem Teil der Szenendaten und
der Verwendung einer Zustandstabelle zum Führen dieses Prozes
ses sind einzigartige Aspekte des Verfahrens.
Ausführungsbeispiele der Erfindung werden nachfolgend
anhand der Figuren erläutert. Es zeigt:
Fig. 1 ein Flußdiagramm der erfindungsgemäßen Verfahrens
schritte,
Fig. 2 eine perspektivische Darstellung eines Diagramms eines
Kippers mit einer Abtastlinie mit Diskontinuitäten,
Fig. 3 ein Blockdiagramm eines Systems, das zum Anwenden des
erfindungsgemäßen Verfahrens verwendet werden kann,
Fig. 4 eine Draufsicht auf einen Kipper, der in einer Vor
beifahrtausrichtung bezüglich des Baggers positioniert
ist,
Fig. 5 eine Draufsicht auf einen Kipper, der in einer Heck
ladeposition bezüglich des Baggers positioniert ist,
Fig. 6 eine perspektivische Darstellung eines Schemas einer
Kipperladefläche,
Fig. 7 eine Zustandstabelle zum Führen der Erzeugung von
Interpretationen,
Fig. 8 Maschinen- und Abtastsensor-Orte für eine Kipperlade
fläche mit bestimmten Zuständen,
Fig. 9 erfindungsgemäß durch ein Abtasten der Kipperladeflä
che erzeugte Anfangszustände,
Fig. 10 die Verwendung mehrerer Abtastlinien zum Bewerten von
Interpretationen und
Fig. 11 eine perspektivische Darstellung eines Schemas einer
Kipperladefläche.
Fig. 1 zeigt ein Flußdiagramm 20 der folgenden Schritte,
die beim erfindungsgemäßen Datenverarbeitungsverfahren durch
geführt werden müssen: (a) Auffinden der Diskontinuitäten in
einer einzigen Abtastlinie 22 unter Verwendung der Tatsache,
daß Diskontinuitäten durch zu wenig Entfernungsdaten oder eine
Bewegung der Lademaschine nicht verdunkelt werden, (b) Ver
suchen, die Diskontinuitäten der aktuellen Abtastlinie unter
Verwendung von Nähe- und Abmessungseinschränkungen 24 mit
jeder Interpretation auf einer Liste aktiver Interpretationen
zu verschmelzen, (c) Berechnen der Position und Ausrichtung
des Objekts unter Verwendung der besten Interpretation 26.
Diese Schritte werden im Folgenden weiter erklärt.
Beim ersten Schritt 22 des Flußdiagramms 20 werden Dis
kontinuitäten in den Daten von einer senkrechten Rotation
eines Abtastsensors, d. h. einer Abtastlinie, bestimmt. Eine
Diskontinuität ist eine abrupte Veränderung der Richtung der
Entfernungspunkte in einer Abtastlinie. In Fig. 2 ist eine
einzelne Abtastlinie 27 gezeigt, die über ein Diagramm eines
Kippers 28 geht. Drei unterschiedliche Verfahren können allein
oder in Kombination miteinander zum Lokalisieren von Diskon
tinuitäten in einer Abtastlinie verwendet werden. Zum Bei
spiel:
- (1) Versuchen, Liniensegmente in Entfernungsdaten in einer einzigen Abtastlinie einzupassen. Wenn der Fehler aus dem anzupassenden Liniensegment über einen Schwellenwert wächst, diesen Punkt als Diskontinuität kennzeichnen und ein neues Liniensegment beginnen.
- (2) Die Entfernung zwischen aufeinanderfolgenden Punkten in einer Abtastlinie überprüfen. Wenn diese Entfer nung einen Schwellenwert übersteigt, diese Punkte als Diskontinuitäten kennzeichnen.
- (3) Nach Sprüngen im Höhenwert (z-Koordinate) der Punkte in der Abtastlinie suchen.
Fig. 3 zeigt ein vereinfachtes Blockdiagramm eines Ver
arbeitungssystems 29, das zum Implementieren der vorliegenden
Erfindung verwendet werden kann. Die Abbildungs- oder Entfer
nungsdaten werden von einem Abtastsensorsystem 30 erhalten,
das zum Beispiel auf Radar-, Laser-, Infrarot und Sonarsenso
ren beruht. Das erfindungsgemäße Verfahren kann in Computer
software implementiert werden, die auf einem Datenprozessor
32, wie zum Beispiel einem Mikroprozessor, ausgeführt wird.
Die Komponenten des Verarbeitungssystems 29 können mit Daten
übertragungseinrichtungen 34, wie zum Beispiel einem Datenbus
oder einem alternativen Sende- und Empfangssystem, wie zum
Beispiel Funk, Satellit, Infrarot, Kabel usw. verbunden wer
den, das es erlaubt, daß Daten zwischen einem oder mehr Sen
sorsystemen 30, Datenspeichereinheiten 36, Dateneingabe-/-aus
gabegeräten 38 und Datenprozessoren übertragen werden.
Zum Bestimmen der Position und Ausrichtung eines Objekts
aus Entfernungsdaten einer Szene vergleicht die vorliegende
Erfindung in der Szene gefundene Merkmale mit Modellen von
Objekten, die in einer Datenbank gespeichert sind. Die Daten
speichereinheiten 36 speichern Entfernungsdaten vom Sensorsy
stem 30 und weitere vom Verarbeitungssystem 29 benötigte
Information. Die Speichereinheiten 36 weisen auch eine Daten
bank von Information für Modelle von Objekten auf, die mit den
szene-Entfernungsdaten verglichen werden können, um zu bestim
men, ob es eine Korrelation zwischen dem Objekt in der Szene
und einem der Modelle gibt. Diese Modelldatenbank enthält
Informationen über den Typ des Objekts, wobei jedes Modell
geometrische Merkmale, wie die durchschnittliche Breite, Länge
und Höhe des Modells enthält. Die Modelldatenbank enthält auch
Informationen über die linearen Merkmale, die Diskontinuitäten
in senkrechten Abtastlinien des Objekts entsprechen. Die
linearen Merkmale werden durch einen Vektor, der die Richtung
des Hauptachse der Linie im dreidimensionalen Raum angibt, und
durch zwei Endpunkte repräsentiert.
Ein oder mehr Abtastsensorsysteme sind oft auf sich
bewegenden Maschinen angebracht, wie zum Beispiel auf einem
Bagger oder einem Radlader. Trotz der Bewegung und der Vibra
tion der Maschine kann immer noch eine genaue Bestimmung von
Diskontinuitäten in den Abtastlinien erreicht werden, wenn die
Abtastfrequenz des Entfernungsscanners (zum Beispiel 5 bis 15
kHz) wesentlich größer ist als die Bewegungsfrequenz der
Maschine (zum Beispiel 1 bis 10 Hz). Aufgrund der Frequenzdif
ferenz werden die geometrischen Eigenschaften der Abtastlinie
beibehalten, auch wenn die Maschine gräbt, ablädt oder von
einem Ort zu anderen fährt.
Der nächste Schritt im in Fig. 1 gezeigten Algorithmus 20
ist das Verschmelzen der Diskontinuitäten in einer Abtastlinie
mit Interpretationen über den möglichen Ort der Kipperladeflä
che unter Verwendung von Abmessungs- und Näheeinschränkungen
24. Näheeinschränkungen werden dadurch implementiert, daß
angenommen wird, daß Diskontinuitäten in nebeneinanderliegen
den Abtastlinien, die dem gleichen geometrischen Merkmal eines
Objekts entsprechen, ähnliche Orte haben sollten (d. h. nah
beieinander liegen). Eine Interpretation ist ein Satz von
Objektmodellmerkmalen mit entsprechenden Übereinstimmungen mit
Szenenmerkmalen. Bei der vorliegenden Erfindung werden Teil-
Szenendaten zum Vornehmen von Interpretationen über die Posi
tion und die Ausrichtung eines Objekts unter Verwendung der
folgenden Variablen eingesetzt:
- (1) Zustand - ein Identifikator, der die Hypothese an gibt, nach der Merkmale eines Objekts gerade abgeta stet werden,
- (2) Merkmalspunkte - die Diskontinuitätspunkte die mit bestimmten Objektmerkmalen in Beziehung stehen,
- (3) Merkmalslinien - die am besten passende Linie durch die Merkmalspunkte, die aus einem Einheitsvektor für die Richtung und den beiden Endpunkten des Einheits vektors besteht,
- (4) merkmalsspezifische Information - hängt vom Objekt und von der durchzuführenden Aufgabe ab, bei einem Kipper zum Beispiel besteht sie aus einer Verset zungsentfernung in der Höhe, weil die linearen Merk male die Kanten der Ladefläche sind, und daher werden die Linien ausgehend von einer Linie durch das Zen troid um die maximale Versetzung nach oben verscho ben, um sicherzugehen, daß die Schaufel der Erdbewe gungsmaschine über die Kanten des Kippers hinweggeht,
- (5) Zentroid - ein Zentroid wird für jedes lineare Merk mal aus den Entfernungsdatenpunkten berechnet, und
- (6) Eliminierung - ein Boolscher Wert, der anzeigt, ob die bestimmte Interpretation eliminiert werden soll te, nachdem sie zum Bilden aller möglicher neuer Interpretationen verwendet wurde.
Annahmen bezüglich Vorgängen an einer Erdbewegungsbau
stelle können zum Vereinfachen der Interpretationsentwicklung
verwendet werden. Erstens kann angenommen werden, daß ein
Objekt in Richtungen in einem gewissen Bereich zeigt. Wie zum
Beispiel in Fig. 4 und Fig. 5 gezeigt, zeigt ein Bediener
eines Baggers 39 oder Radladers (nicht dargestellt) normaler
weise an, ob der Kipper 40 in einer sogenannten Vorbeifahr-
Ladeposition, wie in Fig. 4 gezeigt, geparkt werden sollte,
oder in einer Heckladeposition, wie in Fig. 5 gezeigt. Eine
weitere Annahme ist, daß der Kipper 40 von hinten nach vorn
abgetastet wird. Weitere Annahmen können nach der jeweiligen
Situation verwendet werden.
Unter Verwendung dieser Annahmen wird dann eine Zustands
tabelle erzeugt, wie sie in Fig. 7 gezeigt ist, die den Vor
gang des Erzeugens von Interpretationen führt, während das
Objekt von einem oder mehr Abtastsensorsystemen 41 der Erdbe
wegungsmaschine 39 abgetastet wird. Die Zustandstabelle kann
im Speicher vorprogrammiert sein, oder eine Off-Line-Verarbei
tungseinrichtung kann die Tabelle erzeugen und im Speicher
speichern. Ein Einschränken der Merkmale, die übereinstimmen
müssen, verringert die Rechneranforderungen. Im Fall eines
Kipperladeflächenmodells 42, wie es in Fig. 6 gezeigt ist,
kann der Ort und die Ausrichtung der Ladefläche unter Ver
wendung von oberen Rändern 43, 44, 46, 48 der Seiten der
Ladefläche 42 bestimmt werden. In der in Fig. 7 gezeigten
Zustandstabelle sind die Spaltenüberschriften die möglichen
Zustände, die bei jeder Abtastlinie in Betracht gezogen wer
den. Die Reihenüberschriften sind die möglichen Zustände, in
die eingetreten werden kann. Wenn eine Zelle als möglich
gekennzeichnet wird, dann ist es möglich, vom Zustand der
Spaltenüberschrift in den durch diese Reihe angegebenen Zu
stand überzugehen. Der INITIAL-Zustand bedeutet, daß keine
Abtastlinien mit 2 oder mehr Diskontinuitäten im Höhenbereich
des oberen Endes der Seiten des Kippers angetroffen wurden.
Fig. 8 zeigt die möglichen Positionen des Abtastsensorsystems
52, das auf einer Erdbewegungsmaschine sitzt, und des Kippers
50, wenn der Kipper 50 in einer Vorbeifahrtposition ist. Im
INITIAL-Zustand in Fig. 7 könnte der Zustand möglicherweise
LINKS-HINTEN sein, wobei die linke und die hintere Seite
gekreuzt wurden, oder er könnte HINTEN-RECHTS sein, wobei die
hintere und die rechte Seite des Kippers gekreuzt wurden, oder
LINKS-RECHTS, wobei die linke und die rechte Seite gekreuzt
wurden. Das Verarbeitungsverfahren ist um die Zustandstabelle
von Fig. 7 herum organisiert. Die Tabelleneinträge sind Zeiger
auf Funktionen, die die Möglichkeit der gegebenen Interpreta
tion überprüfen und wenn möglich neue Interpretationen erzeu
gen. Datenpunkte von jeder neuen Abtastlinie werden auf Dis
kontinuitäten hin verarbeitet, und dann wird die aktuelle
Liste der Interpretationen verwendet, um zu überprüfen, ob die
Daten aus der neuen Abtastlinie zum Bilden einer neuen Inter
pretation kombiniert werden können.
Nach dem Empfang der Abtastlinien werden diese zum Auf
finden von Diskontinuitäten verarbeitet. Die Orte der Diskon
tinuitäten im Verhältnis zur Maschine werden zum Eliminieren
von Diskontinuitäten überprüft, die nicht zum Rand des Kippers
gehören können. Derzeit richtet sich das nach einer Mindest
höhe und einer Mindestentfernung zur Lademaschine, wie zum
Beispiel dem Radlader oder Bagger. Die Diskontinuitäten werden
dann nach ihrer Entfernung von der Lademaschine geordnet.
Die Diskontinuitäten in der anfänglichen Abtastlinie
werden zum Erzeugen von Interpretationen über die mögliche
Lage der Kipperladefläche verwendet. Wenn zum Beispiel die
beiden Diskontinuitäten der Abtastlinie beim ersten Queren des
Kippers 58, wie in Fig. 9 gezeigt, auftreten, verursachen sie
das Erzeugen von zwei neuen Interpretationen, LINKS-HINTEN 60,
62 und HINTEN-RECHTS 62, 64. Die LINKS-RECHTS-60-64-Inter
pretation kann eliminiert werden, da die in der Nähe des Ecks
liegenden Diskontinuitäten weniger als eine Mindestbreite 65
voneinander entfernt sein werden. Diese Mindestbreite 65 wird
als der Information aus dem Kippermodell zugehörig betrachtet.
Da es keine vorhergehenden Daten zum Eliminieren der HINTEN-
RECHTS-62-64-Interpretation gibt, muß sowohl LINKS-HINTEN als
auch HINTEN-RECHTS erzeugt werden. Die Liste von Interpreta
tionen aus einer Abtastlinie 68, 70 mit zwei Diskontinuitäten,
das heißt, die erste Abtastlinie traf mehr als eine Diskon
tinuität an, ist die folgende:
- 1. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten 60, 62 aus der ersten Abtastlinie 68).
- 2. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten 62, 64 aus der ersten Abtastlinie 70).
- 3. Zustand: INITIAL, anfängliche Anzahl der Abtastlinien = 0, (keine Diskontinuitäten).
Wenn ein Rauschen in den durch das Abtastsensorsystem
gelieferten Daten ist, erkennt das Datenverarbeitungssystem
vielleicht mehr als zwei Diskontinuitäten in einer Abtastli
nie. In dieser Situation würden zwei zusätzliche Interpreta
tionen für jede zusätzliche Diskontinuität erzeugt. Wenn das
Verarbeitungssystem nur zwei in aufeinanderfolgenden Abtastli
nien vorkommende Diskontinuitäten erfaßt, werden die aufgrund
von Rauschen erzeugten Interpretationen nicht als gültige
Interpretationen angesehen und von der aktiven Interpreta
tionsliste gestrichen.
Unter der Annahme von keinen Abtastlinien mit Diskon
tinuitäten aufgrund von Rauschen, wird, wenn die zweite Ab
tastlinie zwei Diskontinuitäten enthält, ein Versuch unter
nommen, die zwei Diskontinuitäten mit den drei oben aufge
führten Interpretationen zu kombinieren. An diesem Punkt wird
nur die Entfernung zwischen den Diskontinuitäten überprüft.
Richtungen werden erst überprüft, wenn 3 oder mehr Abtastlin
ien verarbeitet wurden. Jede Interpretation erzeugt daher
einen zusätzlichen Satz Interpretationen, außer der INITIAL-
Zustand, der zwei Zustände erzeugt. Die Liste von Interpreta
tionen nach dem Verarbeiten der zweiten Abtastlinie enthält
die folgenden sieben Interpretationen:
- 1. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der ersten und der zweiten Abtastlinie).
- 2. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der ersten und der zweiten Abtastlinie).
- 3. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der zweiten Abtastlinie).
- 4. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der zweiten Abtastlinie).
- 5. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der ersten Abtastlinie).
- 6. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der ersten Abtastlinie).
- 7. Zustand: INITIAL, anfängliche Anzahl der Abtastlinien = 0, (keine Diskontinuitäten).
Fig. 10 zeigt die Datenpunkte (oder Diskontinuitätspunk
te) 71, 72, 73, 74, 75 und 76 aus drei Abtastlinien 77, 78, 79
zum Bestimmen, daß der LINKS-HINTEN-Zustand den Abmessungs- und
Richtungseinschränkungen entspricht. Wenn die dritte
gültige Abtastlinie 79 empfangen wird, werden die sieben
Interpretationen auf der aktuellen Liste zum Erzeugen neuer
Interpretationen verwendet. An diesem Punkt wird jedoch eine
Linie durch die Datenpunkte gelegt, die sich auf das jeweilige
lineare Merkmal beziehen, wie zum Beispiel die Datenpunkte 71,
72, 73, die sich auf den Rand links oben beziehen, und die
Winkel zwischen den Merkmalen des Modells werden überprüft.
Wenn ein Merkmal mehr als zwei Datenpunkte hat, werden Ein
schränkungen unter Verwendung der Hauptachse durch den Satz
von Punkten zum Eliminieren ungültiger Interpretationen über
prüft. Das Verfahren zum Legen der Linien wird im Folgenden
erörtert. Eine dritte Abtastlinie mit zwei Diskontinuitäten
würde die folgende Interpretationsliste ergeben:
- 1. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 3, (unter Verwendung von Diskontinuitäten aus allen 3 Abtastlinien).
- 2. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der drit ten und der zweiten Abtastlinie).
- 3. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der drit ten und der zweiten Abtastlinie).
- 4. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der drit ten und der ersten Abtastlinie).
- 5. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der drit ten und der ersten Abtastlinie).
- 6. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der zwei ten und der ersten Abtastlinie).
- 7. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 2, (unter Verwendung von Diskontinuitäten aus der zwei ten und der ersten Abtastlinie).
- 8. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der zwei ten Abtastlinie).
- 9. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der zwei ten Abtastlinie).
- 10. Zustand: LINKS-HINTEN, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der ersten Abtastlinie).
- 11. Zustand: HINTEN-RECHTS, Anzahl der Abtastlinien = 1, (unter Verwendung von Diskontinuitäten aus der ersten Abtastlinie).
- 12. Zustand: INITIAL, anfängliche Anzahl der Abtastlinien = 0, (keine Diskontinuitäten).
Es ist zu bemerken, daß unter der Annahme, daß der Kipper
50 in einer Vorbeifahrtausrichtung im Verhältnis zur Ladema
schine und dem Scanner 52, wie in Fig. 8 gezeigt, ist, nur der
LINKS-HINTEN-Zustand den Abmessungseinschränkungen entspricht,
wenn Information aus allen drei Abtastlinien verwendet wird,
die bis zu diesem Punkt empfangen wurden.
Beim Empfangen jeder neuen Abtastlinie werden aufgrund
des Zustands der Interpretationen auf der aktiven Liste neue
Interpretationen erzeugt. Nach Verarbeiten der jeweiligen
Abtastlinie und dem Erzeugen neuer Interpretationen werden
neue Interpretationen vorne an die Liste angefügt, und die
alten Interpretationen werden am Ende der Liste behalten. Es
ist klar, daß dieses Verfahren dazu führen könnte, daß die
Interpretationsliste sehr lang werden könnte, vor allem, wenn
es mehr als zwei Diskontinuitäten pro Abtastlinie sind. Aus
diesem Grund kann die Liste beschränkt werden, wenn die Anzahl
der Zustände größer als eine Maximalzahl wird, die so gesetzt
wird, daß sie die erwünschte Anzahl von Interpretationen
enthält, wie zum Beispiel eine Beschränkung auf 20. Nach dem
Aktualisieren der Liste wird sie nach der besten Kipperbe
schreibung untersucht, was auf der Grundlage der Anzahl der
Abtastlinien geschieht, die bei einer Interpretation verwendet
werden, und der Anzahl der Modellmerkmale, die in Überein
stimmung gebracht wurden. Das beste Merkmal wird immer an den
Beginn der Liste gesetzt. Derzeit ist das Verfahren zum Auf
finden des besten Merkmals das folgende:
Für jede Interpretation in der Liste:
Für jede Interpretation in der Liste:
- (1) Die Anzahl von Merkmalen zählen, die mehr als zwei Punkte haben.
- (2) Die Anzahl von Diskontinuitäten zählen, die bei der Lösung verwendet wurden. Die ist die Anzahl der Tref fer.
- (3) Wenn die Anzahl der Merkmale größer als die vormals beste Kipperbeschreibung ist und die Anzahl von Tref fern größer als die bisherige beste Kipperbeschrei bung, dann diese Interpretation zur besten Interpre tation machen und die Liste nicht mehr weiter durch gehen.
Wenn keine Interpretation gefunden wurde, die mit den
obigen Kriterien übereinstimmt, dann für jede Interpretation
in der Liste:
- (1) Merkmale zählen.
- (2) Treffer zählen.
- (3) Wenn die Anzahl von Merkmalen gleich der bisherigen besten Kipperbeschreibung und die Anzahl der Treffer größer als die bisherige beste Kipperbeschreibung ist, dann diese Interpretation zur besten Interpreta tion machen und die Liste nicht mehr weiter durch gehen.
Ein Vorgang, der in dem obigen Beispiel nicht beschrieben
ist, besteht darin, daß ein Zustand eliminiert werden kann,
nachdem er zum Erzeugen weiterer Zustände verwendet wurde.
Wenn ein Zustand einen identischen Zustand erzeugt, wird nur
der Zustand mit der meisten Information behalten. Dadurch
werden einige redundante Zustände eliminiert, die sonst auf
der aktiven Liste geführt würden. Das kann zu Problemen füh
ren, wenn ein Punkt, der nicht wirklich auf der Kante einer
Kipperladefläche liegt, in das Merkmal mit aufgenommen wird.
Wenn zum Beispiel ein Erdklumpen über die Kante der Ladefläche
hinausquillt, könnte die Lösung einen Punkt auf dem Erdklumpen
beinhalten, und das würde das durchschnittliche Rauschen der
Linien am linearen Merkmal erhöhen sowie die Linie in die
Richtung des Rauschpunktes verschieben. Solange jedoch die
Ladefläche nicht gänzlich verdeckt wird, sollten die Punkte
auf der Ladeflächenkante bessere Linienübereinstimmungen
aufweisen.
Die das Modell des Kippers bildenden linearen Merkmale
können durch eine Gerade repräsentiert werden, die durch zwei
Punkte des Modellmerkmals gebildet wird, nämlich den ersten
Punkt und den aktuellsten Punkt. Auch wenn dieses Verfahren
einen hohen Wirkungsgrad hat, kommt dabei keine sehr genaue
Repräsentation des Merkmals heraus. Zum genauen Darstellen des
Merkmals sollte eine Linie durch Punkte in drei Dimensionen
gehen. Ein Verfahren dafür ist das Auffinden der Hauptachsen
des Satzes von Punkten eines bestimmten Merkmals. Diese Achsen
werden unter Verwendung der Hauptkomponentenanalyse bestimmt.
Die 3×3-Kovarianz-Matrix des Punktsatzes wird ermittelt. Die
Teilsummen, die zum Konstruieren der Kovarianzmatrix verwendet
werden, werden zum Ermöglichen einer schnelleren Berechnung
gespeichert, wenn die Diskontinuitäten von neuen Abtastlinien
berücksichtigt werden. Die Eigenvektoren der Kovarianzmatrix
der Punkte eines Merkmals ergeben die Richtung der Hauptachsen
im Raum. Die Richtung der dreidimensionalen-Linie ist gegeben
durch den Eigenvektor, der den größten Eigenwert hat. Dies ist
der Vektor in unserer Darstellung der linearen Merkmale.
Dieser Vorgang wird oft durchgeführt, weil jeder Zustand auf
der Interpretationsliste neue Zustände erzeugt, je nach der
Zustandstabelle, und jeder davon kann 1 oder 2 Merkmale be
treffen, die neue Linienanpassungen erfordern. Ein Verfahren,
das eine anfängliche Schätzung bei den Eigenvektoren und
Eigenwerten erlaubt, könnte die Rechnerzeit bei dieser Anwen
dung verringern, weil, wenn die Eigenvektoren einmal gefunden
wurden, sie sich bei Hinzufügen eines neuen Punktes jeweils
nur sehr wenig verändern.
Die Modelle in der Datenbank bestehen aus den Merkmalen,
die durch Verarbeiten der senkrechten Abtastlinien einer
Entfernungsabtastung des Objekts zum Auffinden der Diskon
tinuitäten in der jeweiligen Abtastlinie konstruiert werden.
Nur die Merkmale, die Diskontinuitäten in senkrechten Abtast
linien des Objekts entsprechen, werden im Modell verwendet.
Beispiele dieser Merkmale sind durch die fetten Linien für die
Ränder 43, 44, 46, 48 in Fig. 6 angezeigt. Die linearen Merk
male werden durch einen Vektor, der die Richtung der Haupt
achse der Linie im dreidimensionalen Raum angibt, und durch
zwei Endpunkte repräsentiert. Fig. 11 zeigt ein Modell für
eine Kipperladefläche 80 mit weiteren linearen Merkmalen, wie
den unteren Kanten 82, 84, 86, 88, 90, die in der Datenbank
genauso wie die Seiten 92, 94 mit Winkelverhältnissen reprä
sentiert sein können, die vom in Fig. 6 gezeigten Modell
verschieden sind. Allgemeine Abmessungen wie die Länge, die
Breite und die Höhe werden auch mit der Modellinformation
angegeben. Die Modelle können in einem modellzentrierten
Koordinatensystem gespeichert werden und die Merkmale in
andere Koordinatensysteme umgewandelt werden, wodurch sie dann
in den von der Zustandstabelle abgerufenen Funktionen zu
verwenden sind. Zusätzlich zu den in Fig. 6 und 11 gezeigten
Kipperladeflächen können auch andere Objekte mit linearen
Merkmalen in der Datenbank gespeichert werden.
Wie oben angegeben, kann die Zustandstabelle durch ein
Off-Line-Verfahren hergestellt werden. Bei der vorliegenden
Erfindung wurde die Zustandstabelle manuell hergestellt und
die von der Zustandstabelle aufgerufenen Softwarefunktionen
wurden ebenfalls manuell geschrieben. Ein Verfahren, das die
Zustandstabelle und die von der Zustandstabelle aufgerufenen
Softwarefunktionen aufgrund einer auf einem Modell beruhenden
Beschreibung generieren könnte, würde es erlauben, dieses
Verfahren der inkrementellen Objekterkennung auf jedes Objekt
anzuwenden, das eine erlaubte Modellbeschreibung hat.
Eine weitere Ausführungsform der Erfindung erlaubt es,
daß eine Zustandstabelle und Software automatisch konfiguriert
werden, indem das Abtasten eines Objektmodells simuliert wird
und mögliche Zustände bestimmt werden, in die ein Übergang aus
einem gegebenen Zustand möglich ist. Abmessungsbeschränkungen,
die mögliche Zustände bestimmen, in die ein Übergang vom
aktuellen Zustand aus möglich ist, werden unter Verwendung von
Information aus dem Objektmodell automatisch kodiert. Dieser
Vorgang kann off-line unter Verwendung eines Modells des
Sensors und eines planaren Modells des Objekts durchgeführt
werden. Mehrere simulierte Abtastungen des Objektmodells
werden im Bereich von Positionen und Ausrichtungen durchge
führt, die für das Objekt im Verhältnis zur Lademaschine, wie
zum Beispiel einem Bagger, möglich sind. Die Zustandstabelle
wird durch Kombinieren der Sätze von Zuständen generiert, die
aus den simulierten Abtastungen des Objektmodells entstanden.
Die erforderliche Information für die Funktionen, die die
Zustandsübergänge bestimmen, besteht typischerweise aus dem
Winkel zwischen den Merkmalen, der Länge der Merkmale, der
Nähenentfernung für ein bestimmtes Merkmal und der Richtung
der Kreuzprodukts von zwei linearen Merkmalen. Allgemeine
Funktionen, die bestimmen, ob die Diskontinuitäten in der
Abtastlinie ein Verbleiben des Systems im gleichen Zustand
und/oder einen Übergang zu einem neuen Zustand verursachen,
werden mit der spezifischen Modellinformation aufgerufen. Das
Off-Line-System ermöglicht es, daß das Verfahren mit mehr als
einer Art Modell verwendet werden kann und zur Verwendung mit
Sensoren mit unterschiedlichen Abtastraten, Abtastauflösungen
und Strahlbreiten abgestimmt werden kann.
Bei der vorliegenden Erfindung kann das Objekt erkannt
werden, während es abgetastet wird, wodurch die Zeit zum
Sammeln der Daten aus dem Erkennungsvorgang nicht mehr benö
tigt wird. Der Betrieb ist relativ unempfindlich gegenüber
Fehlern bei einem Abtastsensorsystem, das auf der automati
sierten Lademaschine residiert. Außerdem werden dabei geringe
Datenmengen aus gering auflösenden Sensoren verwendet, die
unter rauhen Umweltbedingungen funktionieren. Bei nachfolgen
den Abtastungen des Scanners kann das Verfahren dazu verwendet
werden, nachzuverfolgen und nachzuprüfen, ob das Objekt noch am
gleichen Ort ist, an dem es vorher lokalisiert wurde. Die
Abmessungen des jeweiligen Kippers können unterschiedlich
sein, daher müssen für jeden Kipper die Ladeflächenabmessungen
wieder festgestellt werden.
Teilbeschreibungen der Objekte werden von Software-Pla
nungsfunktionen zum Planen der Aktionen eines Hydraulikbaggers
(hydraulic excavator/HEX) oder eines Radladers zum Beladen
eines Behälters, wie zum Beispiel eines Kippers, eines Eisen
bahnwaggons, eines Flachbettkippers oder eines Bunkers ver
wendet. Bei der Anwendung auf den automatisierten Massenaushub
plant ein HEX-Bewegungsplaner die Bewegung der Maschine, die
zum Bewegen einer Schaufel voll Material von der Bodenober
fläche und zum Laden in die Kipperladefläche benötigt werden.
Ein weiteres Planmodul, ein Ladeplaner, wählt den Zielort in
der Ladefläche, in dem der HEX das Material ablädt. Diese
beiden Module erfordern ein Wissen über die Position des Kip
pers. Durch die vorliegende Erfindung werden Informationen
über das Objekt bereitgestellt, die von anderen Systemen
verwendet werden können, wie zum Beispiel die Eckpunkte des
Objekts (links vorne, links hinten, rechts vorne, rechts
hinten und Tiefenpunkt), die Ladeflächenabmessungen (Länge,
Breite, Tiefe der Fläche), Kipperpositionsinformation (Höhe,
Richtung im Welt-Koordinatensystem) und Datenflags, die anzei
gen, ob für die oben aufgeführten Lösungspunkte und Abmessun
gen gültige Daten existieren.
Claims (27)
1. Verfahren zum Bestimmten der Position, Größe und Aus
richtung eines Objekts mit mindestens einem linearen Merkmal
aufgrund von Entfernungsdaten aus mehreren Abtastlinien, die
durch ein das Objekt abtastendes Sensorsystem bereitgestellt
werden, wobei ein Datenverarbeitungssystem verwendet wird, das
eine Datenbank numerischer Daten aufweist, die mindestens
einem Modell mit mindestens einem linearen Merkmal entspre
chen, wobei das Verfahren die folgenden Schritte aufweist:
- (a) Lokalisieren von Diskontinuitäten in den Abtastlinien, während diese empfangen werden,
- (b) Verwenden einer Zustandstabelle erwarteter Merkmale zum Generieren einer Liste aktiver Interpretationen des Objekts unter Verwendung von Modellinformation und der Orte der Dis kontinuitäten nur von Teilentfernungsdaten des Objekts,
- (c) Bewerten der Interpretationen zum Bestimmen der besten Interpretation, die die Interpretation mit den am besten übereinstimmenden Merkmalen ist, die eine Mindestdatenmenge bis zur aktuellen Abtastlinie haben, und
- (d) Berechnen der Position und Ausrichtung des Objekts unter Verwendung der Interpretation, die mit dem Objekt am besten übereinstimmt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
der Schritt (a) weiter beinhaltet, daß Diskontinuitäten in
einer Abtastlinie dadurch lokalisiert werden, daß versucht
wird, Liniensegmente in die Abtastlinienentfernungsdaten ein
zupassen, und ein Entfernungspunkt als Diskontinuität markiert
wird, wenn der Fehler aus einem einzupassenden Liniensegment
über einem Schwellenwert liegt.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
der Schritt (a) weiter beinhaltet, daß Diskontinuitäten in
einer Abtastlinie dadurch lokalisiert werden, daß die Entfer
nung zwischen aufeinanderfolgenden Entfernungsdatenpunkten in
einer Abtastlinie überprüft werden und ein Punkt als Diskon
tinuität gekennzeichnet wird, wenn die Entfernung einen
Schwellenwert übersteigt.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
der Schritt (a) weiter beinhaltet, daß Diskontinuitäten in
einer Abtastlinie dadurch lokalisiert werden, daß Differenzen
von Höhenwerten von Entfernungsdatenpunkten in der Abtastlinie
erfaßt werden, die einen Schwellenwert übersteigen.
5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
das Generieren der Liste aktiver Interpretationen in Schritt
(b) weiter beinhaltet, daß mindestens eine am besten passende
Linie durch Entfernungsdatenpunkte des mindestens einen linea
ren Merkmals des Objekts aus einem Einheitsvektor und zwei
Endpunkten besteht.
6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
das Generieren der Liste aktiver Interpretationen in Schritt
(b) weiter beinhaltet, daß der Zentroid für einen planaren
Bereich des mindestens einen linearen Merkmals des Objekts be
rechnet wird.
7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
Schritt (c) weiter beinhaltet, daß Näheneinschränkungen zum
Beschränken der Anzahl von zu vergleichenden Interpretationen
verwendet werden, wobei die Näheneinschränkungen auf Diskon
tinuitäten in nebeneinanderliegenden Abtastlinien beruhen, die
dem gleichen linearen Merkmal des Objekts entsprechen.
8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
Schritt (c) weiter beinhaltet, daß Abmessungseinschränkungen
zum Beschränken der Anzahl zu vergleichender Interpretationen
verwendet werden.
9. Vorrichtung zum Bestimmen der Position, Größe und Aus
richtung eines Objekts mit mindestens einem linearen Merkmal,
gekennzeichnet durch:
ein Datenverarbeitungssystem mit einer Datenspeichervor richtung und einem Datenprozessor, wobei die Datenspeichervor richtung Entfernungsdatenabtastlinien des Objekts und Daten aufweist, die mindestens einem Modell entsprechen, das minde stens ein lineares Merkmal hat, wobei der Datenprozessor Diskontinuitäten in den Abtastlinien lokalisiert, unter Ver wendung der Modelldatenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitäten mit den aktiven Interpretationen Abtastlinie für Abtastlinie vergleicht, um die Interpretation aufzufinden, die am besten mit dem Objekt übereinstimmt, und aufgrund der verfügbaren Daten die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt übereinstimmt.
ein Datenverarbeitungssystem mit einer Datenspeichervor richtung und einem Datenprozessor, wobei die Datenspeichervor richtung Entfernungsdatenabtastlinien des Objekts und Daten aufweist, die mindestens einem Modell entsprechen, das minde stens ein lineares Merkmal hat, wobei der Datenprozessor Diskontinuitäten in den Abtastlinien lokalisiert, unter Ver wendung der Modelldatenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitäten mit den aktiven Interpretationen Abtastlinie für Abtastlinie vergleicht, um die Interpretation aufzufinden, die am besten mit dem Objekt übereinstimmt, und aufgrund der verfügbaren Daten die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt übereinstimmt.
10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß
der Datenprozessor Diskontinuitäten in einer Abtastlinie
dadurch lokalisiert, daß versucht wird, Liniensegmente in die
Abtastlinienentfernungsdaten einzupassen, und ein Entfernungs
punkt als Diskontinuität markiert wird, wenn der Fehler aus
einem einzupassenden Liniensegment über einem Schwellenwert
liegt.
11. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß
der Datenprozessor Diskontinuitäten in einer Abtastlinie da
durch lokalisiert, daß die Entfernung zwischen aufeinanderfol
genden Entfernungsdatenpunkten in einer Abtastlinie überprüft
werden und ein Punkt als Diskontinuität gekennzeichnet wird,
wenn die Entfernung einen Schwellenwert übersteigt.
12. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß
der Datenprozessor Diskontinuitäten in einer Abtastlinie da
durch lokalisiert, daß Differenzen von Höhenwerten von Entfer
nungsdatenpunkten in der Abtastlinie erfaßt werden, die einen
Schwellenwert übersteigen.
13. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß
die Interpretation mindestens eine am besten passende Linie
durch das mindestens eine lineare Merkmal des Objekts auf
weist, die aus einem Einheitsvektor und zwei Endpunkten be
steht.
14. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß
die Interpretation einen Zentroid für die Entfernungspunkte
des mindestens einen linearen Merkmals des Objekts aufweist.
15. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß
der Datenprozessor Näheneinschränkungen zum Beschränken der
Anzahl von zu vergleichenden Interpretationen verwendet, wobei
die Näheneinschränkungen auf Diskontinuitäten in nebenein
anderliegenden Abtastlinien beruhen, die dem mindestens einen
linearen Merkmal des Objekts entsprechen.
16. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß
der Datenprozessor Abmessungseinschränkungen zum Beschränken
der Anzahl zu vergleichender Interpretationen verwendet.
17. Vorrichtung zum Bestimmen der Position, Größe und Aus
richtung eines Objekts in einer Erdbewegungsumgebung, wobei
das Objekt mindestens ein lineares Merkmal aufweist, gekenn
zeichnet durch:
ein Datenverarbeitungssystem mit einer Datenspeichervor richtung und einem Datenprozessor, wobei die Datenspeichervor richtung Entfernungsdatenabtastlinien des Objekts aufweist, die von einem Abtastsensorsystem geliefert werden, und Daten, die mindestens einem Modell entsprechen, das mindestens ein lineares Merkmal hat, wobei der Datenprozessor Diskontinuitä ten in den Abtastlinien lokalisiert, unter Verwendung der Modelldatenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitä ten mit den aktiven Interpretationen Abtastlinie für Abtastli nie vergleicht, um die Interpretation aufzufinden, die am besten mit dem Objekt übereinstimmt, und aufgrund der verfüg baren Daten die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt übereinstimmt.
ein Datenverarbeitungssystem mit einer Datenspeichervor richtung und einem Datenprozessor, wobei die Datenspeichervor richtung Entfernungsdatenabtastlinien des Objekts aufweist, die von einem Abtastsensorsystem geliefert werden, und Daten, die mindestens einem Modell entsprechen, das mindestens ein lineares Merkmal hat, wobei der Datenprozessor Diskontinuitä ten in den Abtastlinien lokalisiert, unter Verwendung der Modelldatenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitä ten mit den aktiven Interpretationen Abtastlinie für Abtastli nie vergleicht, um die Interpretation aufzufinden, die am besten mit dem Objekt übereinstimmt, und aufgrund der verfüg baren Daten die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt übereinstimmt.
18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, daß
das Objekt die Ladefläche eines Kippers ist.
19. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, daß
das Abtastsensorsystem auf einer Erdbewegungsmaschine ange
bracht ist, die neben der Kipperladefläche positioniert ist,
wobei das Abtastsensorsystem im wesentlichen senkrechte Ab
tastlinien der Kipperladefläche erzeugt, wobei die Abtastli
nien vom hinteren zum vorderen Ende der Kipperladefläche
nebeneinander liegen.
20. Vorrichtung zum Erkennen eines Objekts und zum Bestimmen
der Position, Größe und Ausrichtung des Objekts in einer Szene
der Erdbewegungsumgebung, wobei das Objekt mindestens ein
lineares Merkmal hat, gekennzeichnet durch:
ein Datenverarbeitungssystem mit einer Datenspeichervor richtung und einem Datenprozessor, wobei die Datenspeichervor richtung Entfernungsdatenabtastlinien des Objekts aufweist, die von einem Abtastsensorsystem geliefert werden, und Daten, die mindestens einem Modell entsprechen, das mindestens ein lineares Merkmal hat, wobei der Datenprozessor das Abtasten des Objekts unter Verwendung eines Modells des Objekts simu liert, eine Zustandstabelle generiert, die unter Verwendung von Daten vom simulierten Abtasten mögliche Ausrichtungen des Objekts in der Erdbewegungsumgebung angibt, Diskontinuitäten in den Abtastlinien lokalisiert, unter Verwendung der Modell datenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitäten mit den aktiven Interpretationen zum Auffinden der Interpretation vergleicht, die am besten mit dem Objekt übereinstimmt, und die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt über einstimmt.
ein Datenverarbeitungssystem mit einer Datenspeichervor richtung und einem Datenprozessor, wobei die Datenspeichervor richtung Entfernungsdatenabtastlinien des Objekts aufweist, die von einem Abtastsensorsystem geliefert werden, und Daten, die mindestens einem Modell entsprechen, das mindestens ein lineares Merkmal hat, wobei der Datenprozessor das Abtasten des Objekts unter Verwendung eines Modells des Objekts simu liert, eine Zustandstabelle generiert, die unter Verwendung von Daten vom simulierten Abtasten mögliche Ausrichtungen des Objekts in der Erdbewegungsumgebung angibt, Diskontinuitäten in den Abtastlinien lokalisiert, unter Verwendung der Modell datenbank und der Orte der Diskontinuitäten eine Liste aktiver Interpretationen des Objekts generiert, Diskontinuitäten mit den aktiven Interpretationen zum Auffinden der Interpretation vergleicht, die am besten mit dem Objekt übereinstimmt, und die Position und Ausrichtung des Objekts unter Verwendung der Interpretation berechnet, die am besten mit dem Objekt über einstimmt.
21. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß
die Zustandstabelle unter Verwendung von Abmessungseinschrän
kungen des Objektmodells generiert wird, die mögliche Zustände
bestimmen, in die von einem bestimmten Zustand übergegangen
werden kann.
22. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß
mehrere simulierte Abtastungen des Objektmodells über einen
Bereich möglicher Positionen und Ausrichtungen des Objekts im
Verhältnis zur Lademaschine durchgeführt werden.
23. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß
die Zustandsübergänge bestimmt werden, indem Winkel zwischen
Merkmalen des Objektmodells, die Länge der Merkmale, die
Nähenentfernung für ein bestimmtes Merkmal und die Richtung
des Kreuzprodukts zweier linearer Merkmale verwendet werden.
24. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß
die Entscheidung, ob in einen anderen Zustand übergegangen
werden soll, unter Verwendung von Objektmodellinformation
vorgenommen wird, die Folgendes beinhaltet: Nähe von Merkmalen
in einer Abtastlinie zu gemeinsamen Merkmalen im vorhergehen
den Zustand, der Winkel zwischen Szenenmerkmalen und der
Winkel zwischen möglichen Modellmerkmalen in Übereinstimmung
gebracht mit den Szenenmerkmalen, die Richtung der inkremen
tellen Szenenmerkmale und die Richtung der möglichen Modell
merkmale in Übereinstimmung gebracht mit diesen Szenenmerkma
len.
25. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß
das Objektmodell unter Verwendung eines simulierten Sensormo
dells mit veränderbaren Abtastraten abgetastet wird.
26. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß
das Objektmodell unter Verwendung eines simulierten Sensormo
dells mit veränderbaren Abtastauflösungen abgetastet wird.
27. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß
das Objektmodell unter Verwendung eines simulierten Sensormo
dells mit veränderbaren Strahlbreiten abgetastet wird.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US6834697P | 1997-12-19 | 1997-12-19 | |
US60/068,346 | 1997-12-19 | ||
US09/173,073 | 1998-10-14 | ||
US09/173,073 US6363173B1 (en) | 1997-12-19 | 1998-10-14 | Incremental recognition of a three dimensional object |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19858750A1 true DE19858750A1 (de) | 1999-06-24 |
DE19858750B4 DE19858750B4 (de) | 2008-04-03 |
Family
ID=26748874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19858750A Expired - Fee Related DE19858750B4 (de) | 1997-12-19 | 1998-12-18 | Verfahren und Vorrichtungen zum Bestimmen der Position, Größe und Ausrichtung eines Objekts |
Country Status (3)
Country | Link |
---|---|
US (1) | US6363173B1 (de) |
JP (1) | JPH11325880A (de) |
DE (1) | DE19858750B4 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202007006501U1 (de) * | 2007-01-25 | 2008-06-05 | Liebherr-Werk Bischofshofen Ges.M.B.H. | Arbeitsmaschine, vorzugsweise Radlader |
US9826918B2 (en) | 2015-08-28 | 2017-11-28 | Juergen Marx | Method and device for detecting the surface structure and properties of a probe |
US20210002852A1 (en) * | 2018-03-26 | 2021-01-07 | Sumitomo Construction Machinery Co., Ltd. | Shovel |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6856698B1 (en) * | 1997-11-26 | 2005-02-15 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern localization |
US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
JP4112762B2 (ja) * | 1999-10-05 | 2008-07-02 | 株式会社東芝 | 画像処理装置およびx線診断装置 |
KR100530951B1 (ko) * | 2002-11-14 | 2005-11-24 | 주식회사 포스콘 | 3차원 형상 분석장치를 이용한 무인 크레인 제어 시스템 및 방법 |
US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
US7190834B2 (en) * | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
US7463754B2 (en) * | 2003-11-13 | 2008-12-09 | Honda Motor Co. | Adaptive probabilistic visual tracking with incremental subspace update |
US6990390B2 (en) * | 2004-05-19 | 2006-01-24 | Caterpillar Inc. | Method and apparatus to detect change in work tool |
US7650011B2 (en) * | 2004-07-09 | 2010-01-19 | Honda Motor Co., Inc. | Visual tracking using incremental fisher discriminant analysis |
US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
US8485822B2 (en) * | 2006-05-31 | 2013-07-16 | Caterpillar Inc. | Simulation system implementing historical machine data |
US7865285B2 (en) * | 2006-12-27 | 2011-01-04 | Caterpillar Inc | Machine control system and method |
US8351684B2 (en) * | 2008-02-13 | 2013-01-08 | Caterpillar Inc. | Terrain map updating system |
US8345926B2 (en) | 2008-08-22 | 2013-01-01 | Caterpillar Trimble Control Technologies Llc | Three dimensional scanning arrangement including dynamic updating |
CA2683357C (en) | 2008-10-21 | 2015-06-02 | Motion Metrics International Corp. | Method, system and apparatus for monitoring loading of a payload into a load carrying container |
JP2011133273A (ja) * | 2009-12-22 | 2011-07-07 | Canon Inc | 推定装置及びその制御方法、プログラム |
US20120114181A1 (en) * | 2010-11-01 | 2012-05-10 | Borthwick James R | Vehicle pose estimation and load profiling |
JP5693162B2 (ja) * | 2010-11-09 | 2015-04-01 | キヤノン株式会社 | 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム |
CL2012000933A1 (es) | 2011-04-14 | 2014-07-25 | Harnischfeger Tech Inc | Un metodo y una pala de cable para la generacion de un trayecto ideal, comprende: un motor de oscilacion, un motor de izaje, un motor de avance, un cucharon para excavar y vaciar materiales y, posicionar la pala por medio de la operacion del motor de izaje, el motor de avance y el motor de oscilacion y; un controlador que incluye un modulo generador de un trayecto ideal. |
US8843279B2 (en) | 2011-06-06 | 2014-09-23 | Motion Metrics International Corp. | Method and apparatus for determining a spatial positioning of loading equipment |
US8620533B2 (en) | 2011-08-30 | 2013-12-31 | Harnischfeger Technologies, Inc. | Systems, methods, and devices for controlling a movement of a dipper |
US9206587B2 (en) | 2012-03-16 | 2015-12-08 | Harnischfeger Technologies, Inc. | Automated control of dipper swing for a shovel |
CN102733435A (zh) * | 2012-07-12 | 2012-10-17 | 熔盛机械有限公司 | 一种轮式挖掘机行进方向自动识别装置及其识别方法 |
JP5469216B2 (ja) * | 2012-07-31 | 2014-04-16 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置 |
US9188676B2 (en) * | 2012-08-15 | 2015-11-17 | Digital Signal Corporation | System and method for detecting a face contour using a three-dimensional measurement system |
NL1040157C2 (nl) * | 2013-04-12 | 2014-10-14 | Hudson Bay Holding B V | Mobiele inrichting met besturingssysteem. |
US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
AU2014262221C1 (en) | 2013-11-25 | 2021-06-10 | Esco Group Llc | Wear part monitoring |
EP2894600B1 (de) * | 2014-01-14 | 2018-03-14 | HENSOLDT Sensors GmbH | Verfahren zur Verarbeitung 3D-Sensordaten zur Bereitstellung von Geländesegmentierung |
PE20190877A1 (es) | 2015-02-13 | 2019-06-18 | Esco Group Llc | Monitoreo de productos de acondicionamiento del terreno para equipos de trabajo de movimiento de tierra |
US9714497B2 (en) | 2015-10-21 | 2017-07-25 | Caterpillar Inc. | Control system and method for operating a machine |
JP6546883B2 (ja) * | 2016-06-27 | 2019-07-17 | 株式会社関ヶ原製作所 | 被吊下物保持装置 |
CA2978389A1 (en) | 2016-09-08 | 2018-03-08 | Harnischfeger Technologies, Inc. | System and method for semi-autonomous control of an industrial machine |
US10146226B1 (en) * | 2017-08-04 | 2018-12-04 | Ford Global Technologies, Llc | Autonomous vehicle sequential railcar loading and alignment |
JP7278795B2 (ja) * | 2019-02-21 | 2023-05-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN113311437B (zh) * | 2021-06-08 | 2022-04-19 | 安徽域驰智能科技有限公司 | 一种提高车载雷达定位侧边车位角点位置精度的方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8313338D0 (en) * | 1983-05-14 | 1983-06-22 | Gen Electric Co Plc | Vehicle control |
US5123057A (en) * | 1989-07-28 | 1992-06-16 | Massachusetts Institute Of Technology | Model based pattern recognition |
US5375059A (en) * | 1990-02-05 | 1994-12-20 | Caterpillar Inc. | Vehicle position determination system and method |
US5243665A (en) * | 1990-03-07 | 1993-09-07 | Fmc Corporation | Component surface distortion evaluation apparatus and method |
US5208763A (en) * | 1990-09-14 | 1993-05-04 | New York University | Method and apparatus for determining position and orientation of mechanical objects |
US5471541A (en) * | 1993-11-16 | 1995-11-28 | National Research Council Of Canada | System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model |
JP3275620B2 (ja) * | 1994-04-13 | 2002-04-15 | トヨタ自動車株式会社 | 自動課金システム |
US5751853A (en) * | 1996-01-02 | 1998-05-12 | Cognex Corporation | Locating shapes in two-dimensional space curves |
US5982438A (en) * | 1996-03-22 | 1999-11-09 | Microsoft Corporation | Overlapped motion compensation for object coding |
-
1998
- 1998-10-14 US US09/173,073 patent/US6363173B1/en not_active Expired - Fee Related
- 1998-12-18 DE DE19858750A patent/DE19858750B4/de not_active Expired - Fee Related
- 1998-12-21 JP JP10363157A patent/JPH11325880A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202007006501U1 (de) * | 2007-01-25 | 2008-06-05 | Liebherr-Werk Bischofshofen Ges.M.B.H. | Arbeitsmaschine, vorzugsweise Radlader |
US9826918B2 (en) | 2015-08-28 | 2017-11-28 | Juergen Marx | Method and device for detecting the surface structure and properties of a probe |
US20210002852A1 (en) * | 2018-03-26 | 2021-01-07 | Sumitomo Construction Machinery Co., Ltd. | Shovel |
Also Published As
Publication number | Publication date |
---|---|
JPH11325880A (ja) | 1999-11-26 |
DE19858750B4 (de) | 2008-04-03 |
US6363173B1 (en) | 2002-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19858750A1 (de) | Inkrementelle Erkennung eines dreidimensionalen Objekts | |
EP1987371B1 (de) | Verfahren zur detektion von objekten mit einer schwenkbaren sensoreinrichtung | |
DE112019003159T5 (de) | Bildverarbeitungssystem, anzeigevorrichtung, bildverarbeitungsverfahren, verfahren zur erzeugung eines trainierten modells und datensatz zum lernen | |
DE112018002247T5 (de) | Hindernisabtastvorrichtung | |
DE102019211710A1 (de) | Behälterwinkelerfassung unter verwendung eines bildsensors zur feedbackschleifensteuerung | |
DE102018207706A1 (de) | Umgebungsabtastung unter Verwendung einer Arbeitsmaschine mit einer Kamera | |
DE10354209A1 (de) | System und Verfahren zum Verbessern der Fahrzeugfahrer-Fahrunterstützung eines Kraftfahrzeugs | |
DE112020000310T5 (de) | Bildverarbeitungssystem, Bildverarbeitungsverfahren, Verfahren zur Erzeugung eines gelernten Modells und Datensatz zum Lernen | |
DE102018122374B4 (de) | Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug | |
DE102019125045A1 (de) | Baustellenplanung für autonome baufahrzeuge | |
EP3482622B1 (de) | Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems | |
DE112021002328T5 (de) | Verfahren und system zur erkennung einer halde | |
DE102022202296A1 (de) | System und verfahren zur selektiven automatisierung von beladungsvorgangs-phasen für selbstfahrende arbeitsfahrzeuge | |
DE102021213706A1 (de) | Mobile planiermaschine mit verbessertem planiersteuersystem | |
EP3575912A1 (de) | Mähroboter | |
DE102004041938A1 (de) | Stapelgerät, insbesondere Reachstacker, und Verfahren zum Greifen und Stapeln von Containern | |
DE102019218479A1 (de) | Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs | |
DE102022203042A1 (de) | System und verfahren zur beladungsunterstützung für arbeitsmaschinen | |
EP0912806B1 (de) | Verfahren und anordnung zur steuerung eines bewegungsablaufs bei einer fortbewegbaren landbearbeitungsmaschine | |
EP3969673B1 (de) | Verfahren zur berechnung eines aushubvolumens | |
DE102021208677A1 (de) | Planiermaschinen mit verbesserter steuerung | |
DE102022112318B3 (de) | Verfahren zur Ermittlung einer Ausdehnungsinformation eines Zielobjekts, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger | |
DE102018115895A1 (de) | Verfahren und System zur Erkennung von Hindernissen | |
DE102022208059B3 (de) | Verfahren zum Ermitteln einer eine Parklücke beschreibenden Umfeldinformation mithilfe eines faltenden neuronalen Netzes | |
DE102022209351A1 (de) | System und verfahren zur objekterfassung für eine arbeitsmaschine mit maskierung der arbeitsgeräte |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |