DE112013000938B4

DE112013000938B4 - System und verfahren zum materialtransport mit einem oder mehreren bildgebungsgeräten

Info

Publication number: DE112013000938B4
Application number: DE112013000938.2T
Authority: DE
Inventors: Zachary T. Bonefas; Mark M. Chaney; Jeremiah K. Johnson; Aaron J. Bruns; Herman Herman; Carlos Vallespi-Gonzalez; Jose Gonzalez-Mora
Original assignee: Carnegie Mellon University; Deere and Co
Current assignee: Carnegie Mellon University; Deere and Co
Priority date: 2012-02-10
Filing date: 2013-02-11
Publication date: 2021-04-22
Anticipated expiration: 2033-02-12
Also published as: DE112013000938T5; GB2511715A; GB2517292B; AU2013216776A1; DE112013000947T5; US9457971B2; US20140350801A1; AU2013272264B2; WO2013184177A2; WO2013184178A3; GB2517292A; US20160009509A1; US9511958B2; WO2013162673A3; GB2549430A; GB201711057D0; US9522791B2; US9463939B2; WO2013141975A2; GB201412567D0

Abstract

System zur Erleichterung der Übergabe von Material von einem übergebenden Fahrzeug in ein übernehmendes Fahrzeug, wobei das System umfasst:ein übernehmendes Fahrzeug, das einen Antriebsteil zum Antreiben des übernehmenden Fahrzeugs und einen Laderaum zur Lagerung des Materials umfasst;ein erstes Bildgebungsgerät, das dem Laderaum des übernehmenden Fahrzeugs zugewandt ist, wobei das erste Bildgebungsgerät erste Bilddaten sammelt;ein zweites Bildgebungsgerät, das dem Laderaum des übernehmenden Fahrzeugs zugewandt ist, wobei das zweite Bildgebungsgerät zweite Bilddaten sammelt;ein Bildentzerrungsgerät, wobei das Bildentzerrungsgerät eingerichtet ist, einen Offset oder Differenzial zwischen den ersten Bilddaten und den zweiten Bilddaten zu reduzieren, um entzerrte gesammelte Bilddaten zu erzeugen.ein Behälteridentifikationsmodul zum Identifizieren eines Behälterumfangs des Laderaums, wobei das Behälteridentifikationsmodul den Behälterumfang durch Bestimmen einer linearen Pixelmenge identifiziert, die mit dem Behälterumfang in den gesammelten Bilddaten oder den entzerrten gesammelten Bilddaten assoziiert ist;ein Abtankrohr-Identifikationsmodul zum Identifizieren eines Abtankrohrs des übergebenden Fahrzeugs in den gesammelten Bilddaten oder den entzerrten gesammelten Bilddaten;eine Bilddatenauswerteeinrichtung zum Bestimmen, ob die ersten Bilddaten, die zweiten Bilddaten oder beide zur Ausrichtung einer relativen Position des Abtankrohrs und des Behälterumfangs, beruhend auf einer Auswertung einer wesentlichen Schwankung der Intensität von Pixeldaten oder einer wesentlichen Schwankung in umgebenden Lichtbedingungen, während eines Abtastzeitintervalls, zu verwenden sind;ein Ausrichtungsmodul zum Bestimmen der relativen Position des Abtankrohrs und des Behälterumfangs unter Verwendung der gesammelten Bilddaten oder der entzerrten gesammelten Bilddaten und zum Generieren von Befehlsdaten an den Antriebsteil, um den Laderaum in kooperativer Ausrichtung derartig zu lenken, dass das Abtankrohr innerhalb einer mittigen Zone des Behälterumfangs ausgerichtet ist; undeinen mit einem Lenksystem des Antriebsteils assoziierten Lenkkontroller zum Lenken des übernehmenden Fahrzeugs in Übereinstimmung mit der kooperativen Ausrichtung.

Description

GEBIET DER ERFINDUNG
Diese Erfindung bezieht sich auf ein Verfahren und System zur Erleichterung des Entladens von Material aus einem Fahrzeug.
HINTERGRUND
Gewisse Systeme des Stands der Technik mögen versuchen Empfänger für ein weltweites Ortungssystem (GPS-Empfänger) zu verwenden, um geeigneten Abstand zwischen zwei Fahrzeugen während des Entladens oder Transferierens von Agrarprodukt oder anderem Material, wie beispielsweise Kohle und anderen Mineralien, zwischen den Fahrzeugen beizubehalten. Jedoch sind derartige Systeme des Stands der Technik empfindlich hinsichtlich Fehlausrichtung des geeigneten Abstands, aufgrund von Fehlern oder Unterbrechungen in der geschätzten Position der GPS-Empfänger. Zum Beispiel könnte(n) sich einer oder mehrere der GPS-Empfänger seine (ihre) Position wegen elektromagnetischer Störung, Mehrwegeausbreitung der empfangenen Satellitensignale, intermittierenden Empfangs der Satellitensignale oder geringer Empfangssignalstärke der Satellitensignale, unter anderem, verschätzen. Falls die Fahrzeuge Kameras oder andere Bildgebungsgeräte in einem Arbeitsbereich im Freien, wie beispielsweise einem Acker bzw. Feld, verwenden, könnten die Bildgebungsgeräte vorübergehendem Sonnenlicht, Abschattung, Staub, Reflexionen oder anderen Beleuchtungsbedingungen unterliegen, die den richtigen Betrieb der Bildgebungsgeräte zeitweilig unterbrechen können; daher, potenziell Fehler in den geschätzten Entfernungen zu Gegenständen produzieren können, die von den Bildgebungsgeräten beobachtet werden. Deshalb besteht eine Notwendigkeit für ein verbessertes System zum Managen des Entladens von Agrarprodukt aus einem Fahrzeug, um Fehler in den geschätzten Positionen oder der Ausrichtung der Fahrzeuge zu kompensieren oder anzugehen.
In WO 2011/101458 A1 ist eine Vorrichtung zum Entladen einer landwirtschaftlichen Erntemaschine in einen Behälter offenbart, der neben der Erntemaschine betrieben wird. Der Behälter wird mit einer 3D-Kamera fotografiert. Anhand dieser Aufnahme wird eine Distanz zwischen der Kamera und dem abgebildeten Objekt ermittelt.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung umfasst ein System und Verfahren gemäß den Ansprüchen. Das System und Verfahren erleichtert das Umladen von Agrarprodukt aus einem übergebenden Fahrzeug (z. B., Erntefahrzeug) in ein übernehmendes Fahrzeug (z. B., Getreideanhänger).
Ausführungsformen der vorliegenden Erfindung schließen ein erstes Bildgebungsgerät ein, das an einer ersten Stelle am übernehmenden Fahrzeug montiert ist und in Richtung des Laderaums zeigt. Das erste Bildgebungsgerät erfasst erste Bilddaten. Ein zweites Bildgebungsgerät ist mit einer zweiten Stelle am übergebenden Fahrzeug assoziiert (z. B., an diesem montiert oder beweglich daran befestigt) und zeigt in Richtung des Laderaums des übernehmenden Fahrzeugs. Das zweite Bildgebungsgerät erfasst zweite Bilddaten.
Figurenliste

1 ist ein Blockdiagramm einer Ausführungsform eines Machine-Vision erweiterten Führungssystems für ein übergebendes Fahrzeug, das ein Mähdrescher ist, zur Erleichterung des Entladens von Agrarprodukt aus dem übergebenden Fahrzeug (z. B., Mähdrescher);
2 ist ein Blockdiagramm einer weiteren Ausführungsform einer Maschine mit Vision erweiterter Führung für ein übernehmendes Fahrzeug, das eine selbstfahrende Futtererntemaschine ist, zur Erleichterung des Entladens von Agrarprodukt aus dem übergebenden Fahrzeug;
3 veranschaulicht eine Draufsicht eines Bildgebungsgeräts, das an einem übergebenden Fahrzeug montiert ist und in Richtung eines übernehmenden Fahrzeugs zeigt;
4A veranschaulicht eine Draufsicht von Bildgebungsgeräten (z. B., eines monokularen oder Stereo-Vision-Systems), die an einem übergebenden Fahrzeug montiert sind und in Richtung eines Laderaums des übernehmenden Fahrzeugs zeigen;
4B veranschaulicht eine Draufsicht von Bildgebungsgeräten (z. B., eines monokularen oder Stereo-Vision-Systems), die an einem übernehmenden Fahrzeug montiert sind und ein übergebendes Fahrzeug, das einem Laderaum des übernehmenden Fahrzeugs gegenüberliegt;
4C veranschaulicht eine Ansicht in einer horizontalen Ebene, wie entlang der Referenzlinie 4C-4C in 4B gesehen;
4D veranschaulicht eine zweidimensionale Repräsentation von verschiedenen möglichen illustrativen Verteilungen von Material im Innenraum eines Containers (oder Behälters) oder Laderaums, übereinstimmend mit einer Querschnittsdarstellung entlang der Referenzlinie 4D-4D in 4B;
4E ist eine Draufsicht eines übergebenden Fahrzeugs und eines übernehmenden Fahrzeugs, wo das übergebende Fahrzeug innerhalb einer Matrix möglicher Offset-Positionen ausgerichtet ist;
5A veranschaulicht ein Blockdiagramm eines Behälteridentifikationsprozesses unter Verwendung entzerrter Abbildungen;
5B veranschaulicht ein Blockdiagramm eines Container-Behälteridentifikationsprozesses, der fähig ist, entzerrte Abbildungen und Disparitätsabbildungen zu verwenden;
6A ist ein Blockdiagramm eines Abtankrohr-Auffindungsprozesses unter Verwendung entzerrter Abbildungen und Positionsdaten des Abtankrohrs;
6B ist ein Blockdiagramm eines Abtankrohr-Ortungsprozesses unter Verwendung entzerrter Abbildungen, Disparitätsabbildungen und Positionsdaten des Abtankrohrs;
7 ist ein Ablaufdiagramm eines Verfahrens zum Betrieb eines mit Machine-Vision erweiterten Führungssystems zur Erleichterung des Entladens von Agrarprodukt aus einem übergebenden Fahrzeug; und
8 ist eine schematische Darstellung, die den Datenfluss und die Verarbeitung durch das Abbildungsverarbeitungsmodul von Rohbildern zu Fahrzeugbefehlen veranschaulicht.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
In Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung, die Bildgebungsgeräte am übergebenden Fahrzeug benötigt, 1 und 2 zeigen eine Maschine mit „Vision“ erweiterten Führungssystemen 11, 111 für ein übergebendes Fahrzeug 91 ( 3) zum Managen des Entladens von Agrarprodukt (z. B., Getreide) aus dem übergebenden Fahrzeug 91 (1- Mähdrescher; 2 - selbstfahrende Futtererntemaschine) in ein übernehmendes Fahrzeug 79 (z. B., Getreideanhänger oder -wagen). Das übergebende Fahrzeug 91 könnte andere Fahrzeuge wie beispielsweise eine Futtererntemaschine oder andere schwere Ausrüstung umfassen, die Material zur Übergabe an das übernehmende Fahrzeug sammelt oder erntet. Beispielsweise augmentiert ein Stereobildsystem Satellitennavigationsempfänger oder Empfänger 42 für Positionsbestimmung zur Führung des übergebenden Fahrzeugs 91. Mit Bezugnahme auf die 3 hat das erste Bildgebungsgerät 10 ein erstes Blickfeld 77, das durch gestrichelte Linien angezeigt ist. Das zweite Bildgebungsgerät 12 hat ein zweites Blickfeld 177, das durch die gestrichelten Linien angezeigt ist. Die Begrenzungen der Blickfelder 77, 177 sind nur zu veranschaulichenden Zwecken gezeigt und werden in wirklicher Praxis variieren. Die Systeme 11, 111 können ein erstes Bildgebungsgerät 10 und ein zweites Bildgebungsgerät 12 umfassen, die an ein Bildverarbeitungsmodul 18 (1 und 2) gekoppelt sind. Ausführungsformen des ersten Bildgebungsgeräts 10 können eine primäre Stereokamera oder eine Monokularkamera umfassen, während das zweite Bildgebungsgerät 12 eine sekundäre Stereokamera oder eine Monokularkamera umfassen könnte. In einer Konfiguration ist das zweite Bildgebungsgerät 12 eine Stereokamera und kann optional sein und stellt Redundanz für das erste Bildgebungsgerät 10 bei Ausfall, Fehlfunktion oder Nichtverfügbarkeit von Bilddaten vom ersten Bildgebungsgerät 10 bereit, wenn das erste Blickfeld 77 des ersten Bildgebungsgeräts 10 ausreicht, um in den Behälter 85 einzusehen. In einer Konfiguration ist das zweite Bildgebungsgerät monokular und wird für ein Stereobild des Containers oder des Behälters 85 benötigt, wenn in Verbindung mit einem Bild eines monokularen ersten Bildgebungsgeräts 10 mit dem ersten Blickfeld 77 verwendet, das ausreicht, in den Behälter 85 einzusehen. 3 veranschaulicht eine Draufsicht eines übergebenden Fahrzeugs 91 und eines übernehmenden Fahrzeugs 79. Wie in 3 für erläuternde Zwecke veranschaulicht, ist das übergebende Fahrzeug 91 als ein Mähdrescher mit einem Ernteaggregat 185 gezeigt, wogegen das übernehmende Fahrzeug 79 als ein Traktor und ein Getreideanhänger gezeigt ist. Allgemeiner umfasst das übernehmende Fahrzeug 79 die Kombination einer Antriebseinheit 75 und einer Laderaumeinheit 93 (z. B., einer geschleppten Laderaumeinheit). Jedes Bildgebungsgerät 10, 12 schließt ein Bildentzerrungsgerät 101 ein, um das Rohbild in ein entzerrtes Bild umzuwandeln. Obwohl das hierin offenbarte Beispiel von übergebenem Material Agrarprodukt ist, ist die Erfindung nicht auf Agrarprodukt beschränkt und ist auf andere Materialien wie beispielsweise Kohle und andere Mineralien anwendbar.
3 zeigt ein erstes Bildgebungsgerät 10 am übergebenden Fahrzeug 91 (z. B., Mähdrescher) und ein zweites Bildgebungsgerät 12 an einem Abtankrohr 89 des übergebenden Fahrzeugs 91. Das zweite Bildgebungsgerät 12 kann optional sein, wenn das erste Bildgebungsgerät 10 eine Stereokamera ist und das erste Blickfeld 77 des ersten Bildgebungsgeräts 10 ausreicht, um in den Behälter 85 einzusehen. Das Abtankrohr 89 könnte auch als eine Austrags- bzw. Abtankschnecke bezeichnet werden. Das Abtankrohrende 87 könnte als eine Manschette bezeichnet werden. In 3 ist das Abtankrohr 89 oder das Abtankrohrende 87, generell über eine mittige Zone 83, einen mittigen Bereich oder Zielbereich mit dem Gittermuster 82 (4A und 4B) des Vorratsbehälters 85 des übernehmenden Fahrzeugs 79 ausgerichtet, um Material aus dem übergebenden Fahrzeug 91 in das übernehmende Fahrzeug 79 zu entladen. Ebenso sind das übergebende Fahrzeug 91 und das übernehmende Fahrzeug 79, wie gezeigt, in Position ausgerichtet, ungeachtet, ob sich die Fahrzeuge zusammen vorwärts bewegen (z B., mit koordinierten oder verfolgten Fahrzeugkursen) während des Erntens, wie es typisch ist, oder stationär sind. Während des Entladens erleichtert das Mastersteuergerät 59 (1 und 2) die Beibehaltung eines generell gleichmäßigen räumlichen Offset bzw. Versatzes (z. B., eines generell statischen Offset, der nur innerhalb einer vorgegebenen Zieltoleranz variiert) zwischen den Fahrzeugen 91, 79, vorbehaltlich irgendeiner inkrementalen Einstellung des Offset für gleichmäßiges Füllen des Behälters 85. Das Mastersteuergerät 59 unterstützt Beibehaltung eines gleichmäßigen vorn/hintern Offset (Φ oder φ) und einen lateralen Offset (Δ).
Zurückkommend auf 1, 2 und 3, könnte das übergebende Fahrzeug 91 mit einem Sensor 116 für die Rotation des Abtankrohrs ausgerüstet sein, um den Rotationswinkel des Abtankrohrs 89 zu messen. Für ein am Abtankrohr montiertes Bildgebungsgerät 12 könnte der Rotationswinkel des Abtankrohrs 89 verwendet werden, die Fusion von Bilddaten vom ersten Bildgebungsgerät 10 und des zweiten Bildgebungsgeräts 12 zu erleichtern oder um Stereobilddaten zu konstruieren, wobei das erste Bildgebungsgerät 10 und das zweite Bildgebungsgerät 12 individuell monokulare Bilddaten für die gleiche Szene oder dasselbe Objekt bereitstellen.
In jeder Anordnung der hierin offenbarten Bildgebungsgeräte 10, 12 wo sich die Blickfelder 77, 177 überlappen, ermöglicht Datenfusion von Bilddaten eines ersten Bildgebungsgeräts 10 und eines zweiten Bildgebungsgeräts 12 dem Bildverarbeitungsmodul 18 ein virtuelles Profil des Füllstands der Materialverteilung (4D) im Innern des Laderaums 85 zu erstellen, selbst wenn die ganze Oberfläche des Agrarprodukts für eins der zwei Bildgebungsgeräte 10, 12 nicht sichtbar ist. Selbst wenn das zweite Bildgebungsgerät 12 in gewissen Konfigurationen nicht am Abtankrohr 89 montiert ist, könnte der Sensor 116 für die Rotation des Abtankrohrs die Sache erleichtern, indem das Abtankrohrende 87 als ein Referenzpunkt in beliebigen erfassten Bilddaten verwendet wird (z. B., zur Fusion, virtuellem Stitching oder Ausrichtung von Bilddaten verschiedener Bildgebungsgeräte.) Das virtuelle Profil der ganzen Oberfläche des Agrarprodukts im Laderaum 93 ermöglicht den Systemen 11, 111 oder dem Bildgebungsmodul 18 eine Füllstrategie für den Laderaum 93 des übernehmenden Fahrzeugs 79 intelligent auszuführen.
Das erste Bildgebungsgerät 10 und das zweite Bildgebungsgerät 12 können digitale Datenformatausgabe als Stereo-Videobilddaten oder als eine Reihe von Stereo-Stehbildbildern in regelmäßigen oder periodischen Intervallen oder in anderen Abtastintervallen bereitstellen. Jedes Stereobild (z. B., die ersten Bilddaten oder die zweiten Bilddaten) weist zwei zusammengesetzte Bilder der gleichen Szene oder eines Teils der gleichen Szene auf. Beispielsweise hat das erste Bildgebungsgerät 10 ein erstes Blickfeld 77 des Laderaums 93 des übernehmenden Fahrzeugs 79, wo sich das erste Blickfeld 77 zumindest teilweise mit dem zweiten Blickfeld 177 des zweiten Bildgebungsgeräts 12 (falls vorhanden) überlappt. In einer Ausführungsform können das erste Bildgebungsgerät 10, das zweite Bildgebungsgerät 12 oder beide ein ladungsgekoppeltes Bauelement (CCD), eine komplementäre Metalloxid-Halbleiteranordnung (CMOS-Anordnung) oder anderes geeignetes Bauelement zur Detektion oder Erfassung von Bilddaten umfassen.
In einer Konfiguration umfasst ein optischer Sensor 110, 112 einen Lichtmesser, einen Fotodetektor, Fotowiderstand, ein lichtempfindliches Bauelement oder eine Kadmiumsulfidzelle. Ein erster optischer Sensor 110 könnte mit dem ersten Bildgebungsgerät 10 assoziiert sein; ein zweiter optischer Sensor 112 könnte mit dem zweiten Bildgebungsgerät 12 assoziiert sein. Der erste optische Sensor 110 und der zweite optische Sensor 112 können jeweils an das Bildverarbeitungsmodul 18 gekoppelt sein. Der optische Sensor 110, 112 stelle eine Ablesung oder einen Level bereit, der auf das umgebende Licht im Blickfeld seines jeweiligen Bildgebungsgeräts 10, 12 schließen lässt.
Das Bildverarbeitungsmodul 18 könnte, direkt oder indirekt, an Lampen 14 (1) an einem übergebenden Fahrzeug 9 zur Beleuchtung eines Vorratsbehälters 85 und/oder des Abtankrohrs 89 gekoppelt sein. Zum Beispiel könnte das Bildverarbeitungsmodul 18 ein Lichtsteuergerät 50 (2) einschließen, das Steuerungstreiber, Relais oder Schalter umfasst, die ihrerseits die Aktivierung oder Deaktivierung von Lampen 14 am übergebenden Fahrzeug 91 steuern. Das Bildverarbeitungsmodul 18 könnte die Lampen 14, 52 am übergebenden Fahrzeug zur Beleuchtung des Vorratsbehälters 85 (3A), des Abtankrohrs 89 oder beide aktivieren, wenn ein optischer Sensor 110, 112 oder Lichtmesser anzeigt, dass eine umgebende Lichtintensität unter einem gewissen Mindestschwellenwert liegt. In einer Konfiguration zeigt der optische Sensor 110, 112 in die gleiche Richtung wie die Linsen oder Apertur der Bildgebungsgeräte 10, 12.
In der Mähdrescher-Ausführungsform (1) steuert das Fahrzeugsteuergerät 46 das Abtankrohr 89, das einen Rotationssensor 116 zur Abtastung eines Rotationswinkels des Abtankrohrs (a) in 5A und ((3) in 5C des Abtankrohrs 89 in Bezug auf eine oder mehrere Rotationsachsen und ein Rotationsstellglied 216 zum Bewegen des Abtankrohrs 89 einschließt, um den Rotationswinkel des Abtankrohrs zu verändern; daher die Position des Abtankrohrs 89 in Bezug auf das Ausnahmefahrzeug 79 oder seinen Vorratsbehälter 85. Das Rotationsstellglied 216 könnte einen Motor, einen Linearmotor, eine elektrohydraulische Vorrichtung, eine mechanische Vorrichtung mit Knarren- oder Kabelbetätigung oder andere Vorrichtung zum Bewegen des Abtankrohrs 89 oder des Abtankrohrendes 87 umfassen. Der Rotationswinkel des Abtankrohrs könnte einen einfachen Winkel, einen zusammengesetzten Winkel oder multidimensionale Winkel umfassen, der in Bezug auf eine Referenzachse parallel zur Bewegungsrichtung des übergebenden Fahrzeugs gemessen wird.
Wenn das Rotationsstellglied 216 eine elektrohydraulische Vorrichtung umfasst, erleichtert die Verwendung von Proportionalsteuerventilen im Hydraulikzylinder der elektrohydraulischen Vorrichtung, welche das Abtankrohr rotiert (oder den Rotationswinkel des Abtankrohrs ändert) feinere Einstellungen des Abtankrohrwinkels (z. B., a) als sonst möglich. Demzufolge unterstützen Proportionalsteuerventile der elektrohydraulischen Vorrichtung das Rotationsstellglied 216 für ein gleichmäßiges Profil oder eine gleichmäßige Verteilung entladenen Agrarprodukts innerhalb des Laderaums 93 oder Containers oder Behälters 85. Viele kommerziell erhältliche Mähdrescher sind typisch mit nicht proportionalen Steuerventilen zur Steuerung des Abtankrohrwinkels oder der Bewegung des Abtankrohrs 89 ausgerüstet; elektrohydraulische Vorrichtungen mit nicht proportionalen Steuerventilen können den Vorratsbehälter mit einer unzureichenden Mehrmoden- oder gehäuften Verteilung (z. B. 508) von Agrarprodukt mit lokal hohen Bereichen und lokal niedrigen Bereichen, wie beispielsweise in 4D, veranschaulicht, füllen.
Ein Fahrzeugsteuergerät 46 könnte an den Fahrzeugdatenbus 60 gekoppelt werden, um eine Datennachricht bereitzustellen, die anzeigt, wenn der Förderschneckenantrieb 47 zum Entladen von Agrarprodukt aus dem übergebenden Fahrzeug aktiviert und inaktiv ist. Der Förderschneckenantrieb 47 könnte eine Förderschnecke, einen Elektromotor zum Antreiben der Förderschnecke und einen Rotationssensor zum Abtasten von Rotation oder der Drehzahl der Förderschnecke oder ihrer zugehörigen Welle umfassen. In einer Ausführungsform ist die Förderschnecke 47 mit einem Behälter zum Speichern von Agrarprodukt (z. B., einem Getreidetank) eines übergebenden Fahrzeugs 91 assoziiert. Wenn das Fahrzeugsteuergerät 46 (z. B., Steuergerät der Förderschnecke) anzeigt, dass die Förderschnecke des übergebenden Fahrzeugs 91 rotiert oder aktiv ist, aktiviert das Bildverarbeitungsmodul 18 den Abtankrohr-Lokalizer 22 und das Container- oder Behälteridentifikationsmodul 20. Somit könnte das Fahrzeugsteuergerät 46 Datenverarbeitungsressourcen oder Energieverbrauch sparen, indem das Behälteridentifikationsmodul 20 und das Abtankrohr-Identifikationsmodul 22 in einen inaktiven Zustand (oder Bereitschaftsmodus) versetzt werden, während das übergebende Fahrzeug 91 erntet, aber das Agrarprodukt nicht in das übernehmende Fahrzeug 79 entladet.
In 1 könnte das Bildverarbeitungsmodul 18 oder jedes andere Steuergerät einen Kontroller, einen Mikrocomputer, einen Mikroprozessor, ein Mikrokontroller, eine anwendungsspezifische integrierte Schaltung, ein programmierbares logisches Feld, ein Logikgerät, eine arithmetische Logikeinheit, einen digitalen Signalprozessor oder anderen Datenprozessor und unterstützende elektronische Hardware und Software umfassen. In einer Ausführungsform umfasst das Bildverarbeitungsmodul 18einen Disparitätsgenerator 103, ein Behälteridentifikationsmodul 20, einen Abtankrohr-Lokalizer 22, ein Ausrichtungsmodul 24, ein Materialprofilmodul 27 und ein Fahrzeugmodell 1000.
Das Datenverarbeitungsmodul 18 könnte mit einer Datenspeichervorrichtung assoziiert sein, könnte elektronischen Speicher, nichtflüchtigen Direktzugriffsspeicher, ein Magnetplattenlaufwerk, ein Bildplattenlaufwerk, eine Magnetspeichervorrichtung oder eine optische Speichervorrichtung, beispielsweise, umfassen. Wenn das Behälteridentifikationsmodul 20, der Abtankrohr-Lokalizer 22, das Ausrichtungsmodul 24, Materialprofilmodul 27 und das Fahrzeugmodell 1000 Softwaremodule sind, werden sie innerhalb der Datenspeichervorrichtung gespeichert.
Das Behälteridentifikationsmodul 20 identifiziert einen Satz zweidimensionaler oder dreidimensionaler Punkte (z. B., in kartesischen Koordinaten oder Polarkoordinaten) in den erfassten Bilddaten oder in der realen Welt, die zumindest einen Teil des Behälterumfangs 81 des Laderaums 85 (3) definieren. Der Satz zweidimensionaler oder dreidimensionaler Punkte entspricht Pixelpositionen in Bildern, die vom ersten Bildgebungsgerät10, dem zweiten Bildgebungsgerät 12 oder beiden erfasst wurden. Das Behälteridentifikationsmodul 20 kann Behälterreferenzdaten verwenden oder abrufen.
Die Behälterreferenzdaten umfassen eins oder mehrere des Folgenden: Referenzabmessungen (z. B., Länge, Breite, Höhe), Volumen, Referenzumriss, Zeichnungen, Modelle, Layout und Konfiguration des Behälters 85, den Behälterumfang 81, die Behälterränder 181; Referenzabmessungen, Referenzumriss, Zeichnungen Modelle, Layout und Konfiguration des ganzen Laderaums 93 des übernehmenden Fahrzeugs; Laderaum-Achsstand, Laderaum-Wendekreis, Konfiguration der Anhängevorrichtung des Laderaums 93 des übernehmenden Fahrzeugs; und Abstand zwischen Koppeldrehpunkt und Laderaum-Achsstand. Die Behälterreferenzdaten können von der Datenspeichervorrichtung (z. B., nichtflüchtiger elektronischer Speicher) gespeichert und abgerufen werden. Beispielsweise können die Behälterreferenzdaten von einem entsprechenden Bezeichner des übernehmenden Fahrzeugs in der Datenspeichervorrichtung der übergebenden Fahrzeugsysteme 11, 111 gespeichert werden, abrufbar sein oder indiziert werden. Für jeden Bezeichner des Zielfahrzeugs können entsprechende einzigartige Behälterreferenzdaten damit in der Datenspeichervorrichtung gespeichert werden.
In Ausführungsformen identifiziert das Behälteridentifizierungsmodul den Behälterumfang durch Bestimmen einer linearen Pixelmenge, die mit dem Behälterumfang assoziiert ist. In einer Konfiguration identifiziert das Behälteridentifikationsmodul 18 die Position des Containers oder Behälters 85 wie folgt. Wenn die lineare Orientierung eines Satzes von Pixeln in den erfassten Bilddaten einer oder mehrerer Kanten 181 des Umfangs des Behälters 85, wie von den Behälterreferenzdaten vorgeschrieben, entsprechen, ist die Position des Behälters 85 identifiziert worden. Eine Zielzone (Bereich), mittiger Bereich oder eine mittige Zone der Behälteröffnung 83 des Behälters 85 lässt sich durch Teilen (durch zwei) des Abstands (z. B., kürzester Abstand oder Abstand der Oberflächennormale) zwischen gegenüberliegenden Seiten des Behälters oder durch Identifizierung der Ecken des Behälters und wo sich diagonale Linien, welche die Ecken überstreichen, schneiden, unter anderen Möglichkeiten, identifizieren. In einer Konfiguration könnte die mittige Zone als eine Öffnung (z. B. rund, elliptisch oder rechteckig) im Behälter mit einer Öffnungsoberfläche definiert werden, die größer als oder gleich der Querschnittsoberfläche des Abtankrohrendes mal einem Faktor von mindestens zwei ist, obwohl andere Oberflächenbereiche innerhalb des Umfangs der Ansprüche fallen.
Der Abtankrohr-Lokalizer 22 identifiziert eins oder mehrere des Folgenden: (1) die Pixel des Abtankrohrs an zumindest einem Teil des Abtankrohrs 89, oder (2) Pixel am Abtankrohrende, die mit dem Abtankrohrende 87 des Abtankrohrs 89 assoziiert sind. Das Abtankrohr-Identifikationsmodul 22 könnte Farbunterscheidungsvermögen, Unterscheidungsvermögen hinsichtlich Intensität oder Texturunterscheidungsvermögen verwenden, um Hintergrundpixel von einem oder mehreren selektierten Pixeln des Abtankrohrs mit assoziierten Pixelmustern des Abtankrohrs Attributen (z. B., Farbe oder Farbmuster (z. B., Rot Grün Blau (RGB) Pixelwerte), Pixelintensitätsmuster, Texturmuster, Leuchtkraft, Helligkeit, Farbton oder Reflexionsvermögen) zu identifizieren, die am Abtankrohr 89 oder am Abtankrohrende 87 des Abtankrohrs 89 zu Identifikationszwecken benutzt werden.
Das Ausrichtungsmodul 24, das Mastersteuergerät 59 oder beide schätzen oder ermitteln Bewegungsbefehle in regelmäßigen Intervallen, um die Ausrichtung des Abtankrohrs 56 über der mittigen Zone, dem mittigen Bereich oder der Zielzone (Bereich) des Behälters 85 zum Entladen von Agrarprodukt beizubehalten. Das Ausrichtungsmodul 24, der Masterkontroller 59 oder beide können Befehle oder Anforderungen an das Förderfahrzeug 91 in Bezug auf seine Fahrgeschwindigkeit, Geschwindigkeit oder seinen Steuerkurs senden, um die Ausrichtung der Position des Förderfahrzeugs 91 in Bezug auf das Zielfahrzeug 79 beizubehalten. Zum Beispiel könnte das Ausrichtungsmodul 24 eine Anforderung für eine Änderung in einem räumlichen Offset zwischen den Fahrzeugen 79, 91 an das Mastersteuergerät 59 senden. Als Reaktion sendet der Masterkontroller 59 oder das Koordinationsmodul 57 einen Lenkbefehl oder Kursbefehl an den Lenkkontroller 32, einen Brems- oder Entschleunigungsbefehl an ein Bremssystem 34 und einen Antriebs-, Beschleunigungs- oder Drehmomentbefehl an einen Antriebskontroller 40, um die Sollvorgabe des räumlichen Offsets oder die Änderung im räumlichen Offset zu erzielen.
In einer weiteren Konfiguration könnte das Ausrichtungsmodul 24 regelmäßig oder periodisch die Zielzone (Bereich) oder mittige Zone während des Beladens des Behälters 85 des Zielfahrzeugs verschieben, justieren oder rotieren, um gleichmäßiges Füllen, eine einheitliche Höhe oder einheitliche Verteilung des Agrarprodukts im ganzen Behälter 85 zu fördern, wobei das Bildverarbeitungsmodul 18 den Füllzustand des Agrarprodukts in den Bilddaten vom Materialprofilmodul 27 identifiziert.
Das Bildgebungsmodul 18 könnte das Materialprofilmodul 27 oder einen Füllstandsensor zum Detektieren einer eindimensionalen, zweidimensionalen oder dreidimensionalen Repräsentation des Füllstands oder der volumetrischen Verteilung des Agrarprodukts im Behälter 85 oder Laderaum 93. Zum Beispiel zeigt die 4D verschiedene veranschaulichende zweidimensionale Repräsentationen des Füllzustands des Behälters 85 oder der Verteilung von Agrarprodukt im Behälter 85, wobei die 4D später ausführlich beschrieben werden wird.
In einer Konfiguration justiert das Koordinationsmodul 57 oder der Lenkkontroller 32 die relative Position (des Offsets) des übergebenden Fahrzeugs 91 zum übernehmenden Fahrzeug 79. Das Ausrichtungsmodul 24, das Koordinationsmodul 57 und das Förderschnecken-Rotationssystem 116 können die relative Position des Abtankrohrs 89 oder des Abtankrohrendes 87 zum Behälterumfang 81 steuern, um eine gleichmäßige Füllung auf den erwünschten Füllstand zu erzielen. Beispielsweise könnte das Rotatorstellglied 216 des Mähdreschers den Winkel des Abtankrohrs (z. B., einen ersten Abtankrohrwinkel (a), einen zweiten Abtankrohrwinkel (β) oder einen zusammengesetzten Winkel (a und β) justieren, den das Abtankrohr 89 in Bezug auf ein Referenzachsen- oder Referenzkoordinatensystem macht, das mit dem Förderfahrzeug 91 assoziiert ist oder eine generell vertikale Ebene, die mit der Bewegungsrichtung des Förderfahrzeugs 91 assoziiert ist, wo das Abtankrohr 89 in Bezug auf das Fahrzeug anstößt und rotiert. Mit Bezug auf die selbstfahrende Futtererntemaschine wird der Abtankrohrwinkel vom Abtankrohrkontroller 54 in Kommunikation mit dem Rotationssensor 116, dem Neigungssensor 118, dem Umlenksensor 120, dem Rotationsstellglied 122, dem Neigungsstellglied 124 und dem Umlenkstellglied 126 gesteuert.
Das Abtankrohrende 87 könnte zum Entladen von Agrarprodukt durch Verschieben seines Abtankrohrwinkels oder der Position des Abtankrohrs innerhalb des Behälterumfangs 81 und eines Toleranzabstandsmaßes vom Behälterumfang 81 innerhalb des Behälters 85 justiert werden. Das Abtankrohrende 87 könnte durch verschiedene Techniken justiert werden, die abwechselnd oder kumulativ angewandt werden können. Unter einer ersten Technik justiert das Ausrichtungsmodul 24 das Abtankrohrende 87 zum Entladen von Agrarprodukt durch Verschieben seines Abtankrohrwinkels (z Bg., einem ersten Abtankrohrwinkel (a), einem zweiten Abtankrohrwinkel (β) oder beiden (a und β). Unter einer zweiten Technik bittet (oder befiehlt) das Ausrichtungsmodul 24 das Koordinationsmodul 57 die vorn/hinten Offset-Einstellung (Φ oder φ), die laterale Einstellung (Δ), oder beide zu justieren, wo das Koordinationsmodul 57 das relative vorn/hinten Offset und laterale Offset zwischen dem übergebenden Fahrzeug 91 und dem übernehmenden Fahrzeug 79 managt oder choreografiert. Unter einer dritten Technik justiert das Ausrichtungsmodul 24 in erster Linie das Abtankrohrende 87 zum Entladen von Agrarprodukt durch Verschieben seines Abtankrohrwinkels und das Koordinationsmodul 57 verschiebt sekundär und regelmäßig (z. B., periodisch) das vorn/hinten Offset und das laterale Offset durch vorn/hinten Offset-Einstellung (Φ oder φ) die laterale Einstellung (Δ), entsprechend, um einen einheitlichen Füllzustand oder ebene Beladung des Behälters mit dem Agrarprodukt zu erzielen. Folglich könnte das Abtankrohrende 87 regelmäßig (z B., in einer Matrix einer oder mehrerer Reihen oder Spalten von vorgegebenen Offset-Positionen) zum Entladen von Agrarprodukt durch Verschieben der räumlichen Beziehung zwischen dem übergebenden Fahrzeug und dem übernehmenden Fahrzeug durch ein vorn und hinten Offset oder ein laterales Offset justiert werden, um eine Zielausrichtung oder erwünschte gleichmäßige Verteilung der Füllung des Behälters 85 oder Laderaums 93 mit Agrarprodukt (4E) zu erzielen, während die Winkeleinstellung des Abtankrohrs für die Feineinstellung der Verteilung des Agrarprodukts innerhalb des Behälters (z B., von jeder Position innerhalb der Matrix) verwendet wird.
Im Bildverarbeitungsmodul 18 umfasst die Bilddatenauswerteeinrichtung 25 einen Auswerter, ein Beurteilungsmodul, Boolean-Logikschaltung, ein elektronisches Modul, ein Softwaremodul oder Softwarebefehle zum Ermitteln, ob die ersten Bilddaten, die zweiten Bilddaten oder beide zur Ausrichtung einer relativen Position des Abtankrohrs und des Behälterumfangs (oder Ausrichtung des räumlichen Offsets zwischen den Fahrzeugen) basierend auf der Auswertung einer wesentlichen Schwankung der Intensität von Pixeldaten oder einer wesentlichen Schwankung in Umgebungslichtbedingungen während eines Abtastzeitintervalls zu verwenden sind.
Beim Mähdrescher ist der Masterkontroller 59 an den Fahrzeugdatenbus (z. B., 60) gekoppelt. Wogegen bei der selbstfahrenden Futtererntemaschine der Masterkontroller 59 an die Gerätedatenbank 58 gekoppelt ist, die über das Gateway 29 mit dem Fahrzeugdatenbus 60 verbunden ist. In einer Ausführungsform umfasst der Masterkontroller 59 ein Automatikführungsmodul 55 und Koordinationsmodul 57. Das Automatikführungsmodul 55 oder der Masterkontroller 59 können das übergebende Fahrzeug 91 in Übereinstimmung mit Ortsdaten vom ersten Ortsbestimmungsempfänger 42 und einem Wegplan oder erwünschtem Fahrzeugweg (z. B., im Datenspeicher gespeichert) steuern. Das Automatikführungsmodul 55 oder der Masterkontroller 59 senden Befehlsdaten an den Lenkkontroller 32, den Bremskontroller 36 und den Antriebskontroller 40, um den Weg des übergebenden Fahrzeugs 91 zu steuern, automatisch einen Wegplan zu verfolgen oder einen manuell von einem Fahrer gesteuerten Kurs über die Benutzerschnittstelle 44 oder das Lenksystem 30 zu verfolgen.
Das Koordinationsmodul 57 könnte die Ausrichtung von Bewegung (z. B., Choreografie) zwischen dem übergebenden Fahrzeug 91 und dem übernehmenden Fahrzeug 79 während der Entladung oder Übergabe von Agrarprodukt zwischen den Fahrzeugen erleichtern. Zum Beispiel könnte das Koordinationsmodul 57 die Beibehaltung eines einheitlichen lateralen Offset (Δ) und eines einheitlichen vorn/hinten Offset (Φ oder φ) zwischen den Fahrzeugen 91, 79 während der Entladung des Agrarprodukts, vorbehaltlich irgendwelcher Einstellungen zum Erzielen einer einheitlichen Materialverteilung im Behälter 85, erleichtern. Insgesamt könnten das einheitliche laterale Offset und das einheitliche vorn/hinten Offset als ein einheitliches räumliches Offset bezeichnet werden. In gewissen Ausführungsformen ist die Beibehaltung des lateralen Offsets und des vorn / hinten Offset oder die Koordination jeder Verschiebung im lateralen Offset und vorn/hinten Offset (z. B., gemäß einer zweidimensionalen Matrix vorher festgesetzter Positionen (x, y Punkte) zur einheitlichen Beladung eines jeweiligen speziellen Behälters oder Laderaums) eine notwendige oder erwünschte Voraussetzung, um die Winkeleinstellung des Abtankrohrs 89 oder des Abtankrohrendes 87 durch das Ausrichtungsmodul 24 zu implementieren.
In einem Ausführungsbeispiel wird, in einem führenden Modus, das übergebende Fahrzeug 91 vom Automatikführungsmodul 55 oder dem Lenkkontroller 32 in Übereinstimmung mit dem Wegplan oder von einem Fahrer gesteuert. Wenn das übergebende Fahrzeug 91 in einer automatisierten Betriebsart oder automatischen Lenkbetriebsart arbeitet, stellt der Masterkontroller 59 dem Lenkkontroller 32, dem Bremskontroller 36 und dem Antriebsmotorkontroller 40 des übergebenden Fahrzeugs 91 Befehlsdaten lokal bereit. In einer automatisierten Betriebsart und in einer führendennachfolgenden Betriebsart wird das übergebende Fahrzeug 91 während der Übergabe von Agrarprodukt vom übergebenden Fahrzeug 91 zum übernehmenden Fahrzeug 79 automatisch gesteuert und ausgerichtet.
Das Bildverarbeitungsmodul 18 stellt einem Benutzerschnittstellen-Verarbeitungsmodul 26 Bilddaten (entzerrte, Disparität oder beide) bereit, das, direkt oder indirekt, Status-Nachrichtendaten und Performancenachrichtendaten einer Benutzerschnittstelle 44 bereitstellt.
In einer Ausführungsform sind ein Ortsbestimmungsempfänger 42, ein erstes drahtloses Kommunikationsgerät 48, ein Fahrzeugkontroller, ein Lenkkontroller 32, ein Bremskontroller 36 und ein Antriebskontroller 40 fähig über den Fahrzeugdatenbus 60 zu kommunizieren. Seinerseits ist der Lenkregler 32 an ein Lenksystem 30 des übergebenden Fahrzeugs 91 gekoppelt; der Bremsregler 36 ist an das Bremssystem 34 des übergebenden Fahrzeugs 91 gekoppelt; und der Antriebskontroller 40 ist an das Antriebssystem 38 des übergebenden Fahrzeugs gekoppelt.
Das Lenksystem 30 könnte ein elektrisch angetriebenes Lenksystem, ein elektrohydraulisches Lenksystem, ein Getriebelenksystem, ein Zahnstangenlenksystem oder anderes Lenksystem umfassen, das den Kurs des übergebenden Fahrzeugs 91 oder ein oder mehrere Räder des übergebenden Fahrzeugs 91 verändert. Das Bremssystem 34 könnte ein regeneratives Bremssystem, ein elektrohydraulisches Bremssystem, ein mechanisches Bremssystem oder anderes Bremssystem umfassen, das fähig ist, das Fahrzeug durch hydraulische, mechanische, friktionierende oder elektrische Kräfte zu stoppen. Das Antriebssystem 38 könnte eins oder mehrere des Folgenden umfassen: (1) die Kombination eines Elektromotors und eines elektrischen Kontrollers, (2) einen Verbrennungsmotor, der von einem elektronischen Brennstoffeinspritzsystem oder einer anderen Brennstoffdosiervorrichtung gesteuert wird, die sich durch elektrische Signale steuern lässt oder (3) ein Hybridfahrzeug, in dem ein Verbrennungsmotor einen elektrischen Generator antreibt, der an einen oder mehrere elektrische Antriebsmotoren gekoppelt ist.
Die Systeme 11, 111 erleichtern die Übergabe von Agrarprodukt vom übergebenden Fahrzeug 91 in ein übernehmendes Fahrzeug 79 mit einem angetriebenen Teil 75 zum Antreiben des übernehmenden Fahrzeugs und eines Laderaums 93 zum Lagern von Agrarprodukt. Ein Stereo-Bildgebungsgerät, wie beispielsweise das Bildgebungsgerät 10, zeigt in Richtung des Laderaums 93 des übernehmenden Fahrzeugs 79. Wie in den 1 und 2 gezeigt, sind das erste Bildgebungsgerät 10 und das optionale zweite Bildgebungsgerät 12 am übergebenden Fahrzeug 91, übereinstimmend mit 3 montiert.
Zusammenfassend sind ein oder mehrere Bildgebungsgeräte 10, 12 zum Erfassen von Bilddaten angeordnet. Ein Behälteridentifikationsmodul 20 identifiziert eines Behälterumfangs 81 des Laderaums 93 in den erfassten Bilddaten. Der Laderaum 93 weist eine vom Behälterumfang nach innen gerichtete Öffnung zur Aufnahme des Agrarprodukts auf. Ein Abtankrohr-Lokalizer 22 ist konfiguriert, ein Abtankrohr 89 des übergebenden Fahrzeugs 91 in den erfassten Bilddaten zu identifizieren. Ein Ausrichtungsmodul 24 ist angepasst die relative Position des Abtankrohrs 89 und des Behälterumfangs 81 zu ermitteln und Befehlsdaten an das übergebende Fahrzeug 91 zu generieren, um das übergebende Fahrzeug 91 in kooperative Ausrichtung mit dem übernehmenden Fahrzeug 79 derartig zu lenken, dass das Abtankrohr 89 innerhalb einer mittigen Zone 83 oder Öffnung des Gittermusters 82 des Behälterumfangs 81 ausgerichtet ist. Ein Lenkkontroller 32 ist mit einem Lenksystem 30 des übergebenden Fahrzeugs 91 zum Lenken des übergebenden Fahrzeugs 91 in Übereinstimmung mit der kooperativen Ausrichtung assoziiert.
In einer Ausführungsform ist ein, durch gestrichelte Linien angezeigter Mastkontroller 674, an den Fahrzeugdatenbus 60 (1) oder den Gerätedatenbus 58 (2) gekoppelt, um einen optionalen einstellbaren Mast 573 zum Montieren und einstellbaren Positionieren des ersten Bildgebungsgeräts 10, des zweiten Bildgebungsgeräts 12 oder beiden zu steuern. Der Mastkontroller 674 ist angepasst, die Orientierung oder Höhe über Boden des ersten Bildgebungsgeräts 10, des zweiten Bildgebungsgeräts 12 oder beiden zu ändern, wo die Orientierung als eins des Folgenden ausgedrückt werden könnte: einem Neigungswinkel, einem Schwenkwinkel, einem Winkel mit Abwärtsneigung, einem Depressionswinkel oder einem Rotationswinkel.
In einer veranschaulichenden Ausführungsform eines Machine-Vision-Führungssystems 11, 111, das einen einstellbaren Mast 573 aufweist, zeigt zumindest ein Bildgebungsgerät 10, 12 in Richtung des Laderaums 93 des übernehmenden Fahrzeugs 79 und erfasst Bilddaten. Über Daten vom Mastkontroller 674 ist der einstellbare Mast 573 fähig, eine Höhe des Bildgebungsgeräts
10, 12 innerhalb eines Höhenbereichs einzustellen, einen Abwärtsneigungswinkel des Bildgebungsgeräts 10, 12 innerhalb eines Abwärtsneigungswinkelbereichs und einen Rotationswinkel oder Schwenkwinkel innerhalb eines Schwenkwinkelbereichs einzustellen. Das Bildverarbeitungsmodul 18 ist angepasst oder programmiert (z. B., mit Softwarebefehlen oder Code), zu bestimmen, ob die Höhe des Bildgebungsgeräts 10, 12 eingestellt werden soll oder ob der Abwärtsneigungswinkel des Bildgebungsgeräts 10, 12 basierend auf der Auswertung einer wesentlichen Schwankung der Intensität Pixeldaten einer wesentlichen Schwankung
in Umgebungslichtbedingungen (z.B., vom optischen Sensor 110, 112) während eines Abtastzeitintervalls dekrementiert oder inkrementiert werden soll. Unter gewissen Betriebsbedingungen, wie beispielsweise Umgebungslichtbedingungen im Freien, könnte das Erhöhen oder Inkrementieren des Abwärtsneigungswinkels die Qualitätslage der erfassten Bilddaten erhöhen oder die Schwankung in der Intensität der Bilddaten auf unter eine Schwellenwert-Schwankungsstufe reduzieren. Reduzierte Schwankung in der Intensität der Bilddaten oder reduziertes Sammeln von Staub oder Fremdkörpern auf einer Linse des Bildgebungsgeräts sind einige der Vorteile, die sich durch Erhöhen oder Einstellen des Abwärtsneigungswinkels des Bildgebungsgeräts 10,12, beispielsweise, realisieren lassen. Wie vorher erwähnt, kann ein Behälteridentifikationsmodul 20 einen Behälterumfang 81 des Laderaums 93 in den erfassten Bilddaten identifizieren. Ebenso kann ein Abtankrohr-Lokalizer 22 ein Abtankrohr des übergebenden Fahrzeugs 91 in den erfassten Bilddaten identifizieren. Ein Ausrichtungsmodul 24 ermittelt die relative Position des Abtankrohrs 89 und des Behälterumfangs 81 und generiert Befehlsdaten an den Lenkkontroller 32, um das übergebende Fahrzeug 91 in kooperative Ausrichtung mit dem übernehmenden Fahrzeug 79 derartig zu lenken, dass das Abtankrohr 89 oder das Abtankrohrende 87 innerhalb einer Zielzone (Bereich) des Gittermusters 82 oder der mittigen Zone 83 des Behälterumfangs 81 ausgerichtet ist.
In einer veranschaulichenden Ausführungsform eines Machine-Vision-Führungssystems mit dem einstellbaren Mast 573 sendet das Bildverarbeitungsmodul 18 eine Datennachricht an einen Mastkontroller 674 (oder den einstellbaren Mast 573), um den Abwärtsneigungswinkel zu inkrementieren oder zu erhöhen, wenn eine wesentliche Schwankung der Intensität der Pixeldaten oder, wenn eine wesentliche Schwankung Umgebungslichtbedingungen eine Schwellenwert-Schwankungsstufe während eines Abtastzeitintervalls überschreitet. Zum Beispiel sendet das Bildverarbeitungsmodul 18 eine Datennachricht an einen Mastkontroller 674, um den Abwärtsneigungswinkel in diskreten Stufen (z. B., Inkrementieren oder Dekrementieren um einen Grad) innerhalb eines Winkelbereichs von ca. negativen zehn Grad bis ca. negativen fünfundzwanzig Grad ab einer generell horizontalen Ebene zu inkrementieren oder zu erhöhen.
In einer Konfiguration ist eine Benutzerschnittstelle 44 zur Eingabe von Behälterreferenzdaten oder dimensionalen Parametern eingerichtet, die sich auf das übernehmende Fahrzeug beziehen. Beispielsweise umfassen die Behälterreferenzdaten oder die dimensionalen Parameter einen Abstand zwischen einer Anhängeranhängevorrichtung oder einem Drehpunkt (welche die Antriebseinheit 75 und den Laderaum 93 verbindet) und der Vorderraddrehachse des Laderaums 93 des übernehmenden Fahrzeugs 79.
In einer alternativen Ausführungsform umfasst das erste Bildgebungsgerät 10 ein monokulares Bildgebungsgerät und das zweite Bildgebungsgerät 12 umfasst ein monokulares Bildgebungsgerät, das erste monokulare Bilddaten bzw. zweite monokulare Bilddaten bereitstellt. Das Bildverarbeitungsmodul 18 kann ein Stereobild ab den ersten monokularen Bilddaten (z. B., rechte Bilddaten) und die zweiten monokularen Bilddaten (z B., linke Bilddaten) mit Bezug auf die relative Position und Orientierung des ersten Bildgebungsgeräts 10 und des zweiten Bildgebungsgeräts 12 erstellen. Das Bildverarbeitungsmodul 18 ermittelt: (1) zumindest zwei Punkte auf einer gemeinsamen visuellen Achse, welche die Linsen sowohl des ersten Bildgebungsgeräts 10 als auch des zweiten Bildgebungsgeräts 12 halbiert, und (2) eine lineare räumliche Trennung zwischen dem ersten Bildgebungsgerät 10 und dem zweiten Bildgebungsgerät 12, wo sich das erste Blickfeld 477 (4A) des ersten Bildgebungsgeräts 10 und das zweite Blickfeld 277 ( 4A) des zweiten Bildgebungsgeräts 12 überlappen, um, zumindest teilweise, das Abtankrohr 89, das Abtankrohrende 87 und den Behälterumfang 81 in den gesammelten Daten zu erfassen.
In einer alternativen Ausführungsform umfassen die 1 und 2 weiter einen optionalen Odometriesensor 440 und einen optionalen Trägheitssensor 442, wie durch die gestrichelten Linien veranschaulicht. Der Odometriesensor 440 könnte einen magnetischen Rotationssensor, einen Zahnradantriebssensor oder einen kontaktlosen Sensor zum Messen der Rotation von einem oder mehreren Rädern des übergebenden Fahrzeugs umfassen, um eine Entfernung, die vom übergebenden Fahrzeug während einer Messzeitperiode zurückgelegt wurde oder eine Geschwindigkeit über Boden des übergebenden Fahrzeugs zu schätzen. Der Odometriesensor 440 könnte an den Fahrzeugdatenbus 60 oder einen Gerätedatenbus 58 gekoppelt sein. Der Trägheitssensor 442 könnte einen oder mehrere Beschleunigungsmesser, Kreiselgeräte oder andere Trägheitsgeräte umfassen, die an den Fahrzeugdatenbus 60 oder einen Gerätedatenbus 58 gekoppelt sind. Der optionale Odometriesensor 440 und der optionale Inertialsensor 442 können Positionsdaten oder Bewegungsdaten erweitern oder ergänzen, die vom ersten Ortsbestimmungsempfänger 42 bereitgestellt werden.
Das „Vision“ erweiterte Führungssystem 111 von 2 ist dem System 11 von 1 ähnlich; außer, dass das System 111 von 2 ferner einen Gerätedatenbus 58, ein Gateway 29 und einen Lampenkontroller 50 und Abtankrohrkontroller 54 umfasst, die an den Fahrzeugdatenbus 60 für die Lampen 14 bzw. das Abtankrohr 89 gekoppelt sind. Der Lampenkontroller 50 steuert die Lampen 14; der Abtankrohrkontroller 54 steuert das Abtankrohr 89 über einen Servomotor, Elektromotor oder einen elektrohydraulischen Mechanismus zum Bewegen oder Einstellen der Orientierung oder des Abtankrohrwinkels des Abtankrohrs 89 oder seines Abtankrohrendes 87. In einer Konfiguration könnte der Gerätedatenbus 58 einen „Controller Area Network“ (CAN) Gerätedatenbus umfassen. Ebenso könnte der Fahrzeugdatenbus 60 einen „Controller Area Network (CAN) Datenbus umfassen. In einer alternativen Ausführungsform können der Gerätedatenbus 58, der Fahrzeugdatenbus 60 oder beide einen ISO- (International Organization for Standardization) Datenbus oder ISOBUS, Ethernet oder einen anderen Datenprotokoll- oder Kommunikationsstandard umfassen.
Die selbstfahrende Futtererntemaschine schließt das Gateway 29, um sichere oder gesteuerte Kommunikationen zwischen dem Gerätedatenbus 58 und dem Fahrzeugdatenbus 60 zu unterstützen. Das Gateway 29 umfasst eine Firewall (z. B. Hardware oder Software) einen Kommunikationsrouter oder andere Sicherheitsvorrichtung, die ein Netzwerkelement oder Gerät auf dem Gerätedatenbus 58 beschränken oder daran hindern könnte, (z. B., unbefugte Kommunikation) mit dem Fahrzeugdatenbus 60 oder einem Netzwerkelement oder Gerät auf dem Fahrzeugdatenbus 31 zu kommunizieren, außer das Netzwerkelement oder Gerät auf dem Gerätedatenbus 58 befolgt ein gewisses Sicherheitsprotokoll, Handshake, Password und Schlüssel oder andere Sicherheitsmaßnahme. Ferner könnte, in einer Ausführungsform, das Gateway 29 Kommunikationen zum Fahrzeugdatenbus 60 verschlüsseln und Kommunikationen vom Fahrzeugdatenbus 60 entschlüsseln, falls ein geeigneter Verschlüsselungsschlüssel eingegeben wird oder, falls andere Sicherheitsmaßnahmen erfüllt sind. Das Gateway 29 kann Netzwerkgeräten auf dem Gerätedatenbus 58 erlauben, die über einen offenen Standard oder Hardware- und Softwarelieferanten dritter Partei kommunizieren, wogegen die Netzwerkgeräte auf dem Fahrzeugdatenbus 60 alleinig vom Hersteller des übergebenden Fahrzeugs (z. B. selbstfahrende Futtererntemaschine) oder jenen bereitgestellt werden, die vom Hersteller autorisiert sind.
In 2, sind ein erster Ortsbestimmungsempfänger 42, eine Benutzerschnittstelle 44, ein Benutzerschnittstellen-Verarbeitungsmodul 26 und das Gateway 29 an den Gerätedatenbus 58 gekoppelt, obwohl in anderen Ausführungsformen derartige Elemente oder Netzwerkgeräte an den Fahrzeugdatenbus 60 angeschlossen sein könnten. Der Lampenkontroller 50 und der Abtankrohrkontroller 54sindan den Fahrzeugdatenbus 60 gekoppelt. Ihrerseits sind der Lampenkontroller 50 und der Abtankrohrkontroller 54, direkt oder indirekt, jeweils an Lampen 14 am übergebenden Fahrzeug 91 und das Abtankrohr 89 des übergebenden Fahrzeugs 91 (z B., selbstfahrende Futtererntemaschine), gekoppelt. Obwohl das System von 2 zur Verwendung oder Installation an einer selbstfahrenden Futtererntemaschine gut geeignet ist, lässt sich das System von of 2 außerdem an Mähdreschern oder anderer schwerer Ausrüstung anwenden.
4A veranschaulicht eine Draufsicht eines übergebenden Fahrzeugs 91 und eines übernehmenden Fahrzeugs 79. Ähnliche Referenznummern bezeichnen ähnliche Elemente in 4A und 3. 4A zeigt ein erstes Bildgebungsgerät 10 an der Karosserie des übergebenden Fahrzeugs 91. Das erste Bildgebungsgerät 10 hat ein erstes Blickfeld 477, das durch die gestrichelten Linien angezeigt ist. In 4A, ist das Abtankrohr 89 oder das Abtankrohrende 87 generell über einer mittigen Zone 83, einem mittigen Bereich oder Zielbereich (Zone) oder Gittermuster 82 der Lagereinheit 93 oder des Behälters 85 zum Entladen von Material aus dem übergebenden Fahrzeug 91 in das übernehmende Fahrzeug 79 ausgerichtet. In ähnlicher Weise sind das übergebende Fahrzeug 91 und das übernehmende Fahrzeug 79, wie gezeigt, in Position ausgerichtet und selbst sowie sich die Fahrzeuge 79, 91 mit koordinierten Kursen oder generell parallelen Kursen und keiner oder minimaler relativen Geschwindigkeit in Bezug zueinander bewegen.
In 5A, könnte ein optionales zweites Bildgebungsgerät 12 am Abtankrohr 87 des übergebenden Fahrzeugs 91 mit einem zweiten Blickfeld 277 montiert sein, das vom ersten Blickfeld 477 geringfügig versetzt (offset), mit diesem überlappt oder damit ausgerichtet sein, um Redundanz bereitzustellen, falls das erste Bildgebungsgerät 10 ausfällt, Fehlfunktion aufweist, nicht verfügbar ist, unzuverlässig ist oder Bilddaten schlechter Qualität bereitstellt. Beispielsweise könnte das erste Bildgebungsgerät 10 nicht zuverlässig arbeiten, wo es durch Staub, Nebel, Salz oder Verschmutzungen in der verdunkelt ist oder wo es unzureichenden Umgebungslichtbedingungen oder übermäßiger Blendung seitens Sonnenlicht oder reflektiertem Licht ausgesetzt ist. In 4A, kann das Bildverarbeitungsmodul 18 die Distanz oder Entfernung vom ersten Bildgebungsgerät 10, vom zweiten Bildgebungsgerät 12 oder beiden zu einem Objekt im Bild, wie beispielsweise dem Abtankrohr 89, dem Abtankrohrende 87, dem Behälterumfang 81, dem Level oder Profil von Agrarprodukt im Behälter 85 (z. B., in verschiedenen Positionen oder Koordinaten innerhalb des Behälters 85) schätzen.
4B veranschaulicht eine Draufsicht eines übergebenden Fahrzeugs 91 und eines übernehmenden Fahrzeugs 79. Ähnliche Referenznummern bezeichnen ähnliche Elemente in 3, 4A und 4B. 4B zeigt ein erstes Bildgebungsgerät 10 nur an der Karosserie des übergebenden Fahrzeugs 91. Das erste Bildgebungsgerät 10 hat ein erstes Blickfeld 477, das durch die gestrichelten Linien angezeigt ist. In 4B, ist das Abtankrohr 89 oder das Abtankrohrende 87 generell über einer mittigen Zone 83, einem mittigen Bereich oder Zielbereich (Zone) oder Gittermuster 82 der Lagereinheit 93 oder des Behälters 85 zum Entladen von Material aus dem übergebenden Fahrzeug 91 in das übernehmende Fahrzeug 79 ausgerichtet. In ähnlicher Weise sind das übergebende Fahrzeug 91 und das übernehmende Fahrzeug 79, wie gezeigt, in Position ausgerichtet und gleich, sowie sich die Fahrzeuge 79, 91 mit koordinierten Kursen oder einheitlichem Offset (z B., Φ oder φ; Δ) bewegen.
4C veranschaulicht eine Ansicht in einer horizontalen Ebene, wie entlang der Referenzlinie 4C-4C in 4B. In einer Ausführungsform ist das erste Bildgebungsgerät 10 am übergebenden Fahrzeug 91 an einer Stütze 573 (z B., „Monopole“ / Einzelpfosten mit Neigungs- oder Schwenkeinstellung) montiert, um ein nach unten gerichtetes Blickfeld 677 oder ein nach unten geschwenktes Blickfeld bereitzustellen.
In einer alternativen Ausführungsform umfasst die Stütze 573 einen einstellbaren Mast oder teleskopischen Mast, der vom Kontroller 674 gesteuert wird, um die Höhe, den Neigungswinkel, Abwärtsneigungswinkel, Rotationswinkel oder Schwenkwinkel ferngesteuert einzustellen, um zuverlässige Bilddaten zur Verarbeitung durch das Bildverarbeitungsmodul 18 bereitzustellen.
Wenn das erste Bildgebungsgerät 10 erhöht oder am übergebenden Fahrzeug 91 in Bezug auf den Laderaum 93 ausreichend hoch montiert ist, wird das erste Bildgebungsgerät 10 Sicht oder zweites nach unten gerichtetes Blickfeld 677 in den Laderaum 93 oder den Behälter 85 haben, ausreichend um die Oberfläche (oder Höhe (z) versus jeweiliger x-, y-Koordinaten im Behälter) des Agrarprodukts (z. B., Getreide) zu beobachten und zu profilieren, sowie das Agrarprodukt den Laderaum 85 füllt. Das erste Bildgebungsgerät 10 könnte am Dach des übergebenden Fahrzeugs 91 abgewandt oder direkt von der Seite des übergebenden Fahrzeugs 91 mit dem Abtankrohr 89 zum Entladen des Agrarprodukts weg blickend montiert sein.
In einer veranschaulichenden Ausführungsform, übereinstimmend mit dem nach unten gerichteten Blickfeld 677 ist die optische Achse, senkrecht zu jeweiligen Linsen, des ersten Bildgebungsgeräts 10 aus einer generell horizontalen Ebene mit einem Abwärtsneigungswinkel (ε) (z B., ca. 10 bis 25 Grad nach unten) geneigt. Wenn ein Blickfeld oder eine optische Achse des Bildgebungsgeräts 10 aus einer generell horizontalen Ebene nach unten geneigt ist, hat dieses mehrere Vorteile. Im Blickfeld des Bildgebungsgeräts 10 ist weniger Himmel zu sehen, derartig, dass die gesammelten Bilddaten dazu neigen ein einheitlicheres Intensitätsprofil des Bilds zu haben. Die geneigte Konfiguration der optischen Achse oder Achsen (die senkrecht zu den Linsen des Bildgebungsgeräts 10 ist) ist zum Mildern der potenziellen dynamischen Reichweitenprobleme, die durch grelles Sonnenlicht oder beispielsweise durch intermediäre Bewölkung verursacht wird, gut geeignet. Zweitens wird der untere Teil des Laderaums 93 in den Bilddaten sichtbarer, um das Aufzeichnen der Bilddaten zu ermöglichen, die sich auf eins oder mehrere Räder des Laderaums 93 beziehen. Das Rad ist ein Merkmal am Laderaum 93, das sich durch Bildverarbeitungstechniken robust verfolgen lässt. Drittens kann das Neigen der Stereokamera nach unten die Ansammlung von Staub oder anderem Schmutz an den Linsen oder des externen Fensters des Bildgebungsgeräts 10, 12 abschwächen.
4D veranschaulicht eine zweidimensionale Repräsentation von verschiedenen möglichen illustrativen Verteilungen von Material im Behälter 85, übereinstimmend mit einer Sicht entlang der Referenzlinie 4D in 4B. In einer Konfiguration ist die y-Achse koinzident mit der Längsachse oder der Bewegungsrichtung des Behälters, die z-Achse ist koinzident mit der Höhe des Materials im Behälter und die x-Achse ist senkrecht zur Bewegungsrichtung des Behälters, wobei die x-, y- und z-Achsen generell gegenseitig orthogonal zueinander sind.
In der grafischen Darstellung von 5D ist die vertikale Achse die mittlere Höhe (Z) 500 des Materials im Behälter 85, wobei die horizontale Achse die Längsachse (y) 502 des Behälters 85 repräsentiert. Die maximale Kapazität 504 oder Behälterkapazität ist durch die gestrichelte Linie an der vertikalen Achse angezeigt. Die Vorderseite 512 des Behälters 85 befindet sich am Ausgangspunkt, wogegen sich die Rückseite 514 des Behälters 85 auf der vertikalen Achse befindet.
4D zeigt drei veranschaulichende Verteilungen von Material innerhalb des Behälters 85. Die erste Verteilung ist ein bimodales Profil 508, bei dem zwei Hauptspitzen in der Verteilung des Materials in den Behälter 85 vorliegen. Das bimodale Profil 508 ist als eine punktierte Linie gezeigt. Das bimodale Profil 508 kann auftreten, wo die Einstellung des Abtankrohrwinkels durch ein elektrohydraulisches System mit nicht proportionalen Ventilen geregelt wird.
Die zweite Verteilung ist das vorne schiefe Modalprofil 510, bei dem eine einzelne Spitze in Richtung der Vorderseite des Behälters 85 vorliegt. Das vorne schiefe Modalprofil 510 ist als abwechselnd lange und kurze Striche gezeigt. Die zweite Verteilung könnte auftreten, wo das Volumen oder die Länge (y) des Behälters 85 größer als ein minimaler Schwellenwert ist und wo die relative Ausrichtung zwischen dem Abtankrohrende 87 und dem Behälter 85 während eines erheblichen Teils der Entladung des Materials generell stationär ist.
Die dritte Verteilung ist das Zielprofil 508, das durch Befolgen einer geeigneten Füllstrategie wie in diesem Dokument offenbart erzielt werden könnte. Beispielsweise könnte, während der Entladung, der Abtankrohrwinkel verstellt werden, um einheitliche Verteilung des Agrarprodukts im Behälter85 zu fördern. Ferner könnten der laterale Offset (Δ) oder der vorn/hinten Offset (Φ oder φ) zwischen den Fahrzeugen 79, 91 in Übereinstimmung mit einer Matrix (z. B., x-, y-Koordinatenmatrix von gleichabständigen Punktstellen des übergebenden Fahrzeugs relativ zu einem konstant beabstandeten Positionspunkt des übernehmenden Fahrzeugs) von relativen Entladepositionen, speziell für längere oder breitere Behälter, die sich nicht einheitlich ab einem einzelnen relativen Entladepunkt zwischen den Fahrzeugen 79, 91 füllen lassen, eingestellt werden.
4E ist eine Draufsicht eines übergebenden Fahrzeugs 91 und eines übernehmenden Fahrzeugs 79, wo das übergebende Fahrzeug 91 innerhalb einer Matrix 500 möglicher Offset-Positionen 502, 504 zwischen dem übergebenden Fahrzeug 91 und dem übernehmenden Fahrzeug 79 ausgerichtet ist. Jede Offset-Position 502, 504 könnte in Form von einer Kombination eines einzigartigen lateralen Offset (Δ) und eines einzigartigen vorn / hinten Offset (Φ oder φ) zwischen den Fahrzeugen 79, 91 definiert werden. Wie gezeigt, ist die Matrix 500 eine zweidimensionale, 2 x 3 (2 Spalten mal 3 Reihen) Matrix möglicher Offset-Positionen 502, 504. Obwohl sechs mögliche Matrixpositionen 502, 504 gezeigt sind, könnte die Matrix 500 in alternativen Ausführungsformen aus einer beliebigen Zahl möglicher Offset-Positionen größer oder gleich zwei bestehen. Hier besetzt das übergebende Fahrzeug 91eine aktuelle Offset-Position 504 in der ersten Spalte an der zweiten Reihe der Matrix 500, wogegen die anderen möglichen Offset-Positionen 502 nicht vom übergebenden Fahrzeug 91 besetzt sind. Wie von einem beliebigen der Systeme 11, 111 angewiesen, können sich das Bildverarbeitungsmodul 18 oder der Masterkontroller 59 des übergebenden Fahrzeugs 91 auf beliebige unbesetzte oder andere möglichen Offset-Positionen 502 innerhalb der Matrix 500 verschieben, um eine gleichmäßige Verteilung von Agrarprodukt innerhalb des Behälters 85 oder des Laderaums des übernehmenden Fahrzeugs 79 zu fördern oder zu erleichtern. Der räumliche Offset zwischen dem übergebenden Fahrzeug 91 und dem übernehmenden Fahrzeug 79 könnte in Übereinstimmung mit der Matrix 500 oder einer anderen Matrix voreingestellter Positionen von räumlichem Offset eingestellt werden, um gleichmäßige Verteilung von Agrarprodukt im Laderaum des übernehmenden Fahrzeugs 79 zu fördern, wo jede Matrix mit einem einzigartigen, relativen lateralen Offset (Δ) und einem einzigartigen vorn/hinten Offset (Φ oder φ) zwischen den Fahrzeugen 79, 91 assoziiert ist.
In einer Ausführungsform von 4E, könnten sich sowohl das übergebende Fahrzeug 91 als auch das übernehmende Fahrzeug 79 mit ca. der gleichen Geschwindigkeit und dem gleichen Kurs vorwärts bewegen (z. B., innerhalb einer Toleranz oder eines Fehlers der Steuersysteme während des Erntevorgangs), wo die relative Position des übernehmenden Fahrzeugs 79 generell fixiert oder konstant in Bezug auf jede Position 502, 504 in der Matrix 500 ist, die das übergebende Fahrzeug 91 besetzen kann.
In einer alternativen Ausführungsform könnte das übernehmende Fahrzeug 79 als eine zweidimensionale Matrix (z. B., 3 X 3 Matrix, mit drei Spalten und drei Reihen) möglicher Offset-Positionen besetzend gezeigt sein, während die Position des übergebenden Fahrzeugs 91 generell fixiert oder konstant in Bezug auf jede Position der Matrix ist, die das übernehmende Fahrzeug 79 besetzen könnte. Wie von einem beliebigen der Systeme 11, 111 in der alternativen Ausführungsform angewiesen, kann sich das Bildverarbeitungsmodul 18 auf beliebige unbesetzte oder andere möglichen Offset-Positionen innerhalb der Matrix verschieben, um eine gleichmäßige Verteilung von Agrarprodukt innerhalb des Behälters 85 oder dem Laderaum 93 des übernehmenden Fahrzeugs 79 zu fördern oder zu erleichtern.
In den 5A, 5B, 6A und 6B können jeder der Blöcke oder jedes der Module Softwaremodule, elektronische Module oder beide repräsentieren. Softwaremodule können Softwarebefehle, Unterprogramme, objektorientierten Code oder anderen Softwareinhalt beinhalten. Die Pfeile, welche die Blöcke oder Module von 6 verbinden, zeigen den Fluss von Daten oder Information zwischen den Blöcken. Die Pfeile können physikalische Kommunikationswege oder virtuelle Kommunikationswege oder beide repräsentieren. Physikalische Kommunikationswege bedeuten Übertragungsleitungen oder einen oder mehrere Datenbusse zum Übertragen, Empfangen oder Kommunizieren von Daten. Virtuelle Kommunikationswege bedeuten Kommunikation von Daten, Software- oder Datennachrichten zwischen Modulen.
Wie in den 1 und 2 veranschaulicht, stellen das erste Bildgebungsgerät 10, das zweite Bildgebungsgerät 12, oder beide, dem Bildentzerrungsmodul 101 Eingabe von Rohbildern der Stereokamera (oder Rohbilddaten) bereit. 5A ist ein Blockdiagramm, das rohe Kamerabilder (monokular oder stereo) zeigt, die vom Bildentzerrungsgerät 101 verarbeitet wurden, um entzerrte Bilder zur Eingabe in das Behälteridentifikationsmodul 20 zu erstellen. Optionale Eingabe in das Behälteridentifikationsmodul 20 sind Daten des Abtankrohr-Lokalizers 22, wie nachstehend ausführlich erörtert. 5B ist ein Blockdiagramm, das rohe Kamerabilder (monokular oder stereo) zeigt, die vom Bildentzerrungsgerät 101 verarbeitet wurden, um ein entzerrtes Bild zu erstellen. Das entzerrte Bild wird vom Disparitätsbildgenerator 103 verarbeitet, um Bereiche in Form von Disparitätsdaten zu schaffen. Danach werden entzerrte Bilder und Disparitätsdaten vom Behälteridentifikationsmodul 2 verarbeitet. In einer alternativen Ausführungsform können Daten vom Abtankrohr-Lokalizer 22 in das Behälteridentifikationsmodul 20 zu einer Verfeinerung bei der Materialverteilung im Container oder Behälter 85 eingegeben werden. Ähnliche Referenznummer in 1,2, 5A, 6A und 6B zeigen gleiche Elemente an.
6A ist ein Blockdiagramm, das rohe Kamerabilder (monokular oder stereo) zeigt, die von einem Bildentzerrungsgerät 101 verarbeitet wurden, um entzerrte Bilder zur Eingabe in den Abtankrohr-Lokalizer 22 zur weiteren Verarbeitung mit Daten 1002 der Position des Abtankrohrs zu erstellen, die vom Fahrzeugmodell 1000 bereitgestellt wurden. Ausgabedaten ab dem Abtankrohr-Lokalizer 22 können Eingabedaten für das Behälteridentifikationsmodul 20 sein.
6B ist ein Blockdiagramm, das rohe Kamerabilder (monokular oder stereo) zeigt, die vom Bildentzerrungsgerät 101 verarbeitet wurden, um entzerrte Bilder zu erstellen. Das entzerrte Bild wird vom Disparitätsbildgenerator 103 verarbeitet, um Bereiche in Form von Disparitätsdaten zu schaffen. Danach werden entzerrte Bilder und Disparitätsdaten vom Abtankrohr-Lokalizer 22 zusammen mit Daten 1002 der Position des Abtankrohrs verarbeitet. Die Ausgabedaten des Abtankrohr-Lokalizers 22 können vom Behälteridentifikationsmodul 20 weiter verarbeitet werde. Das Bildentzerrungsmodul 101 stellt den gesammelten Bilddaten oder rohen Stereobildern Bildverarbeitung bereit, um radiale Objektivverzeichnung und Bildausrichtung zu reduzieren oder zu beseitigen, die für Stereokorrespondenz erforderlich sind. Die radiale Objektivverzeichnung ist mit den radialen Linsen (Objektiven) des ersten Bildgebungsgeräts 10, des zweiten Bildgebungsgeräts 12 oder beiden assoziiert. Die Eingabe des Bildentzerrungsmoduls 101 sind rohe Stereobilddaten, wogegen die Ausgabe des Bildentzerrungsmoduls 101 entzerrte Stereobilddaten sind.
In einer veranschaulichenden Ausführungsform eliminiert oder reduziert das Bildentzerrungsgerät 101 irgendein vertikales Offset oder Differenzial zwischen einem Paar Stereobildern der gleichen Szene der Bilddaten. Ferner kann das Bildentzerrungsmodul die horizontale Komponente (oder horizontalen Linien von Pixeln der Stereobilder) ausrichten, um parallel zu den Abtastlinien oder der gemeinsamen Referenzachse jedes Bildgebungsgeräts (z. B., linkes und rechtes Bildgebungsgerät) innerhalb der ersten und zweiten Bildgebungsgeräte 10, 12 sein. Zum Beispiel kann das Bildentzerrungsgerät 101 Pixel von anfänglichen Koordinaten den revidierten Koordinaten für das rechte Bild, das linke Bild oder beiden neu zuordnen, um Registrierung der Bilder oder der entzerrten rechten und linken Bilder des Stereobilds zu erzielen. Das entzerrte Bild unterstützt effiziente Verarbeitung und betriebsbereite Identifikation entsprechender Pixel oder Objekte innerhalb des Bildes im linken Bild und rechten Bild einer gemeinsamen Szene zur anschließenden Bildverarbeitung.
In einer Konfiguration wendet das Stereokorrespondenzmodul 103 einen Stereo-Matching-Algorithmus oder Disparitätskalkulator auf gesammelte Stereobilddaten, wie beispielsweise die entzerrten Stereobilddaten an, die vom Bildentzerrungsgerät 101 ausgegeben wurden. Der Stereo-Matching-Algorithmus oder der Disparitätsrechner könnten eine Summe des Algorithmus der absoluten Differenzen, eine Summe des Algorithmus der quadrierten Differenzen, einen Konsensalgorithmus oder anderen Algorithmus umfassen, um die Differenz oder Disparität für jeden Satz entsprechender Pixeln im rechten und linken Bild zu ermitteln (z. B., entlang einer horizontalen Achse der Bilder parallel dazu).
In einer veranschaulichenden Summe der Prozedur absoluter Differenzen können die rechten und linken Bilder (oder Blöcke von Bilddaten oder Reihen in Bilddaten) verschoben werden, um entsprechende Pixel im rechten und linken Bild auszurichten. Der Stereo-Matching-Algorithmus oder Disparitätsrechner ermittelt einen Disparitätswert zwischen entsprechenden Pixeln in rechten und linken Bildern der Bilddaten. Zum Beispiel wird, um den Disparitätswert zu schätzen, jeder erste Pixelintensitätswert eines ersten Objektpixels und eine erste Summe der ersten umgebenden Pixelintensitätswerte (z. B., in einem Block oder einer Matrix von Pixeln) um das erste Pixel herum mit jedem entsprechenden zweiten Pixelintensitätswert des zweiten Objektpixels und einer zweiten Summe der zweiten umgebenden Pixelintensitätswerte (z. B., in einem Block oder einer Matrix von Pixeln) um das zweite Pixel herum verglichen. Die Disparitätswerte können dazu verwendet werden, eine Disparitätskarte oder ein Bild für die entsprechenden rechten und linken Bilddaten zu bilden.
Ein Behälter -Lokalizer schätzt einen Abstand oder Bereich vom ersten Bildgebungsgerät 10, dem zweiten Bildgebungsgerät 12 oder beiden zu den Pixeln oder Punkten, die am Behälterumfang 81, an der Behälterkante 181, am Abtankrohr 89, am Abtankrohrende 87 oder an irgendeiner anderen linearen Kante, Kurve, Ellipse, Kreis oder Objekt liegen, die/das vom Kantendetektor, dem linearen Hough-Transformator oder beiden identifiziert wurden. Zum Beispiel kann das Bildverarbeitungsmodul 18 die Disparitätskarte oder das Disparitätsbild verwenden, um einen Abstand oder Bereich vom ersten Bildgebungsgerät 10, dem zweiten Bildgebungsgerät 12 oder beiden zu den Pixeln oder Punkten zu schätzen, die am Behälterumfang 81, an den Behälterrändern 181, der Behälteröffnung 83, in der Nähe irgendeines der vorgenannten Gegenstände oder anderswo liegen.
In einer Ausführungsform umfasst das Behälteridentifikationsmodul 20 Folgendes: (1) einen Kantendetektor zum Messen der Stärke oder Zuverlässigkeit einer oder mehrerer Kanten 181 oder Punkte am Behälterumfang 81 in den Bilddaten; (2) einen linearen Hough-Transformator zum Identifizieren eines Winkels und Offset von von Kandidatenlinearsegmenten in den Bilddaten in Bezug auf einen Referenzpunkt auf einer optischen Achse, Referenzachse der einen oder mehreren Bildgebungsgeräten 10, 12; (3) einen Behälter-Lokalizer, der angepasst ist, räumliche und Winkelbeschränkungen zu verwenden, um die Kandidatenlinearsegmente zu eliminieren, die logisch oder möglich nicht Teil der identifizierten linearen Segmente des Behälterumfangs 81 oder der Punkte am Behälterumfang bilden können 81; und (4) der Behälter-Lokalizer transformiert die nicht eliminierten, identifizierten linearen Segmente oder identifizierten Punkte in zwei- oder dreidimensionale Koordinaten relativ zu einem Referenzpunkt oder Referenzrahmen des übernehmenden Fahrzeugs und des Erntefahrzeugs.
Der Kantendetektor könnte einen Kantendetektionsalgorithmus auf entzerrte Bilddaten vom Bildentzerrungsgerät 101 anwenden. Der Kantendetektionsdetektor kann eine beliebige Zahl geeigneter Algorithmen zur Kantendetektion verwenden. Kantendetektion bezieht sich auf den Prozess der Identifizierung und Auffindung von Unterbrechungen zwischen Pixeln in einem Bild oder gesammelter Bilddaten. Zum Beispiel können die Unterbrechungen wesentliche Veränderungen in Pixelintensität oder Pixelfarbe darstellen, welche die Begrenzungen von Objekten in einem Bild definieren. Eine Gradienttechnik von Kantendetektion könnte durch Filterung von Bilddaten implementiert werden, um verschiedene Pixelwerte in ersten Bereichen größerer Unterbrechungen oder Gradienten als in zweiten Bereichen mit weniger Unterbrechungen oder Gradienten zurückzugeben. Zum Beispiel detektiert die Gradienttechnik die Kanten eines Objekts durch Schätzen des Höchstwertes und des Mindestwertes des ersten Derivats der Pixelintensität der Bilddaten. Die Laplacetechnik detektiert die Kanten eines Objekts in einem Bild durch Suchen nach Nulldurchgängen im zweiten Derivat des Pixelintensitätsbilds. Weitere Beispiele geeigneter Algorithmen für Kantendetektion umfassen, sind aber nicht darauf beschränkt, Roberts, Sobel, und Canny, wie dem durchschnittlichen Fachmann bekannt ist. Der Kantendetektor könnte eine numerische Ausgabe, Signalausgabe oder Symbol bereitstellen, das auf die Stärke oder Zuverlässigkeit der Kanten 181 im Feld schließen lässt. Zum Beispiel könnte der Kantendetektor einen numerischen Wert oder Kantenstärkeanzeiger innerhalb eines Bereichs oder einer Skala oder relative Stärke oder Zuverlässigkeit dem linearen Hough-Transformator bereitstellen.
Der lineare Hough-Transformator empfängt Kantendaten (z. B., einen Kantenstärkeanzeiger), die sich auf das übernehmende Fahrzeug beziehen und identifiziert den geschätzten Winkel und Offset der starken Liniensegmente, gebogenen Segmente oder generell linearer Kanten (z Bg., des Behälters 85, des Abtankrohrs 89, des Abtankrohrendes 87 und der Öffnung 83) in den Bilddaten. Der geschätzte Winkel ist mit dem Winkel oder zusammengesetzten Winkel (z. B., mehrdimensionaler Winkel) von einer linearen Achse assoziiert, welche die Linsen des ersten Bildgebungsgeräts 10, des zweiten Bildgebungsgeräts 12, oder beide unterbricht. Der lineare Hough-Transformator umfasst einen Merkmalextraktor zum Identifizieren von Liniensegmenten von Objekten mit gewissen Formen ab den Bilddaten. Zum Beispiel identifiziert der lineare Hough-Transformator Liniengleichungsparameter oder Ellipsengleichungsparameter von Objekten in den Bilddaten von den Kantendaten, die vom Kantendetektor ausgegeben wurden oder der Hough-Transformator klassifiziert die Kantendaten als ein Liniensegment, eine Ellipse oder einen Kreis. Daher ist es möglich Behälter oder Abtankrohre mit generell linearen, rechteckigen, elliptischen oder kreisförmigen Merkmalen zu detektieren.
In einer Ausführungsform unterstützt der Datenmanager den Eintrag oder die Selektion von Behälterreferenzdaten durch die Benutzerschnittstelle 44. Der Datenmanager unterstützt Eintrag, Abruf und Speicherung von Behälterreferenzdaten, wie Messungen von Wagen- bzw. Anhängerabmessungen, durch das Bildverarbeitungsmodul 18, um dem Behälter-Lokalizer räumliche Beschränkungen über die Liniensegmente oder Datenpunkte zu geben, die potenzielle Kanten 181 der Wagenöffnung 83 sind.
In einer Ausführungsform könnte der Winkelschätzer einen Kalmanfilter oder einen erweiterten Kalmanfilter umfassen. Der Winkelschätzer schätzt den Winkel des Laderaums 93 (z. B., Wagens) des übernehmenden Fahrzeugs 79 zur Achse der Fahrtrichtung des Antriebsteils 75 (z. B., Traktor) des übernehmenden Fahrzeugs 79. Der Winkelschätzer (z. B., Kaimanfilter) stellt dem Behälter-Lokalizer Winkelbeschränkungen über die Linien oder Datenpunkte bereit, die potenzielle Kanten 181 der Behälteröffnung 83 sind. In Konfiguration ist der Winkelschätzer oder Kalmanfilter mit dem Behälter-Lokalizer gekoppelt. Der Winkelschätzerfilter gibt den empfangenen geschätzten Winkel des Laderaums 93 relativ zur Fahrtrichtung des Antriebsteils 75 des Fahrzeugs aus oder ist fähig, diesen bereitzustellen.
Der Behälter-Lokalizer ist angepasst, Messungen von Abmessungen des Behälterumfangs 81 oder des Laderaums 93 des Fahrzeugs zu empfangen, um Identifikation von Kandidatenlinearsegmenten zu erleichtern, die sich als identifizierte Linearsegmente des Behälterumfangs 81 qualifizieren. In einer Ausführungsform ist der Behälter-Lokalizer angepasst, einen geschätzten Winkel des Laderaums 93 relativ zum Antriebsteil 75 des Fahrzeugs zu empfangen, um Identifikation von Kandidatenlinearsegmenten zu erleichtern, die sich als identifizierte Linearsegmente des Behälterumfangs 81 qualifizieren. Der Behälter-Lokalizer verwendet räumliche und Winkelbeschränkungen, um Kandidatenlinien in den Bilddaten zu eliminieren, die nicht möglich oder logisch Teil der Behälteröffnung 83 oder Behälterkanten 181 sein können, selektiert dann bevorzugte Linien (oder Datenpunkte an der Behälterkante 81) als die wahrscheinlichsten Kandidaten für die gültige Behälteröffnung 83 (Material darin) oder Behälterkanten 181. Der Behälter-Lokalizer kennzeichnet die Vorzugslinien als, oder transformiert sie in, dreidimensionale Koordinaten relativ zum Fahrzeug oder einem anderen Referenzrahmen, um einen Behälterumfang des Behälters 85 darzustellen.
In einer Ausführungsform umfasst der Abtankrohr-Lokalizer 22 einen Abtankrohrklassierer, der konfiguriert ist, Kandidatenpixel in den Bilddaten auf der Basis zumindest eines der folgenden Merkmale, nämlich Reflexionsvermögen, Intensität, Farbe oder Textur der Bilddaten (oder Pixeln), der entzerrten Bilddaten oder rohen Bilddaten zu identifizieren, wo die Kandidatenpixeln einen Teil des Abtankrohrs 89 oder des Abtankrohrendes 87 darstellen. Der Abtankrohr-Lokalizer 22 ist angepasst, eine relative Position des Abtankrohrs 89 zum Bildgebungsgerät auf der Basis der klassifizierten, identifizierten Kandidatenpixel eines Teils des Abtankrohrs 89 zu schätzen. Der Abtankrohr-Lokalizer 22 empfängt eine geschätzte Abtankposition oder einen Abtankrohrwinkel (a) des Mähdreschers relativ zum Montageort des Bildgebungsgeräts oder zur optischen Achse oder Referenzachse eines oder mehrerer Bildgebungsgeräte, auf der Basis früherer Messungen, um Beschränkungsdaten darüber bereitzustellen, wo das Abtankrohr 89 möglicherweise zu finden ist.
Der Abtankrohrklassierer wendet Softwarebefehle auf einen Algorithmus an oder schließt diese ein, der Kandidatenpixeln identifiziert, die wahrscheinlich Teil des Abtankrohrs 89 oder des Abtankrohrendes 87 sind, d. h. beruhend auf erwarteten Farb-und Texturmerkmalen innerhalb der verarbeiteten oder rohen Bilddaten. Zum Beispiel könnten in einer Konfiguration das Abtankrohrende 87 angestrichen, beschichtet, etikettiert oder sein oder mit einer Beschichtung oder einem Muster markiert sein, die/das von größerem optischen oder infrarotem Reflexionsvermögen, größerer Intensität oder Luminanz als ein übriger Teil des Abtankrohrs 89 oder des übergebenden Fahrzeugs ist. Die/das größere Luminanz, Intensität oder Reflexionsvermögen des Abtankrohrendes 87 (oder assoziierter Pixel des Abtankrohrs der Bilddaten versus Hintergrundpixeln) könnte durch Anstreichen oder Beschichten des Abtankrohrendes 87 mit weiße, gelbem, Chrom oder einer helleren Färbung oder Farbton in Bezug auf den Rest des Abtankrohrs 89 oder Teilen des übergebenden Fahrzeugs innerhalb des Blickfelds der Bildgebungsgeräte 10, 12 erzielt werden.
In einer Ausführungsform umfasst der Schätzer für die Position des Abtankrohrs einen Kalmanfilter oder einen erweiterten Kalmanfilter, der Eingabe von früheren Messungen und Behälterreferenzdaten empfängt und eine Schätzung der Position des Abtankrohrs, des Abtankrohrwinkels oder seines assoziierten Fehlers ausgibt. Der Schätzer für die Position des Abtankrohrs stellt eine Schätzung der Position des Abtankrohrs oder des Abtankrohrwinkels oder seines Fehlers des Mähdreschers relativ zu einem oder mehreren des Folgenden bereit: (1) der Montageposition oder des Drehpunkts des Abtankrohrs am übergebenden Fahrzeug oder (2) der optischen Achse oder anderer Referenzachsen oder dem Punkt des ersten Bildgebungsgeräts 10, des zweiten Bildgebungsgeräts 12 oder beiden oder (3) der mit der Vorwärtsfahrtrichtung oder dem Kurs des übergebenden Fahrzeugs assoziierten Achse. Der Kalmanfilter gibt Beschränkungen darüber aus, wo das Abtankrohr 89 oder das Abtankrohrende 87 zu finden sein kann, bzw. über eine geschätzte Position des Abtankrohrs oder eine Befestigungszone für das Abtankrohr oder geschätzte Positionszone für das Abtankrohr aus. In einer Ausführungsform ist der Schätzer für die Position des Abtankrohrs oder der Kalmanfilter an den Abtankrohr-Lokalizer 22 gekoppelt.
Der Abtankrohr-Lokalizer 22 nimmt Pixeln, die als dem Abtankrohr 89 der Mähdrescher-Förderschnecke zugehörig klassifiziert sind und verwendet ein Disparitätsbild vom Disparitätsbildgenerator 103 um die relative Position des Abtankrohrs zum ersten Bildgebungsgerät 10, zum zweiten Bildgebungsgerät 12 oder beiden zu schätzen.
7 ist ein Ablaufdiagramm eines Verfahrens zur Erleichterung des Entladens von Agrarprodukt aus einem Fahrzeug oder zwischen einem übergebenden Fahrzeug 91 und einem übernehmenden Fahrzeug 79. Das Verfahren von FIG. könnte in einer oder mehreren der folgenden Ausführungsformen der Systeme 11, 111 verwendet werden, die hierin bereits offenbart wurden.
Bei Schritt S902 zeigt das erste Bildgebungsgerät 10 in Richtung des Laderaums des übernehmenden Fahrzeugs 79 (z. B., Getreidewagen) und sammelt erste Bilddaten (z B., erste Stereobilddaten, erste monokulare Bilddaten oder ein rechtes Bild eines Stereobilds). Zum Beispiel könnte das erste Bildgebungsgerät 10 an der Karosserie des übergebenden Fahrzeugs 91 montiert sein und in Richtung des übernehmenden Fahrzeugs 79 zeigen und in Richtung des Behälters 85 zeigen. In einer Ausführungsform hat das erste Bildgebungsgerät 10 ein erstes Blickfeld 77 (3) oder Blick 477 (4A und 4B) des Laderaums des übernehmenden Fahrzeugs 79.
In einer alternativen Ausführungsform umfasst das erste Bildgebungsgerät 10 ein monokulares Bildgebungsgerät, das einen ersten Bildabschnitt (z. B., linkes Bild) von Stereobilddaten einer Szene oder eines Objekts bereitstellt.
Bei Schritt S904 zeigt, wo vorhanden, das optionale zweite Bildgebungsgerät 12 in Richtung des Laderaums 93 des übernehmenden Fahrzeugs 79 (z. B., Getreidewagen) und sammelt zweite Bilddaten (z. B., zweite Stereobilddaten, zweite monokulare Bilddaten oder ein linkes Bild von einem Stereobild). Zum Beispiel könnte das zweite Bildgebungsgerät 12 am Abtankrohr 89 des übergebenden Fahrzeugs 91 montiert sein und in Richtung des übernehmenden Fahrzeugs 79 ( und . In einer Ausführungsform hat das zweite Bildgebungsgerät 12 ein zweites Blickfeld (177, 277) des Laderaums des übernehmenden Fahrzeugs, wobei sich das erste Blickfeld (77, 477) jeweils zumindest teilweise mit dem zweiten Blickfeld (177, 277) überlappt.
In einer alternativen Ausführungsform umfasst das zweite Bildgebungsgerät 12 ein monokulares Bildgebungsgerät, das einen zweiten Bildabschnitt (z. B., rechtes Bild) von Stereobilddaten einer Szene oder eines Objekts bereitstellt, wobei das Bildverarbeitungsmodul18 die Erstellung eines Stereobilds aus einer Kombination des ersten Bildabschnitts (des ersten monokularen Bildgebungsgeräts) und des zweiten Bildabschnitts in Bezug auf die relative Position und Orientierung des ersten Bildgebungsgeräts 10 und des zweiten Bildgebungsgeräts 12 unterstützt.
Bei Schritt S906 identifiziert ein Bildverarbeitungsmodul 18 oder ein Behälteridentifikationsmodul 20 einen Behälterumfang 81 des Laderaums 93 in den gesammelten Bilddaten (z. B., den ersten Bilddaten, den zweiten Bilddaten oder beiden), wobei der Laderaum 93 eine vom Behälterumfang 81 nach innen gerichtete Öffnung 83 zur Aufnahme des Agrarprodukts aufweist. Schritt S906 könnte in Übereinstimmung mit verschiedenen Techniken ausgeführt werden, die sich abwechselnd oder kumulativ anwenden ließen. Unter einer ersten Technik könnten das Bildverarbeitungsmodul 18 oder das Behälteridentifikationsmodul 20 die folgenden Prozesse und untergeordnete Schritte verwenden: (1) Messen einer Stärke einer oder mehrerer Kanten 181 in den Bilddaten (rohe und entzerrte Bilddaten); (2) Identifizieren eines Winkels und Offset von Kandidatenlinearsegmenten in den Bilddaten in Bezug auf eine optische Achse, Referenzachse (z. B., Fahrtrichtung des übergebenden Fahrzeugs) oder einen Referenzpunkt, der auf ein oder mehrere Bildgebungsgeräte 10, 12 indexiert ist; und (3) Verwenden räumlicher und Winkelbeschränkungen, um identifizierte Kandidatenlinearsegmente zu eliminieren, die logisch oder möglich nicht Teil der identifizierten Linearsegmente des Behälterumfangs bilden können, wobei das Behälteridentifikationsmodul 20 die identifizierten Linearsegmente in dreidimensionale Koordinaten relativ zu einem Referenzpunkt oder Referenzrahmen des übernehmenden Fahrzeugs und/oder des Erntefahrzeugs transformiert.
Unter einer zweiten Technik könnten das Bildverarbeitungsmodul 18 oder das Behälteridentifikationsmodul 20 Behälterreferenzdaten oder Messungen von Abmessungen des Behälterumfangs 81 oder des Laderaums 93 des Fahrzeugs empfangen, um Identifikation von Kandidatenlinearsegmenten oder Kandidatendatenpunkten zu erleichtern, die sich als identifizierte Linearsegmente des Behälterumfangs 81 qualifizieren.
Unter der dritten Technik könnten das Bildverarbeitungsmodul 18 oder das Behälteridentifikationsmodul 20 einen geschätzten Winkel des Laderaums 93 relativ zum Antriebsteil 75 des Fahrzeugs empfangen, um Identifikation von Kandidatensegmenten zu erleichtern, die sich als identifizierte Linearsegmente des Behälterumfangs 81 qualifizieren.
Unter einer vierten Technik stellt das Bildverarbeitungsmodul 18 oder das Behälteridentifikationsmodul 20 den empfangenen geschätzten Winkel des Laderaums 93 relativ zum Antriebsteil 75 des Fahrzeugs bereit.
Bei Schritt S908 identifiziert das Bildverarbeitungsmodul 18 oder ein Abtankrohr-Lokalizer 22 ein Abtankrohr 89 (oder Abtankrohrende 87) des übergebenden Fahrzeugs 91 in den gesammelten Bilddaten. Das Bildverarbeitungsmodul 18 oder der Abtankrohr-Lokalizer 22 können verschiedene Techniken verwenden, die sich abwechselnd oder kumulativ anwenden ließen. Unter einer ersten Technik identifiziert das Bildverarbeitungsmodul 18 oder der Abtankrohr-Lokalizer 22 Kandidatenpixeln in den Bilddaten (z. B., entzerrtge oder rohe Bilddaten) auf erwarteten Farb- und erwarteten Texturmerkmalen der Bilddaten beruhend, wobei die Kandidatenpixeln einen Teil des Abtankrohrs 89 (z B., Abtankrohr der Förderschnecke des Mähdreschers) oder Abtankrohrendes 87 darstellen.
Unter einer zweiten Technik schätzt das Bildverarbeitungsmodul 18 oder das Abtankrohr-Identifikationsmodul 22 eine relative Position oder relativen Winkel, des Abtankrohrs 89 oder des Abtankrohrendes 87, zum Bildgebungsgerät beruhend auf den klassifizierten, identifizierten Kandidatenpixeln eines Teils des Abtankrohrs 89.
Unter einer dritten Technik empfängt das Bildverarbeitungsmodul 18 oder das Abtankrohr-Identifikationsmodul 22 eine geschätzte Position des Mähdrescher-Abtankrohrs oder den Abtankrohrwinkel, relativ zur Montageposition, der optischen Achse, Referenzachse oder den Referenzpunkt des Bildgebungsgeräts 10, 12 auf früheren Messungen beruhend, um Beschränkungsdaten darüber bereitzustellen, wo das Abtankrohr 89 möglicherweise positioniert werden kann.
Unter einer vierten Technik stellt das Bildverarbeitungsmodul 18 oder der Abtankrohr-Lokalizer 22 die geschätzte Position des Mähdrescher-Abtankrohrs oder den geschätzten Abtankrohrwinkel, dem Behälteridentifikationsmodul 20 bereit.
Bei Schritt S910 ermittelt die Bilddatenauswerteeinrichtung 25 oder das Bildverarbeitungsgerät 18, ob die ersten Bilddaten, die zweiten Bilddaten oder beide, beruhend auf einer Auswertung der Intensität von Pixeldaten oder Umgebungslichtbedingungen, zu verwenden sind. Schritt S910 könnte in Übereinstimmung mit verschiedenen Techniken ausgeführt werden, die sich abwechselnd oder kumulativ ausführen ließen.
Unter einer ersten Technik, wo ein erster optischer Sensor 110 mit dem jeweiligen ersten Bildgebungsgerät 10 assoziiert ist; entscheidet die Bilddatenauswerteeinrichtung 25 oder das Bildverarbeitungsmodul 18 die ersten Bilddaten zu verwenden, wenn die Schwankung im Umgebungslicht über ein Abtastzeitintervall (z. B., entsprechend einer Abtastrate von 1 bis 120 Abtastungen pro Sekunde) geringer als oder gleich einer maximalen Umgebungslichtschwankung, wie vom ersten optischen Sensor 110 gemessen, ist. Hier werden, unter der ersten Technik, die ersten Bilddaten allein vom ersten Bildgebungsgerät 10 gesammelt. Eine Hintergrundintensität, mittlere Intensität oder Modusschwankungsintensität im Umgebungslicht in den Bilddaten, ein Block von Pixeln in den ersten Bilddaten oder ein Objekt innerhalb der Bilddaten (z. B., Abtankrohr, Abtankrohrende, Behälterumfang oder Behälter) könnten während des Betriebs oder Normalbetriebs der Systeme 11, 111 gesammelt oder verfolgt werden. In einer Ausführungsform ist die maximale Umgebungslichtintensität eingestellt, größer als die Hintergrundlichtintensität, mittlere Lichtintensität oder Moduslichtintensität zu sein. Beispielsweise ist die maximale Umgebungslichtintensität (z. B., innerhalb des sichtbaren Lichtspektrums, des Nah-Infrarotspektrums oder Infrarotspektrum)s eingestellt durch statistische Maßnahme größer zu sein (z. B., ca. eine oder zwei Standardabweichungen über der Hintergrundlichtintensität), mittleren Lichtintensität oder Moduslichtintensität oder einer Signalpegeldifferenz zwischen der maximalen Umgebungslichtintensität und der mittleren Lichtintensität gleich oder größer ein Pegel des Schwellenwerts (z. B., innerhalb eines Bereichs von ca. 3 Dezibel bis 6 Dezibel) sein.
Unter einer zweiten Technik, wo ein zweiter optischer Sensor 112 mit dem zweiten Bildgebungsgerät 12 assoziiert ist; entscheidet die Bilddatenauswerteeinrichtung 25 oder das Bildverarbeitungsmodul 18 die zweiten Bilddaten zu verwenden, wenn die Schwankung in Umgebungslicht über ein Abtastzeitintervall (z. B., entsprechend einer Abtastrate von 1 bis 120 Abtastungen pro Sekunde) weniger als oder gleich einer maximalen Umgebungslichtschwankung, wie vom zweiten optischen Sensor 112 gemessen, ist. Hier werden, unter der zweiten Technik, die zweiten Bilddaten allein vom zweiten Bildgebungsgerät 12 gesammelt. Eine Hintergrundintensität, mittlere Intensität oder Modusschwankungsintensität im Umgebungslicht in den zweiten Bilddaten, ein Block von Pixeln in den Bilddaten oder ein Objekt innerhalb der Bilddaten (z. B., Abtankrohr, Abtankrohrende, Behälterumfang oder Behälter) könnten während des Betriebs oder Normalbetriebs der Systeme 11, 111 gesammelt oder verfolgt werden. In einer Ausführungsform ist die maximale Umgebungslichtintensität eingestellt, größer als die Hintergrundlichtintensität, mittlere Lichtintensität oder Moduslichtintensität zu sein. Beispielsweise ist die maximale Umgebungslichtintensität (z. B., innerhalb des sichtbaren Lichtspektrums, des Nah-Infrarotspektrums oder Infrarotspektrum)s eingestellt durch statistische Maßnahme größer zu sein (z. B., ca. eine oder zwei Standardabweichungen über der Hintergrundlichtintensität), mittleren Lichtintensität oder Moduslichtintensität oder einer Signalpegeldifferenz zwischen der maximalen Umgebungslichtintensität und der mittleren Lichtintensität gleich oder größer ein Pegel des Schwellenwerts (z. B., innerhalb eines Bereich von ca. 3 Dezibel bis 6 Dezibel) sein.
Unter einer dritten Technik entscheidet das Bildverarbeitungsmodul 18 oder die Bilddatenauswerteeinrichtung 25 die ersten Bilddaten des ersten Bildgebungsgeräts 10 zu verwenden, wenn die Schwankung in Pixelintensität eines Abtankrohrs, eines Abtankrohrendes oder eines Behälters im ersten Bild über ein Abtastzeitintervall weniger als oder gleich einer maximalen Pixelintensitätsschwankung, wie vom Bildverarbeitungsmodul 18 detektiert, ist.
Unter einer vierten Technik entscheidet das Bildverarbeitungsmodul 18 oder die Bilddatenauswerteeinrichtung 25 die zweiten Bilddaten des zweiten Bildgebungsgeräts 12 zu verwenden, wenn die Schwankung in Pixelintensität eines Abtankrohrs, eines Abtankrohrendes oder eines Behälters im ersten Bild über ein Abtastzeitintervall weniger als oder gleich einer maximalen Pixelintensitätsschwankung, wie vom Bildverarbeitungsmodul 18 detektiert, ist.
Unter einer fünften Technik ist das Bildverarbeitungsmodul 18, die Bilddatenauswerteeinrichtung 25 angepasst zu ermitteln, ob die ersten Bilddaten, die zweiten Bilddaten oder beide zur Identifikation des Behälterumfangs und das Identifizieren des Abtankrohrs (oder Abtankrohrendes) zu verwenden ist, beruhend auf Pixelintensität in zurückgewiesenen Bilddaten, die außerhalb eines erwünschten Bereichs oder Schwankung in Pixelintensität während des Abtastzeitintervalls liegen, wobei das Bildverarbeitungsmodul 18, die Bilddatenauswerteeinrichtung 25 oder das Bildverarbeitungsmodul 18 konfiguriert ist, die Verarbeitung oder Verwendung der zurückgewiesenen Bilddaten selektiv zu deaktivieren, die einen Teil der gesammelten ersten Bilddaten oder der zweiten Bilddaten umfassen, die andernfalls durch eine oder mehrere der folgenden Bedingungen verfälscht werden würden: (1) übermäßiges kurzlebiges Sonnenlicht während Sonnenaufgang, Sonnenuntergang oder übermäßige Lichtstrahlung aus anderen Quellen (z. B., Scheinwerfern von anderen Fahrzeugen), (2) vorübergehendes Sonnenlicht oder Bewölkung, (3) Nebel, Niederschlag oder Feuchtigkeit, (4) Schatten (z. B., von Vegetation, Bäumen, Gebäuden oder Pflanzendächern), (5) Staub in der Luft oder Fremdkörper, (6) Lichtreflexionen (z. B., von polierten, glänzenden oder reflektierenden Oberflächen von anderen Maschinen oder Fahrzeugen) oder anderen Lichtbedingungen, welche den ordnungsgemäßen Betrieb der Bildgebungsgeräte 10, 12 zeitweise unterbrechen oder stören können.
Bei Schritt S912 bestimmt das Bildverarbeitungsmodul 18 oder das Ausrichtungsmodul 24 die relative Position des Abtankrohrs 89, oder des Abtankrohrendes 87, und des Behälterumfangs 81 und zum Generieren von Befehlsdaten, die Geschwindigkeit über Boden des übergebenden Fahrzeugs 91 zu modulieren oder das Abtankrohr 89 oder beide in kooperativer Ausrichtung neu zu positionieren, derartig, dass das Abtankrohr 89 (oder Abtankrohrende 87) mit einer mittigen Zone 83 des Behälterumfangs 81 ausgerichtet wird. Das Bildverarbeitungsmodul 18 könnte vorher gespeicherte Daten verwenden, abrufen oder darauf zugreifen, wie beispielsweise dimensionale Parameter, die sich auf das übernehmende Fahrzeug beziehen, die dimensionalen Parameter, die eine Distanz zwischen einer Anhängeranhängevorrichtung und der Vorderraddrehachse des Laderaums 93 umfassen. Derartige dimensionale Parameter können über eine Benutzerschnittstelle 44 eingegeben werden, die beispielsweise an den Fahrzeugdatenbus 60 oder das Bildverarbeitungsmodul 18 gekoppelt ist.
Zur Ausführung des Schritts S912 könnte das Bildverarbeitungsmodul 18 erste Ortsdaten eines ersten Ortsbestimmungsempfängers 42 am übergebenden Fahrzeug 91 verwenden, um relative Position zwischen dem Abtankrohr und dem Behälterumfang zu ermitteln und Befehlsdaten generieren, um die Geschwindigkeit über Boden des übergebenden Fahrzeugs 91 zu modulieren oder das Abtankrohr 89 oder beide in kooperativer Ausrichtung neu zu positionieren, derartig, dass das Abtankrohr 89 innerhalb einer mittigen Zone des Behälterumfangs 181 oder eines Abschnitts des Gittermusters 82 ausgerichtet wird.
Bei Schritt S914, in einer ersten Konfiguration, moduliert der Kontroller 59 oder der Antriebskontroller 40 die Geschwindigkeit über Boden des übergebenden Fahrzeugs 91. In einer zweiten Konfiguration wird das Abtankrohr 89 vom Fahrzeugkontroller 46 oder dem Abtankrohrkontroller 54 neu positioniert. Das Rotationsstellglied 122 (z. B., ein Servomotor, Elektromotor, Linearmotor und lineare-zu-rotatorische Getriebebaugruppe oder elektrohydraulische Vorrichtung) steuert den Abtankrohrwinkel des Abtankrohrs 89, oder des Abtankrohrendes 87, in Bezug auf die Fahrtrichtung oder andere Referenzachse des übergebenden Fahrzeugs als Reaktion auf das Ausrichtungsmodul 24 oder das Bildverarbeitungsmodul 18 (z. B., Smartentladekontroller). In einer dritten Konfiguration wird sowohl die Geschwindigkeit des übergebenden Fahrzeugs als auch das Abtankrohr 89 neu positioniert.
8 veranschaulicht den Datenfluss und die Verarbeitung durch das Bildverarbeitungsmodul 18 ab den Rohbildern nach den Befehlen des übergebenden Fahrzeugs. Die Komponenten und Module wurden oben ausführlich erörtert. Die gestrichelten Linien stellen optionale Schritte und/oder Module dar. Rohbilder werden vom Bildgebungsgerät 10, 12 gesammelt (z. B. die Kamera ist entweder stereo oder monokular). Einige Ausführungsformen der vorliegenden Erfindung benötigen nur ein Bildgebungsgerät. Rohbilder werden durch das Bildentzerrungsgerät 101 verarbeitet, um entzerrte Bilder zu erstellen. Entzerrte Bilder werden durch die Bilddatenauswerteeinrichtung 25 verarbeitet, um eine Bildqualitätskennzahl für das entzerrte Bild bereitzustellen, um zu bestimmen, ob das Bild in Weiterverarbeitung vom Ausrichtungsmodul 24 verwendet werden sollte. Entzerrte Bilder werden außerdem durch das Behälteridentifikationsmodul 20 und Materialprofilmodul 27 verarbeitet. Entzerrte Bilder können außerdem im Zusammenhang mit Disparitätsbildern durch den Abtankrohr-Lokalizer 22 verarbeitet werden, wenn ein Disparitätsbildgenerator 103 vorhanden ist. Ansonsten wird der Abtankrohr-Lokalizer 22 nur die im Fahrzeugmodell 1000 gespeicherten Daten verwenden, welche Daten am übergebenden Fahrzeug 91, Abmessungen des Abtankrohrs 89 und des Abtankrohr-Kinematikmodells einschließen, aber nicht darauf beschränkt sind. Der Abtankrohr-Lokalizer 22 benötigt auch Daten über die Fahrzeugzustandsinformation, welche die Geschwindigkeit des übergebenden Fahrzeugs, Abtankrohrwinkel, Ein-/Aus-Status des Förderschneckenantriebs und relative GPS-Position des übernehmenden Fahrzeugs 79 einschließt, aber nicht darauf beschränkt ist, falls Maschinensynchronisation vorhanden ist. Die Ausgabe des Abtankrohr-Lokalizers 22 wird in das Behälteridentifikationsmodul 20 eingegeben und im Zusammenhang mit entzerrten Bildern und Disparitätsbildern (fall bereitgestellt) durch das Behälteridentifikationsmodul 20 verarbeitet, um die Position und Abmessungen des Behälters zu bestimmen. Entzerrte Bilder und Disparitätsbilder (falls bereitgestellt) werden im Zusammenhang mit Positions- und Abmessungsdaten des Behälters vom Behälteridentifikationsmodul 20 durch das Materialprofilmodul 27 verarbeitet, um ein Füllprofil des Behälters 85 zu generieren. Das Ausrichtungsmodul 24 verarbeitet Daten, die vom Behälteridentifikationsmodul 20, Materialprofilmodul 27 generiert wurden, im Zusammenhang mit der Fahrzeugzustandsinformation, um Fahrzeugbefehle wie beispielsweise Geschwindigkeit/Lenkung des übergebenden Fahrzeugs 91, Position des Abtankrohrs, Ein-/Aus-Status des Förderschneckenantriebs und Geschwindigkeit/Lenkung des übernehmenden Fahrzeugs 79 zu generieren, wenn Maschinensynchronisation vorhanden ist, um das Abtankrohrende 87 über den geeigneten offenen Bereich des Behälters 85, für gleichmäßige, einheitliche Verteilung des Agrarprodukts im Behälter, neu zu positionieren.
Obwohl die Offenbarung ausführlich und mit Bezug auf spezielle Ausführungsformen davon beschrieben worden ist, wird einem Fachmann offenkundig sein, dass verschiedene Änderungen und Modifikationen darin vorgenommen werden können, ohne vom Umfang der Ansprüche abzuweichen.

Claims

System zur Erleichterung der Übergabe von Material von einem übergebenden Fahrzeug in ein übernehmendes Fahrzeug, wobei das System umfasst: ein übernehmendes Fahrzeug, das einen Antriebsteil zum Antreiben des übernehmenden Fahrzeugs und einen Laderaum zur Lagerung des Materials umfasst; ein erstes Bildgebungsgerät, das dem Laderaum des übernehmenden Fahrzeugs zugewandt ist, wobei das erste Bildgebungsgerät erste Bilddaten sammelt; ein zweites Bildgebungsgerät, das dem Laderaum des übernehmenden Fahrzeugs zugewandt ist, wobei das zweite Bildgebungsgerät zweite Bilddaten sammelt; ein Bildentzerrungsgerät, wobei das Bildentzerrungsgerät eingerichtet ist, einen Offset oder Differenzial zwischen den ersten Bilddaten und den zweiten Bilddaten zu reduzieren, um entzerrte gesammelte Bilddaten zu erzeugen. ein Behälteridentifikationsmodul zum Identifizieren eines Behälterumfangs des Laderaums, wobei das Behälteridentifikationsmodul den Behälterumfang durch Bestimmen einer linearen Pixelmenge identifiziert, die mit dem Behälterumfang in den gesammelten Bilddaten oder den entzerrten gesammelten Bilddaten assoziiert ist; ein Abtankrohr-Identifikationsmodul zum Identifizieren eines Abtankrohrs des übergebenden Fahrzeugs in den gesammelten Bilddaten oder den entzerrten gesammelten Bilddaten; eine Bilddatenauswerteeinrichtung zum Bestimmen, ob die ersten Bilddaten, die zweiten Bilddaten oder beide zur Ausrichtung einer relativen Position des Abtankrohrs und des Behälterumfangs, beruhend auf einer Auswertung einer wesentlichen Schwankung der Intensität von Pixeldaten oder einer wesentlichen Schwankung in umgebenden Lichtbedingungen, während eines Abtastzeitintervalls, zu verwenden sind; ein Ausrichtungsmodul zum Bestimmen der relativen Position des Abtankrohrs und des Behälterumfangs unter Verwendung der gesammelten Bilddaten oder der entzerrten gesammelten Bilddaten und zum Generieren von Befehlsdaten an den Antriebsteil, um den Laderaum in kooperativer Ausrichtung derartig zu lenken, dass das Abtankrohr innerhalb einer mittigen Zone des Behälterumfangs ausgerichtet ist; und einen mit einem Lenksystem des Antriebsteils assoziierten Lenkkontroller zum Lenken des übernehmenden Fahrzeugs in Übereinstimmung mit der kooperativen Ausrichtung.
System nach Anspruch 1, wobei das Bildentzerrungsgerät eingerichtet ist zum: Reduzieren von jeglichem vertikalen Offset; Ausrichten der horizontalen Komponente oder horizontaler Linien von Pixeln; und/oder Reduzieren jeglicher Differenziale zwischen einem Paar Stereobildern der gleichen Szene der Bilddaten.
System nach Anspruch 1 oder 2, wobei das erste Bildgebungsgerät am übergebenden Fahrzeug montiert ist, wobei keine Bildgebungsgeräte am übernehmenden Fahrzeug vorhanden sind.
System nach Anspruch 3, wobei das zweite Bildgebungsgerät am übergebenden Fahrzeug montiert ist oder verschiebbar am übergebenden Fahrzeug angebracht ist.
System nach Anspruch 4, wobei das erste Bildgebungsgerät ein erstes Blickfeld des Laderaums hat und das zweite Bildgebungsgerät ein zweites Blickfeld des Laderaums hat, wobei sich das erste Blickfeld zumindest teilweise mit dem zweiten Blickfeld überlappt.
System nach Anspruch 4, wobei das erste Bildgebungsgerät und das zweite Bildgebungsgerät jeweils eine Stereo-Vision-Kamera umfassen.
System nach Anspruch 5, wobei zumindest eins des ersten Bildgebungsgeräts und des zweiten Bildgebungsgeräts eine optische Achse, senkrecht zu seiner Linse, aus einer generell horizontalen Ebene nach unten geneigt hat.
System nach einem der vorstehenden Ansprüche, das ferner einen ersten optischen Sensor umfasst, der mit dem ersten Bildgebungsgerät assoziiert ist, wobei die Bilddatenauswerteeinrichtung entscheidet, die ersten Bilddaten zu verwenden, wenn die Schwankung im Umgebungslicht über ein Abtastzeitintervall, wie vom ersten optischen Sensor gemessen, weniger als oder gleich einer maximalen Umgebungslichtschwankung ist.
System nach Anspruch 8, das ferner einen zweiten optischen Sensor umfasst, der mit dem zweiten Bildgebungsgerät assoziiert ist, wobei die Bilddatenauswerteeinrichtung entscheidet, die zweiten Bilddaten zu verwenden, wenn die Schwankung im Umgebungslicht über ein Abtastzeitintervall, wie vom zweiten optischen Sensor gemessen, weniger als oder gleich einer maximalen Umgebungslichtschwankung ist.
System nach einem der vorstehenden Ansprüche, das ferner ein Bildverarbeitungsmodul umfasst, das mit dem ersten Bildgebungsgerät assoziiert ist, wobei die Bilddatenauswerteeinrichtung entscheidet, die ersten Bilddaten zu verwenden, wenn eine Schwankung in der Pixelintensität eines Abtankrohrs oder Abtankrohrendes im ersten Bild über ein Abtastzeitintervall weniger als oder gleich einer maximalen Schwankung in einer Pixelintensität ist, wie sie vom Bildverarbeitungsmodul detektiert wurde.
System nach Anspruch 10, das ferner ein Bildverarbeitungsmodul umfasst, das mit dem zweiten Bildgebungsgerät assoziiert ist, wobei die Bilddatenauswerteeinrichtung entscheidet, die zweiten Bilddaten zu verwenden, wenn eine Schwankung in einer Pixelintensität eines Abtankrohrs oder Abtankrohrendes im zweiten Bild über ein Abtastzeitintervall weniger als oder gleich einer maximalen Schwankung in Pixelintensität ist, wie sie vom Bildverarbeitungsmodul detektiert wurde.
System nach einem der vorstehenden Ansprüche, das ferner die Bilddatenauswerteeinrichtung umfasst, die angepasst ist, zu bestimmen, ob die ersten Bilddaten, die zweiten Bilddaten oder beide zur Identifikation des Behälterumfangs und das Identifizieren des Abtankrohrs zu verwenden sind, beruhend auf einer Pixelintensität in zurückgewiesenen Bilddaten, die außerhalb eines erwünschten Bereichs oder Schwankung in einer Pixelintensität während des Abtastzeitintervalls liegen, wobei die Bilddatenauswerteinrichtung konfiguriert ist, die Verarbeitung oder Verwendung der zurückgewiesenen Bilddaten selektiv zu deaktivieren, die einen Teil der gesammelten ersten Bilddaten oder der zweiten Bilddaten umfassen, die andernfalls durch übermäßiges kurzlebiges Sonnenlicht während Sonnenaufgang oder Sonnenuntergang verfälscht werden würden.
System nach einem der vorstehenden Ansprüche, wobei zumindest eins des ersten Bildgebungsgeräts und des zweiten Bildgebungsgeräts seine optische Achse, senkrecht zu seiner Linse, aus einer generell horizontalen Ebene nach unten geneigt hat.
Verfahren zur Erleichterung der Übergabe von Material von einem übergebenden Fahrzeug in ein übernehmendes Fahrzeug, wobei das Verfahren umfasst: Sammeln erster Bilddaten durch ein erstes Bildgebungsgerät, das in Richtung eines Laderaums eines übernehmenden Fahrzeugs zeigt, wobei der Laderaum fähig ist, Material zu lagern; Sammeln zweiter Bilddaten durch ein zweites Bildgebungsgerät, das in Richtung des Laderaums des übernehmenden Fahrzeugs zeigt; Entzerren der Bilddaten unter Verwendung eines Bildentzerrungsgeräts, wobei das Bildentzerrungsgerät eingerichtet ist, einen Offset oder Differenzial zwischen den ersten und den zweiten Bilddaten zu reduzieren, um entzerrte gesammelte Bilddaten zu erzeugen. Identifizieren eines Behälterumfangs des Laderaums, durch Bestimmen einer linearen Pixelmenge, die mit dem Behälterumfang in den gesammelten Bilddaten oder den entzerrten gesammelten Bilddaten assoziiert ist.; Identifizieren eines Abtankrohrs des übergebenden Fahrzeugs in den gesammelten Bilddaten oder den entzerrten gesammelten Bilddaten; Bestimmen, ob die ersten Bilddaten, die zweiten Bilddaten oder beide zur Ausrichtung einer relativen Position des Abtankrohrs und des Behälterumfangs, beruhend auf einer Auswertung einer wesentlichen Schwankung der Intensität von Pixeldaten oder einer wesentlichen Schwankung in Umgebungslichtbedingungen während eines Abtastzeitintervalls, zu verwenden sind; Bestimmen der relativen Position des Abtankrohrs und des Behälterumfangs unter Verwendung der gesammelten Bilddaten oder der entzerrten gesammelten Bilddaten; und Generieren von Befehlsdaten für einen Antriebsteil des übernehmenden Fahrzeugs, um den Laderaum in kooperativer Ausrichtung derartig zu lenken, dass das Abtankrohr innerhalb einer mittigen Zone des Behälterumfangs ausgerichtet ist.
Verfahren nach Anspruch 14, das ferner Übertragung einer Datennachricht zum Lenken des übernehmenden Fahrzeugs in Übereinstimmung mit der kooperativen Ausrichtung umfasst.
Verfahren nach Anspruch 14 oder 15, wobei das erste Bildgebungsgerät ein erstes Blickfeld des Laderaums hat und das zweite Bildgebungsgerät ein zweites Blickfeld des Laderaums hat, wobei sich das erste Blickfeld zumindest teilweise mit dem zweiten Blickfeld überlappt.
Verfahren nach einem der Ansprüche 14 oder 16, wobei das erste Bildgebungsgerät ein monokulares Bildgebungsgerät umfasst, das zweite Bildgebungsgerät ein monokulares Bildgebungsgerät umfasst; und das Verfahren ferner die Erstellung eines Stereobilds aus den ersten gesammelten Bilddaten und den zweiten gesammelten Bilddaten in Bezug auf die relative Position und Orientierung des ersten Bildgebungsgeräts und des zweiten Bildgebungsgeräts umfasst.
Verfahren nach einem der Ansprüche 14 bis 17, das ferner eine Entscheidung umfasst, die ersten Bilddaten zu verwenden, wenn die Schwankung im Umgebungslicht über ein Abtastzeitintervall, wie vom ersten optischen Sensor gemessen, der mit dem ersten Bildgebungsgerät assoziiert ist, weniger als oder gleich einer maximalen Umgebungslichtschwankung ist.
Verfahren nach Anspruch 18, das ferner eine Entscheidung umfasst, die zweiten Bilddaten zu verwenden, wenn die Schwankung im Umgebungslicht über ein Abtastzeitintervall, wie vom zweiten optischen Sensor gemessen, der mit dem zweiten Bildgebungsgerät assoziiert ist, weniger als oder gleich einer maximalen Umgebungslichtschwankung ist.
Verfahren nach einem der Ansprüche 14 bis 19, das ferner eine Entscheidung umfasst, die ersten Bilddaten zu verwenden, wenn die Schwankung in einer Pixelintensität eines Abtankrohrs oder Abtankrohrendes im ersten Bild über ein Abtastzeitintervall, wie von einem Bildverarbeitungsmodul detektiert, weniger als oder gleich einer maximalen Schwankung in Pixelintensität ist.
Verfahren nach Anspruch 20, das ferner eine Entscheidung umfasst, die zweiten Bilddaten zu verwenden, wenn die Schwankung in einer Pixelintensität eines Abtankrohrs oder Abtankrohrendes im zweiten Bild über ein Abtastzeitintervall, wie vom Bildverarbeitungsmodul detektiert, weniger als oder gleich einer maximalen Schwankung in einer Pixelintensität ist.
Verfahren nach Anspruch 14, das ferner umfasst zu bestimmen, ob die ersten Bilddaten, die zweiten Bilddaten oder beide zur Identifikation des Behälterumfangs und das Identifizieren des Abtankrohrs zu verwenden sind, beruhend auf einer Pixelintensität in zurückgewiesenen Bilddaten, die außerhalb eines erwünschten Bereichs oder Schwankung in einer Pixelintensität während des Abtastzeitintervalls liegen, wobei eine Bilddatenauswerteinrichtung konfiguriert ist, die Verarbeitung oder Verwendung der zurückgewiesenen Bilddaten selektiv zu deaktivieren, die einen Teil der gesammelten ersten Bilddaten oder der zweiten Bilddaten umfassen, die andernfalls durch übermäßiges kurzlebiges Sonnenlicht während Sonnenaufgang oder Sonnenuntergang verfälscht werden würden.
System zur Erleichterung der Übergabe von Material von einem übergebenden Fahrzeug in ein übernehmendes Fahrzeug, wobei das System umfasst: ein übernehmendes Fahrzeug, das einen Antriebsteil zum Antreiben des übernehmenden Fahrzeugs und einen Laderaum zur Lagerung des Materials umfasst; ein Bildgebungsgerät, das dem Laderaum des übernehmenden Fahrzeugs zugewandt ist, wobei das Bildgebungsgerät Bilddaten sammelt; ein Bildentzerrungsgerät, wobei das Bildentzerrungsgerät eingerichtet ist, einen Offset oder Differenzial zwischen den ersten Bilddaten und den zweiten Bilddaten zu reduzieren, um entzerrte gesammelte Bilddaten zu erzeugen; ein Behälteridentifikationsmodul zum Identifizieren eines Behälterumfangs, wobei das Behälteridentifikationsmodul den Behälterumfang durch Bestimmen einer linearen Pixelmenge identifiziert, die mit dem Behälterumfang des Laderaums in den gesammelten Bilddaten oder den entzerrten gesammelten Bilddaten assoziiert ist; ein Abtankrohr-Identifikationsmodul zum Identifizieren eines Abtankrohrs des übergebenden Fahrzeugs in den gesammelten Bilddaten oder den entzerrten gesammelten Bilddaten; einen einstellbaren Mast, der fähig ist, eine Höhe des Bildgebungsgeräts innerhalb eines Höhenbereichs einzustellen und einen Abwärtsneigungswinkel des Bildgebungsgeräts innerhalb eines abwärts geneigten Winkelbereichs einzustellen; ein Bildverarbeitungsmodul zum Bestimmen, ob die Höhe des Bildgebungsgeräts einzustellen ist oder ob der Abwärtsneigungswinkel des Bildgebungsgeräts zu dekrementieren oder zu inkrementieren ist, beruhend auf einer Auswertung einer wesentlichen Schwankung der Intensität von Pixeldaten oder einer wesentlichen Schwankung in Umgebungslichtbedingungen, während eines Abtastzeitintervalls; ein Ausrichtungsmodul zum Bestimmen der relativen Position des Abtankrohrs und des Behälterumfangs, unter Verwendung der gesammelten Bilddaten oder der entzerrten gesammelten Bilddaten und zum Generieren von Befehlsdaten an den Antriebsteil, um den Laderaum in kooperativer Ausrichtung derartig zu lenken, dass das Abtankrohr innerhalb einer mittigen Zone des Behälterumfangs ausgerichtet ist; und einen mit einem Lenksystem des Antriebsteils assoziierten Lenkkontroller zum Lenken des übernehmenden Fahrzeugs in Übereinstimmung mit der kooperativen Ausrichtung.
Verfahren nach Anspruch 14 oder System nach Anspruch 23, wobei das Bildentzerrungsgerät eingerichtet ist zum: Reduzieren von jeglichem vertikalen Offset; Ausrichten der horizontalen Komponente oder horizontaler Linien von Pixeln; und/oder Reduzieren jeglicher Differenziale zwischen einem Paar Stereobildern der gleichen Szene der Bilddaten.
System nach Anspruch 23 oder 24, wobei das Bildverarbeitungsmodul eine Datennachricht an einen Mastkontroller sendet, um den Abwärtsneigungswinkel zu inkrementieren oder zu dekrementieren, wenn die wesentliche Schwankung der Intensität von Pixeldaten oder, wenn die wesentliche Schwankung in Umgebungslichtbedingungen einen Pegel der Schwellenwertschwankung während eines Abtastzeitintervalls überschreitet.
System nach Anspruch 23, 24 oder 25, wobei das Bildverarbeitungsmodul eine Datennachricht an einen Mastkontroller sendet, um den Abwärtsneigungswinkel in diskreten Stufen innerhalb eines Winkelbereichs von ca. negativen zehn Grad bis ca. negativen fünfundzwanzig Grad aus einer generell horizontalen Ebene zu inkrementieren oder zu dekrementieren.
System nach einem der Ansprüche 1 bis 13 oder 23 bis 26, wobei das Material ein Agrarprodukt ist.
System nach einem der Ansprüche 1 bis 13 oder 23 bis 26, wobei das Material ein Mineralmaterial ist.
Verfahren nach einem der Ansprüche 14 bis 22, wobei das Material ein Agrarprodukt ist.
Verfahren nach einem der Ansprüche 14 bis 22, wobei das Material ein Mineralmaterial ist.