DE4426440A1

DE4426440A1 - Verfahren und Sortiervorrichtung zum Aussortieren von Gegenständen aus Sortiergut

Info

Publication number: DE4426440A1
Application number: DE19944426440
Authority: DE
Inventors: Norbert Dr Stelte; Max Dr Seidl
Original assignee: Bodenseewerk Geratetechnik GmbH
Current assignee: STELTE, NORBERT, DR., 88662 UEBERLINGEN, DE
Priority date: 1994-07-26
Filing date: 1994-07-26
Publication date: 1996-02-01
Also published as: EP0694343A2; EP0694343A3

Description

Die Erfindung betrifft ein Verfahren und eine Sortiervorrichtung zum Aussortieren bestimmter Arten von Gegenständen aus Sortiergut aufgrund visueller Beobachtung durch einen Benutzer.

Gegenstände komplexer Beschaffenheit und Varianz bezüglich Geometrie, Oberfläche und Farbe können vom Menschen mittels seines Gesichtssinnes mit bedeutend größerer Sicherheit und Geschwindigkeit erkannt, bewertet und verfolgt werden, als dies mit gegenwärtig verfügbarer Sensorik möglich ist. Dabei kann der Größenbereich der Gegenstände über mehrere Zehnerpotenzen variieren. Durch geeignete technische Hilfsmittel ist dieser Größenbereich praktisch unbegrenzt erweiterbar. Eine andere Situation liegt jedoch vor hinsichtlich des mechanischen Sortiervorganges, der auf die vom Menschen durchgeführte "Klassierung" folgt. Hier können geeignet konstruierte Maschinen wesentlich leistungsfähiger sein.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Sortiervorrichtung der eingangs genannten Art zu schaffen, bei welchem eine visuelle Klassierung von Gegenständen durch den Menschen (Benutzer) erfolgt und der anschließende mechanische Sortiervorgang durch eine Maschine durchgeführt wird, wobei die Steuerung der Maschine und die Markierung des auszusortierenden Gegenstandes auf einfache, den Menschen nur wenig belastende Weise erfolgt.

Das erfindungsgemäße Verfahren ist gekennzeichnet durch die Verfahrenschritte

(a) Fördern des Sortiergutes längs einer Sortierbahn,
(b) Beobachten eines Abschnitts der Sortierbahn durch den Benutzer,
(c) Beobachten der Augenbewegung des Benutzers und
(d) Betätigen mechanischer Sortiermittel zum Aussortieren eines Gegenstandes in Abhängigkeit von der Augenbewegung des Benutzers.

Dementsprechend ist eine Sortiervorrichtung zur Durchführung dieses Verfahrens gekennzeichnet durch

(a) Fördermittel zum Fördern des Sortiergutes längs einer Sortierbahn,
(b) Augen-Sensormittel zur Erfassung der Augenbewegung des die Fördermittel beobachtenden Benutzers,
(c) mechanische Sortiermittel zum Aussortieren von Gegenständen aus dem Sortiergut und
(d) Auswertemittel die von Informationen der Augen- Sensormittel beaufschlagt sind und durch welche die Sortiermittel zum Aussortieren eines Gegenstandes in Abhängigkeit von der Augenbewegung des Benutzers ansteuerbar sind.

Bei dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Sortiervorrichtung erfolgt die Klassierung durch den Benutzer. Dabei werden die Augenbewegungen des Benutzers beobachtet. Es wir also beobachtet, welchen Gegenstand der Benutzer gerade fixiert. Damit erfolgt eine Markierung des Gegenstandes. In Abhängigkeit davon werden die Sortiermittel gesteuert. Dabei kann die Klasse des auszusortierenden, fixierten Gegenstandes durch manuelle Betätigung eines Signalgebers durch den Benutzer vorgegeben werden. Dieses Verfahren wird angewandt werden, wenn mehrere Klassen von Gegenständen unterschiedlich aussortiert werden sollen. Es kann aber auch der Verlauf der Augenbewegung, also etwa das Verfolgen des auf Fördermitteln laufenden Gegenstandes mit den Augen über eine bestimmte Strecke hinweg, unmittelbar zur Steuerung einer Sortiervorrichtung ausgenutzt werden. Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Ein Ausführungsbeispiel der Erfindung ist nachstehend unter Bezugnahme auf die zugehörigen Zeichnungen näher erläutert.

Fig. 1 zeigt schematisch ein Transportband, das von einem Bildsensor beobachtet wird mit einer mechanischen Sortiervorrichtung.

Fig. 2 zeigt schematisch einen Benutzer mit einem am Kopf befestigten Träger, der eine Bildwiedergabe-Einrichtung und einen Augen-Sensor zur Erfassung der Augenbewegung des Benutzers aufweist.

In Fig. 1 ist mit 10 ein Transportband bezeichnet, das mit einer einstellbaren Geschwindigkeit in Richtung des Pfeiles 13 angetrieben wird. Auf dem Transportband 10 wird ein Sortiergut herangeführt, das Gegenstände 12, 14 enthält. Von diesen Gegenständen 12, 14 sind Gegenstände einer bestimmten Klasse auszusortieren. Das Sortiergut kann beispielsweise Müll sein.

Aus dem Müll sollen bestimmte Gegenstände, beispielsweise Kunststoffteile wie Gegenstand 12, aussortiert werden.

Das Transportband 10 weist an seinen Rändern in regelmäßigen Abständen Marken 16 und 18 auf. Die Marken 16 und 18 werden photoelektrisch durch Lichtschranken 20 bzw. 22 abgetastet.

Über dem Transportband 10 ist ein Bildsensor 24 in Form einer Videokamera angeordnet. Der Bildsensor 24 erfaßt sowohl die auf dem Transportband 10 herangeführten Gegenstände 12, 14 als auch die Marken 16 und 18.

An dem Transportband 10 ist eine Sortiervorrichtung 26 angeordnet.

Der Bildsensor 24 erzeugt ein Videobild des Transportbandes 10 und des Sortiergutes. Dieses Videobild wird fernübertragen auf eine Bildwiedergabe-Einrichtung 30. Diese Bildwiedergabe- Einrichtung 30 sitzt in einem Träger 32. Der Träger 32 ist am Kopf des Benutzers unverrückbar angebracht. In Fig. 2 ist der Träger 32 eine Art Helm, welche sich über die Augenpartie des Benutzers erstreckt und vor den Augen die Bildwiedergabe- Einrichtung 30 enthält. Der Träger 32 trägt außerdem einen Augen-Sensor 34. Der Augen-Sensor 34 beobachtet die Blickrichtung wenigstens eines Auges des Benutzers. Das kann dadurch geschehen, daß der Augen-Sensor die Lage der Pupille im Auge des Benutzers erfaßt. Der Augen-Sensor 34 ist ein Bild-Sensor, aus dessen Bild durch Bildverarbeitung die Koordinaten des Mittelpunktes der Pupille gewonnen wird. Diese Koordinaten liefern ein Maß für die Blickrichtung des Benutzers und damit für den Punkt auf dem Bild der Bildwiedergabe-Einrichtung, den der Benutzer fixiert.

Es sind verschiedene Ausführungen von Blickrichtungs- Detektoren bekannt. Beispiele sind die DE 40 34 958 A1, die DE 40 37 907 A1 und die DE 32 26 096 A1.

Die Informationen des Augen-Sensors 34 sind auf einen Steuerrechner 36 geschaltet. Der Steuerrechner 36 steuert die Sortiervorrichtung 26 derart, daß sie bestimmte Gegenstände 12 erfaßt und in den Behälter 28 wirft.

Der Benutzer kann bei diesem Verfahren entfernt von dem Transportband 10 und dem Sortiergut sitzen. Der Benutzer kann sich daher in angenehmer Umgebung aufhalten und wird nicht von Kälte, Geräuschen oder Gerüchen im Bereich des Transportbandes 10 oder sonstigen Einflüssen belästigt oder gefährdet.

Die Steuerung erfolgt auf folgende Weise:
Der Benutzer beobachtet das Transportband 10 über das Übertragungssystem mit dem Bildsensor 24 und der Bildwiedergabe-Einrichtung 30. Sieht der Benutzer auf dem Transportband 10 einen auszusortierenden Gegenstand, dann fixiert er diesen Gegenstand und verfolgt ihn mit den Augen. Das ist eine ganz natürliche Reaktion, die keiner besonderen Anstrengung bedarf. Der Benutzer kann aber natürlich auch angewiesen werden, bestimmte Gegenstände mit den Augen zu verfolgen. Dieses Verfolgen eines Gegenstandes mit den Augen wird durch den Augen-Sensor 34 und die diesem nachgeschaltete Bildverarbeitung erfaßt. Erfolgt die Verfolgung des Gegenstandes über eine gewisse Strecke oder Zeitspanne hinweg, dann nimmt der Steuerrechner 36 an, daß der Benutzer einen auszusortierenden Gegenstand ausgemacht hat. Dieser Gegenstand wird dann von der Sortiereinrichtung 26 vom Transportband 10 heruntergenommen.

Der auf dem Transportband 10 laufende Gegenstand 12 bewegt sich mit der Geschwindigkeit des Transportbandes 10. Der Steuerrechner 36 prüft daher, ob die Augenbewegung des Benutzers einer solchen Geschwindigkeit des fixierten Gegenstandes entspricht. Beim menschlichen Sehen folgen viele kurzfristige Fixierungen von Objekten mit sprunghafter Veränderung der Blickrichtung aufeinander. Es wird davon ausgegangen, daß während des Suchens nach einem auszusortierenden Gegenstand eine Korrelation des fixierten Ortes mit einer Stelle des laufenden Transportbandes 10 nur kurzfristig besteht. Erkennt der Benutzer jedoch einen auszusortierenden Gegenstand und verfolgt diesen über eine längere Zeitspanne hinweg mit den Augen, dann ergibt sich eine längerfristige Korrelation zwischen Augen- und Bandbewegung. Wenn der Zeitraum, während welcher eine solche Korrelation besteht, einen Schwellwert überschreitet, dann wird davon ausgegangen, daß der Benutzer einen auszusortierenden Gegenstand erkannt hat.

Es ist weiterhin erforderlich, den Zusammenhang zwischen der Augenstellung, z. B. der Position der Pupille, und den Koordinaten auf dem Transportband 10 zu kennen. Dann "weiß" die Sortiereinrichtung 26, wo sich der Gegenstand 12 in Längs- und Querrichtung auf dem Transportband 10 befindet und kann den Gegenstand 12 ergreifen und aussortieren. Zu diesem Zweck erfolgt eine "Eichung". Längs des Transportbandes 10 sind die Marken 16 und 18 vorgesehen. Die Lage dieser Marken 16 und 18 werden durch die Lichtschranken 20 bzw. 22 ermittelt. Der Benutzer muß nun in Abständen eine solche Marke 16 oder 18 mit den Augen fixieren und verfolgen. Auch hier wird die Verfolgung der Marke 16 oder 18 mit den Augen dadurch bestimmt, daß eine Korrelation zwischen Bandbewegung und Augenbewegung über eine längere Zeitspanne besteht, welche einen Schwellwert überschreitet. Der Durchgang einer Marke 16 oder 18 durch eine Lichtschranke 20 bzw. 22 wird von der Lichtschranke signalisiert. Gleichzeitig liefert der Augen- Sensor 34 eine zugehörige Augenstellung. Wenn also die Korrelation ein Verfolgen der Marke 16 oder 18 anzeigt und die Marke von einer Lichtschranke 20 bzw. 22 erfaßt wird, also eine wohldefinierte Position einnimmt, dann kann ein Zusammenhang zwischen den Längs- und Querkoordinaten des Transportbandes 10 und den zugehörigen Augenstellungen bestimmt werden. Änderungen der diesen Zusammenhang wiedergebenden Parameter können korrigiert werden. Solche Änderungen können z. B. durch Fehler oder Änderungen in der Position des Trägers 32 hervorgerufen werden.

Eine Unterscheidung zwischen dem Fixieren von Marken und dem Fixieren von Gegenständen kann aus den Querkoordinaten hergeleitet werden. Die Marken 16 und 18 sitzen am Rand des Transportbandes.

Aus der Längskoordinate eines auszusortierenden Gegenstandes 12 relativ zu einer Marke 16, dem Durchgang der Marke 16 durch eine Lichtschranke und aus der aus dem Durchgang aufeinanderfolgender Marken durch die Lichtschranke bestimmten Geschwindigkeit kann der Zeitpunkt bestimmt werden, wann der Gegenstand den Bereich der Sortiereinrichtung 26 erreicht. Die Sortiereinrichtung 26 wird dann entsprechend angesteuert.

Die beschriebene Vorrichtung kann in verschiedener Weise abgewandelt werden.

Es ist möglich, die Blickrichtung des Benutzers durch eine Brille festzulegen, die den Benutzer veranlaßt, in einer bestimmten Richtung zum Kopf (geradeaus) zu blicken. Die Blickrichtung ergibt sich dann aus der Haltung des Kopfes. Die Blickrichtung kann durch Markierungen bestimmt werden, die an der Brille angebracht sind. Diese Markierungen können durch ein raumfestes Sensorsystem abgetastet werden.

Der Benutzer kann das Transportband 10 unmittelbar statt über einen Bildsensor beobachten.

Das Bild des Bildsensors kann dem Benutzer auch über eine Leinwand sichtbar gemacht werden.

Claims

1. Verfahren zum Aussortieren bestimmter Arten von Gegenständen aus Sortiergut aufgrund visueller Beobachtung durch einen Benutzer,
gekennzeichnet durch die verfahrensschritte:

(a) Fördern des Sortiergutes längs einer Sortierbahn,
(b) Beobachten eines Abschnitts der Sortierbahn durch den Benutzer,
(c) Beobachten der Augenbewegung des Benutzers zur Bestimmung der Blickrichtung und
(d) Betätigen mechanischer Sortiermittel (26) zum Aussortieren eines Gegenstandes (12) in Abhängigkeit von der Augenbewegung des Benutzers.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Sortiermittel (26) angesteuert werden, wenn dieser Gegenstand (12) für eine vorgegebene Zeitspanne mit den Augen des Benutzers verfolgt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß zur Beobachtung der Sortierbahn ein Bild der Sortierbahn zu dem Benutzer fernübertragen wird.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß das Bild der Sortierbahn in fester Lage zum Kopf des Benutzers erzeugt und die Augenbewegung des Benutzers beobachtet wird.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Pupillenbewegung des Benutzers beobachtet wird.

6. Sortiervorrichtung zum Aussortieren bestimmter Arten von Gegenständen aus Sortiergut aufgrund visueller Beobachtung durch einen Benutzer, gekennzeichnet durch

(a) Fördermittel (10) zum Fördern des Sortiergutes längs einer Sortierbahn,
(b) Augen-Sensormittel (34) zur Erfassung der Augenbewegung des die Fördermittel (10) beobachtenden Benutzers,
(c) mechanische Sortiermittel (26) zum Aussortieren von Gegenständen (12) aus dem Sortiergut und
(d) Auswertemittel die von Informationen der Augen- Sensormittel (34) beaufschlagt sind und durch welche die Sortiermittel (26) zum Aussortieren eines Gegenstandes (12) in Abhängigkeit von der Augenbewegung des Benutzers ansteuerbar sind.

7. Sortiervorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Sortiermittel (26) ansteuerbar sind, wenn dieser Gegenstand (12) auf einer vorgegebenen Strecke mit den Augen des Benutzers verfolgt wird.

8. Sortiervorrichtung nach Anspruch 6 oder 7, gekennzeichnet durch

(a) Bildsensormittel (24), durch welche die Sortierbahn auf einem Abschnitt beobachtbar sind und
(b) Wiedergabemittel (30) zur Darstellung des von den Bildsensormitteln (24) erfaßten Bildes der Sortierbahn.

9. Sortiervorrichtung nach Anspruch 8, dadurch gekennzeichnet, daß die Wiedergabemittel (30) in fester Position zum Kopf des Benutzers angeordnet sind.

10. Sortiervorrichtung nach Anspruch 9, dadurch gekennzeichnet, daß an einem am Kopf des Benutzers angebrachten Träger (32) die Wiedergabemittel (30) und die Augen-Sensormittel (34) fest angebracht sind.

11. Sortiervorrichtung nach Anspruch 10, dadurch gekennzeichnet, daß die Augen-Sensormittel (34) auf Bewegungen der Pupille wenigstens eines Auges des Benutzers ansprechen.

12. Sortiervorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß zum Aussortieren mehrerer Klassen von Gegenständen von dem Benutzer manuell betätigbare Signalgeber vorgesehen sind durch welche Sortiermittel derart ansteuerbar sind, daß ein von dem Benutzer mit dem Auge fixierter Gegenstand nach Maßgabe des jeweils betätigten Signalgebers klassiert wird.

13. Sortiervorrichtung nach einem der Ansprüche 6 bis 12, dadurch gekennzeichnet, daß

(a) die Fördermittel ein Transportband (10) aufweisen, das mit Marken (16, 18) versehen ist,
(b) Abtastmittel (20, 22) zum Abtasten der Marken (16, 18) vorgesehen sind,
(c) Vergleichsmittel vorgesehen sind, welche die Augenbewegung beim Verfolgen einer mit dem Transportband (10) mitlaufenden Marke (16, 18) mit den durch die Abtastmittel (20, 22) erfaßten Positionen der Marke (16, 18) zur Eichung der von den Auswertemitteln aus der Augenbewegung bestimmten Position des jeweils fixierten Punktes vergleichen, und
(d) in den Auswertemitteln nach Maßgabe dieses Vergleichs die Parameter korrigierbar sind, die den Zusammenhang zwischen der durch die Augen-Sensormittel (34) bestimmten Augenbewegung und der Position des fixierten Punktes wiedergeben.

14. Sortiervorrichtung nach Anspruch 13, dadurch gekennzeichnet, daß die Auswertemittel

(a) Mittel enthalten zum Vergleich der Geschwindigkeit des fixierten Punktes, die sich aus der von den Augen- Sensormitteln bestimmten Augenbewegung ergibt, mit der Geschwindigkeit des Transportbandes, die von den Abtastmitteln durch Abtasten der Marken bestimmbar ist, und
(b) Mittel zur Feststellung des Gleichlaufs zwischen fixiertem Punkt (Gegenstand) und Transportband, wobei
(c) die Sortiermittel (26) zum Aussortieren des fixierten Gegenstandes (12) aktivierbar sind, wenn ein solcher Gleichlauf während einer vorgegebenen Zeitspanne besteht.