EP0694343A2 - Method and device for sorting objects out of goods - Google Patents

Method and device for sorting objects out of goods Download PDF

Info

Publication number
EP0694343A2
EP0694343A2 EP95111393A EP95111393A EP0694343A2 EP 0694343 A2 EP0694343 A2 EP 0694343A2 EP 95111393 A EP95111393 A EP 95111393A EP 95111393 A EP95111393 A EP 95111393A EP 0694343 A2 EP0694343 A2 EP 0694343A2
Authority
EP
European Patent Office
Prior art keywords
sorting
user
eye
eye movement
conveyor belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP95111393A
Other languages
German (de)
French (fr)
Other versions
EP0694343A3 (en
Inventor
Norbert Dr. Stelte
Max Dr. Seidl
Original Assignee
Bodenseewerk Geratetechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bodenseewerk Geratetechnik GmbH filed Critical Bodenseewerk Geratetechnik GmbH
Publication of EP0694343A2 publication Critical patent/EP0694343A2/en
Publication of EP0694343A3 publication Critical patent/EP0694343A3/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07B—SEPARATING SOLIDS FROM SOLIDS BY SIEVING, SCREENING, SIFTING OR BY USING GAS CURRENTS; SEPARATING BY OTHER DRY METHODS APPLICABLE TO BULK MATERIAL, e.g. LOOSE ARTICLES FIT TO BE HANDLED LIKE BULK MATERIAL
    • B07B13/00—Grading or sorting solid materials by dry methods, not otherwise provided for; Sorting articles otherwise than by indirectly controlled devices
    • B07B13/14—Details or accessories
    • B07B13/18—Control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07B—SEPARATING SOLIDS FROM SOLIDS BY SIEVING, SCREENING, SIFTING OR BY USING GAS CURRENTS; SEPARATING BY OTHER DRY METHODS APPLICABLE TO BULK MATERIAL, e.g. LOOSE ARTICLES FIT TO BE HANDLED LIKE BULK MATERIAL
    • B07B13/00—Grading or sorting solid materials by dry methods, not otherwise provided for; Sorting articles otherwise than by indirectly controlled devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory

Definitions

  • the invention relates to a method and a sorting device for sorting out certain types of objects from sorted material on the basis of visual observation by a user.
  • Objects of complex nature and variance with regard to geometry, surface and color can be recognized, evaluated and tracked by humans with their sense of sight with significantly greater certainty and speed than is possible with currently available sensors.
  • the size range of the objects can vary over several powers of ten. This size range can be expanded practically indefinitely using suitable technical aids.
  • the mechanical sorting process which follows the " classification" carried out by humans.
  • appropriately designed machines can be much more powerful.
  • the invention has for its object to provide a method and a sorting device of the type mentioned, in which a visual classification of objects by humans (users) and the subsequent mechanical sorting process is carried out by a machine, the control of the machine and the marking of the object to be sorted out is carried out in a simple manner which is only slightly stressful for people.
  • a sorting device for performing this method is characterized by the features of claim 5.
  • the classification is carried out by the user.
  • the user's eye movements are observed. It is thus observed which object the user is currently fixing. This marks the object.
  • the sorting means are controlled depending on this.
  • the class of the fixed object to be sorted out can be specified by the user by manually actuating a signal transmitter. This procedure is used when several classes of objects are to be sorted out differently.
  • the course of the eye movement that is to say the tracking of the object running on conveyors with the eyes over a certain distance, can also be used directly to control a sorting device.
  • Embodiments of the invention are the subject of the dependent claims.
  • 10 denotes a conveyor belt which is driven at an adjustable speed in the direction of arrow 13.
  • a product to be sorted is brought in which contains objects 12, 14.
  • objects 12, 14, objects of a certain class are to be sorted out.
  • the items to be sorted can be garbage, for example. Certain objects, for example plastic parts such as object 12, are to be sorted out from the garbage.
  • the conveyor belt 10 has marks 16 and 18 on its edges at regular intervals.
  • the marks 16 and 18 are scanned photoelectrically by light barriers 20 and 22, respectively.
  • An image sensor 24 in the form of a video camera is arranged above the conveyor belt 10.
  • the image sensor 24 detects both the objects 12, 14 brought up on the conveyor belt 10 and the marks 16 and 18.
  • a sorting device 26 is arranged on the conveyor belt 10.
  • the image sensor 24 generates a video image of the conveyor belt 10 and the goods to be sorted. This video image is transmitted remotely to an image display device 30.
  • This image display device 30 is seated in a carrier 32.
  • the carrier 32 is immovably attached to the head of the user. 2, the carrier 32 is a kind of helmet which extends over the eye area of the user and contains the image display device 30 in front of the eyes.
  • the carrier 32 also carries an eye sensor 34.
  • the eye sensor 34 observes the viewing direction of at least one eye of the user. This can happen in that the eye sensor detects the position of the pupil in the user's eye.
  • the eye sensor 34 is an image sensor, from the image of which the coordinates of the center of the pupil are obtained by image processing. These coordinates provide a measure of the viewing direction of the user and thus of the point on the image of the image display device that the user fixes.
  • the information from the eye sensor 34 is connected to a control computer 36.
  • the control computer 36 controls the sorting device 26 such that it detects certain objects 12 and throws them into the container 28.
  • the user can sit away from the conveyor belt 10 and the goods to be sorted.
  • the user can therefore stay in a pleasant environment and is not bothered or endangered by cold, noises or smells in the area of the conveyor belt 10 or other influences. It is controlled in the following way:
  • the user observes the conveyor belt 10 via the transmission system with the image sensor 24 and the image display device 30. If the user sees an object to be sorted out on the conveyor belt 10, then he fixes it Object and pursues it with eyes. This is a completely natural reaction that does not require any special effort.
  • the user can also be instructed to track certain objects with their eyes. This tracking of an object with the eyes is detected by the eye sensor 34 and the image processing downstream thereof. If the object is tracked over a certain distance or period of time, then the control computer 36 assumes that the user has identified an object to be sorted out. This object is then removed from the conveyor belt 10 by the sorting device 26.
  • the object 12 running on the conveyor belt 10 moves at the speed of the conveyor belt 10.
  • the control computer 36 therefore checks whether the user's eye movement corresponds to such a speed of the fixed object.
  • many short-term fixations of objects follow one another with a sudden change in the gaze direction. It is assumed that during the search for an object to be sorted out, there is only a short-term correlation of the fixed location with a location on the running conveyor belt 10. However, if the user recognizes an object to be sorted out and follows it with the eyes for a longer period of time, there is a longer-term correlation between eye and band movement. If the period during which such a correlation exists exceeds a threshold value, then it is assumed that the user has recognized an object to be sorted out.
  • the sorting device 26 " knows” where the object 12 is located in the longitudinal and transverse directions on the conveyor belt 10 and can grasp the object 12 and sort it out. For this purpose, a " calibration” is carried out.
  • the marks 16 and 18 are provided along the conveyor belt 10. The position of these marks 16 and 18 is determined by light barriers 20 and 22, respectively. The user must now fix and track such a mark 16 or 18 with the eyes.
  • the tracking of the mark 16 or 18 with the eyes is determined by the fact that there is a correlation between band movement and eye movement over a longer period of time which exceeds a threshold value.
  • the passage of a mark 16 or 18 through a light barrier 20 or 22 is signaled by the light barrier.
  • the eye sensor 34 supplies an associated eye position. If the correlation indicates that the mark 16 or 18 is being tracked and the mark is detected by a light barrier 20 or 22, i.e. assumes a well-defined position, then a relationship between the longitudinal and transverse coordinates of the conveyor belt 10 and the associated eye positions can be determined . Changes to the parameters reflecting this relationship can be corrected. Such changes can be caused, for example, by errors or changes in the position of the carrier 32.
  • a distinction between the fixation of marks and the fixation of objects can be derived from the cross coordinates.
  • the marks 16 and 18 sit on the edge of the conveyor belt.
  • the point in time at which the object reaches the area of the sorting device 26 can be determined from the longitudinal coordinate of an object 12 to be sorted out relative to a mark 16, the passage of the mark 16 through a light barrier and from the speed determined from the passage of successive marks through the light barrier.
  • the sorting device 26 is then controlled accordingly.
  • the device described can be modified in various ways.
  • the direction of view can be determined by markings attached to the glasses. These markings can be scanned by a spatially fixed sensor system.
  • the user can observe the conveyor belt 10 directly instead of using an image sensor.
  • the image of the image sensor can also be made visible to the user on a screen.

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

A picture of the conveyor may be transmitted to the operator for observation, and may be displayed in a fixed position relative to the operator, whose eye movements are then watched. There may be a visual sensor (24) to observe the conveyor over a section, and a display (30) to reproduce the image produced. The display (30) and eye sensor (34) may be fixed to the operator's head by a helmet (32). The eye sensor may follow the pupil movements of at least one eye. There may be manually operated signal devices to sort several classes of object, which control the sorting devices such that an objected fixed on by the operator's eye is classified by the signal device currently operated. The sorting device may have a conveyor (10) with marks (16,18), and there may be scanners (20,22) to scan for the marks. There may be comparison devices to compare the eye movements when following a mark on the conveyor with the position of the marks given by the scanner, in order to calibrate the position of the current fixed point given by the analysis of the eye movements. <IMAGE>

Description

Die Erfindung betrifft ein Verfahren und eine Sortiervorrichtung zum Aussortieren bestimmter Arten von Gegenständen aus Sortiergut aufgrund visueller Beobachtung durch einen Benutzer.The invention relates to a method and a sorting device for sorting out certain types of objects from sorted material on the basis of visual observation by a user.

Gegenstände komplexer Beschaffenheit und Varianz bezüglich Geometrie, Oberfläche und Farbe können vom Menschen mittels seines Gesichtssinnes mit bedeutend größerer Sicherheit und Geschwindigkeit erkannt, bewertet und verfolgt werden, als dies mit gegenwärtig verfügbarer Sensorik möglich ist. Dabei kann der Größenbereich der Gegenstände über mehrere Zehnerpotenzen variieren. Durch geeignete technische Hilfsmittel ist dieser Größenbereich praktisch unbegrenzt erweiterbar. Eine andere Situation liegt jedoch vor hinsichtlich des mechanischen Sortiervorganges, der auf die vom Menschen durchgeführte "Klassierung" folgt. Hier können geeignet konstruierte Maschinen wesentlich leistungsfähiger sein.Objects of complex nature and variance with regard to geometry, surface and color can be recognized, evaluated and tracked by humans with their sense of sight with significantly greater certainty and speed than is possible with currently available sensors. The size range of the objects can vary over several powers of ten. This size range can be expanded practically indefinitely using suitable technical aids. However, there is another situation with regard to the mechanical sorting process which follows the " classification" carried out by humans. Here, appropriately designed machines can be much more powerful.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Sortiervorrichtung der eingangs genannten Art zu schaffen, bei welchem eine visuelle Klassierung von Gegenständen durch den Menschen (Benutzer) erfolgt und der anschließende mechanische Sortiervorgang durch eine Maschine durchgeführt wird, wobei die Steuerung der Maschine und die Markierung des auszusortierenden Gegenstandes auf einfache, den Menschen nur wenig belastende Weise erfolgt.The invention has for its object to provide a method and a sorting device of the type mentioned, in which a visual classification of objects by humans (users) and the subsequent mechanical sorting process is carried out by a machine, the control of the machine and the marking of the object to be sorted out is carried out in a simple manner which is only slightly stressful for people.

Das erfindungsgemäße Verfahren ist gekennzeichnet durch die Merkmale des Patentanspruches 1.The method according to the invention is characterized by the features of patent claim 1.

Dementsprechend ist eine Sortiervorrichtung zur Durchführung dieses Verfahrens gekennzeichnet durch die Merkmale des Patentanspruches 5.Accordingly, a sorting device for performing this method is characterized by the features of claim 5.

Bei dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Sortiervorrichtung erfolgt die Klassierung durch den Benutzer. Dabei werden die Augenbewegungen des Benutzers beobachtet. Es wird also beobachtet, welchen Gegenstand der Benutzer gerade fixiert. Damit erfolgt eine Markierung des Gegenstandes. In Abhängigkeit davon werden die Sortiermittel gesteuert. Dabei kann die Klasse des auszusortierenden, fixierten Gegenstandes durch manuelle Betätigung eines Signalgebers durch den Benutzer vorgegeben werden. Dieses Verfahren wird angewandt werden, wenn mehrere Klassen von Gegenständen unterschiedlich aussortiert werden sollen. Es kann aber auch der Verlauf der Augenbewegung, also etwa das Verfolgen des auf Fördermitteln laufenden Gegenstandes mit den Augen über eine bestimmte Strecke hinweg, unmittelbar zur Steuerung einer Sortiervorrichtung ausgenutzt werden.In the method and the sorting device according to the invention, the classification is carried out by the user. The user's eye movements are observed. It is thus observed which object the user is currently fixing. This marks the object. The sorting means are controlled depending on this. The class of the fixed object to be sorted out can be specified by the user by manually actuating a signal transmitter. This procedure is used when several classes of objects are to be sorted out differently. However, the course of the eye movement, that is to say the tracking of the object running on conveyors with the eyes over a certain distance, can also be used directly to control a sorting device.

Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Embodiments of the invention are the subject of the dependent claims.

Ein Ausführungsbeispiel der Erfindung ist nachstehend unter Bezugnahme auf die zugehörigen Zeichnungen näher erläutert.

Fig. 1
zeigt schematisch ein Transportband, das von einem Bildsensor beobachtet wird, mit einer mechanischen Sortiervorrichtung.
Fig. 2
zeigt schematisch einen Benutzer mit einem am Kopf befestigten Träger, der eine Bildwiedergabe-Einrichtung und einen Augen-Sensor zur Erfassung der Augenbewegung des Benutzers aufweist.
An embodiment of the invention is explained below with reference to the accompanying drawings.
Fig. 1
shows schematically a conveyor belt, which is observed by an image sensor, with a mechanical sorting device.
Fig. 2
shows schematically a user with a carrier attached to the head, which has an image display device and an eye sensor for detecting the eye movement of the user.

In Fig. 1 ist mit 10 ein Transportband bezeichnet, das mit einer einstellbaren Geschwindigkeit in Richtung des Pfeiles 13 angetrieben wird. Auf dem Transportband 10 wird ein Sortiergut herangeführt, das Gegenstände 12, 14 enthält. Von diesen Gegenständen 12, 14 sind Gegenstände einer bestimmten Klasse auszusortieren. Das Sortiergut kann beispielsweise Müll sein. Aus dem Müll sollen bestimmte Gegenstände, beispielsweise Kunststoffteile wie Gegenstand 12, aussortiert werden.In Fig. 1, 10 denotes a conveyor belt which is driven at an adjustable speed in the direction of arrow 13. On the conveyor belt 10, a product to be sorted is brought in which contains objects 12, 14. Of these objects 12, 14, objects of a certain class are to be sorted out. The items to be sorted can be garbage, for example. Certain objects, for example plastic parts such as object 12, are to be sorted out from the garbage.

Das Transportband 10 weist an seinen Rändern in regelmäßigen Abständen Marken 16 und 18 auf. Die Marken 16 und 18 werden photoelektrisch durch Lichtschranken 20 bzw. 22 abgetastet.The conveyor belt 10 has marks 16 and 18 on its edges at regular intervals. The marks 16 and 18 are scanned photoelectrically by light barriers 20 and 22, respectively.

Über dem Transportband 10 ist ein Bildsensor 24 in Form einer Videokamera angeordnet. Der Bildsensor 24 erfaßt sowohl die auf dem Transportband 10 herangeführten Gegenstände 12, 14 als auch die Marken 16 und 18.An image sensor 24 in the form of a video camera is arranged above the conveyor belt 10. The image sensor 24 detects both the objects 12, 14 brought up on the conveyor belt 10 and the marks 16 and 18.

An dem Transportband 10 ist eine Sortiervorrichtung 26 angeordnet.A sorting device 26 is arranged on the conveyor belt 10.

Der Bildsensor 24 erzeugt ein Videobild des Transportbandes 10 und des Sortiergutes. Dieses Videobild wird fernübertragen auf eine Bildwiedergabe-Einrichtung 30. Diese Bildwiedergabe-Einrichtung 30 sitzt in einem Träger 32. Der Träger 32 ist am Kopf des Benutzers unverrückbar angebracht. In Fig. 2 ist der Träger 32 eine Art Helm, welcher sich über die Augenpartie des Benutzers erstreckt und vor den Augen die Bildwiedergabe-Einrichtung 30 enthält. Der Träger 32 trägt außerdem einen Augen-Sensor 34. Der Augen-Sensor 34 beobachtet die Blickrichtung wenigstens eines Auges des Benutzers. Das kann dadurch geschehen, daß der Augen-Sensor die Lage der Pupille im Auge des Benutzers erfaßt. Der Augen-Sensor 34 ist ein Bild-Sensor, aus dessen Bild durch Bildverarbeitung die Koordinaten des Mittelpunktes der Pupille gewonnen wird. Diese Koordinaten liefern ein Maß für die Blickrichtung des Benutzers und damit für den Punkt auf dem Bild der Bildwiedergabe-Einrichtung, den der Benutzer fixiert.The image sensor 24 generates a video image of the conveyor belt 10 and the goods to be sorted. This video image is transmitted remotely to an image display device 30. This image display device 30 is seated in a carrier 32. The carrier 32 is immovably attached to the head of the user. 2, the carrier 32 is a kind of helmet which extends over the eye area of the user and contains the image display device 30 in front of the eyes. The carrier 32 also carries an eye sensor 34. The eye sensor 34 observes the viewing direction of at least one eye of the user. This can happen in that the eye sensor detects the position of the pupil in the user's eye. The eye sensor 34 is an image sensor, from the image of which the coordinates of the center of the pupil are obtained by image processing. These coordinates provide a measure of the viewing direction of the user and thus of the point on the image of the image display device that the user fixes.

Es sind verschiedene Ausführungen von Blickrichtungs-Detektoren bekannt. Beispiele sind die DE 40 34 958 A1, die DE 40 37 907 A1 und die DE 32 26 096 A1.Various designs of line-of-sight detectors are known. Examples are DE 40 34 958 A1, DE 40 37 907 A1 and DE 32 26 096 A1.

Die Informationen des Augen-Sensors 34 sind auf einen Steuerrechner 36 geschaltet. Der Steuerrechner 36 steuert die Sortiervorrichtung 26 derart, daß sie bestimmte Gegenstände 12 erfaßt und in den Behälter 28 wirft.The information from the eye sensor 34 is connected to a control computer 36. The control computer 36 controls the sorting device 26 such that it detects certain objects 12 and throws them into the container 28.

Der Benutzer kann bei diesem Verfahren entfernt von dem Transportband 10 und dem Sortiergut sitzen. Der Benutzer kann sich daher in angenehmer Umgebung aufhalten und wird nicht von Kälte, Geräuschen oder Gerüchen im Bereich des Transportbandes 10 oder sonstigen Einflüssen belästigt oder gefährdet.
Die Steuerung erfolgt auf folgende Weise:
Der Benutzer beobachtet das Transportband 10 über das Übertragungssystem mit dem Bildsensor 24 und der Bildwiedergabe-Einrichtung 30. Sieht der Benutzer auf dem Transportband 10 einen auszusortierenden Gegenstand, dann fixiert er diesen Gegenstand und verfolgt ihn mit den Augen. Das ist eine ganz natürliche Reaktion, die keiner besonderen Anstrengung bedarf. Der Benutzer kann aber natürlich auch angewiesen werden, bestimmte Gegenstände mit den Augen zu verfolgen. Dieses Verfolgen eines Gegenstandes mit den Augen wird durch den Augen-Sensor 34 und die diesem nachgeschaltete Bildverarbeitung erfaßt. Erfolgt die Verfolgung des Gegenstandes über eine gewisse Strecke oder Zeitspanne hinweg, dann nimmt der Steuerrechner 36 an, daß der Benutzer einen auszusortierenden Gegenstand ausgemacht hat. Dieser Gegenstand wird dann von der Sortiereinrichtung 26 vom Transportband 10 heruntergenommen.With this method, the user can sit away from the conveyor belt 10 and the goods to be sorted. The user can therefore stay in a pleasant environment and is not bothered or endangered by cold, noises or smells in the area of the conveyor belt 10 or other influences.
It is controlled in the following way:
The user observes the conveyor belt 10 via the transmission system with the image sensor 24 and the image display device 30. If the user sees an object to be sorted out on the conveyor belt 10, then he fixes it Object and pursues it with eyes. This is a completely natural reaction that does not require any special effort. Of course, the user can also be instructed to track certain objects with their eyes. This tracking of an object with the eyes is detected by the eye sensor 34 and the image processing downstream thereof. If the object is tracked over a certain distance or period of time, then the control computer 36 assumes that the user has identified an object to be sorted out. This object is then removed from the conveyor belt 10 by the sorting device 26.

Der auf dem Transportband 10 laufende Gegenstand 12 bewegt sich mit der Geschwindigkeit des Transportbandes 10. Der Steuerrechner 36 prüft daher, ob die Augenbewegung des Benutzers einer solchen Geschwindigkeit des fixierten Gegenstandes entspricht. Beim menschlichen Sehen folgen viele kurzfristige Fixierungen von Objekten mit sprunghafter Veränderung der Blickrichtung aufeinander. Es wird davon ausgegangen, daß während des Suchens nach einem auszusortierenden Gegenstand eine Korrelation des fixierten Ortes mit einer Stelle des laufenden Transportbandes 10 nur kurzfristig besteht. Erkennt der Benutzer jedoch einen auszusortierenden Gegenstand und verfolgt diesen über eine längere Zeitspanne hinweg mit den Augen, dann ergibt sich eine längerfristige Korrelation zwischen Augen- und Bandbewegung. Wenn der Zeitraum, während welcher eine solche Korrelation besteht, einen Schwellwert überschreitet, dann wird davon ausgegangen, daß der Benutzer einen auszusortierenden Gegenstand erkannt hat.The object 12 running on the conveyor belt 10 moves at the speed of the conveyor belt 10. The control computer 36 therefore checks whether the user's eye movement corresponds to such a speed of the fixed object. In human vision, many short-term fixations of objects follow one another with a sudden change in the gaze direction. It is assumed that during the search for an object to be sorted out, there is only a short-term correlation of the fixed location with a location on the running conveyor belt 10. However, if the user recognizes an object to be sorted out and follows it with the eyes for a longer period of time, there is a longer-term correlation between eye and band movement. If the period during which such a correlation exists exceeds a threshold value, then it is assumed that the user has recognized an object to be sorted out.

Es ist weiterhin erforderlich, den Zusammenhang zwischen der Augenstellung, z.B. der Position der Pupille, und den Koordinaten auf dem Transportband 10 zu kennen. Dann "weiß" die Sortiereirrichtung 26, wo sich der Gegenstand 12 in Längs- und Querrichtung auf dem Transportband 10 befindet und kann den Gegenstand 12 ergreifen und aussortieren. Zu diesem Zweck erfolgt eine "Eichung". Längs des Transportbandes 10 sind die Marken 16 und 18 vorgesehen. Die Lage dieser Marken 16 und 18 wird durch die Lichtschranken 20 bzw. 22 ermittelt. Der Benutzer muß nun in Abständen eine solche Marke 16 oder 18 mit den Augen fixieren und verfolgen. Auch hier wird die Verfolgung der Marke 16 oder 18 mit den Augen dadurch bestimmt, daß eine Korrelation zwischen Bandbewegung und Augenbewegung über eine längere Zeitspanne besteht, welche einen Schwellwert überschreitet. Der Durchgang einer Marke 16 oder 18 durch eine Lichtschranke 20 bzw. 22 wird von der Lichtschranke signalisiert. Gleichzeitig liefert der Augen-Sensor 34 eine zugehörige Augenstellung. Wenn also die Korrelation ein Verfolgen der Marke 16 oder 18 anzeigt und die Marke von einer Lichtschranke 20 bzw. 22 erfaßt wird, also eine wohldefinierte Position einnimmt, dann kann ein Zusammenhang zwischen den Längs- und Querkoordinaten des Transportbandes 10 und den zugehörigen Augenstellungen bestimmt werden. Änderungen der diesen Zusammenhang wiedergebenden Parameter können korrigiert werden. Solche Änderungen können z.B. durch Fehler oder Änderungen in der Position des Trägers 32 hervorgerufen werden.It is also necessary to know the relationship between the eye position, for example the position of the pupil, and the coordinates on the conveyor belt 10. Then the sorting device 26 " knows" where the object 12 is located in the longitudinal and transverse directions on the conveyor belt 10 and can grasp the object 12 and sort it out. For this purpose, a " calibration" is carried out. The marks 16 and 18 are provided along the conveyor belt 10. The position of these marks 16 and 18 is determined by light barriers 20 and 22, respectively. The user must now fix and track such a mark 16 or 18 with the eyes. Here, too, the tracking of the mark 16 or 18 with the eyes is determined by the fact that there is a correlation between band movement and eye movement over a longer period of time which exceeds a threshold value. The passage of a mark 16 or 18 through a light barrier 20 or 22 is signaled by the light barrier. At the same time, the eye sensor 34 supplies an associated eye position. If the correlation indicates that the mark 16 or 18 is being tracked and the mark is detected by a light barrier 20 or 22, i.e. assumes a well-defined position, then a relationship between the longitudinal and transverse coordinates of the conveyor belt 10 and the associated eye positions can be determined . Changes to the parameters reflecting this relationship can be corrected. Such changes can be caused, for example, by errors or changes in the position of the carrier 32.

Eine Unterscheidung zwischen dem Fixieren von Marken und dem Fixieren von Gegenständen kann aus den Querkoordinaten hergeleitet werden. Die Marken 16 und 18 sitzen am Rand des Transportbandes.A distinction between the fixation of marks and the fixation of objects can be derived from the cross coordinates. The marks 16 and 18 sit on the edge of the conveyor belt.

Aus der Längskoordinate eines auszusortierenden Gegenstandes 12 relativ zu einer Marke 16, dem Durchgang der Marke 16 durch eine Lichtschranke und aus der aus dem Durchgang aufeinanderfolgender Marken durch die Lichtschranke bestimmten Geschwindigkeit kann der Zeitpunkt bestimmt werden, wann der Gegenstand den Bereich der Sortiereinrichtung 26 erreicht. Die Sortiereinrichtung 26 wird dann entsprechend angesteuert.The point in time at which the object reaches the area of the sorting device 26 can be determined from the longitudinal coordinate of an object 12 to be sorted out relative to a mark 16, the passage of the mark 16 through a light barrier and from the speed determined from the passage of successive marks through the light barrier. The sorting device 26 is then controlled accordingly.

Die beschriebene Vorrichtung kann in verschiedener Weise abgewandelt werden.The device described can be modified in various ways.

Es ist möglich, die Blickrichtung des Benutzers durch eine Brille festzulegen, die den Benutzer veranlaßt, in einer bestimmten Richtung zum Kopf (geradeaus) zu blicken. Die Blickrichtung ergibt sich dann aus der Haltung des Kopfes. Die Blickrichtung kann durch Markierungen bestimmt werden, die an der Brille angebracht sind. Diese Markierungen können durch ein raumfestes Sensorsystem abgetastet werden.It is possible to determine the user's direction of view through glasses that cause the user to look in a certain direction towards the head (straight ahead). The line of sight then results from the posture of the head. The direction of view can be determined by markings attached to the glasses. These markings can be scanned by a spatially fixed sensor system.

Der Benutzer kann das Transportband 10 unmittelbar statt über einen Bildsensor beobachten.The user can observe the conveyor belt 10 directly instead of using an image sensor.

Das Bild des Bildsensors kann dem Benutzer auch über eine Leinwand sichtbar gemacht werden.The image of the image sensor can also be made visible to the user on a screen.

Claims (11)

Verfahren zum Aussortieren bestimmter Arten von Gegenständen aus Sortiergut aufgrund visueller Beobachtung durch einen Benutzer, gekennzeichnet durch die Verfahrensschritte: a) Fördern des Sortiergutes längs einer Sortierbahn, b) Beobachten eines Abschnitts der Sortierbahn durch den Benutzer, c) Beobachten der Augenbewegung des Benutzers zur Bestimmung der Blickrichtung und d) Betätigen mechanischer Sortiermittel (26) zum Aussortieren eines Gegenstandes (12) in Abhängigkeit von der Augenbewegung des Benutzers. Method for sorting out certain types of objects from sorted goods based on visual observation by a user, characterized by the method steps : a) conveying the goods to be sorted along a sorting path, b) observation of a section of the sorting path by the user, c) observing the user's eye movement to determine the viewing direction and d) actuating mechanical sorting means (26) for sorting out an object (12) depending on the eye movement of the user. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Sortiermittel (26) angesteuert werden, wenn dieser Gegenstand (12) für eine vorgegebene Zeitspanne und/oder Strecke mit den Augen des Benutzers verfolgt wird.Method according to Claim 1, characterized in that the sorting means (26) are activated when this object (12) is tracked with the user's eyes for a predetermined period of time and / or distance. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß zur Beobachtung der Sortierbahn ein Bild der Sortierbahn zu dem Benutzer fernübertragen wird.Method according to Claim 1 or 2, characterized in that an image of the sorting path is remotely transmitted to the user in order to observe the sorting path . Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß das Bild der Sortierbahn in fester Lage zum Kopf des Benutzers erzeugt und die Augenbewegung des Benutzers beobachtet wird.A method according to claim 3, characterized in that the image of the sorting track in a fixed position to the head of the user is generated and the eye movement of the user is observed. Sortiervorrichtung zum Aussortieren bestimmter Arten von Gegenständen aus Sortiergut aufgrund visueller Beobachtung durch einen Benutzer, gekennzeichnet durch a) Fördermittel (10) zum Fördern des Sortiergutes längs einer Sortierbahn, b) Augen-Sensormittel (34) zur Erfassung der Augenbewegung des die Fördermittel (10) beobachtenden Benutzers, c) mechanische Sortiermittel (26) zum Aussortieren von Gegenständen (12) aus dem Sortiergut und d) Auswertemittel, die von Informationen der Augen-Sensormittel (34) beaufschlagt sind und durch welche die Sortiermittel (26) zum Aussortieren eines Gegenstandes (12) in Abhängigkeit von der Augenbewegung des Benutzers ansteuerbar sind. Sorting device for sorting out certain types of objects from sorted goods based on visual observation by a user, characterized by a) conveying means (10) for conveying the sorted goods along a sorting path, b) eye sensor means (34) for detecting the eye movement of the user watching the conveying means (10), c) mechanical sorting means (26) for sorting out objects (12) from the sorted material and d) evaluation means which are acted upon by information from the eye sensor means (34) and by which the sorting means (26) for sorting out an object (12) can be controlled as a function of the user's eye movement. Sortiervorrichtung nach Anspruch 5, gekennzeichnet durch a) Bildsensormittel (24), durch welche die Sortierbahn auf einem Abschnitt beobachtbar sind und b) Wiedergabemittel (30) zur Darstellung des von den Bildsensormitteln (24) erfaßten Bildes der Sortierbahn. Sorting device according to claim 5, characterized by a) image sensor means (24) through which the sorting path can be observed on a section and b) playback means (30) for displaying the image of the sorting path captured by the image sensor means (24). Sortiervorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Wiedergabemittel (30) und/oder die Augen-Sensormittel (34) in fester Position zum Kopf des Benutzers wahlweise mittels eines Trägers (32) angeordnet sind.Sorting device according to claim 6, characterized in that the reproduction means (30) and / or the eye sensor means (34) are arranged in a fixed position relative to the head of the user, optionally by means of a carrier (32). Sortiervorrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die Augen-Sensormittel (34) auf Bewegungen der Pupille wenigstens eines Auges des Benutzers ansprechen.Sorting device according to claim 7, characterized in that the eye sensor means (34) respond to movements of the pupil of at least one eye of the user. Sortiervorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß zum Aussortieren mehrerer Klassen von Gegenständen von dem Benutzer manuell betätigbare Signalgeber vorgesehen sind, durch welche Sortiermittel derart ansteuerbar sind, daß ein von dem Benutzer mit dem Auge fixierter Gegenstand nach Maßgabe des jeweils betätigten Signalgebers klassiert wird.Sorting device according to claim 5, characterized in that for sorting out several classes of objects manually operated signal transmitters are provided, by means of which sorting means can be controlled in such a way that an object fixed by the user with the eye is classified according to the signaling element actuated in each case. Sortiervorrichtung nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, daß a) die Fördermittel ein Transportband (10) aufweisen, das mit Marken (16,18) versehen ist, b) Abtastmittel (20,22) zum Abtasten der Marken (16,18) vorgesehen sind, c) Vergleichsmittel vorgesehen sind, welche die Augenbewegung beim Verfolgen einer mit dem Transportband (10) mitlaufenden Marke (16,18) mit den durch die Abtastmittel (20,22) erfaßten Positionen der Marke (16,18) zur Eichung der von den Auswertemitteln aus der Augenbewegung bestimmten Position des jeweils fixierten Punktes vergleichen, und d) in den Auswertemitteln nach Maßgabe dieses Vergleichs die Parameter korrigierbar sind, die den Zusammenhang zwischen der durch die Augen-Sensormittel (34) bestimmten Augenbewegung und der Position des fixierten Punktes wiedergeben. Sorting device according to one of claims 5 to 9, characterized in that a) the conveying means have a conveyor belt (10) which is provided with marks (16, 18), b) scanning means (20, 22) are provided for scanning the marks (16, 18), c) comparison means are provided which monitor the eye movement when tracking a mark (16, 18) moving with the conveyor belt (10) with the positions of the mark (16, 18) detected by the scanning means (20, 22) for calibration of the evaluation means compare the position of the respective fixed point determined from the eye movement, and d) in the evaluation means in accordance with this comparison, the parameters can be corrected which reflect the relationship between the eye movement determined by the eye sensor means (34) and the position of the fixed point. Sortiervorrichtung nach Anspruch 10, dadurch gekennzeichnet, daß die Auswertemittel a) Mittel enthalten zum Vergleich der Geschwindigkeit des fixierten Punktes, die sich aus der von den Augen-Sensormitteln bestimmten Augenbewegung ergibt, mit der Geschwindigkeit des Transportbandes, die von den Abtastmitteln durch Abtasten der Marken bestimmbar ist und b) Mittel zur Feststellung des Gleichlaufs zwischen fixiertem Punkt (Gegenstand) und Transportband, wobei c) die Sortiermittel (26) zum Aussortieren des fixierten Gegenstandes (12) aktivierbar sind, wenn ein solcher Gleichlauf während einer vorgegebenen Zeitspanne besteht. Sorting device according to claim 10, characterized in that the evaluation means a) contain means for comparing the speed of the fixed point, which results from the eye movement determined by the eye sensor means, with the speed of the conveyor belt, which can be determined by the scanning means by scanning the marks and b) means for determining the synchronism between the fixed point (object) and the conveyor belt, wherein c) the sorting means (26) for sorting out the fixed object (12) can be activated if such synchronism exists for a predetermined period of time.
EP95111393A 1994-07-26 1995-07-20 Method and device for sorting objects out of goods Withdrawn EP0694343A3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE4426440 1994-07-26
DE19944426440 DE4426440A1 (en) 1994-07-26 1994-07-26 Method and sorting device for sorting out objects from sorted goods

Publications (2)

Publication Number Publication Date
EP0694343A2 true EP0694343A2 (en) 1996-01-31
EP0694343A3 EP0694343A3 (en) 1998-01-14

Family

ID=6524173

Family Applications (1)

Application Number Title Priority Date Filing Date
EP95111393A Withdrawn EP0694343A3 (en) 1994-07-26 1995-07-20 Method and device for sorting objects out of goods

Country Status (2)

Country Link
EP (1) EP0694343A3 (en)
DE (1) DE4426440A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998024562A1 (en) * 1996-12-04 1998-06-11 Manka Robert Marco Solid waste sorting device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579172A (en) * 2019-10-17 2019-12-17 福州威尔达电气科技有限公司 Production detection system for liquid crystal fixing support

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3226096A1 (en) 1981-07-29 1983-02-17 Jenoptik Jena Gmbh, Ddr 6900 Jena Device for the measurement and recording of eye movements
DE4034958A1 (en) 1989-11-02 1991-05-08 Asahi Optical Co Ltd LOOKING DIRECTION DETECTOR
DE4037907A1 (en) 1989-11-28 1991-05-29 Asahi Optical Co Ltd Sight direction detection arrangement - forms image of light reflected from eye on line sensor, corrects for individual dispersion

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3917069A (en) * 1971-02-16 1975-11-04 Donald Kenneth Alexander Article sorting equipment
GB2038031B (en) * 1978-11-06 1983-01-19 Lockwood Graders Ltd Article sorting apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3226096A1 (en) 1981-07-29 1983-02-17 Jenoptik Jena Gmbh, Ddr 6900 Jena Device for the measurement and recording of eye movements
DE4034958A1 (en) 1989-11-02 1991-05-08 Asahi Optical Co Ltd LOOKING DIRECTION DETECTOR
DE4037907A1 (en) 1989-11-28 1991-05-29 Asahi Optical Co Ltd Sight direction detection arrangement - forms image of light reflected from eye on line sensor, corrects for individual dispersion

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998024562A1 (en) * 1996-12-04 1998-06-11 Manka Robert Marco Solid waste sorting device
US6149017A (en) * 1996-12-04 2000-11-21 Manka; Robert-Marco Solid waste sorting device

Also Published As

Publication number Publication date
DE4426440A1 (en) 1996-02-01
EP0694343A3 (en) 1998-01-14

Similar Documents

Publication Publication Date Title
AT505338B1 (en) PROCEDURE FOR PERFORMANCE MEASUREMENT
EP0825826B1 (en) Process and device for the parallel capture of visual information
DE60308245T2 (en) Iris recognition system
DE4417768C2 (en) Method and device for projecting image information in persons with visual disturbances caused by a deviation in the position of their visual axis
EP1225454A2 (en) Method and device for fixing a position
EP2220627A1 (en) Monitoring system having status detection module, method for self-monitoring of an observer and computer program
EP3394708A1 (en) Method for operating a virtual reality system, and virtual reality system
EP1588209A1 (en) Device and method for adjusting a position of an eyeglass lens relative to the position of a pupil
DE10257963A1 (en) Method and device for determining the 3D position of passenger car occupants
DE112017005146T5 (en) Eye movement measuring device and eye movement analysis system
EP3873322B1 (en) Location-based quantification of impairment due to halo and scattered light
EP0694343A2 (en) Method and device for sorting objects out of goods
EP3502614B1 (en) Optical measuring device
EP1089651A1 (en) Device for examining ocular motility
EP0959796A1 (en) Determining the position of a moving object
EP3575666B1 (en) Device for protecting a hazardous area of a system
EP1300108B1 (en) Method for obtaining, evaluating and analyzing sequences of vision
EP3649539A1 (en) Visual output device with a camera and presentation method
DE102011103555A1 (en) Method for plan-position-indicator-representation of e.g. track symbols on graphical user interface of guidance system in navy, involves representing visual element assigned to information element to operator when signals are passed
DE202022101212U1 (en) Safety device for a machine tool
DD156062B5 (en) PROCESS FOR FIXATION ASSURANCE IN OPHTHALMOLOGICAL TEST EQUIPMENT
DE202016101172U1 (en) monitoring system
WO1998037691A1 (en) Adaptive active camera system
EP3652710A1 (en) Timing device
DE19710906B4 (en) Surgical microscope with a pupil position detection arrangement

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): DE ES FR GB IT

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): DE ES FR GB IT

17P Request for examination filed

Effective date: 19971215

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: STELTE, NORBERT, DR.

17Q First examination report despatched

Effective date: 19991202

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20010201