EP2565851A2 - Vorrichtung zur Rücknahme von Leergut und Verfahren zum Klassifizieren von Leergut mit Hilfe von Lichtfeldern - Google Patents

Vorrichtung zur Rücknahme von Leergut und Verfahren zum Klassifizieren von Leergut mit Hilfe von Lichtfeldern Download PDF

Info

Publication number
EP2565851A2
EP2565851A2 EP12182005A EP12182005A EP2565851A2 EP 2565851 A2 EP2565851 A2 EP 2565851A2 EP 12182005 A EP12182005 A EP 12182005A EP 12182005 A EP12182005 A EP 12182005A EP 2565851 A2 EP2565851 A2 EP 2565851A2
Authority
EP
European Patent Office
Prior art keywords
empties
light field
control unit
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP12182005A
Other languages
English (en)
French (fr)
Other versions
EP2565851B1 (de
EP2565851A3 (de
Inventor
Roy Gergs
Ralph Maschotta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wincor Nixdorf International GmbH
Original Assignee
Wincor Nixdorf International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wincor Nixdorf International GmbH filed Critical Wincor Nixdorf International GmbH
Publication of EP2565851A2 publication Critical patent/EP2565851A2/de
Publication of EP2565851A3 publication Critical patent/EP2565851A3/de
Application granted granted Critical
Publication of EP2565851B1 publication Critical patent/EP2565851B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F7/00—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/06—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by returnable containers, i.e. reverse vending systems in which a user is rewarded for returning a container that serves as a token of value, e.g. bottles
    • G07F7/0609—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by returnable containers, i.e. reverse vending systems in which a user is rewarded for returning a container that serves as a token of value, e.g. bottles by fluid containers, e.g. bottles, cups, gas containers

Definitions

  • the invention relates to a device for the return of empties, in which the empties is entered into a detection area of an input tray.
  • the entered empties are classified using optical methods.
  • the invention relates to a method for classifying empties, in which the empties input in the input tray is classified by means of optical methods.
  • the device is in particular a reverse vending machine which is used in retail outlets so that the customers can return their empties and receive the deposit raised on the empties.
  • the empties are in particular containers that consist of a crate with several compartments and possibly recorded in the compartments bottles.
  • the bottles accommodated in the compartments are in particular glass faults, ie returnable bottles.
  • a stereo camera which comprises two cameras, with each of which an image is captured with a picture of the entered empties.
  • a control unit With the help of a control unit, a three-dimensional measurement of the empties, in particular the height, width and length of the crate, the Position and / or size of the compartments of the crate and the dimensions of the arranged in the compartments bottles are determined.
  • the empties are classified. In particular, it is determined here whether the empties are empties subject to a deposit and how high the deposit for the corresponding empties is. Accordingly, this pledge is credited to the customer and issued after completion of the input all empties via a receipt with the value of the credit to him.
  • a problem with the use of stereo cameras to determine the dimension and thus to classify the empties is that with the help of the stereo camera often only a very inaccurate determination of the dimensions of the boxes and bottles is possible.
  • edges that lie outside the focus plane of the stereo camera can only be imaged relatively blurred in the images captured by the stereo camera, so that it is difficult to determine the dimensions of these blurred body edges.
  • the device comprises an image acquisition unit, with the aid of which at least one light field of the coverage area, and thus of any empties entered, is recorded.
  • the control unit classifies the empties with the help of this light field.
  • a light field is understood to mean a function which describes the amount of light that falls in every direction at each point of the three-dimensional space.
  • the light intensity but also the direction in which the light is incident on the corresponding point of the image acquisition unit is preferably detected in the light field in each individual pixel.
  • the use of a light field for classifying the empties has the advantage that the three-dimensional measurement of empties containers with the help of only one detection unit and only one light field is possible because this contains a light field more for the classification of boxes and bottles relevant information than the images of a stereo camera.
  • the light field is in particular seven-dimensional, d. H.
  • the light field includes the three-dimensional geometry, the two-dimensional reflections, the wavelength and the time, so that also for the classification of the empties more information is available.
  • a light field it is basically possible to perform a so-called re-focusing, ie that the focus on different image planes of the light field can be subsequently changed without further pictures of the empties must be recorded.
  • all necessary for the measurement of the empties edges can be focused, so that an accurate measurement of this Edges is possible.
  • the light field allows a large number of different viewing angles to be detected within the emptying area given by the recording of the light field, so that the problem of detection and measurement of edge parallel to epipolar lines is bypassed or does not occur.
  • the device has in particular a lighting unit for illuminating the detection area, wherein the lighting unit and the image detection unit are preferably arranged such that a dark field illumination of the empties takes place.
  • a dark field illumination the empties are illuminated in such a way that only indirect light reflected by empties enters the objective of the image acquisition unit.
  • This dark field illumination ensures that the mouth of bottles of empties is illuminated at a shallow angle, and thus the reflection of the mouth in the light field can be classified in a simple manner.
  • the image acquisition unit comprises a plenoptic camera, so that only one camera is necessary for the acquisition of the light field.
  • the plenoptic camera makes it possible to easily and inexpensively record the light field of the detection area in a short time.
  • a plenoptic camera is understood in particular to mean a camera which detects a 4D light field.
  • a stereo camera captures only a 2D image.
  • the light field measurement is made possible by a grid of several microlenses in front of the image sensor.
  • the special ability of a plenoptic camera is that the maximum depth of field is very high, no focussing process has to be awaited and the focal plane of a recorded image can be subsequently adjusted. From the image data, the depth information can be determined, so that a plenoptic camera is also suitable as a 3D camera.
  • the plenoptic camera comprises a lens grid comprising a large number of lenses, which is arranged in front of the image sensor. Through this lens grid, each pixel is refracted again and expanded into a cone, which hits the sensor surface in a circle. The point at which the light beam strikes the sensor surface reveals which direction the light beam originally came from. A vertically incident light beam ends up, for example, in the center of the circle, an obliquely arriving further on the edge.
  • the sharpness can be subsequently re-determined, in particular calculated, and, as in the case of a "correct" lens, the focus can be changed.
  • a database is stored in the control unit in which different empties classes are assigned characteristic features, wherein the control unit determines at least one characteristic feature in the light field and classifies the empties as a function of this determined characteristic feature.
  • the features are, in particular, dimensions of the empties, wherein at least one image processing algorithm is stored in the control unit, which the control unit processes to determine at least one dimension of the empties from the light field.
  • the empties are in particular and empties containers, which consist of a crate and possibly recorded therein surfaces.
  • the dimensions of the crate, the number and / or position of the compartments of the box, the height of the bottles and / or at least the radius of the bottles are determined as characteristic features.
  • the control unit carries out in particular a three-dimensional measurement of the empties with the aid of the light field. This ensures that an accurate, reliable classification of the empties is possible and thus a false classification and thus the payment of a false deposit amount are avoided.
  • the image capture unit takes only one light field from each empties entered, so that the Classification of the empties with a small effort is possible. Due to the large number of information contained in the only one light field, it is not necessary to detect multiple light fields.
  • the control unit classifies the empties in particular as a function of the information contained in the light field about the three-dimensional geometry of the empties, the information contained in the light field about the occurring two-dimensional reflections, the information contained in the light field about the wavelengths, d. H. the spectral composition of the light, and / or the information contained in the light field over time, d. H. about the temporal change of the incident light.
  • a particularly accurate classification of empties is possible.
  • the classification is understood in particular to mean that the entered empties are divided into the different empties classes via the control unit.
  • the empties classes can be designed such that each empties class corresponds to a preset deposit amount.
  • the empties classes can be preset in such a way, since a separate empties class is preset for each type of crate used and / or for each type of bottle used.
  • the empties entered are classified insofar as they are a returnable or non-refundable empties or foreign bodies. The subject to empties is from the device in particular withdrawn, whereas the non-refundable empties and / or the foreign body are returned to the operator of the device.
  • the device comprises, in particular, a receipt printer, by means of which, after the empties have been entered and their classification assigned to the operator, a receipt can be issued with the deposit amount due to him.
  • Another aspect of the invention relates to a method for classifying empties, in which the empties are entered into an input tray and at least one light field of the empties is determined. The empties are classified depending on the light field. The light field is also recorded in this case, preferably via a plenoptic camera.
  • the classified empties is illuminated in particular with the aid of a dark field illumination, so that the edges of bottles, in particular their mouths, can be reliably detected and thus the dimension of the bottle can be easily determined.
  • the method specified by the independent method claim may be further developed by means of the features described in the claims dependent on the independent apparatus claim or their corresponding method features.
  • FIGS. 1 to 3 in each case a schematic representation of a device 10, 12, 14 for the return of empties 16 is shown, wherein FIG. 1 a top view of a first embodiment, FIG. 2 a side view of a second embodiment and FIG. 3 a side view of a third embodiment shows.
  • the embodiments differ only in the arrangement of a plenoptic camera 18 for receiving light fields, which is why the general structure is described below for all three embodiments together.
  • the device 10, 12, 14, which is also referred to as reverse vending machine, has input tray 20, in which the empties 16 by an operator of the device 10, 12, 14 can be entered.
  • the empties 16 are, in particular, empties containers which consist of a crate 22 and a plurality of bottles 24 received in compartments of this crate 22. In the in the FIGS. 1 to 3 shown embodiment, six bottles 24 are arranged in the beverage box 22. Alternatively, empties 16 and empty crates 22, ie beverage crates 22, in which no bottles 24 are included, are entered. It is also possible that the empties 16 beverage boxes 22 with more than six bottles 24 or less than six bottles 24 can be entered.
  • the bottles 24 are, in particular, glass bottles, that is to say reusable counterfeits. Alternatively, it can also be disposable PET bottles or plastic returnable bottles 24.
  • the device 10, 12, 14 comprises a lighting unit 26, wherein the lighting unit 26 and the plenoptic camera 18 are arranged such that a dark field illumination of the empties 16 takes place.
  • a dark field illumination is understood in particular that no direct lighting follows, but that only stray light from the empties 16 enters the lens of the plenoptic camera 18, which has the advantage that reflections 28 are better detectable at the bottle mouths 30 of the bottle 24.
  • a light field of a detection area of the plenoptic camera 18, in which the empties 16 are arranged, and thus also of the empties 16 itself is recorded.
  • the general structure of the plenoptic camera 18 will be described below in connection with FIG. 4 described in more detail.
  • any other image capture unit capable of receiving light fields may also be used.
  • the device 10, 12, 14 has a control unit 40 which processes at least one image processing algorithm stored in it in order to determine dimensions of the empties 16 from the recorded light field of the empties 16 and to classify the empties 16 as a function of these determined dimensions.
  • a control unit 40 which processes at least one image processing algorithm stored in it in order to determine dimensions of the empties 16 from the recorded light field of the empties 16 and to classify the empties 16 as a function of these determined dimensions.
  • the edges of the crate 22 the number and / or position of the compartments of the crate 22 and / or the dimensions of the bottles 24 determined by means of the light field or from the light field.
  • the control unit 40 determines whether the entered object 16 is actually empties 16 and whether this empties 16 is subject to a deposit. In particular, the control unit 40 determines what type of empties 16 it is and how high the deposit amount provided for this empties 16 is.
  • a light field is understood to mean a function that describes the amount of light that is incident at every point of the three-dimensional space in all directions.
  • a four-dimensional light field using the plenoptic camera 18 not only the gray value of each pixel but also the direction of the incident light beam is determined.
  • the empties 16 can be viewed in a predetermined by the pleniform camera 18 areas from different angles with the help of only one recorded light field. This has the consequence that a precise measurement of the empties 16 is possible.
  • edges that run parallel to the epipolar lines can also be accurate be measured, as appropriate viewing angles can be taken.
  • the plenoptic camera 18 has the advantage that only a single camera is necessary, with the help of which only exactly one light field of each empties 16 must be recorded. Thus, a simple inexpensive construction is achieved and a calibration effort, as is necessary in a stereo camera, is avoided.
  • the plenoptic camera 18 takes the light field of the empties 16 directly, whereas in the third embodiment according to FIG. 3 a mirror 50 is provided which mirrors empties 16 and on which the plenoptic camera 18 is directed. As a result, a particularly compact construction is achieved.
  • FIG. 4 a schematic representation of a plenoptic camera 18 and a bottle 24 is shown.
  • the plenoptic camera 18 includes a main lens 42, by means of which a virtual image 44 of the bottle 24 is generated.
  • a lens array 48 is arranged from microlenses, one of which with the Reference numeral 50 is designated. These microlenses 50 "view" the virtual image 44 and image it on the image capture sensor 46. Due to the microlenses 50 of the lens array 48, each pixel of the virtual image 44 is refracted again and expanded into a cone which strikes the image acquisition sensor 46 in a circle. The position in which the light beam is incident within the corresponding cone of the respective microlens 50 on the image detection sensor 46, the direction of the incident light beam can be determined.
  • plenoptic camera 18 instead of a 4D light field, it is also possible to determine a 7D light field which contains further information about the recorded empties 16.
  • the seven dimensions are in particular the three-dimensional geometry, the two-dimensional reflections, the wavelength and the time.
  • FIGS. 5 and 6 a light field of a crate 22 is shown, wherein in both figures, the same light field is shown.
  • the focal plane which is also referred to as sharpness level, in the region of the front side of the crate 22, at FIG. 6 in contrast, set in the area of the rear side of the crate 22, so in FIG. 5 the front and in FIG. 6 the rear side is sharp and the corresponding edges are determined and measured reliably and precisely by the processing of the corresponding image processing algorithms can be.
  • a corresponding change of the focal plane is also referred to as re-focusing.
  • the sharp edges are each represented by a single line, the blurred edges by double lines.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung (10, 12, 14) zur Rücknahme von Leergut (16), die ein Eingabefach (20) zur Eingabe des Leergutes (16) in einen Erfassungsbereich und eine Bilderfassungseinheit (18) zur Aufnahme mindestens eines Lichtfeldes des Erfassungsbereiches umfasst. Eine Steuereinheit (40) klassifiziert mit Hilfe des Lichtfeldes das Leergut (16). Ferner betrifft die Erfindung ein Verfahren zum Klassifizieren von Leergut (16), bei dem das Leergut in Abhängigkeit eines aufgenommenen Lichtfeldes des Leergutes (16) klassifiziert wird.

Description

  • Die Erfindung betrifft eine Vorrichtung zur Rücknahme von Leergut, bei der das Leergut in einen Erfassungsbereich eines Eingabefaches eingegeben wird. Mit Hilfe optischer Verfahren wird das eingegebene Leergut klassifiziert. Ferner betrifft die Erfindung ein Verfahren zum Klassifizieren von Leergut, bei dem das im Eingabefach eingegebene Leergut mit Hilfe optischer Verfahren klassifiziert wird.
  • Bei der Vorrichtung handelt es sich insbesondere um einen Leergutrücknahmeautomaten der in Filialen des Einzelhandels eingesetzt wird, damit die Kunden ihr Leergut zurückgeben können und das auf das Leergut erhobene Pfand zurückerhalten. Bei dem Leergut handelt es sich insbesondere um Gebinde, die aus einer Getränkekiste mit mehreren Fächern und eventuell in den Fächern aufgenommenen Flaschen bestehen. Bei den in den Fächern aufgenommenen Flaschen handelt es sich insbesondere um Glasfalschen, also um Mehrwegflaschen.
  • Bei bekannten Leergutrücknahmeautomaten ist eine Stereokamera vorgesehen, die zwei Kameras umfasst, mit denen jeweils ein Bild mit einer Abbildung des eingegebenen Leergutes erfasst wird. Mit Hilfe einer Steuereinheit erfolgt eine dreidimensionale Vermessung des Leergutes, wobei insbesondere die Höhe, Breite und Länge der Getränkekiste, die Position und/oder Größe der Fächer der Getränkekiste und die Abmessungen der in den Fächern angeordneten Flaschen ermittelt werden. In Abhängigkeit der ermittelten Abmessungen wird das Leergut klassifiziert. Hierbei wird insbesondere ermittelt, ob es sich bei dem Leergut um ein pfandpflichtiges Leergut handelt und wie hoch der Pfand für das entsprechende Leergut ist. Entsprechend wird dem Kunden dieser Pfand gutgeschrieben und nach Abschluss der Eingabe allen Leergutes über einen Bon mit dem Wert der Gutschrift an ihn ausgegeben.
  • Problematisch an der Verwendung von Stereokameras zur Ermittlung der Abmessung und somit zur Klassifizierung des Leergut ist es, dass mit Hilfe der Stereokamera häufig nur eine recht ungenaue Ermittlung der Abmessungen der Kisten und Flaschen möglich ist. Insbesondere können Kanten, die außerhalb der Fokusebene der Stereokamera liegen, in den durch die Stereokamera erfassten Bildern nur verhältnismäßig unscharf abgebildet werden, sodass es schwer ist, die Abmessungen dieser unscharfen Körperkanten zu ermitteln. Darüber hinaus ist es problematisch, das nur zwei Bilder des Leergutes ermittelt werden, sodass die Vermessung von Kanten, die parallel zu den Epipolarlinien verlaufen, problematisch ist. Zum Erkennen der Flaschen und zur Ermittlung deren Abmessungen ist es insbesondere wichtig, die Flaschenmündung zu detektieren. Dies erfolgt insbesondere über die Reflektion von Licht an dieser Flaschenmündung, was allerding bei Glasflaschen schwer zu erfassen ist, da keine lambertsche Reflektion erfolgt. Weiterhin ist es nachteilig, dass eine solche Stereokamera aufwendig kalibriert werden muss.
  • Des Weiteren ist es bekannt, an Stelle der stereoskopischen Verfahren zur 3D-Vermessung des Leergutes Lichtschnittverfahren anzuwenden, wobei auch hier die Aufnahme der Bilder über eine Stereokamera oder eine Monokamera erfolgt und im Wesentlichen die gleichen Probleme wie zuvor beschrieben auftreten.
  • Es ist Aufgabe der Erfindung, eine Vorrichtung zur Rücknahme von Leergut und ein Verfahren zum Klassifizieren von Leergut anzugeben, mit deren Hilfe eingegebenes Leergut auf einfache Weise zuverlässig klassifiziert werden kann.
  • Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 sowie durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
  • Erfindungsgemäß umfasst die Vorrichtung eine Bilderfassungseinheit, mit deren Hilfe mindestens ein Lichtfeld des Erfassungsbereiches, und somit eines eventuell eingegebenen Leergutes, aufgenommen wird. Die Steuereinheit klassifiziert das Leergut mit Hilfe dieses Lichtfeldes.
  • Unter einem Lichtfeld wird insbesondere eine Funktion verstanden, welche die Lichtmenge beschreibt, die an jeden Punkt des dreidimensionalen Raums in alle Richtungen fällt. Bei dem Lichtfeld wird somit vorzugsweise bei jedem einzelnen Bildpunkt nicht nur die Lichtintensität, sondern auch die Richtung detektiert, in der das Licht auf den entsprechenden Punkt der Bilderfassungseinheit einfällt.
  • Die Verwendung eines Lichtfeldes zur Klassifizierung des Leerguts hat den Vorteil, dass die dreidimensionale Vermessung von Leergutgebinden mit Hilfe von nur einer Erfassungseinheit und nur eines Lichtfeldes möglich ist, da dieses eine Lichtfeld mehr zur Klassifizierung von Kisten und Flaschen relevante Informationen enthält, als die Bilder einer Stereokamera. Das Lichtfeld ist insbesondere siebendimensional, d. h. das Lichtfeld umfasst die dreidimensionale Geometrie, die zweidimensionalen Reflektionen, die Wellenlänge und die Zeit, sodass auch für die Klassifizierung des Leerguts mehr Informationen zur Verfügung stehen.
  • In einem Lichtfeld ist es grundsätzlich möglich, eine sogenannte Re-Fokussierung vorzunehmen, d. h. dass die Fokussierung auf unterschiedliche Bildebenen des Lichtfeldes nachträglich verändert werden kann, ohne dass weitere Bilder des Leergutes aufgenommen werden müssen. Somit können alle für die Vermessung des Leergutes notwendigen Kanten scharf gestellt werden, sodass eine genaue Vermessung dieser Kanten möglich ist. Darüber hinaus ermöglicht das Lichtfeld, dass eine große Anzahl unterschiedlicher Blickwinkel innerhalb eines durch die Aufnahme des Lichtfeldes vorgegebenen Bereichs auf das Leergut erfasst sind, sodass das Problem der Erkennung und Vermessung von Kante, die parallel zu Epipolarlinien verlaufen, umgangen wird bzw. nicht auftritt.
  • Die Vorrichtung weist insbesondere eine Beleuchtungseinheit zur Beleuchtung des Erfassungsbereichs auf, wobei die Beleuchtungseinheit und die Bilderfassungseinheit vorzugsweise derart angeordnet sind, dass eine Dunkelfeldbeleuchtung des Leergutes erfolgt. Mit einer solchen Dunkelfeldbeleuchtung wird das Leergut derart beleuchtet, das nur indirektes vom Leergut reflektiertes Licht in das Objektiv der Bilderfassungseinheit gelangt. Durch diese Dunkelfeldbeleuchtung wird erreicht, dass die Mündung von Flaschen des Leergutes unter einem flachen Winkel beleuchtet wird, und somit die Reflektion der Mündung in dem Lichtfeld auf einfache Weise klassifiziert werden kann.
  • Die Bilderfassungseinheit umfasst insbesondere eine plenoptische Kamera, sodass für die Aufnahme des Lichtfeldes nur eine Kamera notwendig ist. Somit ist es nicht notwendig, wie bei einer Stereokamera, die einzelnen Kameras aufwendig zu kalibrieren. Ferner ermöglicht es die plenoptische Kamera auf einfache Weise kostengünstig und in kurzer Zeit das Lichtfeld des Erfassungsbereichs aufzunehmen.
  • Unter einer plenoptischen Kamera wird insbesondere eine Kamera verstanden, die ein 4D-Lichtfeld erfasst. Im Gegensatz dazu erfasst eine Stereokamera nur ein 2D-Bild. Bei einem 4D-Lichtfeld ist nicht nur die Position und Intensität eines Lichtstrahls auf dem Bildsensor bekannt, sondern auch die Richtung aus der der Lichtstrahl eingefallen ist. Möglich wird die Lichtfeldmessung durch ein Gitter aus mehreren Mikrolinsen vor dem Bildsensor. Die besondere Fähigkeit einer plenoptischen Kamera liegt darin, dass die maximale Tiefenschärfe sehr hoch ist, kein Fokussiervorgang abgewartet werden muss und die Fokusebene eines aufgenommenen Bildes nachträglich angepasst werden kann. Aus den Bilddaten lassen sich die Tiefeninformation ermittelten, sodass eine plenoptische Kamera auch als 3D-Kamera geeignet ist.
  • Die plenoptische Kamera umfasst insbesondere ein eine Vielzahl von Linsen umfassendes Linsengitter, das vor dem Bildsensor angeordnet ist. Durch dieses Linsengitter wird jeder Bildpunkt nochmals gebrochen und zu einem Kegel aufgeweitet, der kreisförmig auf die Sensorfläche trifft. Die Stelle, an der der Lichtstrahl auf die Sensorfläche trifft, verrät, aus welcher Richtung der Lichtstrahl ursprünglich kam. Ein senkrecht auftreffender Lichtstrahl landet beispielsweise im Mittelpunkt des Kreises, ein schräg eintreffender weiter am Rand. So kann mit Hilfe einer Steuereinheit und/oder Software die Schärfe nachträglich neu ermittelt, insbesondere berechnet, werden und wie bei einem "richtigen" Objektiv der Fokus geändert werden.
  • In der Steuereinheit ist insbesondere eine Datenbank hinterlegt, in der verschiedenen Leergutklassen charakteristische Merkmale zugeordnet sind, wobei die Steuereinheit in dem Lichtfeld mindestens ein charakteristisches Merkmal ermittelt und in Abhängigkeit dieses ermittelten charakteristischen Merkmals das Leergut klassifiziert. Bei den Merkmalen handelt es sich insbesondere um Abmessungen des Leergutes, wobei in der Steuereinheit mindestens ein Bildverarbeitungsalgorithmus hinterlegt ist, den die Steuereinheit zur Ermittlung mindestens einer Abmessung des Leergutes aus dem Lichtfeld abarbeitet.
  • Bei dem Leergut handelt es sich insbesondere und Leergutgebinde, die aus einer Getränkekiste und eventuell darin aufgenommenen Flachen bestehen. Als charakteristische Merkmale werden insbesondere die Abmessungen der Getränkekiste, die Anzahl und/oder Position der Fächer der Kiste, die Höhe der Flaschen und/oder mindestens der Radius der Flaschen ermittelt. Die Steuereinheit führt hierzu mit Hilfe des Lichtfeldes insbesondere eine dreidimensionale Vermessung des Leergutes durch. Hierdurch wird erreicht, dass eine genaue, zuverlässige Klassifizierung des Leergutes möglich ist und somit eine falsche Klassifizierung und somit das Auszahlen eines falschen Pfandbetrages vermieden werden.
  • Die Bilderfassungseinheit nimmt von jedem eingegebenen Leergut insbesondere nur ein Lichtfeld auf, sodass die Klassifizierung des Leergutes mit einem geringen Aufwand möglich ist. Durch die große Anzahl von in dem nur einen Lichtfeld enthaltenen Informationen ist es nicht notwendig, mehrere Lichtfelder zu erfassen.
  • Die Steuereinheit klassifiziert das Leergut insbesondere in Abhängigkeit der in dem Lichtfeld enthaltenen Informationen über die dreidimensionale Geometrie des Leergutes, der in dem Lichtfeld enthaltenen Informationen über die auftretenden zweidimensionalen Reflektionen, der in dem Lichtfeld enthaltenen Informationen über die Wellenlängen, d. h. die spektrale Zusammensetzung des Lichtes, und/oder der in dem Lichtfeld enthaltenen Informationen über die Zeit, d. h. über die zeitliche Veränderung des einfallenden Lichtes. Hierdurch wird eine besonders genaue Klassifizierung des Leergutes möglich.
  • Unter der Klassifizierung wird insbesondere verstanden, dass über die Steuereinheit das eingegebene Leergut in die verschiedenen Leergutklassen eingeteilt wird. Hierbei können die Leergutklassen derart ausgebildet sein, dass jede Leergutklasse einem voreingestellten Pfandbetrag entspricht. Alternativ können die Leergutklassen derart voreingestellt sein, da für jede verwendete Getränkekistenart und/oder für jede verwendete Flaschenart eine eigene Leergutklasse voreingestellt ist. Ferner wird das eingegebene Leergut insoweit klassifiziert, ob es sich um ein pfandpflichtiges oder ein nichtpfandpflichtiges Leergut bzw. um Fremdkörper handelt. Das pfandpflichtige Leergut wird von der Vorrichtung insbesondere eingezogen, wohingegen das nichtpfandpflichtige Leergut und/oder die Fremdkörper wieder an die Bedienperson der Vorrichtung ausgegeben werden.
  • Die Vorrichtung umfasst insbesondere einen Bon-Drucker, über den nach der Eingabe des Leergutes und dessen Klassifizierung an die Bedienperson ein Bon mit dem ihm zustehenden Pfandbetrag ausgegeben werden kann.
  • Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Klassifizieren von Leergut, bei dem das Leergut in ein Eingabefach eingegeben wird und mindestens ein Lichtfeld des Leergutes ermittelt wird. Das Leergut wird in Abhängigkeit des Lichtfeldes klassifiziert. Das Lichtfeld wird auch in diesem Fall vorzugsweise über eine plenoptische Kamera aufgenommen.
  • Durch die Klassifizierung des Leergutes über die in dem Lichtfeld enthaltenen Informationen ist eine genaue Klassifizierung des Leergutes mit geringem Aufwand möglich. Insbesondere können auch Kanten die parallel zu Epipolarlinien verlaufen und Kanten unterschiedlicher Fokusebenen genau vermessen werden.
  • Bei der Klassifizierung des Objektes werden von der Steuereinheit in dem Lichtfeld insbesondere mindestens zwei unterschiedliche Fokusebenen ermittelt und in diesen beiden Fokusebenen jeweils mindestens eine Abmessung mindestens einer Kante des Leergutes ermittelt.
  • Das klassifizierte Leergut wird insbesondere mit Hilfe einer Dunkelfeldbeleuchtung beleuchtet, sodass die Kanten von Flaschen, insbesondere deren Mündungen, zuverlässig detektiert werden können und somit auch die Abmessung der Flasche einfach ermittelt werden kann.
  • Das durch den unabhängigen Verfahrensanspruch spezifizierte Verfahren kann mit Hilfe der in den auf den unabhängigen Vorrichtungsanspruch rückbezogenen Ansprüchen beschriebenen Merkmale bzw. deren entsprechenden Verfahrensmerkmalen weitergebildet werden.
  • Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, die die Erfindung anhand von Ausführungsbeispielen im Zusammenhang mit den beigefügten Figuren näher erläutert.
  • Es zeigen:
    • Figur 1
    eine schematische Darstellung einer Vorrichtung zur Rücknahme von Leergut gemäß einer ersten Ausführungsform in einer Draufsicht;
    Figur 2
    eine schematische Darstellung einer Vorrichtung zur Rücknahme von Leergut gemäß einer zweiten Ausführungsform in einer Seitenansicht;
    Figur 3
    eine schematische Darstellung einer Vorrichtung zur Rücknahme von Leergut gemäß einer dritten Ausführungsform in einer Seitenansicht;
    Figur 4
    eine schematische Darstellung einer plenoptischen Kamera;
    Figur 5
    eine schematische Darstellung eines Lichtfeldes einer Getränkekiste bei Fokussierung auf eine erste Ebene; und
    Figur 6
    eine schematische Darstellung des Lichtfeldes nach Figur 5 bei Fokussierung auf eine zweite Ebene.
  • In den Figuren 1 bis 3 ist jeweils eine schematische Darstellung einer Vorrichtung 10, 12, 14 zur Rücknahme von Leergut 16 dargestellt, wobei Figur 1 eine Draufsicht einer ersten Ausführungsform, Figur 2 eine Seitenansicht einer zweiten Ausführungsform und Figur 3 eine Seitenansicht einer dritten Ausführungsform zeigt. Die Ausführungsformen unterscheiden sich lediglich in der Anordnung einer plenoptischen Kamera 18 zur Aufnahme von Lichtfeldern, weswegen der allgemeine Aufbau im Folgenden für alle drei Ausführungsformen gemeinsam beschrieben wird.
  • Die Vorrichtung 10, 12, 14, die auch als Leergutrücknahmeautomat bezeichnet wird, weist Eingabefach 20 auf, in das das Leergut 16 von einer Bedienperson der Vorrichtung 10, 12, 14 eingegeben werden kann. Bei dem Leergut 16 handelt es sich insbesondere um Leergutgebinde, die aus einer Getränkekiste 22 und mehreren in Fächern dieser Getränkekiste 22 aufgenommenen Flaschen 24 bestehen. Bei den in den Figuren 1 bis 3 gezeigten Ausführungsbeispiel sind in der Getränkekiste 22 sechs Flaschen 24 angeordnet. Alternativ können als Leergut 16 auch leere Getränkekisten 22, d.h. Getränkekisten 22, in denen keine Flaschen 24 aufgenommen sind, eingegeben werden. Ebenso ist es möglich, dass das als Leergut 16 Getränkekisten 22 mit mehr als sechs Flaschen 24 oder weniger als sechs Flaschen 24 eingegeben werden können. Bei den Flaschen 24 handelt es sich insbesondere um Glasflaschen, also um Mehrwegfalschen. Alternativ kann es sich auch um PET-Einwegflaschen oder Kunststoff-Mehrwegflaschen 24 handeln.
  • Ferner umfasst die Vorrichtung 10, 12, 14 eine Beleuchtungseinheit 26, wobei die Beleuchtungseinheit 26 und die plenoptische Kamera 18 derart angeordnet sind, dass eine Dunkelfeldbeleuchtung des Leergutes 16 erfolgt. Unter einer Dunkelfeldbeleuchtung wird insbesondere verstanden, dass keine direkte Beleuchtung folgt, sondern dass nur Streulicht von dem Leergut 16 in das Objektiv der plenoptischen Kamera 18 gelangt, was den Vorteil hat, dass Reflektionen 28 an den Flaschenmündungen 30 der Flaschen 24 besser detektierbar sind.
  • Mit Hilfe der plenoptischen Kamera 18 wird ein Lichtfeld eines Erfassungsbereiches der plenoptischen Kamera 18, in dem das Leergut 16 angeordnet ist, und somit auch des Leerguts 16 selbst aufgenommen. Der allgemeine Aufbau der plenoptischen Kamera 18 wird im Folgenden noch im Zusammenhang mit Figur 4 näher beschrieben. Alternativ kann an Stelle einer plenoptischen Kamera 18 auch jede andere Bilderfassungseinheit verwendet werden, die in der Lage ist, Lichtfelder aufzunehmen.
  • Ferner hat die Vorrichtung 10, 12, 14 eine Steuereinheit 40, die mindestens einen in ihr hinterlegten Bilderverarbeitungsalgorithmus abarbeitet, um aus dem aufgenommenen Lichtfeld des Leerguts 16 Abmessungen des Leergutes 16 zu ermitteln und in Abhängigkeit dieser ermittelten Abmessungen das Leergut 16 zu klassifizieren. Insbesondere werden die Kanten der Getränkekiste 22, die Anzahl und/oder Position der Fächer der Getränkekiste 22 und/oder die Abmessungen der Flaschen 24 mit Hilfe des Lichtfelds bzw. aus dem Lichtfeld ermittelt.
  • Über den Vergleich der ermittelten dreidimensionalen Abmessungen des Leergutes 16 mit in einer Datenbank hinterlegten Abmessungen ermittelt die Steuereinheit 40, ob es sich bei dem eingegebenen Objekt 16 tatsächlich um Leergut 16 handelt und ob dieses Leergut 16 pfandpflichtig ist. Insbesondere ermittelt die Steuereinheit 40, um welche Art von Leergut 16 es sich handelt und wie hoch der für dieses Leergut 16 vorgesehene Pfandbetrag ist.
  • Unter einem Lichtfeld wird eine Funktion verstanden, welche die Lichtmenge beschreibt, die an jedem Punkt des dreidimensionalen Raums in alle Richtungen einfällt. Somit wird bei einem vierdimensionalen Lichtfeld mit Hilfe der plenoptischen Kamera 18 nicht nur der Grauwert eines jeden Bildpunktes, sondern ebenfalls die Richtung des einfallenden Lichtstrahles ermittelt. Dies ermöglicht zum einen eine Re-Fokussierung, wie dies in Zusammenhang mit den Figuren 5 und 6 noch näher beschrieben ist, und zum anderen, dass das Leergut 16 in einem durch die plenoptische Kamera 18 vorbestimmte Bereichen aus unterschiedlichen Blickwinkel mit Hilfe nur des einen aufgenommenen Lichtfeldes betrachtet werden kann. Dies hat zur Folge dass eine genaue Vermessung des Leergutes 16 möglich ist. Insbesondere können auch Kanten, die parallel zu den Epipolarlinien verlaufen genau vermessen werden, da entsprechende Blickwinkel eingenommen werden können. Ferner ist es möglich, jede zu betrachtende Kante durch eine entsprechende Re-Fokussierung scharf abzubilden, sodass diese Kante zuverlässig und genau detektiert und ihre Abmessung ermittelt werden kann.
  • Darüber hinaus hat die plenoptische Kamera 18 den Vorteil, dass nur eine einzige Kamera notwendig ist, mit deren Hilfe auch nur genau ein Lichtfeld eines jeden Leergutes 16 aufgenommen werden muss. Somit ist ein einfacher kostengünstiger Aufbau erreicht und ein Kalibrierungsaufwand, wie dieser bei einer Stereokamera notwendig ist, wird vermieden.
  • Bei dem ersten und dem zweiten Ausführungsbeispiel nach den Figuren 1 und 2 nimmt die plenoptische Kamera 18 das Lichtfeld des Leergutes 16 direkt auf, wohingegen bei der dritten Ausführungsform nach Figur 3 ein Spiegel 50 vorgesehen ist, der Leergut 16 spiegelt und auf den die plenoptische Kamera 18 gerichtet ist. Hierdurch wird ein besonders kompakter Aufbau erreicht.
  • In Figur 4 ist eine schematische Darstellung einer plenoptischen Kamera 18 sowie einer Flasche 24 dargestellt. Die plenoptische Kamera 18 umfasst eine Hauptlinse 42, mit deren Hilfe ein virtuelles Bild 44 der Flasche 24 erzeugt wird. Zwischen dem Bildsensor 46 der plenoptischen Kamera 18 und diesem virtuellem Bild 44 ist ein Linsenarray 48 aus Mikrolinsen angeordnet, von denen eine beispielhaft mit dem Bezugszeichen 50 bezeichnet ist. Diese Mikrolinsen 50 "betrachten" das virtuelle Bild 44 und bilden dieses auf dem Bilderfassungssensor 46 ab. Durch die Mikrolinsen 50 des Linsenarrays 48 wird jeder Bildpunkt des virtuellen Bildes 44 nochmals gebrochen und zu einem Kegel erweitert, der kreisförmig auf den Bilderfassungssensor 46 trifft. Über die Position, in der der Lichtstrahl innerhalb des entsprechenden Kegels der jeweiligen Mikrolinse 50 auf dem Bilderfassungssensor 46 auftrifft, kann die Richtung des einfallenden Lichtstrahls ermittelt werden.
  • Bei einer alternativen plenoptischen Kamera 18 kann an Stelle eines 4D-Lichtfeldes auch ein 7D-Lichtfeld ermittelt werden, dass noch weitere Information über das aufgenommene Leergut 16 enthält. Bei den sieben Dimensionen handelt es sich insbesondere um die dreidimensionale Geometrie, die zweidimensionalen Reflektionen, die Wellenlänge und die Zeit.
  • In den Figuren 5 und 6 ist ein Lichtfeld einer Getränkekiste 22 gezeigt, wobei in beiden Figuren das gleiche Lichtfeld dargestellt ist. In Figur 5 ist die Fokusebene, die auch als Schärfenebene bezeichnet wird, im Bereich der vorderen Seite der Getränkekiste 22, bei Figur 6 dagegen im Bereich der hinteren Seite der Getränkekiste 22 eingestellt, sodass in Figur 5 die Vorderseite und in Figur 6 die Hinterseite scharf ist und die entsprechenden Kanten durch die Abarbeitung der entsprechenden Bildverarbeitungsalgorithmen zuverlässig und genau ermittelt und vermessen werden können. Durch die Verwendung eines Lichtfeldes ist das Scharfstellen in verschiedenen Fokusebenen möglich, ohne dass hierfür mehrere Bilder aufgenommen werden müssen. Ein entsprechendes Verändern der Fokusebene wird auch als Re-Fokussieren bezeichnet. In den Figuren 5 und 6 sind die scharf abgebildeten Kanten jeweils durch eine Einzellinie, die unscharfen Kanten durch Doppellinien dargestellt.
    • Bezugszeichenliste
    • 10, 12, 14
    Vorrichtung
    16
    Leergut
    18
    Kamera
    20
    Eingabefach
    22
    Getränkekiste
    24
    Flasche
    26
    Beleuchtungseinheit
    28
    Reflektion
    30
    Mündung
    40
    Steuereinheit
    42
    Hauptlinse
    44
    virtuelles Bild
    46
    Bildsensor
    48
    Linsenarray
    50
    Mikrolinse

Claims (13)

  1. Vorrichtung zur Rücknahme von Leergut,
    mit einem Eingabefach (20) zur Eingabe des Leerguts (16) in einen Erfassungsbereich,
    einer Bilderfassungseinheit (18) zur Aufnahme mindestens eines Lichtfeldes des Erfassungsbereichs, und
    mit einer Steuereinheit (40), die mit Hilfe des Lichtfeldes das Leergut (16) klassifiziert.
  2. Vorrichtung (10, 12, 14) nach Anspruch 1, dadurch gekennzeichnet, dass eine Beleuchtungseinheit (26) zur Beleuchtung des Erfassungsbereich vorgesehen ist.
  3. Vorrichtung (10, 12, 14) nach Anspruch 2, dadurch gekennzeichnet, dass die Beleuchtungseinheit(26) und die Bilderfassungseinheit (18) derart angeordnet, dass eine Dunkelfeldbeleuchtung des Leerguts (16) erfolgt.
  4. Vorrichtung (10, 12, 14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungseinheit (18) eine plenoptische Kamera umfasst.
  5. Vorrichtung (10, 12, 14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Steuereinheit (40) eine Datenbank hinterlegt ist, in der verschiedenen Leergutklassen charakteristische Merkmale zugeordnet sind, dass die Steuereinheit (40) in dem Lichtfeld mindestens ein charakteristisches Merkmal ermittelt, und dass die Steuereinheit (40) das Leergut (16) in Abhängigkeit dieses ermittelten charakteristischen Merkmals klassifiziert.
  6. Vorrichtung (10, 12, 14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Steuereinheit (40) mindestens ein Bildverarbeitungsalgorithmus hinterlegt ist, dass die Steuereinheit (40) diesen Bildverarbeitungsalgorithmus zur Ermittlung mindestens einer Abmessung des Leerguts (16) aus dem Lichtfeld abarbeitet, und dass die Steuereinheit (40) das Leergut (16) in Abhängigkeit dieser Abmessung klassifiziert.
  7. Vorrichtung (10, 12, 14) nach Anspruch 6, dadurch gekennzeichnet, dass die Steuereinheit (40) mit Hilfe des Lichtfeldes eine dreidimensionale Vermessung des Leerguts (16) durchführt.
  8. Vorrichtung (10, 12, 14) nach Anspruch 7, dadurch gekennzeichnet, dass die Steuereinheit (40) die Höhe, Breite und/oder Tiefe einer als Leergut (16) eingegebenen Getränkekiste (22), die Positionen und/oder Abmessungen der Fächer der Getränkekiste (22) und/oder die Höhe und/oder mindestens einen Durchmesser mindestens einer in einem der Fächer aufgenommenen Flasche (24) ermittelt.
  9. Vorrichtung (10, 12, 14) nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Steuereinheit (40) zur Vermessung des Leerguts (16) die Abbildung des Leerguts (16) in dem Lichtfeld in einer erste Bildebene und mindestens einer zweiten Bildebene fokussiert.
  10. Vorrichtung (10, 12, 14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass genau ein Lichtfeld des Erfassungsbereichs mit Hilfe der Bilderfassungseinheit (18) aufgenommen wird.
  11. Vorrichtung (10, 12, 14) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (40) das Leergut (16) in Abhängigkeit der in dem Lichtfeld enthaltenen Informationen über die dreidimensionale Geometrie des Leerguts (16), über die das Leergut (16) auftretenden zweidimensionalen Reflektionen, über die Wellenlänge und/oder über die Zeit, klassifiziert.
  12. Verfahren zum Klassifizieren von Leergut,
    bei dem das Leergut (16) in ein Eingabefach (20) eingegeben wird,
    mindestens ein Lichtfeld (16) des Leerguts (16) aufgenommenen wird, und
    bei dem das Leergut (16) in Abhängigkeit des Lichtfeldes klassifiziert wird.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das Leergut (16) mit einer Dunkelfeldbeleuchtung beleuchtet wird.
EP12182005.4A 2011-09-01 2012-08-28 Vorrichtung zur Rücknahme von Leergut und Verfahren zum Klassifizieren von Leergut mit Hilfe von Lichtfeldern Not-in-force EP2565851B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201110053179 DE102011053179A1 (de) 2011-09-01 2011-09-01 Vorrichtung zur Rücknahme von Leergut und Verfahren zum Klassifizieren von Leergut mit Hilfe von Lichtfeldern

Publications (3)

Publication Number Publication Date
EP2565851A2 true EP2565851A2 (de) 2013-03-06
EP2565851A3 EP2565851A3 (de) 2013-03-27
EP2565851B1 EP2565851B1 (de) 2015-07-01

Family

ID=46969998

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12182005.4A Not-in-force EP2565851B1 (de) 2011-09-01 2012-08-28 Vorrichtung zur Rücknahme von Leergut und Verfahren zum Klassifizieren von Leergut mit Hilfe von Lichtfeldern

Country Status (4)

Country Link
EP (1) EP2565851B1 (de)
DE (1) DE102011053179A1 (de)
DK (1) DK2565851T3 (de)
ES (1) ES2546990T3 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3040708A4 (de) * 2013-08-30 2016-08-31 Fujifilm Corp Vorrichtung zum messen optischer eigenschaften und verfahren zum messen optischer eigenschaften
EP3866128A1 (de) * 2020-02-14 2021-08-18 Sielaff Gmbh & Co. Kg Automatenbau Erkennungssystem und verfahren zur objekterkennung für einen oder in einem annahmeautomaten

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI73329B (fi) * 1984-08-29 1987-05-29 Halton Oy Anordning foer identifiering och registrering av flaskor och/eller flaskkorgar.
GB2288016B (en) * 1994-03-31 1998-05-13 Tomra Systems As Device for generating,detecting and recognizing a contour image of a liquid container
DE19906773A1 (de) * 1999-02-17 2000-08-24 Prokent Ag Einrichtung zur dreidimensionalen Vermessung in Leergutlogistiksystemen
DE20006318U1 (de) * 2000-04-06 2000-10-26 Stiefel GmbH, 75038 Oberderdingen Vorrichtung zur zumindest teilweisen Erfassung der Umrißkonktur eines Gegenstands
DE10359781B4 (de) * 2003-12-19 2006-01-05 Krones Ag Vorrichtung zur Inspektion von Leergut-Gebinden
EP1947614B1 (de) * 2005-01-25 2018-10-10 Tomra Systems ASA Förderbandmittel für zurücksendbare Elemente
DE102005007492A1 (de) * 2005-02-17 2006-08-31 Hecht, Siegmar, Dr.-Ing. Anordnung zur dreidimensionalen Vermessung von Leergut in Leergutautomaten
DE102008025658A1 (de) * 2008-05-28 2009-12-03 Wincor Nixdorf International Gmbh Optische Erfassung und Klassifizierung von gegenständlichen Leergut-Objekten in einem Leergut-Rückgabesystem
DE102008026180A1 (de) * 2008-05-30 2009-12-03 Wincor Nixdorf International Gmbh Logoerkennung von Leergutgebinden
US7949252B1 (en) * 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
DE102009000834A1 (de) * 2009-02-13 2010-09-16 Sielaff Gmbh & Co. Kg Automatenbau Bilderfassungsvorrichtung und Verwendung derselben

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3040708A4 (de) * 2013-08-30 2016-08-31 Fujifilm Corp Vorrichtung zum messen optischer eigenschaften und verfahren zum messen optischer eigenschaften
EP3866128A1 (de) * 2020-02-14 2021-08-18 Sielaff Gmbh & Co. Kg Automatenbau Erkennungssystem und verfahren zur objekterkennung für einen oder in einem annahmeautomaten

Also Published As

Publication number Publication date
ES2546990T3 (es) 2015-09-30
DE102011053179A1 (de) 2013-03-07
DK2565851T3 (en) 2015-09-21
EP2565851B1 (de) 2015-07-01
EP2565851A3 (de) 2013-03-27

Similar Documents

Publication Publication Date Title
EP3491331B1 (de) Verfahren und vorrichtung zur optischen untersuchung transparenter körper
DE3926349C2 (de)
EP1645839B1 (de) Vorrichtung und Verfahren zur Überwachung von bewegten Objekten
EP3537339A2 (de) Kamera und verfahren zur erfassung von bilddaten
DE102009039254A1 (de) Vorrichtung und Verfahren zum Inspizieren etikettierter Gefäße
DE102006053788A1 (de) Verfahren zur Erkennung von Verschmutzungen im Bereich von Farbübergängen auf Wertdokumenten und Mittel zur Durchführung des Verfahrens
DE102014216188A1 (de) Optisches Inspektionsverfahren und optische Inspektionsvorrichtung für Behälter
EP3353537B1 (de) Inspektionsverfahren und -vorrichtung zur optischen durchlichtinspektion von unetikettierten behältern
WO2013091855A1 (de) Verfahren und vorrichtung zur prüfung eines sicherheitsmerkmals eines wertdokuments
DE102011001127A1 (de) Inspektionsvorrichtung für Leergut und Verfahren zur Inspektion von Leergut
CH688663A5 (de) Verfahren und Vorrichtung zur Inspektion von Gegenstaenden, insbesondere von Flaschen.
EP2565851B1 (de) Vorrichtung zur Rücknahme von Leergut und Verfahren zum Klassifizieren von Leergut mit Hilfe von Lichtfeldern
DE202006020599U1 (de) Optische Erfassung von bewegten Objekten und Vorrichtung
EP3267367B1 (de) Zählscheibenvorrichtung
EP3281184B1 (de) Verfahren und vorrichtung zur bestimmung des füllstands von münztuben
WO2015052010A1 (de) Vorrichtung und verfahren zum vermessen von scheiben, insbesondere von windschutzscheiben von fahrzeugen
WO2015052011A1 (de) Vorrichtung und verfahren zum vermessen von scheiben, insbesondere von windschutzscheiben von fahrzeugen
EP2294368A1 (de) Verfahren sowie vorrichtung zur erfassung des kantenprofils von flaschen oder dergleichen behältern
EP4217785B1 (de) Abbildungssystem, insbesondere für eine kamera
EP1563467B1 (de) Verfahren zur fotografischen aufnahme eines zylinderförmigen, insbesondere plattenförmigen gegenstandes
DE102010055427A1 (de) Verfahren und Vorrichtung zur Untersuchung des optischen Zustandes von Wertdokumenten
WO2018086738A1 (de) Vorrichtung und verfahren zur klassifizierung von wertdokumenten, insbesondere banknoten, sowie wertdokumentbearbeitungssystem
EP3866128A1 (de) Erkennungssystem und verfahren zur objekterkennung für einen oder in einem annahmeautomaten
DE102005052044A1 (de) Verfahren und Vorrichtung zur Vermessung eines transparenten Objekts
AT509970B1 (de) Verfahren zur aufnahme von bildern von gegenständen

Legal Events

Date Code Title Description
PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIC1 Information provided on ipc code assigned before grant

Ipc: G07F 7/06 20060101AFI20130215BHEP

17P Request for examination filed

Effective date: 20130802

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20130918

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150227

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 734366

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150715

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502012003588

Country of ref document: DE

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20150915

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2546990

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20150930

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: NO

Ref legal event code: T2

Effective date: 20150701

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151002

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151102

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20151101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502012003588

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150831

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150831

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20160429

26N No opposition filed

Effective date: 20160404

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150901

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20120828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20150701

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20190726

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20190726

Year of fee payment: 8

Ref country code: ES

Payment date: 20190902

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20190724

Year of fee payment: 8

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20200831

REG Reference to a national code

Ref country code: NL

Ref legal event code: MM

Effective date: 20200901

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 734366

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200901

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20220110

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200829

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20220824

Year of fee payment: 11

Ref country code: NO

Payment date: 20220822

Year of fee payment: 11

Ref country code: GB

Payment date: 20220824

Year of fee payment: 11

Ref country code: FI

Payment date: 20220818

Year of fee payment: 11

Ref country code: DE

Payment date: 20220624

Year of fee payment: 11

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502012003588

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20230828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230829

Ref country code: NO

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230828

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230828

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240301