DE102010050019A1

DE102010050019A1 - Removing packing units from stock of several packing units using automatically controlled gripping device, comprises e.g. recording an image of packing units forming stock, using a camera, and identifying grippable packing unit in stock

Info

Publication number: DE102010050019A1
Application number: DE102010050019A
Authority: DE
Inventors: Thomas Wilkening
Original assignee: B B MASCHB GmbH; B B MASCHINENBAU GmbH
Current assignee: B B MASCHB GmbH; B B MASCHINENBAU GmbH
Priority date: 2010-11-02
Filing date: 2010-11-02
Publication date: 2012-05-03

Abstract

Removing packing units from a stock of several packing units by means of an automatically controlled gripping device, comprises (i) recording an image of the packing units forming the stock, using at least one camera, (ii) identifying at least one grippable packing unit in the stock, in the image, using an image processing, (iii) removing an identified packing unit, taking the stock, using the gripping device, and (iv) transporting the packaging unit to a destination, preferably inserting in a product packaging. The individual packing units are provided with at least one invisible markings. Removing packing units (1) from a stock of several packing units by means of an automatically controlled gripping device, comprises (i) recording an image of the packing units forming the stock, using at least one camera, (ii) identifying at least one grippable packing unit in the stock, in the image, using an image processing, (iii) removing an identified packing unit, taking the stock, using the gripping device, and (iv) transporting the packaging unit to a destination, preferably inserting in a product packaging. The individual packing units are provided with at least one invisible markings (M1), before the formation of the stock, which is visible in spectral region, and the stock is illuminated for identification, to produce a light emission and/or light reflection at the markings of the packaging unit, where the light emission and/or reflection of light is recorded with the camera.

Description

Die Erfindung betrifft ein Verfahren zum Entnehmen von Verpackungseinheiten aus einem Vorrat von mehreren Verpackungseinheiten mittels einer automatisch gesteuerten Greifvorrichtung, bei dem mit wenigstens einer Kamera ein Bild der den Vorrat bildenden Verpackungseinheiten aufgenommen wird und in dem Bild mittels einer Bildverarbeitung, z. B. durch eine Mustererkennung, wenigstens eine ergreifbare Verpackungseinheit in dem Vorrat identifiziert wird, die Greifvorrichtung eine identifizierte Verpackungseinheit ergreift, dem Vorrat entnimmt und die Verpackungseinheit an einen Zielort transportiert, insbesondere in eine Produktverpackung einlegt.The invention relates to a method for removing packaging units from a supply of a plurality of packaging units by means of an automatically controlled gripping device, in which with at least one camera an image of the packaging units forming the stock is taken and in the image by means of image processing, for. B. by a pattern recognition, at least one tangible packaging unit is identified in the stock, the gripping device takes an identified packaging unit, removes the supply and transported the packaging unit to a destination, in particular in a product packaging inserts.

Verfahren dieser Art sind im Stand der Technik bekannt und werden z. B. in einer möglichen Anwendung eingesetzt, um einzelne Verpackungseinheiten z. B. als sogenannten Beipack in eine Produktverpackung zu weiteren Inhalten hinzuzufügen. Beispielsweise können so einzelne Verpackungseinheiten mit Backpulver einer Verpackung mit einer Fertigkuchenmischung zugefügt werden. Verpackungseinheiten im Sinne der Erfindung bilden jegliche Arten von Verpackungen, insbesondere mit einem Inhalt, beispielsweise also inhaltsgefüllte Tüten.Processes of this type are known in the art and z. B. used in a possible application to individual packaging units z. B. as so-called accessory pack in a product packaging to add more content. For example, individual packaging units with baking powder can be added to a packaging with a finished cake mixture. Packaging units according to the invention form any type of packaging, in particular with a content, for example, content-filled bags.

Es ist dabei bekannt, aus den einzelnen Verpackungseinheiten einen Vorrat zu bilden, aus dem solange, bis der Vorrat aufgebraucht ist, einzelne Verpackungseinheiten entnommen werden können. Zur Bildung eines solchen Vorrats können z. B. wenigstens zwei, bevorzugt eine Vielzahl einzelner Verpackungseinheiten in einem Behälter, z. B. einer Kiste für die Entnahme angeordnet sein. Gerade bei flächigen dünnen Verpackungseinheiten, wie z. B. bei Tüten, können die einzelnen Verpackungseinheiten im Vorrat ungeordnet herumliegen und sich z. B. gegenseitig überdecken.It is known from the individual packaging units to form a stock, from which until the stock is used up, individual packaging units can be removed. To form such a stock can z. B. at least two, preferably a plurality of individual packaging units in a container, for. B. arranged a box for removal. Especially with flat thin packaging units, such. As in bags, the individual packaging units may be lying around disordered in the supply and z. B. cover each other.

Neben der manuellen Entnahme einzelner Verpackungseinheiten durch Arbeitspersonal kann diese Entnahme bekannter Weise auch automatisiert erfolgen, wofür z. B. eine automatisch angesteuerte Greifvorrichtung, z. B. mit einem Vakuumgreifer verwendet werden kann. Die Greifvorrichtung kann z. B. durch einen Roboterarm realisiert sein. Von außen werden einer solchen Greifvorrichtung mittels einer übergeordneten Steuerung Daten, insbesondere Befehle und/oder Koordinaten übermittelt, die die Greifvorrichtung veranlassen, eine bestimmte Position anzufahren und von dieser Position eine Verpackungseinheit aufzunehmen.In addition to the manual removal of individual packaging units by workers, this removal known manner can also be automated, for which z. B. an automatically controlled gripping device, for. B. can be used with a vacuum gripper. The gripping device can, for. B. be realized by a robot arm. From the outside of such a gripping device data, in particular commands and / or coordinates are transmitted by means of a higher-level control, which cause the gripping device to approach a certain position and record a packaging unit from this position.

Die Position, die angefahren werden soll, wird dabei üblicherweise mittels einer Bildverarbeitung ermittelt. Hierzu wird wenigstens ein Bild, insbesondere kontinuierlich eine Bildfolge mit wenigstens einer Kamera von dem zur Verfügung stehenden Vorrat aufgenommen und das jeweilige Bild im Rahmen der Bildverarbeitung analysiert, z. B. einer automatischen Mustererkennung zugeführt. Eine solche Bildverarbeitung, z. B. Mustererkennung ist in Fachkreisen bekannt und wird somit für die weiterhin zu beschreibende Erfindung als bekannt vorausgesetzt.The position to be approached is usually determined by means of image processing. For this purpose, at least one image, in particular a continuous image sequence with at least one camera is taken from the available stock and analyzed the respective image in the image processing, z. B. fed to an automatic pattern recognition. Such image processing, z. B. pattern recognition is known in the art and is thus assumed to be known for the invention to be described further.

Eine solche Bildverarbeitung, insbesondere Mustererkennung kann z. B. bei bekannten Verfahren darauf abstellen, eine Außenkontur einer Verpackungseinheit zu erkennen, so eine Verpackungseinheit in dem Vorrat zu identifizieren, die Position der Verpackungseinheit zu bestimmen und die Verpackungseinheit sodann zu ergreifen und aus dem Vorrat zu entnehmen. Ein solches Vorgehen setzt voraus, dass die Außenkontur der Verpackungseinheiten einen genügenden Kontrast aufweist, was häufig problematisch ist, wenn eine Vielzahl farblich gleich gestalteter Verpackungseinheiten in einem Vorrat aufeinanderliegt. Besonders problematisch ist dies, wenn Verpackungseinheiten farblich weiss gestaltet sind, was bei beizupackenden Tüten häufig vorkommt.Such image processing, in particular pattern recognition can, for. B. turn off in known methods to recognize an outer contour of a packaging unit, so to identify a packaging unit in the stock, to determine the position of the packaging unit and then grab the packaging unit and remove from the stock. Such an approach requires that the outer contour of the packaging units have a sufficient contrast, which is often problematic when a plurality of identical color packaging units in a supply of each other. This is particularly problematic when packaging units are colored white, which often occurs in bags to be packed.

Es ist daher auch bekannt, Verpackungseinheiten mit einer aufgedruckten Markierung zu versehen, die mittels der Mustererkennung bei der Bildverarbeitung identifiziert werden soll. Zusätzliche Markierungen, die dem Zweck einer verbesserten Erkennung bei der Bildverarbeitung dienen, werden jedoch von den Verbrauchern als störend empfunden. Auch kann eine solche Markierung einer Verpackungseinheit in einer Mustererkennung nur schwer erkannt werden, wenn mehrere Verpackungseinheiten einander z. B. teilweise überdecken und durch eine Kamera somit nur ein Teil einer Markierung erfasst wird.It is therefore also known to provide packaging units with a printed mark which is to be identified by means of the pattern recognition in image processing. Additional markings, which serve the purpose of improved recognition in image processing, however, are perceived by the consumers as disturbing. Also, such a marking of a packaging unit in a pattern recognition can be recognized only with difficulty if several packaging units each other z. B. partially cover and thus only part of a mark is detected by a camera.

Selbst wenn in einem solchen Fall noch eine Mustererkennung erfolgen sollte, so bereitet doch das Ergreifen einer teilweise verdecken Verpackungseinheit Probleme. Eine solche verdeckte Verpackungseinheit wird ggfs. nicht sicher genug ergriffen und geht beim Transport verloren oder es werden mehrere Verpackungseinheiten gleichzeitig ergriffen.Even if in such a case still a pattern recognition should take place, nevertheless the taking of a partially concealed packaging unit causes problems. Such a hidden packaging unit is possibly. Not taken sufficiently secure and is lost during transport or multiple packaging units are taken simultaneously.

Es ist daher die Aufgabe der Erfindung ein Verfahren der eingangs genannten Art dahingehend weiterzubilden, dass ästhetisch nachteilige Markierungen vermieden werden und ein sicheres Ergreifen von Verpackungseinheiten, insbesondere von definitiv frei liegenden nicht verdeckten Verpackungseinheiten gewährleistet wird.It is therefore an object of the invention to develop a method of the type mentioned in that aesthetically disadvantageous markings are avoided and a secure gripping of packaging units, in particular of definitely exposed uncovered packaging units is guaranteed.

Diese Aufgabe wird dadurch gelöst, dass vor der Bildung des Vorrats die einzelnen Verpackungseinheiten mit wenigstens einer im sichtbaren Spektralbereich unsichtbaren Markierung versehen werden und der Vorrat zur Identifizierung beleuchtet wird, um eine Lichtemission und/oder Lichtreflektion an der wenigstens einen Markierung der Verpackungseinheit zu erzeugen, wobei die Lichtemission und/oder Lichtreflektion mit der Kamera aufgenommen wird.This object is achieved by providing the individual packaging units with at least one marking which is invisible in the visible spectral range and illuminating the supply for identification in order to detect light emission and / or light reflection at the at least one marking of the reservoir Produce packaging unit, wherein the light emission and / or light reflection is recorded with the camera.

Ein wesentlicher Gedanke der Erfindung beruht darauf, dass die wenigstens eine Markierung, die auf einer Verpackungseinheit zeitlich vor der Anordnung der Verpackungseinheiten in einem Vorrat angebracht wird, insbesondere auf wenigstens einer Seite der Verpackungseinheit angebracht wird, die automatisch mit der Greifvorrichtung ergriffen wird, für einen Verbraucher unsichtbar ist.An essential idea of the invention is based on the fact that the at least one mark which is mounted on a packaging unit in a supply prior to the arrangement of the packaging units, in particular on at least one side of the packaging unit, which is automatically gripped by the gripping device, for a Consumer is invisible.

Für den Verbraucher unsichtbar soll hier bedeuten, dass ein Verbraucher die wenigstens eine Markierung mit dem Auge alleine bei zumindest normaler, d. h. nicht untersuchender Betrachtung nicht erkennen kann. Eine solche Markierung weist somit im sichtbaren Spektralbereich des Lichtes, insbesondere des normalen Umgebungslichtes/Tageslichtes keine, zumindest keine wesentliche Reflektion auf. Als sichtbarer Spektralbereich, der mit dem Auge normalerweise wahrgenommen werden kann, wird dabei bevorzugt der Wellenlängenbereich von 400 nm bis 700 nm verstanden.Invisible to the consumer here means that a consumer, the at least one mark with the eye alone at least normal, d. H. non-investigative consideration can not recognize. Such a marking thus has no visible reflection, at least in the visible spectral range of the light, in particular of the normal ambient light / daylight. As a visible spectral range, which can normally be perceived by the eye, is preferably understood the wavelength range of 400 nm to 700 nm.

Eine erfindungsgemäß auf einer Verpackungseinheit, insbesondere auf wenigstens einer oben liegenden (insbesondere zur Kamera weisenden) Seite der Verpackungseinheit angebrachte Markierung stört somit nicht das ästhetische Empfinden der Verbraucher, wenn dieser eine solche unsichtbar markierte Verpackungseinheit aus einer Produktverpackung entnimmt.A marking applied on a packaging unit according to the invention, in particular on at least one overhead side (in particular facing the camera) of the packaging unit thus does not disturb the aesthetic sensation of the consumer when removing such an invisibly marked packaging unit from a product package.

Gemäß einer bevorzugten Ausführung der Erfindung kann es vorgesehen sein, dass die wenigstens eine Markierung jeder Verpackungseinheit durch Aufdruck, insbesondere Tintenstrahlaufdruck mit einer im sichtbaren Wellenlängenbereich unsichtbaren Tinte erfolgt. Z. B. kann eine, insbesondere jede Verpackungseinheit durch eine Druckvorrichtung hindurchgefördert werden, dort unsichtbar mit wenigstens einer Markierung versehen werden und bevorzugt anschließend automatisch zu dem Vorrat hinzugefügt werden, z. B. in eine Kiste hinein geführt werden.According to a preferred embodiment of the invention, it may be provided that the at least one marking of each packaging unit is effected by imprinting, in particular inkjet printing, with an ink which is invisible in the visible wavelength range. For example, one, in particular each packaging unit can be conveyed through a printing device, there invisibly provided with at least one marking and then preferably automatically added to the stock, for. B. in a box into it.

Ebenso kann es vorgesehen sein, den Aufdruck der Tinte mit anderen als dem Tintenstrahldruckverfahren vorzunehmen, z. B. auch durch Stempeldruck.It may also be provided to carry out the printing of the ink with other than the ink jet printing method, for. B. also by stamp printing.

Die für den Verbraucher unsichtbar markierte Verpackungseinheit ist bei dem erfindungsgemäßen Verfahren für die wenigstens eine zur Aufnahme des Vorrats eingesetzte Kamera zumindest während der Bildaufnahme durch die wenigstens eine Kamera sichtbar, d. h. in den erfassten Bildern für die nachfolgende Bildverarbeitung erkennbar und z. B. im Rahmen einer Mustererkennung identifizierbar.The packaging unit invisibly marked for the consumer is visible in the method according to the invention for the at least one camera used for receiving the stock, at least during the image acquisition by the at least one camera, ie. H. recognizable in the captured images for subsequent image processing and z. B. identifiable as part of a pattern recognition.

Hierfür wird bevorzugt der Vorrat, insbesondere von oben oder teilweise seitlich beleuchtet mit wenigstens einer dafür eingesetzten Beleuchtungsvorrichtung. Die Wellenlänge der Beleuchtungsvorrichtung ist dabei derart auf die wenigstens eine Markierung abgestimmt, dass von der wenigstens einen Markierung Licht einer solchen Wellenlänge ausgeht, das mit der wenigstens einen Kamera aufgenommen werden kann.For this purpose, preferably the supply, in particular illuminated from above or partially laterally with at least one lighting device used for this purpose. The wavelength of the illumination device is matched to the at least one marking in such a way that, starting from the at least one marker, light of such a wavelength can be recorded with the at least one camera.

Dabei kann es in einer Ausführung vorgesehen sein, dass die Beleuchtungsvorrichtung Licht einer ersten Wellenlänge oder eines ersten Wellenlängenbereiches emittiert, das in der Markierung, d. h. dem Material, welches die Markierung bildet, umgesetzt wird in Licht einer zweiten Wellenlänge oder eines zweiten Wellenlängenbereiches, welches von der Kamera erfasst werden kann, insbesondere auch dann, wenn das Licht der ersten Wellenlänge/des ersten Wellenlängenbereiches von der Kamera nicht erfasst werden kann. Für die Kenntlichmachung der Markierung bedarf es hier also eines Konversionseffektes, wie z. B. dem Effekt der Fluoreszenz, der z. B. innerhalb der zum Druck verwendeten Tinte stattfindet.It may be provided in one embodiment that the illumination device emits light of a first wavelength or a first wavelength range in the marker, d. H. the material forming the mark is converted into light of a second wavelength or of a second wavelength range which can be detected by the camera, in particular even if the light of the first wavelength / of the first wavelength range can not be detected by the camera. For the identification of the mark it thus requires a conversion effect, such. B. the effect of fluorescence, the z. B. takes place within the ink used for printing.

Es kann daher in dieser Ausführung bevorzugt vorgesehen sein, dass die wenigstens eine Markierung jeder Verpackungseinheit mit einer Tinte erzeugt wird, die im UV-Wellenlängenbereich, insbesondere kleiner 400 nm absorbierend ist. Wird diese Markierung mit UV-Licht, insbesondere kleiner 400 nm beleuchtet, so wird von der Markierung aktiv Fluoreszenzlicht emittiert, das von der wenigstens einen Kamera erfassbar ist.It may therefore be preferred in this embodiment that the at least one marking of each packaging unit is produced with an ink which is absorbent in the UV wavelength range, in particular less than 400 nm. If this marking is illuminated with UV light, in particular less than 400 nm, then the marker actively emits fluorescent light which can be detected by the at least one camera.

In üblichem Umgebungslicht, insbesondere Tageslicht ist die Intensität des UV-Licht-Anteil mit Wellenlängen kleiner 400 nm derart gering, dass eine evtl. stattfindende Fluoreszenz durch das Umgebungslicht und dessen Reflektion auf der Verpackungseinheit überstrahlt wird, also die Markierung für einen Verbraucher praktisch unsichtbar ist, zumindest bei üblicher flüchtiger d. h. nicht untersuchender Betrachtung.In usual ambient light, in particular daylight, the intensity of the UV light component with wavelengths less than 400 nm is so small that a possibly occurring fluorescence is outshined by the ambient light and its reflection on the packaging unit, ie the marking is practically invisible to a consumer , at least at usual volatile d. H. non-investigative consideration.

In einer anderen erfindungsgemäßen Ausführung kann es auch vorgesehen sein, dass die wenigstens eine Markierung jeder Verpackungseinheit mit einer Tinte erzeugt wird, die im IR-Wellenlängenbereich, insbesondere größer 700 nm reflektierend ist. Für die Bilderfassung und Analyse wird ein solche Markierung, bzw. der gesamte Vorrat mit IR-Licht, d. h. Infrarotlicht, insbesondere größer 700 nm mit wenigstens einer Beleuchtungsvorrichtung beleuchtet. An der Markierung wird das Infrarotlicht reflektiert und kann von der wenigstens einen Kamera erfasst werden. Bei dieser Ausführung entspricht die Wellenlänge des Beleuchtungslichtes der Beleuchtungsvorrichtung bzw. deren Wellenlängenbereich gleichzeitig auch der Wellenlänge bzw. dem Wellenlängenbereich, der mit der Kamera erfasst werden kann.In another embodiment according to the invention, it can also be provided that the at least one marking of each packaging unit is produced with an ink which is reflective in the IR wavelength range, in particular greater than 700 nm. For image acquisition and analysis, such a marking, or the entire stock with IR light, ie infrared light, in particular greater than 700 nm illuminated with at least one lighting device. At the mark, the infrared light is reflected and can be detected by the at least one camera. In this embodiment, the wavelength of the illumination light corresponds to the illumination device or its wavelength range at the same time also the wavelength or the wavelength range that can be detected with the camera.

Grundsätzlich ist es auch im infraroten Wellenlängenbereich möglich, einen Konversionseffekt, insbesondere Fluoreszenzeffekt zu erzeugen, bei dem also infrarotes Licht einer Beleuchtungsvorrichtung, insbesondere mit Wellenlängen größer 700 nm in der Tinte der Markierung in noch langwelligeres infrarotes Licht umgesetzt wird, das dann von der Kamera erfassbar ist.In principle, it is also possible in the infrared wavelength range to produce a conversion effect, in particular fluorescence effect, in which infrared light of an illumination device, in particular with wavelengths greater than 700 nm in the ink of the mark is converted into even longer-wave infrared light, which can then be detected by the camera is.

Gegenüber dem zuvor beschriebenen Einsatz von UV-Tinten hat der Einsatz von IR-Tinten noch weitere Vorteile. Eine Markierung mit einer UV-Tinte kann einen Alterungseffekt aufweisen, also verblassen. Ein solcher nachteiliger Effekt kann z. B. auftreten, wenn Verpackungseinheiten nach der Herstellung der Markierung zunächst längere Zeit gelagert werden, insbesondere wenn Sie dabei Licht ausgesetzt sind. So wirkt nämlich UV-Licht häufig degenerativ auf Markierungen, d. h. auf die Tinte, bzw. deren Pigmente, die dieses Licht absorbieren.Compared to the previously described use of UV inks, the use of IR inks has even more advantages. A marking with a UV ink can have an aging effect, ie fade. Such an adverse effect can, for. B. occur when packaging units are initially stored for a long time after the production of the mark, especially if you are exposed to light. UV light often acts degeneratively on markers, d. H. on the ink or its pigments, which absorb this light.

Im infraroten Wellenlängenbereich reflektierende oder auch fluoreszierende Tinten hingegen sind langzeitstabiler und degenerieren auch nicht, wenn bereits hergestellte Markierungen dem Umgebungslicht ausgesetzt sind.On the other hand, inks which reflect or also fluoresce in the infrared wavelength range are more stable in the long term and do not degenerate even when already produced markings are exposed to the ambient light.

Darüber hinaus weisen Kameras üblicher Bauart, z. B. mit CCD- oder CMOS-Chips eine sehr hohe Infrarotempfindlichkeit auf, insbesondere was der Grund ist, dass Kameras, die im spektral sichtbaren Wellenlängenbereich Bilder erzeugen sollen mit speziellen Infrarotfiltern verwendet werden, um chromatische Abberationseffekte durch das im Umgebungslicht vorhandene IR-Licht zu vermeiden. Für die erfindungsgemäße Anwendung können gerade solche Kameras bevorzugt eingesetzt werden, insbesondere wobei ein IR-Filter entfallen kann, da erfindungsgemäß gerade dieses Licht genutzt wird. Die technische Konstruktion der eingesetzten Kamera vereinfacht sich somit.In addition, cameras of conventional design, z. B. with CCD or CMOS chips a very high infrared sensitivity, in particular, the reason is that cameras that are to produce images in the spectrally visible wavelength range to be used with special infrared filters to chromatic aberration effects by the existing in ambient light IR light too avoid. For the application according to the invention, it is precisely those cameras which can be used with particular preference, in particular wherein an IR filter can be dispensed with since, in accordance with the invention, precisely this light is used. The technical design of the camera used is thus simplified.

In einer erfindungsgemäßen Weiterbildung kann es auch vorgesehen sein, dass die wenigstens eine Kamera mit einem Wellenlängen-Filter betrieben wird, dessen Transmissionsbereich den Emissionsbereich der Beleuchtungsquelle und/oder Emissionsbereich und/oder Reflektionsbereich der Markierung überdeckt.In a development according to the invention, it can also be provided that the at least one camera is operated with a wavelength filter whose transmission range covers the emission range of the illumination source and / or emission range and / or reflection range of the mark.

Besonders bei Verwendung von infraroten Beleuchtungslicht kann ein solches Filter eingerichtet sein, dieses Beleuchtungslicht und damit auch dieses von der Markierung reflektierte Licht zu transmittieren, wohingegen Licht im sichtbaren Spektrum, insbesondere von 400 nm bis 700 nm durch ein solches Filter zumindest weitestgehend gesperrt wird.Particularly when infrared illumination light is used, such a filter can be set up to transmit this illumination light and thus also this light reflected by the marking, whereas light in the visible spectrum, in particular from 400 nm to 700 nm, is at least largely blocked by such a filter.

Reflektionslicht, das von einer Verpackungseinheit ausgeht und von dem Umgebungslicht stammt, wird somit wirkungsvoll aus dem Kamerabild ausgesperrt, so dass nur das Licht zum Bild beiträgt, das von der infrarot reflektierenden Markierung stammt. So kann diese Maßnahme eine wirkungsvolle Kontrasterhöhung bewirken.Reflection light emanating from a packaging unit and derived from the ambient light is thus effectively blocked out of the camera image, so that only the light contributes to the image originating from the infrared-reflective mark. Thus, this measure can bring about an effective increase in contrast.

Insbesondere erschließt sich auch die Möglichkeit, eine Markierung mit einer im infraroten Wellenlängenbereich reflektierenden Tinte auf einen anderen im sichtbaren Spektrum reflektierenden Aufdruck über zu drucken. Zwar überlagern sich dann Aufdruck und Markierung, es ist jedoch im sichtbaren Spektralbereich die Markierung für den Verbraucher unsichtbar und im infraroten Bereich für die wenigstens eine Kamera der Aufdruck unsichtbar.In particular, the possibility also opens up of printing a marking with an ink reflecting in the infrared wavelength range over to another print reflecting in the visible spectrum. Although superimposed then imprint and marking, but it is invisible in the visible spectral range, the mark for the consumer and in the infrared range for the at least one camera, the imprint invisible.

Wird ein Fluoreszenzeffekt ausgenutzt, so kann das vorgenannte Filter eingerichtet sein, die Wellenlängen des Lichtes der Beleuchtungsvorrichtung zu sperren und nur das durch Fluoreszenz erzeugte Licht passieren zu lassen.If a fluorescence effect is exploited, the aforementioned filter can be set up to block the wavelengths of the light of the illumination device and to let only the light generated by fluorescence pass.

Die Erfindung kann auch insofern weiter gebildet werden, als dass jede Verpackungseinheit mit wenigstens zwei sich unterscheidenden Markierungen versehen wird. Unterscheidende Markierungen sind dabei solche, die durch die Bildauswertung, z. B. eine Mustererkennung voneinander unterschieden werden können. Z. B. kann dies durch eine andere Formgestaltung des Markierungsaufdrucks erfolgen, beispielsweise dadurch, dass verschiedene Buchstaben oder verschiedene Zahlen oder verschiedene grafische Symbole bei den wenigstens zwei Markierungen verwendet werden. Bevorzugt sind zwar die Markierungen auf jeder Verpackungseinheit zueinander unterschiedlich, aber alle Verpackungseinheiten weisen immer die gleichen Markierungen auf.The invention may also be further developed in that each packaging unit is provided with at least two different markings. Distinctive markings are those which are determined by the image evaluation, z. B. a pattern recognition can be distinguished from each other. For example, this can be done by a different shape design of the marking imprint, for example by using different letters or different numbers or different graphic symbols in the at least two markings. Although the markings on each packaging unit are preferably different from each other, all packaging units always have the same markings.

Diese genannte Ausführung kann einerseits das Verfahren mit den unsichtbaren Markierungen ergänzen, allerdings auch alleinig mit jeglichen Arten von Markierungen Verwendung finden, also auch mit solchen Markierungen eingesetzt werden, die von einem Verbraucher im sichtbaren Spektralbereich erkennbar sind.On the one hand, this embodiment can supplement the method with the invisible markings, but it can also be used alone with any types of markings, ie it can also be used with those markings that are recognizable by a consumer in the visible spectral range.

Ein solcher Mehrfachaufdruck von verschiedenen Markierungen hat den Vorteil, dass durch eine Bildverarbeitung leichter herausgefunden werden kann, ob eine Verpackungseinheit in dem Vorrat frei liegend angeordnet ist und somit sicher ergriffen werden kann oder ob eine Verpackungseinheit durch wenigstens eine andere überdeckt ist.Such multiple printing of different markings has the advantage that it can be more easily found out by image processing whether a packaging unit is arranged freely in the store and thus can be gripped securely or whether one packaging unit is covered by at least one other.

Besonders vorteilhaft ist dies möglich, wenn die wenigstens zwei Markierungen einen zu ergreifenden Bereich der Verpackungseinheit umgeben. Werden demnach von mehreren verschiedenen Markierungen alle verschiedenen Markierungen gleichzeitig im Kamerabild erfasst, so ist sicher gestellt, dass der zwischen den Markierungen angeordnete Greifbereich frei zugänglich ist. An diesem Greifbereich kann sodann z. B. ein Vakuumgreifer ansetzen.This is particularly advantageously possible if the at least two markings surround an area of the packaging unit to be gripped. Are therefore of several different Markings all different markers recorded simultaneously in the camera image, so it is ensured that the arranged between the marks gripping area is freely accessible. At this gripping area can then z. B. attach a vacuum gripper.

Wird jedoch eine Anzahl von kleiner N Markierungen erfasst aus einer Gesamtanzahl von N verschiedenen Markierungen auf jeder Verpackungseinheit, so ist sicher, dass wenigstens eine der Markierungen überdeckt ist und somit der Greifbereich dieser Verpackungseinheit nicht frei zugänglich ist.However, if a number of small N marks are detected from a total number of N different markings on each packaging unit, then it is certain that at least one of the markings is covered and thus the gripping area of this packaging unit is not freely accessible.

Es ist für das Verfahren besonders vorteilhaft, wenn mittels der Bildverarbeitung, die z. B. durch eine Software erfolgt, auch die relative Lage von Markierungen zueinander in einer Gruppe von sich unterscheidenden Markierungen innerhalb eines Kamerabildes ermittelt und verglichen wird mit der festgelegten relativen Lage der Markierungen auf einer einzelnen Verpackungseinheit.It is particularly advantageous for the method, if by means of image processing, the z. As is done by software, and the relative position of markers to each other in a group of differing markers within a camera image is determined and compared with the specified relative position of the marks on a single packaging unit.

So kann es erfindungsgemäß vorgesehen sein, dass alle verschiedenen Markierungen, die auf einer einzelnen Verpackungseinheit angeordnet sind, eine Gruppe bilden können. Eine solche Gruppe hat bei jeder Verpackungseinheit eine ganz bestimmte durch den Aufdruck festgelegte relative Anordnung der einzelnen verschiedenen Markierungen zueinander.Thus, it can be provided according to the invention that all the different markings which are arranged on a single packaging unit can form a group. Such a group has for each packaging unit a very specific relative to each other by the imprint defined relative arrangement of each different markings.

In einem Vorrat von vielen Verpackungseinheiten wird eine Vielzahl verschiedener Markierungen gleichzeitig in einem Kamerabild erfasst. Durch die Bildverarbeitung können nun im Bild Gruppen von Markierungen gebildet bzw. identifiziert werden, die jeweils nur solche verschiedenen Markierungen umfassen, die auf einer einzelnen Verpackungseinheit vorkommen können.In a supply of many packaging units, a plurality of different markers are detected simultaneously in a camera image. By means of the image processing groups of markings can now be formed or identified in the image, which in each case only comprise those different markings which can occur on a single packaging unit.

Zu einer solchen im Kamerabild erkannten Gruppe kann sodann geprüft werden, ob die verschiedenen Markierungen dieser jeweiligen Gruppe die vorgeschriebene relative Lage zueinander einnehmen, die bei einer einzelnen Verpackungseinheit gegeben ist. Ist dies der Fall, so erkennt die Bildverarbeitung in dieser Tatsache, dass alle Markierungen dieser im Bild erkannten Gruppe zu einer nicht verdeckten Verpackungseinheit gehören. Es kann sodann ein Greifvorgang erfolgen, um die so identifizierte frei liegende Verpackungseinheit aus dem Vorrat zu entnehmen.It can then be checked for such a group recognized in the camera image whether the various markings of this respective group occupy the prescribed relative position to one another given a single packaging unit. If this is the case, the image processing recognizes in this fact that all markings of this group recognized in the image belong to a non-hidden packaging unit. It can then take place a gripping operation to remove the thus identified free-lying packaging unit from the stock.

Haben die verschiedenen Markierungen einer solchen im Bild erkannten Gruppe jedoch eine von der vorgeschriebenen relativen Lage abweichende Anordnung so ist hierdurch festgestellt, dass die einzelnen in der Gruppe erkannten Markierungen nicht zu ein und derselben Verpackungseinheit gehören, sondern von wenigstens zwei verschiedenen Verpackungseinheiten stammen. Ein Greifvorgang wird dann bzgl. dieser erkannten Gruppe nicht ausgeführt.If, however, the different markings of such a group recognized in the image have an arrangement deviating from the prescribed relative position, it is hereby established that the individual markings recognized in the group do not belong to one and the same packaging unit but originate from at least two different packaging units. A gripping process is then not executed with respect to this recognized group.

Bei Verpackungseinheiten mit eckigem Querschnitt, insbesondere 4-eckigem Querschnitt, wie z. B. Tüten ist es somit besonders vorteilhaft, wenn sich unterscheidende Markierungen im Bereich jeder Ecke angeordnet werden.For packaging units with polygonal cross-section, in particular 4-angular cross section, such. B. bags, it is thus particularly advantageous if distinctive markers are arranged in the region of each corner.

So kann der gesamte zwischen den Ecken liegende Flächenbereich als frei liegend erkannt werden.Thus, the entire surface area lying between the corners can be recognized as being exposed.

Ein bevorzugtes Ausführungsbeispiel der Erfindung ist nachfolgende beschrieben. Es zeigen:A preferred embodiment of the invention is described below. Show it:

1: eine einzelne Verpackungseinheit 1 : a single packaging unit

2: ein Vorrat aus zwei Verpackungseinheiten. 2 : a stock of two packaging units.

Die 1 zeigt exemplarisch eine einzelne Verpackungseinheit 1, z. B. eine Tüte 1 mit einem hier nicht weiter interessierenden Inhalt. Die Verpackungseinheit 1 hat eine Oberseite und eine Unterseite, wobei hier in der 1 die Oberseite dargestellt ist, die auch im Rahmen des Verfahrens mittels einer nicht gezeigten Kamera erfasst werden kann. Die Unterseite kann in der gleichen nachfolgend beschriebenen Weise markiert sein oder auch keinerlei Markierung aufweisen.The 1 shows an example of a single packaging unit 1 , z. B. a bag 1 with a content of no interest here. The packaging unit 1 has a top and a bottom, here in the 1 the top is shown, which can also be detected in the context of the method by means of a camera, not shown. The bottom can be marked in the same manner described below or have no mark.

Hier hat zumindest die für die wenigstens eine Kamera sichtbare Oberseite der Verpackungseinheit 1 vier einzelne sich unterscheidende Markierungen M1, M2, M3 und M4, die jeweils in einem Bereich der Ecke der Verpackungseinheit 1 angeordnet sind. Durch diese Anordnung umgeben die Markierungen M1–M4 einen Greifbereich 2, an dem eine automatische Greifvorrichtung die Verpackungseinheit 1 ergreifen kann, z. B. mit einem Vakuumgreifer.Here at least has the top of the packaging unit visible to the at least one camera 1 four individual distinguishing marks M1, M2, M3 and M4, each in an area of the corner of the packaging unit 1 are arranged. By this arrangement, the marks M1-M4 surround a gripping area 2 in which an automatic gripping device, the packaging unit 1 can take, for. B. with a vacuum gripper.

Markierungen M1... M4 der festgelegten Art können ein Gruppe bilden und von einer Bildverarbeitung als eine Gruppe erkannt werden.Markers M1 ... M4 of the specified type can form a group and be recognized by image processing as a group.

Erkennt nun eine Bildverarbeitung in dem Bild von einem aufgenommenen Vorrat aus vielen solcher Verpackungseinheiten 1 eine Gruppe von Markierungen M1 bis M4 die gleichzeitig auch die hier dargestellte relative Anordnung zueinander haben, so ist damit auch erkannt, dass die vier Markierungen M1 bis M4 zu derselben Verpackungseinheit gehören und der Greifbereich 2 frei zugänglich ist. Die festgelegte relative Anordnung kann hier so definiert sein, dass die Verbindungslinien zwischen den Markierungen einen rechten Winkel einschließen. Selbstverständlich sind auch andere Definitionen der relativen Lage möglich.Now recognizes an image processing in the image of a recorded supply of many such packaging units 1 a group of markings M1 to M4 which at the same time also have the relative arrangement shown here relative to one another, it is thus also recognized that the four markings M1 to M4 belong to the same packaging unit and the gripping area 2 is freely accessible. The fixed relative arrangement can be defined here such that the connecting lines between the markings form a right angle. Of course, other definitions of relative location are possible.

Die 2 zeigt eine andere Situation, bei der eine Verpackungseinheit 1 des Vorrats durch eine andere Verpackungseinheit 1' teilweise überdeckt ist. Die anderen Verpackungseinheiten des Vorrats sind nicht weiter gezeigt.The 2 shows another situation where a packaging unit 1 the stock through another packaging unit 1' partially covered. The other packaging units of the stock are not shown further.

Die Bilderkennung kann hier zwei Gruppen von solchen Markierungen erkennen, nämlich eine Gruppe G = (M1, M2, M3', M4') sowie eine Gruppe G' = (M1', M2', M3', M4'). Beide Gruppen G und G' umfassen zulässige und sich unterscheidende Markierungen einer Verpackungseinheit.The image recognition can here recognize two groups of such markers, namely a group G = (M1, M2, M3 ', M4') and a group G '= (M1', M2 ', M3', M4 '). Both groups G and G 'comprise permissible and differing markings of a packaging unit.

Die Bilderkennung erkennt hier jedoch, dass nur die Gruppe G' die richtige im System gespeicherte relative Anordnung der in einer Gruppe zulässigen Markierungen aufweist. Nur hier schließen die nicht gezeigten gedachten Verbindungslinien zwischen den Markierungen M1', M2', M3', M4' jeweils einen rechten Winkel ein. Daraus schließt die Bilderkennung, dass nur der Bereich 2' der Verpackungseinheit 1' für die Greifvorrichtung zugänglich ist.However, the image recognition recognizes here that only the group G 'has the correct relative arrangement of the markings permitted in a group stored in the system. Only here do the not shown imaginary connecting lines between the markings M1 ', M2', M3 ', M4' in each case form a right angle. From this, the image recognition concludes that only the area 2 ' the packaging unit 1' accessible to the gripping device.

Erfindungemäß ist es hier vorgesehen, dass die Markierungen M1–M4 bzw. M1' bis M4' für einen Verbraucher unsichtbar sind und wie zuvor beschrieben nur von der wenigstens einen Kamera erfasst werden können. Für den Zweck der Erkennung, welche Verpackungseinheit eines Vorrats für eine Greifvorrichtung frei zugänglich ist kann es auch vorgesehen sein, Markierungen zu verwenden, die für das Auge eines Verbrauchers sichtbar sind.According to the invention, it is provided here that the markings M1-M4 or M1 'to M4' are invisible to a consumer and, as described above, can only be detected by the at least one camera. For the purpose of detecting which packaging unit of a supply is freely accessible to a gripping device, it may also be provided to use markings that are visible to the eye of a consumer.

Claims

Method for removing packaging units ( 1 ) from a supply of several packaging units ( 1 ) by means of an automatically controlled gripping device, in which with at least one camera an image of the packaging units forming the stock ( 1 ) and in the image by means of image processing at least one graspable packaging unit ( 1 ) is identified in the stock, the gripping device an identified packaging unit ( 1 ), takes the supply and the packaging unit ( 1 ) transported to a destination, in particular in a product packaging inserts, characterized in that prior to the formation of the stock, the individual packaging units ( 1 ) are provided with at least one mark (M1, ..., M4) invisible in the visible spectral range and the supply is illuminated for identification in order to detect light emission and / or light reflection at the at least one mark (M1, ..., M4) Packaging Unit ( 1 ), which is recorded with the camera.

Method according to claim 1, characterized in that the at least one marking (M1, ..., M4) of each packaging unit ( 1 ) by imprinting, in particular inkjet printing with an invisible in the visible wavelength range ink.

Method according to one of the preceding claims, characterized in that the at least one marking (M1, ..., M4) of each packaging unit ( 1 ) is produced with an ink which is absorbing in the UV wavelength range, in particular less than 400 nm, is illuminated with UV light, in particular less than 400 nm and emitted by the at least one camera detectable fluorescent light.

Method according to one of the preceding claims, characterized in that the at least one marking (M1, ..., M4) of each packaging unit ( 1 ) is produced with an ink which is reflective in the IR wavelength range, in particular greater than 700 nm, is illuminated with IR light, in particular greater than 700 nm and reflects from the at least one camera detectable IR light.

Method according to one of the preceding claims, characterized in that the at least one camera is operated with a wavelength filter whose transmission range the emission range of the illumination source and / or emission range and / or reflection range of at least one mark (M1, ..., M4) covered.

Method for removing packaging units ( 1 ) from a supply of several packaging units ( 1 ) by means of an automatically controlled gripping device, in which with at least one camera an image of the packaging units forming the stock ( 1 ) and in the image by means of image processing at least one graspable packaging unit ( 1 ) is identified in the stock, the gripping device an identified packaging unit ( 1 ), takes the supply and the packaging unit ( 1 ) transported to a destination, in particular in a product packaging inserts, in particular according to one of the preceding claims, characterized in that prior to the formation of the stock, the individual packaging units ( 1 ) are each provided with at least two different markings (M1, ..., M4), in particular surrounding a gripping area.

Method according to claim 6, characterized in that in the case of packaging units ( 1 ) with an angular cross-section, in particular a 4-cornered cross-section, distinguishing markings (M1, ..., M4) are arranged in the region of each corner.

Method according to one of the preceding claims, characterized in that the means of image processing, the relative position of markers (M1, ..., M4, M1 ', ..., M4') to each other in a Group (G or G ') of differing markers (M1, M2, M3', M4 'or M1', ..., M4 ') within a camera image is determined and compared with the fixed relative position of the markers (M1,. .., M4) on a single packaging unit ( 1 ) and it is concluded that the marks (M1 ', ..., M4') of the group (G ') taken in the image belong to a single exposed packaging unit and, in case of a deviation, it is concluded that the markings (M1, M2, M3 ', M4') of the group (G) to at least two mutually overlapping packaging units ( 1 . 1' ) belong.