DE202021103066U1

DE202021103066U1 - Camera for capturing objects moving through a detection area

Info

Publication number: DE202021103066U1
Application number: DE202021103066.6U
Authority: DE
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2021-06-07
Filing date: 2021-06-07
Publication date: 2022-09-08
Anticipated expiration: 2031-06-08

Abstract

Kamera (10) zur Erfassung von durch einen Erfassungsbereich (14) bewegten Objekten (48), die einen Bildsensor (18) zur Aufnahme von Bilddaten, eine Empfangsoptik (16) mit einer verstellbaren Blende (17) sowie eine Steuer- und Auswertungseinheit (38) zum Auslesen der Bilddaten und zum Einstellen der Blende (17) aufweist, dadurch gekennzeichnet, dass die Steuer- und Auswertungseinheit (38) dafür ausgebildet ist, die Blende (17) je Objekt (48) so einzustellen, dass das Objekt (48) in einem Tiefenschärfenbereich aufgenommen wird.

Camera (10) for detecting objects (48) moving through a detection area (14), which has an image sensor (18) for recording image data, receiving optics (16) with an adjustable aperture (17) and a control and evaluation unit (38 ) for reading out the image data and for setting the diaphragm (17), characterized in that the control and evaluation unit (38) is designed to set the diaphragm (17) for each object (48) in such a way that the object (48) recorded in a depth of field.

Description

Die Erfindung betrifft eine Kamera zur Erfassung von durch einen Erfassungsbereich bewegten Objekten nach dem Oberbegriff von Anspruch 1.The invention relates to a camera for detecting objects moving through a detection area according to the preamble of claim 1.

In industriellen Anwendungen werden Kameras in vielfältiger Weise eingesetzt, um Objekteigenschaften automatisch zu erfassen, beispielsweise zur Inspektion oder Vermessung von Objekten. Dabei werden Bilder des Objekts aufgenommen und entsprechend der Aufgabe durch Bildverarbeitungsverfahren ausgewertet. Eine weitere Anwendung von Kameras ist das Lesen von Codes. Mit Hilfe eines Bildsensors werden Objekte mit den darauf befindlichen Codes aufgenommen, in den Bildern die Codebereiche identifiziert und dann dekodiert. Kamerabasierte Codeleser kommen problemlos auch mit anderen Codearten als eindimensionalen Strichcodes zurecht, die wie ein Matrixcode auch zweidimensional aufgebaut sind und mehr Informationen zur Verfügung stellen. Auch die automatische Texterfassung von gedruckten Adressen (OCR, Optical Character Recognition) oder Handschriften ist im Prinzip ein Lesen von Codes. Typische Anwendungsgebiete von Codelesern sind Supermarktkassen, die automatische Paketidentifikation, Sortierung von Postsendungen, die Gepäckabfertigung in Flughäfen und andere Logistikanwendungen.In industrial applications, cameras are used in a variety of ways to automatically record object properties, for example to inspect or measure objects. Images of the object are recorded and evaluated according to the task using image processing methods. Another use of cameras is to read codes. With the help of an image sensor, objects with the codes on them are recorded, the code areas are identified in the images and then decoded. Camera-based code readers can easily handle other types of code than one-dimensional barcodes, which, like a matrix code, are also two-dimensional and provide more information. The automatic text capture of printed addresses (OCR, Optical Character Recognition) or handwriting is basically a reading of codes. Typical areas of application for code readers are supermarket checkouts, automatic parcel identification, mail sorting, baggage handling in airports and other logistics applications.

Eine häufige Erfassungssituation ist die Montage der Kamera über einem Förderband. Die Kamera nimmt während der Relativbewegung des Objektstroms auf dem Förderband Bilder auf und leitet in Abhängigkeit der gewonnenen Objekteigenschaften weitere Bearbeitungsschritte ein. Solche Bearbeitungsschritte bestehen beispielsweise in der an das konkrete Objekt angepassten Weiterverarbeitung an einer Maschine, die auf geförderte Objekte einwirkt, oder in einer Veränderung des Objektstroms, indem bestimmte Objekte im Rahmen einer Qualitätskontrolle aus dem Objektstrom ausgeschleust werden oder der Objektstrom in mehrere Teilobjektströme sortiert wird. Wenn die Kamera ein kamerabasierter Codeleser ist, werden die Objekte für eine korrekte Sortierung oder ähnliche Bearbeitungsschritte anhand der angebrachten Codes identifiziert.A common capture situation is mounting the camera over a conveyor belt. The camera takes pictures during the relative movement of the object stream on the conveyor belt and initiates further processing steps depending on the object properties obtained. Such processing steps consist, for example, of further processing on a machine adapted to the specific object, which acts on the conveyed objects, or in a change in the object stream, in that certain objects are ejected from the object stream as part of a quality control or the object stream is sorted into several sub-object streams. If the camera is a camera-based code reader, the objects are identified based on the attached codes for correct sorting or similar processing steps.

Die Kamera ist vielfach Teil eines komplexen Sensorsystems. Beispielsweise ist es bei Lesetunneln an Förderbändern üblich, eine Vielzahl von kamerabasierten Codelesern einerseits nebeneinander zur Abdeckung einer größeren Förderbandbreite und andererseits aus unterschiedlichen Perspektiven zu montieren, um Objekte von mehreren Seiten aufzunehmen. Weiterhin wird oftmals die Geometrie der geförderten Objekte vorab mit einem gesonderten Laserscanner vermessen, um daraus Fokusinformationen, Auslösezeitpunkte, Bildbereiche mit Objekten und dergleichen zu bestimmen.The camera is often part of a complex sensor system. For example, in reading tunnels on conveyor belts, it is common to mount a large number of camera-based code readers next to each other to cover a larger conveyor belt width and from different perspectives to record objects from several sides. Furthermore, the geometry of the conveyed objects is often measured in advance with a separate laser scanner in order to determine focus information, triggering times, image areas with objects and the like.

In dem Objektiv der Kamera ist üblicherweise eine Blende verbaut. Die Apertur bleibt jedoch herkömmlich in den beschriebenen Anwendungen konstant. Lediglich einmalig, beispielsweise während des Installationsprozesses, findet möglicherweise eine Anpassung der Apertur statt, um eine passende konstante Apertur für den Betrieb zu finden.An aperture is usually built into the lens of the camera. However, the aperture conventionally remains constant in the applications described. An adjustment of the aperture may only take place once, for example during the installation process, in order to find a suitable constant aperture for operation.

Verstellbare Blenden sind an sich seit langem im Bereich der Fotografie im Einsatz. Es gibt inzwischen vielfältige technische Umsetzungen für variable Blenden. Eine klassische Irisblende kann motorisch aktuiert werden. Ein LCD-Display mit diskreten Pixeln, die sich von opak auf transparent schalten lassen, ermöglicht eine Blendenwirkung mit verschiedenen Öffnungsradien. Alternativ zu einem LCD-Display ist der Einsatz von Microfluiden denkbar, wobei eine opake Flüssigkeit über Elektrobenetzung (electrowetting) aktuiert wird, um so in verschiedenen diskreten Radien auf einer transparenten Scheibe ringförmig positioniert zu werden. Eine weitere Umsetzungsmöglichkeit basiert auf einer transparenten Membran, die sich durch Unterdruck einwölbt und eine opake Flüssigkeit verdrängt. An der Kontaktfläche von Membran und einem Glassubstrat entsteht dadurch eine runde transparente Öffnung.Adjustable apertures have long been used in the field of photography. There are now a variety of technical implementations for variable apertures. A classic iris diaphragm can be motor-actuated. An LCD display with discrete pixels that can be switched from opaque to transparent enables a screen effect with different opening radii. As an alternative to an LCD display, the use of microfluids is conceivable, whereby an opaque liquid is actuated via electrowetting in order to be positioned in various discrete radii on a transparent disc in the shape of a ring. Another possible implementation is based on a transparent membrane that bulges under negative pressure and displaces an opaque liquid. This creates a round, transparent opening at the contact surface of the membrane and a glass substrate.

In der DE 10 2018 105 301 A1 wird ein Abstandssensor in eine Kamera integriert, der auf einem Lichtlaufzeitverfahren basiert (TOF, Time of Flight). Damit wird ein Höhenprofil gemessen, und anhand dessen werden verschiedene Funktionen umgesetzt. Eine dieser Funktionen ist die Einstellung der Fokuslage einer Empfangsoptik. Eine Blende im Empfangsobjektiv wird nur einmalig erwähnt, und diese Blende ist nicht verstellbar.In the DE 10 2018 105 301 A1 a distance sensor based on a time-of-flight method (TOF, Time of Flight) is integrated into a camera. A height profile is measured with it, and various functions are implemented on the basis of this. One of these functions is the adjustment of the focal position of a receiving lens. An aperture in the receiving lens is mentioned only once, and this aperture is not adjustable.

In der DE 10 2020 109 928 B3 wird die Messdauer eines solchen Abstandssensors angepasst, damit der Abstandswert höchstens mit einem Messfehler gemessen wird, bei dem die entsprechend gewählte Fokuslage für eine geforderte Bildschärfe ausreicht. Die DE 10 2020 109 929 B3 verstellt bei zu knapper verfügbarer Fokussierzeit nur bis in eine rechtzeitig erreichbare Fokuslage noch ausreichender Bildschärfe, die von der optimalen Fokuslage entsprechend der Abstandsmessung abweicht. Der Einfluss der Blende auf den Tiefenschärfenbereich soll dabei jeweils durch Fixierung oder optimale Einstellung ausdrücklich ausgeschlossen werden.In the DE 10 2020 109 928 B3 the measurement duration of such a distance sensor is adjusted so that the distance value is measured with at most a measurement error at which the correspondingly selected focus position is sufficient for a required image sharpness. the DE 10 2020 109 929 B3 If the available focusing time is too short, only adjusts to a focus position that can be reached in time and still has sufficient image sharpness, which deviates from the optimal focus position according to the distance measurement. The influence of aperture on the depth of field should be expressly excluded in each case by fixation or optimal adjustment.

Die US 7 025 271 B2 beschreibt einen kamerabasierten Codeleser mit wählbarem Tiefenschärfenbereich, der vorzugsweise als Handgerät ausgebildet ist. Ein optisches Element wird zwischen einem transmissiven und einem reflektiven Zustand umgeschaltet, um so das Empfangslicht auf eine erste oder zweite Linsenanordnung zu führen, wobei die Linsenanordnungen untereinander unterschiedliche Tiefenschärfenbereiche aufweisen. Einleitend ist eine einstellbare Blendenanordnung erwähnt, und es wird bemerkt, dass mit kleinerem Blendendurchmesser der Tiefenschärfenbereich größer wird und umgekehrt. Das wird dann aber nicht näher ausgeführt.the U.S. 7,025,271 B2 describes a camera-based code reader with a selectable depth of field, which is preferably designed as a hand-held device. An optical element is switched between a transmissive and a reflective state in order to guide the received light onto a first or second lens arrangement, the lens arrangements having different depths of field from one another. An adjustable aperture arrangement is mentioned in the introduction, and it is noted that the depth of field increases with a smaller aperture diameter and vice versa. But that is not explained in detail.

Die US 2010/0310246 A1 befasst sich mit der Blendenwahl in der Fotografie. Die Blende wird wahlweise manuell oder automatisch eingestellt, um eine Über- oder Unterbelichtung zu vermeiden. Die US 2012/0229674 A1 greift auf eine Datenbank zu, um einen Algorithmus zur Optimierung des Tiefenschärfenbereichs durchzuführen. Dabei kann der Tiefenschärfenbereich durch Veränderung der Blende modifiziert werden.the U.S. 2010/0310246 A1 deals with aperture selection in photography. The aperture is set either manually or automatically to avoid over- or underexposure. the US 2012/0229674 A1 accesses a database to run a depth-of-field optimization algorithm. The depth of field can be modified by changing the aperture.

Es ist daher Aufgabe der Erfindung, die Aufnahme von Bildern weiter zu verbessern.It is therefore the object of the invention to further improve the recording of images.

Diese Aufgabe wird durch eine Kamera zur Erfassung von durch einen Erfassungsbereich bewegten Objekten nach Anspruch 1 beziehungsweise 15 gelöst. Kamera und Objekte befinden sich in Relativbewegung zueinander, dadurch bewegen sich die aufzunehmenden Objekte in den beziehungsweise durch den Erfassungsbereich der Kamera. Ein Bildsensor nimmt Bilder beziehungsweise Bilddaten des Erfassungsbereichs und somit eines dort befindlichen Objekts auf. Eine Empfangsoptik der Kamera bezeichnet ein Empfangsobjektiv, das je nach Qualitätsanforderungen eine oder mehrere Linsen und sonstige optische Elemente sowie eine verstellbare Blende aufweist, deren Blendenöffnung oder Apertur durch Ansteuerung veränderbar ist. Der Tiefenschärfenbereich resultiert aus Eigenschaften der Empfangsoptik und der jeweiligen Einstellung der Blende. Eine Steuer- und Auswertungseinheit liest die Bilddaten aus, um sie beispielsweise vorzuverarbeiten, auszuwerten, zu speichern oder an einer Schnittstelle auszugeben. Sie ist weiterhin für die Ansteuerung der Blende und damit deren geeignete Einstellungen zuständig. Die Steuer- und Auswertungseinheit kann einen gemeinsamen Baustein oder jeweils eigene Bausteine aufweisen, die sich um die Blendeneinstellung einerseits und die sonstigen Aufgaben in der Kamera wie Verarbeitung der Bilddaten andererseits kümmern.This object is achieved by a camera for detecting objects moving through a detection area according to claims 1 and 15, respectively. The camera and objects are in relative motion to each other, which means that the objects to be recorded move into or through the detection range of the camera. An image sensor records images or image data of the detection area and thus of an object located there. A receiving optics of the camera refers to a receiving objective which, depending on the quality requirements, has one or more lenses and other optical elements as well as an adjustable diaphragm whose diaphragm opening or aperture can be changed by control. The depth of field results from the properties of the receiving optics and the respective setting of the aperture. A control and evaluation unit reads out the image data in order, for example, to preprocess them, evaluate them, store them or output them at an interface. It is also responsible for controlling the aperture and thus for its appropriate settings. The control and evaluation unit can have a common module or separate modules that take care of the aperture setting on the one hand and the other tasks in the camera, such as processing the image data, on the other.

Die Erfindung geht von dem Grundgedanken aus, die Blendeneinstellung von Objekt zu Objekt dynamisch anzupassen. Für jedes Objekt ist durch eine passende Blende sichergestellt, dass es innerhalb eines Tiefenschärfenbereichs aufgenommen ist und somit das aufgenommene Bild beziehungsweise die Bilddaten eine geforderte Bildschärfe erreichen.The invention is based on the basic idea of dynamically adapting the aperture setting from object to object. A suitable aperture ensures that each object is recorded within a depth of field and that the recorded image or the image data thus achieve the required image sharpness.

Die Erfindung hat den Vorteil, dass durch individuelle Anpassung der Blende je Objekt die Qualität der Bilddaten erhöht wird. Das ermöglicht eine einfachere Ausgestaltung der Empfangsoptik an anderer Stelle, beispielsweise ein Fixfokussystem, oder es wird alternativ besonders hohen Ansprüchen an die Bilddaten gerecht. Eine einstellbare Blende ist als Bauteil verfügbar und die Erfindung daher einfach und vergleichsweise kostengünstig umsetzbar.The invention has the advantage that the quality of the image data is increased by individually adjusting the aperture for each object. This enables a simpler configuration of the receiving optics elsewhere, for example a fixed focus system, or alternatively it meets particularly high demands on the image data. An adjustable diaphragm is available as a component and the invention can therefore be implemented easily and comparatively inexpensively.

Der Tiefenschärfenbereich ist bevorzugt aus anwendungsspezifischen Anforderungen bestimmt. Der Begriff Tiefenschärfenbereich wird damit ausdrücklich in einem weiteren Verständnis verwendet als nur in seinem ursprünglichen optischen oder physikalischen Sinne. Der physikalische Tiefenschärfenbereich hängt von Objektivkonstanten und -einstellungen der Empfangsoptik ab. In der Praxis kommt es aber nicht primär auf objektive Bildschärfekriterien an, sondern auf die Frage, ob die Bilddaten die angestrebte Auswertung zulassen werden. Das kann von Anwendung zu Anwendung sehr unterschiedlich zu beurteilen sein. Die Blendeneinstellung soll vorzugsweise dafür sorgen, dass das Objekt in einem Tiefenschärfenbereich nach diesem anwendungsbezogenen Verständnis aufgenommen wird.The depth of field is preferably determined from application-specific requirements. The term depth of field is thus expressly used in a broader sense than just its original optical or physical sense. The physical depth of field depends on lens constants and settings of the receiving optics. In practice, however, it is not primarily a question of objective image sharpness criteria, but rather the question of whether the image data will allow the intended evaluation. This can be assessed very differently from application to application. The aperture setting should preferably ensure that the object is recorded in a depth of field according to this application-related understanding.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, mit Hilfe der Bilddaten einen Codeinhalt eines Codes auf dem Objekt zu lesen. Die Kamera wird so zu einem kamerabasierten Codeleser für Barcodes und/oder 2D-Codes nach diversen Standards, gegebenenfalls auch für eine Texterkennung (OCR, Optical Character Reading). Bevor ein Code gelesen wird, erfolgt noch bevorzugter eine Segmentierung, mit der interessierende Bereiche (ROI, Region of Interest) als Codekandidaten identifiziert werden.The control and evaluation unit is preferably designed to read a code content of a code on the object using the image data. The camera thus becomes a camera-based code reader for barcodes and/or 2D codes according to various standards, possibly also for text recognition (OCR, optical character reading). Before a code is read, it is even more preferable for a segmentation to be carried out, with which areas of interest (ROI, region of interest) are identified as code candidates.

Das Objekt ist bevorzugt dann im Tiefenschärfenbereich aufgenommen, wenn aus den aufgenommenen Bilddaten ein Code gelesen werden kann. Das ist ein Beispiel der oben angesprochenen anwendungsspezifischen Anforderungen an den Tiefenschärfenbereich. Das Bild soll so scharf aufgenommen sein, dass ein Code gelesen werden kann. Das ist ein rein praxisbezogenes Kriterium, bei dem es nicht auf abstrakte Qualitäts- oder Bildschärfemaße der Bilddaten ankommt, sondern rein pragmatisch auf die Frage, ob die Aufgabe des Codelesens erfüllbar ist. So wird durch dynamische Anpassung der Blende eine maximale Dekodier- oder Leserate erreicht. Die Erwartungshaltung, wann die Bildschärfe ausreicht, um einen Code zu lesen, kann vorab simuliert oder experimentell erzeugt werden. Dazu werden beispielsweise der Kamera Codes unter typischen Bedingungen beispielsweise hinsichtlich Umgebungslicht und Druckqualität in verschiedenen Abständen präsentiert, um herauszufinden, bei welchen Blendeneinstellungen ein Code noch gelesen wird (GoodRead) beziehungsweise nicht mehr gelesen wird (No-Read).The object is preferably recorded in the depth of field when a code can be read from the recorded image data. This is an example of the application specific depth of field requirements discussed above. The image should be sharp enough to read a code. This is a purely practice-related criterion, which does not depend on abstract quality or image sharpness dimensions of the image data, but purely pragmatically on the question of whether the task of reading the code can be fulfilled. A maximum decoding or reading rate is achieved by dynamic adjustment of the aperture. The expectation of when the image sharpness will be sufficient to read a code can be simulated in advance or generated experimentally. For this purpose, codes are presented to the camera under typical conditions, for example with regard to ambient light and print quality, at different intervals in order to find out at which aperture settings a code is still read (GoodRead) or is no longer read (No-Read).

Der erforderliche Tiefenschärfenbereich hängt bevorzugt von einer Codeart, einer Modulgröße, beispielsweise angegeben in Pixel je Modul, und/oder einem Decodierverfahren ab. Wiederum geht es hier nicht allein um den physikalischen Tiefenschärfenbereich, sondern um praktische Anforderungen und damit das weitere Verständnis eines anwendungsspezifischen Tiefenschärfenbereichs. Ob ein Code gelesen werden kann, bestimmt sich insbesondere abhängig von den genannten Parametern oder Einstellungen. Manche Codearten sind einfacher und damit auch noch aus vergleichsweise minderwertigen Bilddaten lesbar, umgekehrt sind manche Codearten besonders anspruchsvoll. Wenn je Modul mehr Pixel zur Verfügung stehen, ist das Codelesen einfacher als bei kleiner Modulgröße. Die Belichtung, sowohl im Sinne von Integrationszeit als auch von Beleuchtungsszenario einer optionalen aktiven Beleuchtung, spielt ihre Rolle. Einige Decoder kommen mit geringerer Bildqualität besser zurecht als andere. Dabei kann es Wechselwirkungen zwischen den genannten Parametern geben, die sich auf den erforderlichen Tiefenschärfenbereich auswirken.The required depth of field preferably depends on a code type, a module size, for example specified in pixels per module, and/or a decoding method. Again, this is not just about the physical depth of field, but about practical requirements and thus the further understanding of an application-specific depth of field. Whether a code can be read is determined in particular by the parameters or settings mentioned. Some code types are simpler and can therefore also be read from comparatively inferior image data, while some code types are particularly demanding. If more pixels are available per module, code reading is easier than with a small module size. The exposure, both in terms of integration time and the lighting scenario of an optional active lighting, plays its part. Some decoders handle lower picture quality better than others. There can be interactions between the parameters mentioned, which affect the required depth of field.

Die Kamera weist bevorzugt einen Abstandssensor zum Messen eines Abstandswerts zu einem Objekt auf. Der Abstandswert dient vorzugsweise als Kriterium für einen benötigten Tiefenschärfenbereich, und die Steuer- und Auswertungseinheit kann die Blende entsprechend einstellen. In einer bevorzugten statischen Montage der Kamera über einer Referenzebene, beispielsweise einem Förderband, lässt sich der Abstandswert in Kenntnis der Montageposition in eine Höhe des Objekts über dieser Referenzebene umrechnen. Daher werden im Folgenden Objekthöhe und Abstand an einigen Stellen austauschbar verwendet.The camera preferably has a distance sensor for measuring a distance value from an object. The distance value is preferably used as a criterion for a required depth of field, and the control and evaluation unit can set the aperture accordingly. In a preferred static mounting of the camera above a reference plane, for example a conveyor belt, the distance value can be converted into a height of the object above this reference plane, knowing the mounting position. Therefore, in the following, object height and distance are used interchangeably in some places.

Der Abstandssensor ist bevorzugt in die Kamera integriert. Dadurch bleibt das System kompakt und gekapselt. Die Steuer- und Auswertungseinheit hat einen einfachen internen Zugriff auf den Abstandssensor. Der Abstandssensor ist bevorzugt als optoelektronischer Abstandssensor insbesondere nach dem Prinzip des Lichtlaufzeitverfahrens ausgebildet. Derartige Abstandssensoren sind als fertige Chips beziehungsweise Module erhältlich. Besonders bevorzugt weist der Abstandssensor eine Vielzahl von SPADs auf (Single-Photon Avalanche Photodiode), die jeweils über TDCs (Time-to-Digital Converter) eine Einzellichtlaufzeit messen.The distance sensor is preferably integrated into the camera. This keeps the system compact and encapsulated. The control and evaluation unit has easy internal access to the distance sensor. The distance sensor is preferably designed as an optoelectronic distance sensor, in particular according to the principle of the time-of-flight method. Such distance sensors are available as finished chips or modules. The distance sensor particularly preferably has a large number of SPADs (single-photon avalanche photodiodes), which each measure a single light propagation time via TDCs (time-to-digital converter).

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, die Blende für ein Objekt in Abhängigkeit eines für das Objekt gemessenen Abstandswertes einzustellen. Die dynamische Kopplung der Einstellung der Blende an den Abstandswert der einzelnen Objekte sorgt dafür, dass das jeweilige Objekt innerhalb eines geforderten Tiefenschärfenbereichs aufgenommen wird, wobei Tiefenschärfenbereich vorzugsweise im mehrfach diskutierten anwendungsspezifischen Sinne zu verstehen ist.The control and evaluation unit is preferably designed to set the aperture for an object as a function of a distance value measured for the object. The dynamic coupling of the aperture setting to the distance value of the individual objects ensures that the respective object is recorded within a required depth of field, depth of field preferably being to be understood in the application-specific sense discussed several times.

Die Steuer- und Auswertungseinheit stellt bevorzugt die Blende für ein Objekt anhand einer Funktion der erforderlichen Blende in Abhängigkeit von dem Abstand eines Objekts ein. Somit ist eine Funktion Blende(Abstand) beziehungsweise Blende(Objekthöhe) hinterlegt, beispielsweise in einem Speicher der Kamera oder der Steuer- und Auswertungseinheit. Diese Funktion kann als analytische Funktion oder als Näherung, beispielsweise als Stufenfunktion, als insgesamt oder stückweise lineare oder polynomiale Funktion oder als eine Nachschlagtabelle (LUT, Lookup Table) vorgegeben sein.The control and evaluation unit preferably sets the aperture for an object based on a function of the required aperture as a function of the distance from an object. A function aperture (distance) or aperture (object height) is thus stored, for example in a memory of the camera or the control and evaluation unit. This function can be given as an analytic function or as an approximation, for example as a step function, as a total or piecewise linear or polynomial function, or as a lookup table (LUT).

Die Steuer- und Auswertungseinheit ist bevorzugt für ein Einlernverfahren ausgebildet, bei dem ein Objekt in einem Abstand angeordnet, Bilddaten aufgenommen, eine Bildschärfe geprüft und die Blende verstellt wird, bis eine passende Blendeneinstellung für diesen Abstand gefunden ist. Damit kann für einen bestimmten Abstand die passende Blende kalibriert oder eingelernt werden, die dann im Betrieb für ein Objekt in diesem Abstand dynamisch eingestellt werden sollte. Das Kriterium für die jeweils passende Blende ist beispielsweise eine maximale, optimale oder noch ausreichende Bildschärfe oder eine anwendungsspezifische Anforderung, wie beispielsweise, dass ein Code gelesen wird. Für ein robusteres Ergebnis kann das Einlernen für mindestens ein weiteres Objekt im gleichen Abstand wiederholt und dann beispielsweise gemittelt werden. Weitere Wiederholungen platzieren ein Objekt oder nacheinander mehrere Objekte in unterschiedlichen Abständen, um dafür die passende Blendeneinstellung aufzufinden, oder in einer bevorzugten Ausführungsform mehrere Werte der Funktion Blende(Abstand). Statt der so resultierenden Stufenfunktion kann eine Interpolation verwendet werden.The control and evaluation unit is preferably designed for a learning process in which an object is arranged at a distance, image data is recorded, the focus of the image is checked and the aperture is adjusted until a suitable aperture setting for this distance is found. This allows the appropriate aperture to be calibrated or taught for a specific distance, which should then be set dynamically during operation for an object at this distance. The criterion for the appropriate aperture is, for example, maximum, optimal or still sufficient image sharpness or an application-specific requirement, such as reading a code. For a more robust result, this can Teach-in can be repeated for at least one other object at the same distance and then averaged, for example. Further iterations place an object or successively several objects at different distances in order to find the appropriate aperture setting for it, or in a preferred embodiment several values of the function aperture(distance). An interpolation can be used instead of the resulting step function.

Die Empfangsoptik weist bevorzugt eine feste Fokuslage auf. Die Kamera bildet damit ein Fixfokussystem. Vorzugsweise ist die feste Fokuslage auf ferne Objekte eingestellt, d.h. Objekte mit geringer Höhe in einem maximalen Objektabstand beispielsweise in einer Ebene eines Förderbandes. Codes auf diesen Objekten werden daher mit einer kleinen Modulgröße aufgenommen. Daher ist es sinnvoll, die Fokuslage für diese besonders anspruchsvolle Decodieraufgabe zu wählen.The receiving optics preferably have a fixed focal position. The camera thus forms a fixed focus system. Preferably, the fixed focal position is set to distant objects, i.e. objects of low height at a maximum object distance, for example in a plane of a conveyor belt. Codes on these objects are therefore recorded with a small module size. It therefore makes sense to choose the focus position for this particularly demanding decoding task.

Alternativ ist eine Fokusverstelleinheit zur Einstellung einer Fokuslage vorstellbar, insbesondere eine Autofokuseinheit. Um die jeweilige Fokusposition unabhängig von einer Abstandsmessung zu finden, kann in einem ersten Schritt die Blende vollständig geöffnet werden. Dadurch wird der Tiefenschärfenbereich klein, und dies ermöglicht es, ein eindeutiges Maximum des Kontrasts über den Abstand zu finden. Eine entsprechend diesem Maximum eingestellte Fokuslage ist daher optimal. Anschließend kann die Blende dann wieder geschlossen werden, um den Tiefenschärfenbereich zu erweitern.Alternatively, a focus adjustment unit for setting a focus position is conceivable, in particular an autofocus unit. In order to find the respective focus position independently of a distance measurement, the aperture can be opened completely in a first step. This makes the depth of field small, and this makes it possible to find a clear maximum of contrast over distance. A focal position set according to this maximum is therefore optimal. The aperture can then be closed again to increase the depth of field.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, für ein Objekt in einem der Fokuslage entsprechenden Abstand die Blende auf eine maximale BlendenÖffnung einzustellen und für abweichende, insbesondere kleinere Abstände die Blende zunehmend zu schließen. Befindet sich ein Objekt in einem der Fokuslage entsprechenden Abstand, sei es der zu einem Fixfokus passende Abstand oder eine momentane Einstellung einer Fokusverstellung, so ist kein Beitrag der Blende zu einem erweiterten Tiefenschärfenbereich erforderlich. Die maximale Öffnung der Blende kann noch durch andere Randbedingungen wie Überbelichtungen beschränkt werden. In abweichenden Abständen kann der Tiefenschärfenbereich durch Zuziehen der Blende erweitert werden. Dieses Verhalten kann durch die Funktion Blende(Abstand) abgebildet werden. Die Fokuslage ist in einem Fixfokussystem vorzugsweise auf einen maximalen Abstand eingestellt. Für ein weit entferntes Objekt ist dann die Blende offen, der Tiefenschärfenbereich klein, und es werden Bilder mit viel Licht bei guter Auflösung aufgenommen. Bei mehreren Objekten wird die Blende verkleinert und der Tiefenschärfenbereich erweitert sich. Der verringerte Lichteinfall ist wegen des abstandsabhängigen Dynamikverhaltens, d.h. der typischen 1/r²-Charakteristik, in der Regel sogar erwünscht. Die schlechtere Auflösung ist hinnehmbar, da sich die Strukturen und insbesondere Modulgrößen mit zunehmender Nähe vergrößern.The control and evaluation unit is preferably designed to set the aperture to a maximum aperture for an object at a distance corresponding to the focus position and to increasingly close the aperture for deviating, in particular smaller, distances. If an object is located at a distance that corresponds to the focus position, be it the distance suitable for a fixed focus or a momentary setting of a focus adjustment, the diaphragm does not have to contribute to an extended depth of field range. The maximum opening of the aperture can still be limited by other boundary conditions such as overexposure. At deviating distances, the depth of field can be extended by closing the aperture. This behavior can be represented by the aperture(distance) function. In a fixed focus system, the focus position is preferably set to a maximum distance. The aperture is then open for a distant object, the depth of field is small, and images are taken with a lot of light and good resolution. If there are several objects, the aperture is reduced and the depth of field increases. The reduced incidence of light is actually desirable because of the distance-dependent dynamic behavior, ie the typical 1/r ² characteristic. The poorer resolution is acceptable since the structures and in particular the module sizes increase with increasing proximity.

Die Steuer- und Auswertungseinheit ist bevorzugt dafür ausgebildet, die Blende in Abhängigkeit von einer Helligkeit insbesondere der Bilddaten einzustellen. Hier wird eine Remissionsmessung anstelle einer Abstandsmessung zur Grundlage der Blendeneinstellung. Bei sonst gleichen Bedingungen wird ein nahes Objekt heller erscheinen als ein fernes Objekt. Die Remissionsmessung erfolgt durch einen zusätzlichen Lichtempfänger, beispielsweise eine Photodiode oder dergleichen, oder es wird dafür die Helligkeit der Bilddaten bewertet. Abstands- und Remissionsmessung sind auch kombinierbar.The control and evaluation unit is preferably designed to set the aperture as a function of a brightness, in particular of the image data. Here a remission measurement instead of a distance measurement becomes the basis of the aperture setting. Other things being equal, a near object will appear brighter than a distant object. The reflectance is measured by an additional light receiver, for example a photodiode or the like, or the brightness of the image data is evaluated for this. Distance and remission measurement can also be combined.

Die Blende ist bevorzugt in der Empfangsoptik verbaut oder auf die Empfangsoptik aufgesetzt. Insbesondere kann die einstellbare Blende in einem Objektivdesign die bisherige Festblende ersetzen. Es ist denkbar, eine Blende gemeinsam mit einer Linse integriert auszubilden. Alternativ wird die verstellbare Blende vorne zur Szenerie oder hinten zum Bildsensor hin auf das Objektiv aufgesetzt.The aperture is preferably installed in the receiving optics or placed on the receiving optics. In particular, the adjustable aperture can replace the previous fixed aperture in a lens design. It is conceivable to integrate a diaphragm together with a lens. Alternatively, the adjustable aperture is placed on the lens at the front towards the scenery or at the rear towards the image sensor.

Die Kamera ist vorzugsweise stationär an einer Fördereinrichtung montiert, die zu erfassende Objekte in einer Förderrichtung durch den Erfassungsbereich führt. Dies ist eine sehr häufige industrielle Anwendung einer Kamera. Durch die ständig wechselnden Objekte und die strenge Vorgabe der Objektwechsel durch die Fördereinrichtung muss die Einstellung der Blende praktisch ständig und unter engen Zeitvorgaben reagieren können.The camera is preferably mounted in a stationary manner on a conveying device that guides objects to be captured in a conveying direction through the capture area. This is a very common industrial application of a camera. Due to the constantly changing objects and the strict specification of the object change by the conveying device, the setting of the aperture must be able to react practically constantly and under tight time specifications.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:

1 eine schematische Schnittdarstellung einer Kamera;
2 eine dreidimensionale Ansicht einer beispielhaften Anwendung der Kamera in Montage an einem Förderband; und
3 eine Darstellung einer Kamera und zweier aufeinanderfolgender Objekte, die in deren Erfassungsbereich bewegt werden, zur Erläuterung der geometrischen Verhältnisse und des Zeitverhaltens an einem Förderband.

The invention is explained in more detail below, also with regard to further features and advantages, by way of example on the basis of embodiments and with reference to the attached drawing. The illustrations of the drawing show in:

1 a schematic sectional view of a camera;
2 a three-dimensional view of an exemplary application of the camera mounted on a conveyor belt; and
3 a representation of a camera and two consecutive objects that are moved in their detection area, to explain the geometric relationships and the time behavior on a conveyor belt.

1 zeigt eine schematische Schnittdarstellung einer Kamera 10. Empfangslicht 12 aus einem Erfassungsbereich 14 trifft auf eine Empfangsoptik 16, die das Empfangslicht 12 auf einen Bildsensor 18 führt. Die optischen Elemente der Empfangsoptik 16 sind vorzugsweise als Objektiv aus mehreren Linsen und anderen optischen Elementen wie Blenden, Prismen und dergleichen ausgestaltet, hier aber vereinfachend nur durch eine Linse repräsentiert. Die Empfangsoptik 16 hat in einer bevorzugten Ausführungsform eine feste Fokuslage (Fixfokus), alternativ wird die Fokuslage im Betrieb verändert (Fokusverstellung, Autofokus). 1 shows a schematic sectional view of a camera 10. Received light 12 from a detection area 14 impinges on receiving optics 16, which guides the received light 12 onto an image sensor 18. The optical elements of the receiving optics 16 are preferably designed as an objective made up of a plurality of lenses and other optical elements such as diaphragms, prisms and the like, but are represented here by just one lens for the sake of simplicity. In a preferred embodiment, the receiving optics 16 have a fixed focal position (fixed focus), alternatively the focal position is changed during operation (focus adjustment, autofocus).

Der Empfangsoptik ist eine verstellbare Blende 17 zugeordnet. Das Verstellprinzip kann auf verschiedensten Technologien basieren, insbesondere einer motorisch aktuierten Irisblende, einem LCD-Display, einer opaken Flüssigkeit unter Ausnutzung des Elektrobenetzungseffekts oder einer transparenten Membran wie einleitend kurz diskutiert. Im Folgenden wird nur der funktionale Aspekt betrachtet, dass die Blendenöffnung der verstellbaren Blende 17 durch elektronische Ansteuerung veränderbar ist. Die verstellbare Blende kann in der Empfangsoptik 16 verbaut oder zu dem Bildsensor 18 oder zu dem Erfassungsbereich 14 hin aufgesetzt sein. Vorzugsweise erzeugt die verstellbare Blende 17 eine runde Blendenöffnung, es sind aber auch andere Geometrien denkbar.An adjustable aperture 17 is assigned to the receiving optics. The adjustment principle can be based on a wide variety of technologies, in particular a motor-actuated iris diaphragm, an LCD display, an opaque liquid using the electrowetting effect, or a transparent membrane, as briefly discussed in the introduction. In the following, only the functional aspect is considered that the aperture of the adjustable aperture 17 can be changed by electronic control. The adjustable aperture can be installed in the receiving optics 16 or attached to the image sensor 18 or to the detection area 14 . The adjustable diaphragm 17 preferably produces a round diaphragm opening, but other geometries are also conceivable.

Um den Erfassungsbereich 14 während einer Aufnahme der Kamera 10 mit Sendelicht 20 auszuleuchten, umfasst die Kamera 10 eine optionale Beleuchtungseinheit 22, die in 1 in Form einer einfachen Lichtquelle und ohne Sendeoptik dargestellt ist. In anderen Ausführungsformen sind mehrere Lichtquellen, wie LEDs oder Laserdioden, beispielsweise ringförmig um den Empfangspfad angeordnet, die auch mehrfarbig und gruppenweise oder einzeln ansteuerbar sein können, um Parameter der Beleuchtungseinheit 22 wie deren Farbe, Intensität und Richtung anzupassen. Die Beleuchtungseinheit 22 kann abweichend von der Darstellung ein externes Bauteil oder ganz weggelassen sein, im letzteren Fall arbeitet die Kamera 10 nur mit dem Umgebungslicht. In order to illuminate the detection area 14 with transmitted light 20 while the camera 10 is taking a picture, the camera 10 comprises an optional lighting unit 22, which is shown in 1 is shown in the form of a simple light source and without transmission optics. In other embodiments, several light sources such as LEDs or laser diodes are arranged in a ring around the reception path, which can also be multicolored and can be controlled in groups or individually in order to adapt parameters of the lighting unit 22 such as its color, intensity and direction. Deviating from the illustration, the lighting unit 22 can be an external component or can be omitted entirely; in the latter case, the camera 10 only works with the ambient light.

Zusätzlich zu dem eigentlichen Bildsensor 18 zur Erfassung von Bilddaten weist die Kamera 10 einen optoelektronischen Abstandssensor 24 auf, der mit einem Lichtlaufzeitverfahren (TOF, Time of Flight) Abstände zu Objekten in dem Erfassungsbereich 14 misst. Der Abstandssensor 24 umfasst einen TOF-Lichtsender 26 mit TOF-Sendeoptik 28 sowie einen TOF-Lichtempfänger 30 mit TOF-Empfangsoptik 32. Damit wird ein TOF-Lichtsignal 34 ausgesandt und wieder empfangen. Eine Lichtlaufzeitmesseinheit 36 bestimmt die Laufzeit des TOF-Lichtsignals 34 und daraus den Abstand zu einem Objekt, an dem das TOF-Lichtsignal 34 zurückgeworfen wurde.In addition to the actual image sensor 18 for capturing image data, the camera 10 has an optoelectronic distance sensor 24 which measures distances to objects in the capture region 14 using a time-of-flight method (TOF, Time of Flight). The distance sensor 24 includes a TOF light transmitter 26 with TOF transmission optics 28 and a TOF light receiver 30 with TOF reception optics 32. A TOF light signal 34 is thus emitted and received again. A light propagation time measuring unit 36 determines the propagation time of the TOF light signal 34 and from this the distance to an object at which the TOF light signal 34 was reflected.

Der TOF-Lichtempfänger 30 weist in der dargestellten Ausführungsform mehrere Lichtempfangselemente 30a oder Pixel auf und kann so sogar ein ortsaufgelöstes Höhenprofil erfassen. Alternativ weist der TOF-Lichtempfänger 30 nur ein Lichtempfangselement 30a auf beziehungsweise verrechnet mehrere Messwerte der Lichtempfangselemente 30a zu einem Abstandswert. Der Aufbau des Abstandssensors 24 ist rein beispielhaft, und auch andere optoelektronische Abstandsmessungen ohne Lichtlaufzeitverfahren sowie nicht-optische Abstandsmessungen sind vorstellbar. Die optoelektronische Entfernungsmessung mittels Lichtlaufzeitverfahren ist bekannt und wird daher nicht im Einzelnen erläutert. Zwei beispielhafte Messverfahren sind Photomischdetektion mit einem periodisch modulierten TOF-Lichtsignal 34 und Pulslaufzeitmessung mit einem pulsmodulierten TOF-Lichtsignal 34. Dabei gibt es auch hochintegrierte Lösungen, in denen der TOF-Lichtempfänger 30 mit der Lichtlaufzeitmesseinheit 36 oder zumindest Teilen davon, etwa TDCs (Time-to-Digital-Converter) für Laufzeitmessungen, auf einem gemeinsamen Chip untergebracht ist. Dazu eignet sich insbesondere ein TOF-Lichtempfänger 30, der als Matrix von SPAD-Lichtempfangselementen 30a aufgebaut ist (Single-Photon Avalanche Diode). Für eine solche SPAD-basierte Abstandsmessung sind mehrere Lichtempfangselemente 30a besonders vorteilhaft, die nicht für eine ortsaufgelöste Messung, sondern eine statistische Mehrfachmessung genutzt werden, mit der ein genauerer Abstandswert bestimmt wird. Die TOF-Optiken 28, 32 sind nur symbolhaft als jeweilige Einzellinsen stellvertretend für beliebige Optiken wie beispielsweise ein Mikrolinsenfeld gezeigt.In the embodiment shown, the TOF light receiver 30 has a plurality of light receiving elements 30a or pixels and can thus even detect a spatially resolved height profile. Alternatively, the TOF light receiver 30 has only one light-receiving element 30a or calculates a plurality of measured values of the light-receiving elements 30a to form a distance value. The structure of the distance sensor 24 is purely exemplary, and other optoelectronic distance measurements without the time-of-flight method and non-optical distance measurements are also conceivable. Optoelectronic distance measurement using the time-of-flight method is known and is therefore not explained in detail. Two exemplary measurement methods are photomixing detection with a periodically modulated TOF light signal 34 and pulse propagation time measurement with a pulse modulated TOF light signal 34. There are also highly integrated solutions in which the TOF light receiver 30 with the light propagation time measuring unit 36 or at least parts thereof, such as TDCs (time -to-digital converter) for runtime measurements, is housed on a common chip. A TOF light receiver 30 which is constructed as a matrix of SPAD light receiving elements 30a (single-photon avalanche diode) is particularly suitable for this purpose. A plurality of light-receiving elements 30a are particularly advantageous for such a SPAD-based distance measurement, which are not used for a spatially resolved measurement but for a statistical multiple measurement, with which a more precise distance value is determined. The TOF optics 28, 32 are shown only symbolically as respective individual lenses representative of any optics such as a microlens array.

Eine Steuer- und Auswertungseinheit 38 ist mit der verstellbaren Blende 17, der Beleuchtungseinheit 22, dem Bildsensor 18 und dem Abstandssensor 24 verbunden und für die Steuerungs-, Auswertungs- und sonstigen Koordinierungsaufgaben in der Kamera 10 zuständig. Sie steuert also die verstellbare Blende 17 an, vorzugsweise in Abhängigkeit von einem Abstandswert des Abstandssensors 24, so dass für das jeweilige zu erfassende Objekt eine noch zu erläuternde passende Blendenöffnung entsteht, und liest Bilddaten des Bildsensors 18 aus, um sie zu speichern beziehungsweise an einer Schnittstelle 40 auszugeben. Vorzugsweise ist die Steuer- und Auswertungseinheit 38 in der Lage, Codebereiche in den Bilddaten aufzufinden und zu decodieren, womit die Kamera 10 zu einem kamerabasierten Codeleser wird. Für die verschiedenen Steuer- und Auswertungsaufgaben können mehrere Bausteine vorgesehen sein, beispielsweise um die Blendenanpassungen in einem separaten Baustein oder Vorverarbeitungen der Bilddaten auf einem separaten FPGA durchzuführen.A control and evaluation unit 38 is connected to the adjustable aperture 17, the lighting unit 22, the image sensor 18 and the distance sensor 24 and is responsible for the control, evaluation and other coordination tasks in the camera 10. So it controls the adjustable aperture 17, preferably depending on a distance value of the distance sensor 24, so that for the respec lig object to be detected, a still to be explained suitable aperture is created, and reads out image data from the image sensor 18 in order to store them or to output them at an interface 40. The control and evaluation unit 38 is preferably able to locate and decode code areas in the image data, with the result that the camera 10 becomes a camera-based code reader. A number of modules can be provided for the various control and evaluation tasks, for example in order to carry out the aperture adjustments in a separate module or to carry out pre-processing of the image data on a separate FPGA.

Die Kamera 10 wird durch ein Gehäuse 42 geschützt, das im vorderen Bereich, wo das Empfangslicht 12 einfällt, durch eine Frontscheibe 44 abgeschlossen ist.The camera 10 is protected by a housing 42 which is closed by a front pane 44 in the front area where the received light 12 is incident.

2 zeigt eine mögliche Anwendung der Kamera 10 in Montage an einem Förderband 46. Die Kamera 10 wird hier nur noch als Symbol und nicht mehr mit ihrem bereits anhand der 1 erläuterten Aufbau gezeigt. Das Förderband 46 fördert Objekte 48, wie durch den Pfeil 50 angedeutet, durch den Erfassungsbereich 14 der Kamera 10. Die Objekte 48 können an ihren Außenflächen Codebereiche 52 tragen. Aufgabe der Kamera 10 ist, Eigenschaften der Objekte 48 zu erfassen und in einem bevorzugten Einsatz als Codeleser die Codebereiche 52 zu erkennen, die dort angebrachten Codes auszulesen, zu dekodieren und dem jeweils zugehörigen Objekt 48 zuzuordnen. Um auch Objektseiten und insbesondere seitlich angebrachte Codebereiche 54 zu erfassen, werden vorzugsweise zusätzliche, nicht dargestellte Kameras 10 aus unterschiedlicher Perspektive eingesetzt. Außerdem können mehrere Kameras 10 nebeneinander angeordnet werden, um gemeinsam einen breiteren Erfassungsbereich 14 abzudecken. 2 shows a possible application of the camera 10 mounted on a conveyor belt 46. The camera 10 is only used here as a symbol and no longer with its already based on the 1 explained structure shown. The conveyor belt 46 conveys objects 48, as indicated by the arrow 50, through the detection area 14 of the camera 10. The objects 48 can carry code areas 52 on their outer surfaces. The task of the camera 10 is to capture properties of the objects 48 and, in a preferred use as a code reader, to recognize the code areas 52, to read out the codes applied there, to decode them and to assign them to the respective associated object 48. In order to also detect object sides and in particular code areas 54 attached to the side, additional cameras 10 (not shown) are preferably used from different perspectives. In addition, several cameras 10 can be arranged next to one another in order to jointly cover a wider detection area 14 .

3 zeigt nochmals eine Kamera 10 mit nach unten gerichtetem Erfassungsbereich 14, wie in der Situation der 2. Ein Abstandsmesssichtfeld 56 des Abstandssensors 24 ist in diesem Beispiel größer als der Erfassungsbereich 14 und schließt diesen ein. Es sind aber auch abweichende überlappende und nicht überlappende Konfigurationen von Erfassungsbereich 14 und Abstandsmesssichtfeld 56 vorstellbar. Ein zumindest teilweise vorgelagertes Abstandsmesssichtfeld 56 hat den Vorteil, dass frühzeitiger ein Abstandsmesswert zur Verfügung steht. 3 FIG. 12 again shows a camera 10 with the detection area 14 pointing downwards, as in the situation in FIG 2 . In this example, a distance measuring field of view 56 of the distance sensor 24 is larger than the detection area 14 and encloses it. However, different overlapping and non-overlapping configurations of detection area 14 and distance measurement field of view 56 are also conceivable. An at least partially upstream distance measurement field of view 56 has the advantage that a distance measurement value is available earlier.

Ein erstes aufzunehmendes Objekt 48 bewegt sich mit einer Geschwindigkeit v in den Erfassungsbereich 14. Die Geschwindigkeit v kann als Parameter einer Fördereinrichtung bekannt, durch einen externen Sensor wie einen Encoder gemessen, aus früheren Bildaufnahmen rekonstruiert oder durch den Abstandssensor 24 bestimmt sein. Im letzteren Fall weist der Abstandssensor 24 vorzugsweise mehrere Empfangszonen aus Lichtempfangselementen 30a auf, in die das Objekt 48 nacheinander eintritt, so dass aus der zeitlichen Abfolge und den gemessenen Abständen auf die Geschwindigkeit v geschlossen werden kann.A first object 48 to be recorded moves at a speed v into the detection area 14. The speed v can be known as a parameter of a conveying device, measured by an external sensor such as an encoder, reconstructed from earlier image recordings or determined by the distance sensor 24. In the latter case, the distance sensor 24 preferably has a plurality of receiving zones made up of light-receiving elements 30a, into which the object 48 enters one after the other, so that the speed v can be inferred from the time sequence and the measured distances.

Das Objekt 48 wird bei Eintritt in das Abstandsmesssichtfeld 56 detektiert. Die Aufnahme soll vorzugsweise ausgelöst werden, wenn es sich in der Mitte des Erfassungsbereichs 14 befindet. Dazu muss noch der Weg d₁ zurückgelegt werden, und die Zeit bis dahin ist durch t₁=d₁/v gegeben. Der Weg d₁ hängt noch von dem Abstand h₁ ab, da unterschiedlich hohe Objekte 48 in unterschiedlichen Positionen erstmals erfasst werden. Der Abstand h₁ wiederum wird von dem Abstandssensor 24 gemessen und muss selbst noch aus dem schräg statt senkrecht gemessenen Abstandswert h_m1 mittels h₁=h_m1 cos α umgerechnet werden. Dabei entspricht der Winkel α in der dargestellten Konfiguration unter der Annahme, dass h_m1 sofort bei Eintritt in das Abstandsmesssichtfeld 56 gemessen wird, dem halben Sichtwinkel des Abstandssensors 24 und ist jedenfalls aus der festen Konfiguration bekannt. Mit diesen Größen kann nun auch d₁=h₁ tan α berechnet werden.The object 48 is detected upon entering the distance measurement field of view 56 . The recording should preferably be triggered when it is in the middle of the detection area 14 . To do this, the path d ₁ must still be covered, and the time up to that point is given by t ₁ =d ₁ /v. The path d ₁ still depends on the distance h ₁ , since objects 48 of different heights are detected for the first time in different positions. The distance h ₁ in turn is measured by the distance sensor 24 and must itself be converted from the distance value h _m1 measured obliquely instead of vertically using h ₁ =h _m1 cos α. The angle α in the configuration shown corresponds to half the viewing angle of the distance sensor 24, assuming that h _m1 is measured immediately upon entry into the distance measuring field of view 56 and is in any case known from the fixed configuration. With these quantities, d ₁ =h ₁ tan α can now also be calculated.

Vergleichbare Überlegungen können für die weiteren Objekte angestellt werden, wobei stellvertretend nur ein weiteres Objekt 48a einer Höhe h₂ mit einem noch zurückzulegenden Weg d₂ gezeigt ist. Die Steuer- und Auswertungseinheit 38 verfügt somit über die aus 3 entnehmbaren relevanten geometrischen Informationen und Auslösezeitpunkte. Damit kann die Blendenöffnung der verstellbaren Blende 17 rechtzeitig für die Aufnahme eines jeden Objekts 48, 48a entsprechend dem jeweiligen Abstandswert des Abstandssensors 24 oder der daraus berechenbaren Höhe h₁, h₂ eingestellt werden.Comparable considerations can be made for the other objects, only one other object 48a of a height h ₂ with a path d ₂ still to be covered being shown as a representative. The control and evaluation unit 38 thus has the 3 removable relevant geometric information and trigger times. The aperture of the adjustable aperture 17 can thus be set in good time for recording each object 48, 48a in accordance with the respective distance value of the distance sensor 24 or the height h ₁ , h ₂ that can be calculated therefrom.

Ein Objekt 48a, das weiter von der Kamera 10 entfernt ist und somit eine geringere Höhe h₁<h₂ hat, wird wegen der mit dem Abstand quadratisch abfallenden Amplitude des Signals dunkler wahrgenommen. Zusätzlich erscheint der Code 52 auf einem Objekt 48a mit niedrigerer Höhe h₂ kleiner, so dass eine bessere Auflösung von Nöten ist. Eine geschlossene Blende erweitert den Tiefenschärfenbereich und verringert die Auflösung. Welche Verringerung und welches Signal-Rausch-Verhältnis noch vertragen wird, hängt von der konkreten Anwendung ab. Das wird an dem Beispiel des Codelesens deutlich: Es kommt letztlich nicht darauf an, ob Bilder physikalische Qualitätskriterien erfüllen, sondern ob der Code gelesen werden kann. Die passende Blendeneinstellung für einen Abstandswert bemisst sich folglich vorzugsweise daran, ob damit gewährleistet ist, dass ein Code lesbar sein wird. Dies kann je nach Codeart, Modulgröße, Belichtung und eingesetztem Decoder variieren, so dass es sinnvoll sein kann, in Abhängigkeit dieser Parameter mehrere Blendeneinstellungen für jeweilige Abstandswerte zu kennen und im Betrieb je nach Situation zu verwenden.An object 48a that is further away from the camera 10 and thus has a lower height h ₁ <h ₂ is perceived as darker because the amplitude of the signal decreases with the square of the distance. In addition, the code 52 appears smaller on an object 48a with lower height h ₂ , so better resolution is needed. A closed aperture increases the depth of field and reduces the resolution. Which reduction and which signal-to-noise ratio can still be tolerated depends on the specific application. The example of code reading makes this clear: In the end, it doesn't really matter whether images meet physical quality criteria, but whether the code can be read. The appropriate aperture setting for a distance value is therefore preferably based on whether it is guaranteed that a code will be readable. This can vary depending on the code type, module size, exposure and decoder used, so that it can make sense to know several aperture settings for the respective distance values depending on these parameters and to use them during operation depending on the situation.

Eine Grundlage für die Einstellung der Blende lässt sich wie folgt angeben. Die Auflösung Res_img hängt mit der Pixelgröße p und der Vergrößerung mag wie folgt zusammen: $R e s_{i m g} = p / m a g .$

A basis for adjusting the aperture can be given as follows. The resolution Res _img is related to the pixel size p and the magnification mag as follows:

R e s_{i m G} = p / m a G .

Ferner kann die Vergrößerung mag bei bekannter Brennweite ƒ und für Abstände r > ƒ genähert werden zu $m a g = ƒ / (ƒ - r) .$

Furthermore, the magnification mag can be approximated with a known focal length ƒ and for distances r > ƒ

m a G = ƒ / (ƒ - right) .

Wenn die Blende zu stark geschlossen wird, treten womöglich Beugungseffekte auf, die Einfluss auf die Auflösung nehmen können. Solche Beugungseffekte werden mit dem Rayleigh-Kriterium beschrieben: $R e s_{d i f f} = 1.22 * l a m b d a / (N * m a g) .$

Lambda ist hier die Wellenlänge, bei polychromatischen LEDs kann beispielsweise der Mittelwert benutzt werden. N ist die Blendenzahl und damit invers proportional zu dem Durchmesser der Blende. Der Faktor 1.22 entspricht einer Nullstellenlage der Bessel-Funktion und kann alternativ anders gewählt werden.If the aperture is closed too much, diffraction effects may occur, which can affect the resolution. Such diffraction effects are described with the Rayleigh criterion:

R e s_{i.e i f f} = 1.22 * l a m b i.e a / (N * m a G) .

Lambda is the wavelength here, with polychromatic LEDs, for example, the mean value can be used. N is the f-number and is inversely proportional to the diameter of the aperture. The factor 1.22 corresponds to a zero position of the Bessel function and can alternatively be chosen differently.

Die Auflösungsgrenze ist dann gegeben durch das Maximum der beiden Werte Res_img, ReS_diff: $R e s = max (R e s_{i m g}, R e s_{d i f f}) .$

The resolution limit is then given by the maximum of the two values Res _img , ReS _diff :

R e s = Max (R e s_{i m G}, R e s_{i.e i f f}) .

Der Tiefenschärfenbereich DOF ist approximiert durch: $D O F = a l p h a * \frac{2 r^{2} * N * C}{ƒ^{2}} .$

Darin ist alpha ein empirischer Korrekturfaktor, und C ist der sogenannte „circle of confusion“, der mit der Auflösungsgrenze zusammenhängt und anschaulich die kleinste Einheit darstellt, die noch aufgelöst werden soll. Je kleiner das zu untersuchende Objekt, desto kleiner wird wegen der linearen Abhängigkeit der Tiefenschärfenbereich DOF. Nun kann C durch die gewünschte Auflösungsgrenze ersetzt werden, noch korrigiert durch einen empirisch ermittelten Faktor a. Sofern die die Blende nicht zu klein und daher die Auflösung nicht durch Beugung begrenzt ist, führt die Ersetzung von C durch Res nach den obigen Gleichungen zu:

D O F (r) = a l p h a * \frac{2 r^{2} * N * a * p * (ƒ - r)}{ƒ^{3}} ≅ a l p h a * \frac{2 r^{3} * N * a * p}{ƒ^{3}} .

The depth of field DOF is approximated by:

D O f = a l p H a * \frac{2 {right}^{2} * N * C}{ƒ^{2}} .

In this, alpha is an empirical correction factor, and C is the so-called "circle of confusion", which is related to the resolution limit and graphically represents the smallest unit that is still to be resolved. The smaller the object to be examined, the smaller the depth of field DOF becomes due to the linear dependency. Now C can be replaced by the desired resolution limit, corrected by an empirically determined factor a. Unless the aperture is too small and therefore the resolution is not limited by diffraction, replacing C with Res according to the above equations leads to:

D O f (right) = a l p H a * \frac{2 {right}^{2} * N * a * p * (ƒ - right)}{ƒ^{3}} ≅ a l p H a * \frac{2 {right}^{3} * N * a * p}{ƒ^{3}} .

Daher ergibt sich folgendes Optimum für die Blendeneinstellung: Ist das Objekt klein, so sollte die Blende geöffnet werden. Damit wird der Tiefenschärfenbereich DOF klein. Daher sollte eine statische Fokuslage der Empfangsoptik 16 für große Abstände beziehungsweise kleine Objekte ausgelegt werden, so dass in einer Codeleseanwendung die kleine Modulgröße gelesen werden kann. Bei geringeren Abständen beziehungsweise größeren Objekten und gleichbleibender Fokusposition wird die Blende zugezogen, und zwar so weit, bis der Tiefenschärfenbereich DOF ausreichend ist, um den Code lesen zu können. Dank des geringeren Abstandswerts wird die Modulgröße in Pixeln größer, so dass die weiter geschlossene Blende vertragen wird.Therefore, the following optimum for the aperture setting results: If the object is small, the aperture should be opened. Thus, the depth of field DOF becomes small. A static focus position of the receiving optics 16 should therefore be designed for large distances or small objects, so that the small module size can be read in a code reading application. With smaller distances or larger objects and the same focus position, the aperture is closed until the depth of field DOF is sufficient to be able to read the code. Thanks to the smaller distance value, the module size in pixels is larger, so that the more closed aperture is tolerated.

Diese Blendenanpassung ist auch von Vorteil, weil sie die Helligkeitsdynamik teilweise kompensiert. Die Anzahl der Photonen, die die Kamera 10 erreichen, hängt von dem Durchmesser d der Blende ab: $s i g n a l \sim 1 / d^{2} .$

Das korrespondiert gerade mit dem quadratischen Abfall der Amplitude mit dem Abstand:

s i g n a l \sim 1 / r^{2} .

Wegen N = f/(d/2) wächst zugleich der Tiefenschärfenbereich DOF linear mit kleiner werdender Blende.This aperture adjustment is also an advantage because it partially compensates for the brightness dynamics. The number of photons reaching the camera 10 depends on the diameter d of the aperture:

s i G n a l \sim 1 / {i.e}^{2} .

This corresponds to the quadratic drop in amplitude with distance:

s i G n a l \sim 1 / {right}^{2} .

Because of N = f/(d/2), the depth of field DOF increases linearly with decreasing aperture.

Mit diesen Erkenntnissen kann eine Funktion Blende(Abstand) gefunden werden, mit der die Steuer- und Auswertungseinheit 38 für den jeweils gemessenen Abstandswert die passende Einstellung für die verstellbare Blende 17 auffindet. Mit dieser dynamischen Blendeneinstellung pro Objekt ist die Abbildung aufgrund des erforderlichenfalls durch die Blende erweiterten Tiefenschärfenbereichs scharf und liefert genügend Signal, damit der Decoder den Code lesen kann (Good Read). Unter Umständen ist es sinnvoll, mehrere solche Funktionen für unterschiedliche Szenarien hinsichtlich Codeart, Modulgröße, Belichtung und/oder Decoder zu hinterlegen und in Abhängigkeit der tatsächlichen Bedingungen in der Anwendung eine dieser Funktionen zu verwenden.With these findings, an aperture (distance) function can be found, with which the control and evaluation unit 38 finds the appropriate setting for the adjustable aperture 17 for the distance value measured in each case. With this dynamic aperture setting per object, the image is sharp due to the depth of field, which may be extended by the aperture, and provides enough signal for the decoder to be able to read the code (good read). Under certain circumstances it makes sense to store several such functions for different scenarios with regard to code type, module size, exposure and/or decoder and to use one of these functions depending on the actual conditions in the application.

Zum Einlernen oder Kalibrieren der erforderlichen Blendeneinstellungen oder der Funktion Blende(Abstand) lässt sich zunächst ein Startpunkt auffinden, indem ein niedrigstes zu erwartendes Objekt mit entsprechend kleinster Modulgröße in dem Erfassungsbereich 14 positioniert wird. Das entspricht bei einem Fixfokussystem vorzugsweise dessen Fokuslage. Die Blende wird so weit geöffnet, dass der Code noch gelesen wird, und das entspricht dem einzustellenden Wert für die Blende bei diesem Abstand. Für höhere Objekte wird die Blende zur Kompensation der Unschärfe weiter geschlossen. Es ist denkbar, hier mindestens einen weiteren Wert der Funktion Blende(Abstand) mit Hilfe eines Objekts der entsprechenden Höhe zu kalibrieren. Aus den eingelernten Blendeneinstellungen kann für andere Abstandswerte beziehungsweise Höhen inter- beziehungsweise extrapoliert werden.In order to teach or calibrate the required aperture settings or the aperture (distance) function, a starting point can first be found by positioning the lowest expected object with the correspondingly smallest module size in the detection area 14 . In the case of a fixed focus system, this preferably corresponds to its focus position. The aperture is opened wide enough that the code can still be read, and this corresponds to the value to be set for the aperture at this distance. For higher objects, the aperture is closed further to compensate for the blur. It is conceivable to calibrate at least one other value of the aperture (distance) function using an object of the corresponding height. Interpolation or extrapolation can be carried out for other distance values or heights from the aperture settings that have been taught in.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102018105301 A1 [0007]
DE 102020109928 B3 [0008]
DE 102020109929 B3 [0008]
US7025271B2 [0009]
US 2010/0310246 A1 [0010]
US 2012/0229674 A1 [0010]

Claims

Camera (10) for detecting objects (48) moving through a detection area (14), which has an image sensor (18) for recording image data, receiving optics (16) with an adjustable aperture (17) and a control and evaluation unit (38 ) for reading out the image data and for setting the diaphragm (17), characterized in that the control and evaluation unit (38) is designed to set the diaphragm (17) for each object (48) in such a way that the object (48) recorded in a depth of field.

camera (10) after claim 1 , where the depth of field is determined by application-specific requirements.

camera (10) after claim 1 or 2 , wherein the control and evaluation unit (38) is designed to read a code content of a code (52) on the object (48) using the image data.

camera (10) after claim 3 , wherein the object (48) is recorded in the depth of field when a code can be read from the recorded image data.

camera (10) after claim 3 or 4 , where the required depth of field depends on a code type, a module size, an exposure and/or a decoding method.

Camera (10) according to one of the preceding claims, which has a distance sensor (24) for measuring a distance value to an object (48), the distance sensor (24) in particular being integrated into the camera (10) and/or as an optoelectronic distance sensor ( 24) is designed according to the principle of the time-of-flight method.

camera (10) after claim 6 , wherein the control and evaluation unit (38) is designed to set the diaphragm (17) for an object (48) as a function of a distance value measured for the object (48).

camera (10) after claim 6 or 7 , wherein the control and evaluation unit (38) sets the aperture (17) for an object (48) using a function of the required aperture depending on the distance of an object (48).

Camera (10) after one of Claims 6 until 8th , wherein the control and evaluation unit (38) is designed for a learning process in which an object (48) is arranged at a distance, image data is recorded, an image sharpness is checked and the aperture (17) is adjusted until a suitable aperture setting for this distance is found.

Camera (10) according to one of the preceding claims, in which the receiving optics (16) have a fixed focus position, in particular for a maximum object distance.

Camera (10) after one of Claims 6 until 10 , wherein the control and evaluation unit (38) is designed to set the aperture (17) to a maximum aperture for an object (48) at a distance corresponding to the focus position and to increasingly increase the aperture (17) for deviating, in particular smaller, distances shut down.

Camera (10) according to one of the preceding claims, in which the control and evaluation unit (38) is designed to set the aperture (17) as a function of a brightness, in particular of the image data.

Camera (10) according to one of the preceding claims, in which the diaphragm (17) is installed in the receiving optics (16) or placed on the receiving optics (16).

Camera (10) according to one of the preceding claims, which is stationarily mounted on a conveyor device (46) which guides objects (48) to be detected in a conveying direction (50) through the detection region (14).