DE102007033835B4 - Imaging technique for direct object segmentation in images - Google Patents
Imaging technique for direct object segmentation in images Download PDFInfo
- Publication number
- DE102007033835B4 DE102007033835B4 DE102007033835A DE102007033835A DE102007033835B4 DE 102007033835 B4 DE102007033835 B4 DE 102007033835B4 DE 102007033835 A DE102007033835 A DE 102007033835A DE 102007033835 A DE102007033835 A DE 102007033835A DE 102007033835 B4 DE102007033835 B4 DE 102007033835B4
- Authority
- DE
- Germany
- Prior art keywords
- image
- illumination
- lighting
- scene
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Bildsegmentierungsvorrichtung, umfassend eine Beleuchtungseinrichtung (4) zur aktiven Beleuchtung einer ein Objekt (12) umfassenden Szene (11); eine Aufnahmeeinrichtung (1) zur Aufnahme eines Bildes (B0, B1, ..., Bn) der beleuchteten Szene (11) basierend auf einer von der Szene reflektierten Beleuchtung; und eine mit der Aufnahmeeinrichtung (1) verbundene Segmentierungseinrichtung (7) zum Ableiten eines segmentierten Bildes (S) aus dem aufgenommenen Bild (B0, B1, ..., Bn), in dem das Objekt (12) markiert ist, wobei
die Beleuchtungseinrichtung (4) zumindest eine Beleuchtungseinheit (5) umfasst und eingerichtet ist, die Szene (11) mit einer von der zumindest einen Beleuchtungseinheit (5) erzeugten Beleuchtungsmodulation zu beleuchten; und
die Aufnahmeeinrichtung (1) bezüglich ihrer Orientierung gegenüber der Szene im wesentlichen unveränderlich ist und eingerichtet ist, eine zumindest zwei Bilder (B0, B1, ..., Bn) umfassende statische Bildfolge (10) der im wesentlichen unveränderten Szene (11) aufzunehmen;
gekennzeichnet durch
eine Steuereinrichtung (2), die eingerichtet ist, die Beleuchtungsmodulation der Beleuchtungseinrichtung (5) sowie die...An image segmentation apparatus comprising illuminating means (4) for actively illuminating a scene (11) comprising an object (12); a recording device (1) for capturing an image (B0, B1, ..., Bn) of the illuminated scene (11) based on an illumination reflected by the scene; and a segmentation device (7) connected to the recording device (1) for deriving a segmented image (S) from the recorded image (B0, B1, ..., Bn) in which the object (12) is marked,
the lighting device (4) comprises at least one lighting unit (5) and is set up to illuminate the scene (11) with a lighting modulation generated by the at least one lighting unit (5); and
the recording device (1) is essentially immutable with respect to its orientation with respect to the scene and is set up to record a static image sequence (10) of the substantially unchanged scene (11) comprising at least two images (B0, B1, ..., Bn);
marked by
a control device (2) which is set up, the illumination modulation of the illumination device (5) as well as the ...
Description
Die Erfindung betrifft eine Bildsegmentierungsvorrichtung zum Markieren eines Objekts in einem Bild einer das Objekt umfassenden Szene, sowie ein entsprechendes Segmentierungsverfahren.The The invention relates to an image segmentation device for marking an object in an image of a scene comprising the object, and a corresponding segmentation method.
Die Segmentierung von Objekten in digitalen Bildern, die eine bestimmte Szene zeigen, d. h. die Erkennung und Markierung einer Kontur oder einer Fläche eines zu erkennenden Objektes in dem digitalen Bild, ist eine grundlegende und anspruchsvolle Aufgabe der digitalen Bildverarbeitung und -analyse. Gesuchte Objekte in Bildern können z. B. Gegenstände, Personen oder topologische Strukturen sein, wie z. B. Löcher, Gräben oder sonstige geometrische Figuren in realen Szenen. Da es sich bei der Segmentierung zumeist um eine (low level) Vorverarbeitung eines digitalen Bilds handelt, die eine (high level) Vermessung, Zählung oder anderweitige quantitative Analyse der segmentierten Objekte ermöglicht, ist die Qualität eines Segmentierungsverfahrens entscheidend für die Zuverlässigkeit einer übergeordneten optischen Überwachungs- oder Qualitätsanalyseanwendung. Hinzu kommt, dass bei der Überwachung von Personenbewegungen und/oder industriellen Prozessen oft eine Echtzeitbildanalyse erforderlich ist, die erhebliche Geschwindigkeits- und insofern auch Qualitätsanforderungen an ein Segmentierungsverfahren stellt.The Segmentation of objects in digital images that have a specific Scene show, d. H. the recognition and marking of a contour or a surface an object to be recognized in the digital image is a fundamental one and challenging task of digital image processing and analysis. sought Objects in pictures can z. B. objects, Persons or topological structures, such as. As holes, ditches or other geometric figures in real scenes. Since it is at the Segmentation mostly by a (low level) preprocessing of a digital image that is a (high level) survey, count or otherwise allows quantitative analysis of the segmented objects the quality of a segmentation process critical to reliability a parent optical monitoring or quality analysis application. On top of that, in the surveillance Of person movements and / or industrial processes often one Real-time image analysis is required, the significant speed and therefore also quality requirements to a segmentation method.
Bei der Segmentierung von Einzelbildern, bei der kein Kontext- bzw. Modellwissen über die zu segmentierende Szene vorhanden ist oder ausnutzt werden kann, ist die erforderliche Zuverlässigkeit nicht ohne weiteres zu gewährleisten. Prinzipiell ist es jedoch möglich, zufriedenstellende Segmentierungsergebnisse entweder durch Verbesserungen der Beleuchtungs- und/oder Bildaufnahmetechnik oder durch algorithmische Weiterentwicklung zu erzielen. Im Zusammenhang mit dem erstgenannten Ansatz ist es bekannt, dreidimensionale Aufnahmetechniken einzu setzen, die zwar umfangreiche Objektinformationen liefern und insofern eine bessere Ausgangslage für die algorithmische Bildsegmentierung schaffen, aber auch technisch wesentlich aufwendiger und kostenintensiver sind und deshalb eine Echtzeitbildverarbeitung weiter erschweren.at the segmentation of individual images, in which no context or Model knowledge about the scene to be segmented exists or can be exploited, is not the required reliability to ensure without further ado. In principle, however, it is possible satisfactory segmentation results either through improvements of Illumination and / or imaging technique or by algorithmic To achieve further development. In the context of the former approach it is known to use three-dimensional recording techniques, which provide extensive object information and thus one better starting position for create algorithmic image segmentation, but also technically are much more expensive and cost-intensive and therefore a real-time image processing further complicate.
Ebenso ist sowohl bei der zweidimensionalen als auch bei der dreidimensionalen Bildaufnahme bekannt, die aufzunehmende Szene mit einer homogenen Beleuchtung oder mit einer strukturierten Beleuchtung zu beleuchten, also ein reproduzierbares oder zufälliges Muster auf die Objekte zu projizieren, um die Objekte im Bildvordergrund gegenüber dem Bildhintergrund zu betonen und dadurch eine bessere Unterscheidbarkeit von Objekt und Hintergrund zu erreichen. Darüber werden auch Ansätze mit einer Infrarotbeleuchtung bzw. einer Beleuchtung im nicht-sichtbaren Spektralbereich verfolgt, bei denen zumindest Störungen durch eine natürliche Umgebungsbeleuchtung der Szene ausgeschlossen werden können. Jedoch sind hierbei Objektkanten und -konturen jedoch zumeist nicht störungsfrei zu erkennen, da prinzipiell jegliche Art von indirekter Umgebungsbeleuchtung für eine zuverlässige Bildsegmentierung nachteilig ist.As well is both the two-dimensional and the three-dimensional Image capture known, the scene to be recorded with a homogeneous Lighting or to illuminate with structured lighting, So a reproducible or random pattern on the objects to project the objects in the foreground of the picture against the image background to emphasize and thereby a better distinguishability of object and achieve background. There are also approaches to that an infrared lighting or a lighting in the non-visible Spectral range tracks where at least interference from natural ambient lighting the scene can be excluded. However, here are object edges and contours, however, usually not to be recognized without interference, as in principle any kind of indirect ambient lighting for reliable image segmentation is disadvantageous.
Insbesondere für sensible Echtzeitanwendungen, wie z. B. in der Sicherheitstechnik oder bei der optischen Qualitätskontrolle, gilt für alle vorgenannten Ansätze, dass der algorithmische Aufwand zu Segmentierung der aufgenommenen Bilder erheblich ist, da bei derartigen Anwendungen eine hohe Detektionswahrscheinlichkeit bei gleichzeitiger Reduktion der Fehlerrate erforderlich ist.Especially for sensitive Real-time applications, such as B. in safety technology or in the optical quality control, applies to all the above approaches, that the algorithmic effort to segment the recorded Images is significant because in such applications a high probability of detection while reducing the error rate is required.
Aus R. M. Harrison: ”Digital Radiography”, Phys. Med. Biol., 1988, Vol. 33, No. 7, pp. 751–784 ist es bekannt, bei einem medizinischen Röntgenverfahren bei unterschiedlicher Intensität oder Belichtung aufgenommene Röntgenabsorptionsbilder unter Anwendung von Subtraktionsverfahren der jeweiligen Röntgenbilder so zu bearbeiten, dass bestimmte anatomische Strukturen verstärkt oder unterdrückt werden.Out R.M. Harrison: "Digital Radiography ", Phys. Med. Biol., 1988, Vol. 7, pp. 751-784 it is known at a medical X-ray procedure at different intensity or exposure recorded X-ray absorption images using subtraction methods of the respective X-ray images to edit so that certain anatomical structures reinforced or be suppressed.
Aus Paul E. Debevec, Jitendra Malik: ”Recovering High Dynamic Range Radiance Maps from Photographs”, ACM Press/Addison-Wesley, 1997, Proceedings of the 24th Annual Conference an Computer Graphics and Interactive Techniques, pp. 369–378; ISBN 0-89791-896-7, ist es bekannt, durch mehrfaches Aufnehmen einer gegebenen Szene mit unterschiedliche Belichtung und Fusionieren der verschiedenen Aufnahmen eine bildliche Darstellung mit erhöhtem Dynamikumfang zu erzeugen.Out Paul E. Debevec, Jitendra Malik: "Recovering High Dynamic Range Radiance Maps from Photographs ", ACM Press / Addison-Wesley, 1997, Proceedings of the 24th Annual Conference to Computer Graphics and Interactive Techniques, pp. 369-378; ISBN 0-89791-896-7, it is known by multiple recording a given scene with different exposure and merging the different shots a pictorial representation with increased dynamic range to create.
Die
Die
Es ist die Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zu einer einfachen und verbesserten Echtzeitbildsegmentierung zu schaffen.It is the object of the present invention to provide a device and method for a simple and improved real-time image segment creation.
Diese Aufgabe wird erfindungsgemäß durch eine Segmentierungsvorrichtung sowie ein Segmentierungsverfahren mit den Merkmalen der unabhängigen Ansprü che gelöst. In davon abhängigen Ansprüchen sind vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung angegeben.These The object is achieved by a Segmentation device and a segmentation method with the characteristics of the independent Claims solved. In dependent on it claims are advantageous embodiments and developments of the invention specified.
Eine erfindungsgemäße Bildsegmentierungsvorrichtung umfasst eine Beleuchtungseinrichtung mit zumindest einer Beleuchtungseinheit zur Erzeugung einer zeitlichen Beleuchtungsmodulation zur aktiven Beleuchtung einer ein Objekt umfassenden Szene, eine Aufnahmeeinrichtung zur Aufnahme einer zumindest zwei Bilder umfassenden statischen Bildfolge der Szene sowie eine mit der Aufnahmeeinrichtung verbundene Segmentierungseinrichtung, die aus der Bildfolge ein segmentiertes Ergebnisbild ableitet, in dem das Objekt von dem Hintergrund unterscheidbar markiert ist. Durch die von der zumindest einen Beleuchtungseinheit erzeugt Beleuchtungsmodulation, kann die Szene mit einer veränderlichen Beleuchtung beleuchtet werden. Die von der Beleuchtungseinrichtung erzeugte Beleuchtungsmodulation sowie die Bildaufnahme der Aufnahmeeinrichtung werden durch eine Steuereinrichtung der Bildsegmentierungsvorrichtung koordiniert gesteuert. Die Steuereinrichtung ist dazu eingerichtet, die Beleuchtungsmodulation der Beleuchtungseinrichtung sowie die Aufnahmeeinrichtung derart zu steuern, dass ein erstes Bild der Bildfolge bei Umgebungsbeleuchtung aufgenommen wird und jedes weitere Bild der Bildfolge bei aktiver modulierter Beleuchtung durch jeweils eine Beleuchtungseinheit aufgenommen wird. Die Segmentierungseinrichtung ist dazu eingerichtet, jeweils ein Differenzbild aus dem bei Umgebungsbeleuchtung aufgenommenen Bild der Bildfolge und jeweils einem bei aktiver modulierter Beleuchtung durch jeweils eine Beleuchtungseinheit aufgenommenen weiteren Bild der Bildfolge zu bilden und aus jedem Differenzbild jeweils ein binärwertiges segmentiertes Bild abzuleiten und die binärwertigen segmentierten Bilder mittels eines Binäroperators zu fusionieren.A Image segmentation device according to the invention comprises a lighting device with at least one lighting unit for generating a temporal illumination modulation to the active Illumination of a scene comprising an object, a recording device for recording a static image sequence comprising at least two images the scene as well as a segmentation device connected to the recording device, which derives a segmented result image from the image sequence, in the object is marked distinguishable from the background. By the illumination modulation generated by the at least one illumination unit, can change the scene with a changeable one Illuminated lighting. The of the lighting device generated illumination modulation and the image recording of the recording device coordinated by a controller of the image segmentation device controlled. The control device is adapted to the illumination modulation the illumination device and the receiving device such to control that a first image of the image sequence was taken in ambient lighting and modulates each further image of the image sequence when active Lighting is received by one lighting unit. The segmentation device is set up in each case one Difference image from the image taken in ambient lighting the image sequence and each one with active modulated lighting by each a lighting unit recorded another image of the To form image sequence and from each difference image each have a binary value derive segmented image and the binary segmented images by means of a binary operator to merge.
Die von der Beleuchtungseinrichtung erzeugte Beleuchtungsmodulation kann beispielsweise in einer zeitlichen Veränderung der Beleuchtungsintensität oder einer Variation des elektromagnetischen Spektrums der Beleuchtung bestehen. So kann beispielsweise bei entsprechender Beleuchtung das Objekt stark aufgehellt werden, während der das Objekt umgebende Hintergrund fast unverändert bleibt. Da aufgrund der Steuerung durch die Steuereinrichtung für jedes Bild der Bildfolge die Szene aufgrund der Beleuchtungsmodulation unterschiedlich beleuchtet wird, ergeben sich in einem entsprechenden Differenzbild (bei einer Bildfolge aus zwei Bildern) bzw. den entsprechenden Differenzbildern (bei einer Bildfolge aus zumindest drei Bildern) deutliche Intensitätsunterschiede zwischen dem Objekt und dessen Hintergrund. Die Beleuchtungsmodulation ist hierbei derart ausgestaltet und mit der Bildaufnahme koordiniert, dass sie das von dem Objekt reflektierte und von der Aufnahmeeinrichtung aufgenommene Licht möglichst stark verändert, während das von dem Hintergrund reflektierte Licht weitestgehend konstant bleibt. Aufgrund der daraus resultierenden starken Helligkeitsdifferenz zwischen Objekt und Hintergrund in einem Differenzbild ist aus dem Differenzbild durch einfache und robuste Bildverarbeitungsoperationen ein segmentiertes Bild – z. B. in Form eines Binärbilds – ableitbar, das das Objekt gegenüber dem Hintergrund markiert.The illumination modulation generated by the illumination device may, for example, be in a temporal change of the illumination intensity or a variation consist of the electromagnetic spectrum of illumination. So can For example, with appropriate lighting the object brightened much be while the background surrounding the object remains almost unchanged. Because of the Control by the controller for each frame of the image sequence the scene is illuminated differently due to the illumination modulation is, arise in a corresponding difference image (at a Picture sequence from two pictures) or the corresponding difference pictures (in a sequence of at least three images) significant intensity differences between the object and its background. The illumination modulation is in this case designed and coordinated with the image acquisition, that it reflects the object reflected from the object and the recording device recorded light as possible changed a lot, while the light reflected from the background remains largely constant. Due to the resulting high brightness difference between object and background in a difference image is from the Difference image through simple and robust image processing operations segmented image - z. B. in the form of a binary image - derivable, that the object opposite marked against the background.
Aufgrund der im Hinblick auf die Bildaufnahme gesteuerten Beleuchtungsmodulation werden große Helligkeitsdifferenzen des Objekts in den Bildern der Bildfolge verursacht. Dadurch können auch unter realen unvorteilhaften Umweltbedingungen – z. B. bei schlechten Umgebungsbeleuchtungsverhältnissen, hohen Rauschanteilen oder beweglichen Objekten mit einer zweidimensionalen Kameratechnik – zuverlässige und robuste Segmentierungsergebnisse erreicht werden.by virtue of the illumination modulation controlled with regard to image acquisition be great Brightness differences of the object in the images of the image sequence caused. Thereby can even under real unfavorable environmental conditions - eg. B. in poor ambient lighting conditions, high noise or moving objects with a two-dimensional camera technology - reliable and robust segmentation results can be achieved.
Die Bildfolge wird prinzipiell statisch aufgenommen, d. h. bei unveränderter relativer Position und Ausrichtung der Aufnahmeeinrichtung im Verhältnis zu der aufgenommenen Szene. Dadurch sind einfachste und entsprechend rechenzeiteffiziente Bildverarbeitungsoperationen, wie z. B. die bildpunktweise Bildsubtraktion, ausreichend, um robuste Segmentierungsergebnisse zu erhalten. Die vorliegende Erfindung zeichnet sich also durch einen vergleichsweise geringen apparativen Aufwand und dementsprechend geringe Kosten sowie durch eine hohe Berechnungseffizienz aus, die insgesamt eine zuverlässige Echtzeitbildsegmentierung ermöglichen. Demzufolge ist zumindest die erfindungsgemäße Bildaufnahme bei der üblichen Aufnahmefrequenz von 50 bis 60 Hz in der Regel in weniger als 0,1 Sekunden abgeschlossen. Dabei wird abhängig von dem anwendungsspezifischen Aufbau einer aufzunehmenden Bildfolge die relative Helligkeit der gesuchten Objekte von Bild zu Bild derart verändert, dass eine robuste Segmentierung mit sehr geringem Berechnungsaufwand mittels der Berechnung von Differenzbildern erreicht werden kann. Die Binarisierung eines Differenzbildes mit einem geeigneten automatisch ermittelbaren Schwellenwert liefert dabei bereits gute und robuste Segmentierungsergebnisse. Diese mit der Erfindung einhergehenden Vorteile erlauben es, einen großen Umfang von Detektions-, Überwachungs- und Zählanwendungen mit geringem technischen Aufwand bei zufriedenstellender Zuverlässigkeit zu lösen, also insbesondere ohne den Einsatz einer 3D-Sensorik oder aufwendigen algorithmischen Segmentierungsansätzen. Ferner sind die mit der Erfindung erzielbaren Segmentierungsergebnisse derart robust, dass der Kalibrierungsaufwand der erfindungsgemäßen Bildsegmentierungsvorrichtung im Hinblick auf Positionen, Entfernungen oder Ausrichtungen der Beleuchtungs- und Aufnahmeeinrichtung bezüglich der Szene zu vernachlässigen ist.The image sequence is recorded in principle statically, ie with unchanged relative position and orientation of the recording device in relation to the recorded scene. As a result, the simplest and corresponding computing time-efficient image processing operations, such. As the pixel-by-pixel image subtraction, sufficient to obtain robust segmentation results. Thus, the present invention is characterized by a comparatively low expenditure on equipment and accordingly low costs, as well as by a high computing efficiency, which allow overall reliable real-time image segmentation. Accordingly, at least the image recording according to the invention is usually completed in less than 0.1 seconds at the usual recording frequency of 50 to 60 Hz. In this case, depending on the application-specific structure of a picture sequence to be recorded, the relative brightness of the searched objects is changed from image to image in such a way that a robust segmentation can be achieved with very little computational effort by means of the calculation of difference images. The binarization of a difference image with a suitable automatically detectable threshold already provides good and robust segmentation results. These advantages associated with the invention make it possible to solve a wide range of detection, monitoring and counting applications with low technical complexity with satisfactory reliability, ie in particular without the use of a 3D sensor or complex algorithmic Segmentierungsansätzen. Furthermore, the with The invention achieves segmentation results so robust that the calibration effort of the image segmentation device according to the invention with respect to positions, distances or orientations of the lighting and recording device with respect to the scene is negligible.
Bei aktiver modulierter Beleuchtung der Szene durch die Beleuchtungseinrichtung ändert sich im aufgenommenen Bild das Objekt stärker als der Hintergrund, da die Intensität eines reflektierten Beleuchtungsanteils mit 1/r2 abhängig ist von dem Abstand r des Objekts/Hintergrunds zur jeweiligen Beleuchtungseinheit. Die Helligkeit des Objekts verändert sich im Bild bei aktiver Beleuchtung deshalb wesentlich stärker als die Helligkeit des Hintergrunds. Deshalb entsteht durch die punktweise Subtraktion von jeweils zwei Bildern der Bildfolge – insbesondere durch die Subtraktion eines bei Umgebungsbeleuchtung (d. h. ohne aktive Beleuchtung) auf genommenen Bildes von jeweils sämtlichen anderen aktiv beleuchteten Bildern der Bildfolge – für die dem Objekt zuzuordnenden Bildpunkte des jeweiligen Differenzbildes ein hoher Helligkeitswert, während dem Hintergrund zuzuordnende Bildpunkte in einem Differenzbild geringe oder vernachlässigbare Helligkeitswerte aufweisen.In the case of active modulated illumination of the scene by the illumination device, the object changes more strongly than the background in the recorded image, since the intensity of a reflected illumination component with 1 / r 2 depends on the distance r of the object / background to the respective illumination unit. The brightness of the object therefore changes much more in the picture with active illumination than the brightness of the background. Therefore, by the pointwise subtraction of two images of the image sequence - in particular by the subtraction of an ambient lighting (ie without active illumination) recorded image of each other all other actively illuminated images of the sequence - for the object to be assigned pixels of the respective difference image is a high Brightness value, while the pixels to be assigned to the background in a differential image have low or negligible brightness values.
Die Beleuchtungseinrichtung der Bildsegmentierungsvorrichtung umfasst zumindest eine Beleuchtungseinheit, mit der sie abhängig von der Steuerung durch die Steuereinrichtung eine Beleuchtungsmodulation der Szene erzeugt. Jede Beleuchtungseinheit der Beleuchtungsvorrichtung emittiert vorzugsweise in einem schmalbandigen Beleuchtungsspektrum, das auch im Nahinfrarotbereich liegen kann. Das schmalbandige Spektrum liegt bevorzugt zwischen 700 nm und 1000 nm, besonders bevorzugt um 850 nm. Die Beleuchtungseinrichtung kann zumindest zwei Beleuchtungseinheiten umfassen, die zur Beleuchtung der Szene paarweise unterschiedliche schmalbandige Beleuchtungsspektren erzeugen, wobei die Beleuchtungseinrichtung derart gesteuert wird, dass bei einer aktiven Beleuchtung jeweils eine der zur Verfügung stehenden Beleuchtungseinheiten jeweils genau ein Bild der Bildfolge durch die Aufnahmeeinrichtung aufgenommen wird. Dadurch wird eine Beleuchtungsmodulation sichergestellt, die zu einer paarweise unterschiedlichen Beleuchtung der Bilder der aufgenommenen Bildfolge führt. Hierbei werden die Beleuchtungseinrichtung und die Aufnahmeeinrichtung vorzugsweise derart koordiniert, dass ein Bild (z. B. das erste Bild der Bildfolge) gänzlich ohne eine aktive Beleuchtung aufgenommen wird, d. h. ausschließlich durch Reflektion der Umgebungsbeleuchtung durch das Objekt bzw. den Hintergrund. Jedes weitere Bild der Bildfolge wird dann bei einer aktiven Beleuchtungsmodulation aufgezeichnet, die paarweise unterschiedliche Beleuchtungen der Szene für jedes Bild der Bildfolge zur Folge hat.The Lighting device of the image segmentation device comprises at least one lighting unit with which they depend on the controller by the control means a lighting modulation the scene generated. Each lighting unit of the lighting device preferably emits in a narrow band illumination spectrum, which can also be in the near infrared range. The narrowband spectrum is preferably between 700 nm and 1000 nm, particularly preferred around 850 nm. The illumination device can have at least two illumination units include, in pairs to illuminate the scene produce narrow-band illumination spectra, wherein the illumination device is controlled so that when active lighting respectively one of the available Standing lighting units each exactly one image of the image sequence the receiving device is received. This will be a lighting modulation ensured that to a pairwise different lighting the images of the recorded image sequence leads. Here are the lighting device and the receiving device preferably coordinated such that a Image (eg the first image of the image sequence) entirely without active illumination is recorded, d. H. exclusively by reflection of Ambient lighting through the object or the background. each another image of the image sequence is then recorded during an active illumination modulation, the pairwise different lighting of the scene for each Image of the image sequence has.
Zur Unterstützung der Beleuchtungsmodulation durch eine Beleuchtung mit paarweise unterschiedlichen Beleuchtungsspektren kann die Aufnahmeeinrichtung mit entsprechenden Spektralfiltern ausgestattet werden, die automatisch oder manuell entsprechend der jeweils aktiven Beleuchtungseinheit bzw. deren emittiertem Spektrum zugeschaltet werden können. Dadurch wird eine Störlichtunterdrückung bei der Bildaufnahme erreicht, die die natürliche Umgebungsbeleuchtung sehr stark abschwächt, jedoch das Beleuchtungsspektrum der jeweils aktiven Beleuchtungseinheit passieren lässt. Aus diesem Grund findet sich in einem Differenzbild, das durch Subtraktion eines nicht aktiv beleuchteten (d. h. lediglich bei Umgebungsbeleuchtung aufgenommenen) Bildes und eines aktiv beleuchteten Bildes, bei dessen Aufnahme ein angepasstes Spektralfilter verwendet wurde, ein stark gegenüber dem Hintergrund hervorgehobenes Objekt, das deshalb auch einfach segmentierbar ist.to support the illumination modulation by a lighting in pairs different illumination spectra, the receiving device be equipped with appropriate spectral filters that automatically or manually according to the respective active lighting unit or whose emitted spectrum can be switched on. Thereby is a Störlichtunterdrückung at The image capture achieves the natural ambient lighting very much weakens, however the illumination spectrum of the respective active lighting unit lets happen. For this reason, is found in a difference image, by subtraction a non-actively lit (i.e., ambient lighting only recorded) image and an actively illuminated image, in whose Recording a customized spectral filter was used a strong across from background object, which is why it is also simple is segmentable.
In einer weiteren Ausführungsform wird ausgenutzt, dass der von dem beleuchteten Objekt reflektierte und von der Aufnahmeeinrichtung aufgenommene Beleuchtungsanteil wesentlich von der geometrischen Anordnung der jeweiligen Beleuchtungseinheit abhängt, insbesondere von dem Einfallswinkel der Beleuchtung auf die reflektierende Oberfläche des Objektes. Durch Verwendung einer Beleuchtungsmodulation, die durch mehrere bezüglich der aufzunehmenden Szene jeweils unterschiedlich geometrisch angeordnete Beleuchtungseinheiten erzeugt wird, wird insbesondere die Segmentierung von solchen Szenen verbessert, die durch verschieden zueinander geneigte Flächen gekennzeichnet sind, z. B. bei der Detektion von Kratzern und anderen Oberflächenfehlern bei der optischen Qualitätskontrolle.In a further embodiment is exploited that reflected from the illuminated object and absorbed by the receiving device lighting component essentially of the geometric arrangement of the respective lighting unit depends in particular from the angle of incidence of the illumination on the reflective surface of the Object. By using a lighting modulation by several re the scene to be recorded each differently geometrically arranged Lighting units is generated, in particular, the segmentation improved by such scenes by different from each other inclined surfaces are characterized, for. In the detection of scratches and others surface defects in optical quality control.
Bei dieser Ausführungsform wird die Beleuchtungsmodulation durch die unterschiedlichen Einfallswinkel der aktiven Beleuchtungen der vorhandenen Beleuchtungseinheiten erzeugt. Bei jeweils vergleichbarem Abstand der Beleuchtungsein heiten von der aufzunehmenden Szene wird die Abhängigkeit der Reflektionsrichtung des auf das Objekt auftreffenden Beleuchtungsanteils von der Ausrichtung der jeweiligen Objektoberflächen ausgenutzt (die durch den Normalenvektor der Objektoberfläche beschrieben wird). In diesem Zusammenhang können also Schatteneffekte erzeugt und ausgenutzt werden und bei gleichzeitiger Beleuchtung der Szene durch mehr als eine Beleuchtungseinheit auch Halbschatteneffekte.at this embodiment The illumination modulation is due to the different angles of incidence the active lighting of the existing lighting units generated. At a comparable distance of the lighting units of the scene to be recorded becomes the dependence of the direction of reflection of the incident on the object lighting proportion of the orientation of the respective object surfaces exploited (described by the normal vector of the object surface becomes). So in this context Shadow effects are generated and exploited and at the same time Illumination of the scene by more than one lighting unit too Penumbra effects.
Bei der Beleuchtungsmodulation durch unterschiedlich angeordnete Beleuchtungseinheiten werden vorzugsweise zumindest zwei bezüglich der Szene geometrisch jeweils paarweise verschieden angeordnete Beleuchtungseinheiten verwendet, während die Aufnahmeeinrichtung eine zumindest drei Bilder umfassende Bildfolge aufnimmt, wobei ein Bild bei ausgeschalteten Beleuchtungseinheiten (d. h. lediglich bei Umgebungsbeleuchtung) aufgenommen wird, während die restlichen Bilder bei aktiver Beleuchtung durch jeweils eine der Beleuchtungseinheiten aufgenommen werden. Darüber hinaus ist es auch möglich, die Szene mit Kombinationen von jeweils zwei oder mehr aktiven Beleuchtungseinrichtungen zu beleuchten, die für jedes Bild paarweise verschieden sind, da sich auch auf diese Weise in den entsprechenden Differenzbildern unterscheidbare Objekte ergeben. Die Beleuchtungsmodulation durch Veränderung der Einfallswinkel kann auch mit einer Beleuchtungsmodulation durch paarweise verschiedene schmalbandige Beleuchtungsspektren kombiniert werden, so dass auch durch die Kombination von verschiedenen Modulationseffekten in den Bildern eine hohe Robustheit des Segmentierungsergebnisses erreicht werden kann.In the illumination modulation by differently arranged lighting units are preferably at least two with respect to the Scene geometrically used in pairs differently arranged lighting units, while the recording device takes a picture sequence comprising at least three images, one image is taken with the illumination units (ie only ambient lighting) off, while the remaining images are taken by each one of the lighting units with active lighting. In addition, it is also possible to illuminate the scene with combinations of two or more active lighting devices, which are pairwise different for each image, since in this way distinguishable objects in the corresponding difference images. The illumination modulation by changing the angle of incidence can also be combined with an illumination modulation by pairs of different narrow-band illumination spectra, so that a high robustness of the segmentation result can also be achieved by the combination of different modulation effects in the images.
Bei einer Bildfolge, die aus zumindest drei Bildern besteht, ergeben sich bei paarweiser Subtraktion immer zumindest zwei oder mehr Differenzbilder. Die Differenzbilder werden dann vorzugsweise jeweils separat segmentiert und die entstehenden segmentierten Bilder anschließend zu einem Ergebnisbild fusioniert, bei spielsweise durch eine geeignete algebraische Operation, z. B. einen Bool’schen Operator. Auf diese Weise sind in dem resultierenden Ergebnisbild Objektinformationen aus sämtlichen Differenzbildern und somit auch aus sämtlichen Bildern der Bildfolge vorhanden.at a sequence of images consisting of at least three images result with pairwise subtraction always at least two or more difference images. The difference images are then preferably segmented separately and then add the resulting segmented images a result image fused, for example, by a suitable algebraic operation, e.g. B. a Boolean operator. To this Way, object information is in the resulting result image from all Difference pictures and thus also from all pictures of the picture sequence available.
Eine ausreichend gute Segmentierung eines in der Regel mehrwertigen (bzw. grauwertigen) Differenzbildes ist aufgrund der vergleichsweise hohen Helligkeitsdynamik der abgebildeten Objekte gegenüber dem jeweiligen Hintergrund mit einfachsten Bildverarbeitungsoperationen zu erreichen. Vorzugsweise wird ein Differenzbild durch eine initiale Tiefpassfilterung, die eine Rauschunterdrückung bezweckt, und eine anschließende Binarisierung des gefilterten Differenzbildes durch einen geeigneten globalen Schwellenwert segmentiert. Dieser globale Schwellenwert ist aufgrund der großen Helligkeitsunterschiede zwischen Objekt- und Hintergrundbildpunkten in den Differenzbildern ein eher unkritischer Wert, so dass in den meisten Fällen eine ausreichende Segmentierungsqualität bereits durch Schwellenwerte erreicht wird, die geringfügig über dem Helligkeitsniveau des Hintergrundes liegen, welches aufgrund der Subtraktion verschiedenartig beleuchteter Bilder im Allgemeinen nahezu Null sein wird. Diese globale Schwellenwertsegmentierung ist deshalb sehr zuverlässig und robust gegenüber (globalen) Störeinflüssen und Artefakten.A sufficiently good segmentation of a generally multi-valued (resp. gray value) difference image is due to the comparatively high brightness dynamics the pictured objects opposite the respective background with the simplest image processing operations to reach. Preferably, a difference image is replaced by an initial one Low-pass filtering, which aims at noise suppression, and a subsequent binarization of the filtered difference image by a suitable global Segmented threshold. This global threshold is due the big Brightness differences between object and background pixels in the difference pictures a rather uncritical value, so that in the most cases sufficient segmentation quality already by threshold values which is slightly above that Brightness level of the background are, which due to the Subtract variously lit images in general will be almost zero. This global threshold segmentation is therefore very reliable and robust opposite (global) disturbances and Artifacts.
Die Aufnahmeeinrichtung kann eine herkömmliche Kamera sein, die jedoch vorzugsweise ein Spektrum erfasst, das in den Infrarotbereich hinein reicht, vorzugsweise ein bis zu einer Wellenlänge von 1100 nm reichendes Spektrum. Ferner kann die Aufnahmeeinrichtung eine hochdynamische Kamera mit einer Farbtiefe von mehr als 8 Bit sein, wodurch die Farb- bzw. Helligkeitsauflösung der Bilder der Bildfolge und somit auch die Helligkeitsauflösung der Differenzbilder und schließlich auch die Robustheit der Segmentierungsoperation erhöht wird.The Recording device may be a conventional camera, however preferably a spectrum detected in the infrared range ranges, preferably reaching up to a wavelength of 1100 nm Spectrum. Furthermore, the receiving device can be a highly dynamic Camera with a color depth of more than 8 bits, causing the Color or brightness resolution the images of the image sequence and thus also the brightness resolution of the difference images and finally also the robustness of the segmentation operation is increased.
Die Beleuchtungseinrichtung ist vorzugsweise aus Diodenfeldern aufgebaut, die die einzelnen Beleuchtungseinheiten bilden. Die Beleuchtungseinheiten können zusätzlich mit Polarisationsfiltern ausgestattet sein. Entsprechend kann auch die Aufnahmeeinrichtung mit Polarisationsfiltern ausgestattet sein, die bei der Aufnahme der Bildfolge abhängig von der jeweils aktiven Beleuchtungseinheit zugeschaltet werden können. Die Polarisationsfilter unterdrücken diffus reflektierendes Licht und lassen nur Licht einer bestimmten Polarisation passieren. Die Umgebungsbeleuchtung kann dadurch sehr wirkungsvoll unterdrückt werden, was bei der Subtraktion von aktiv beleuchteten und nicht aktiv beleuchteten Bildern zu einer noch besseren Unterscheidbarkeit von Objekt und Hintergrund führt.The Lighting device is preferably constructed of diode fields, which form the individual lighting units. The lighting units can additionally be equipped with polarizing filters. Correspondingly, too the receiving device be equipped with polarizing filters, which when taking the image sequence depends on the active one Lighting unit can be switched on. The polarization filters suppress diffuse reflecting light and let only light of a certain Polarization happen. The ambient lighting can be very effectively suppressed become what is actively illuminated during the subtraction and not actively lit images to an even better distinguishability of object and background leads.
Vorzugsweise besitzt die Kamera der Aufnahmeeinrichtung eine logarithmische Kennlinie, d. h. es besteht zwischen einer Eingangshelligkeit des von dem Objekt reflektierten Lichtes und dem entsprechenden von der Aufnahmeeinrichtung erzeugten Ausgangssignal, das die Helligkeitswerte eines aufgenommenen Bildes repräsentiert, ein logarithmischer Zusammenhang, so dass sich bei einer linear ansteigenden Eingangshelligkeit die durch das Ausgangssignals kodierten Helligkeiten lediglich logarithmisch erhöhen. Durch die logarithmische Kennlinie wird der an sich multiplikative Zusammenhang zwischen dem Beleuchtungsanteil und dem Reflektionsanteil, deren Produkt von der Aufnahmeeinrichtung als Eingangshelligkeit aufgezeichnet wird, in einen additiven Zusammenhang transformiert, so dass sich die im aufgezeichneten Bild niederschlagende Helligkeit des Ausgangssignals als Summe des Beleuchtungsanteils und des Reflektionsanteils ergibt. Dies hat den Vorteil, dass aufgrund des nunmehr additiven Zusammenhangs bei der anschließenden Bildsubtraktion der Reflektionsanteil von dem Beleuchtungsanteil getrennt werden kann, was bei einem multiplikativen Zusammenhang nicht möglich wäre. Im Differenzbild kann somit der durch die Beleuchtungsmodulation veränderliche Beleuchtungsanteil von dem nahezu unveränderlichen Reflektionsanteil getrennt werden, was wiederum zu einer einfachen und robusten Segmentierung führt.Preferably the camera of the recording device has a logarithmic characteristic, d. H. it exists between an input brightness of the object reflected light and the corresponding of the receiving device generated output signal, which is the brightness values of a recorded Representing the image, a logarithmic relationship, so that in a linearly increasing Input Brightness the brightnesses encoded by the output signal increase only logarithmically. The logarithmic characteristic turns the multiplicative Relationship between the lighting proportion and the reflection proportion, their product from the receiving device as input brightness recorded, transformed into an additive relationship, so that the reflected brightness in the recorded image the output signal as the sum of the illumination component and the reflection component results. This has the advantage that due to the now additive relationship at the subsequent Image subtraction of the reflection component of the illumination component can be separated, which in a multiplicative context not possible would. in the Difference image can thus be changed by the illumination modulation Lighting component are separated from the almost invariable reflection component, which in turn leads to a simple and robust segmentation.
Die erfindungsgemäße Segmentierungsvorrichtung umfasst vorzugsweise neben einer Kamera als Aufnahmeeinrichtung und einer Anordnung von Diodenfeldern oder sonstigen Beleuchtungselementen als Beleuchtungseinrichtung einen Computer mit einem Speicher und einem Prozessor, wobei die Segmentierungseinrichtung ein in dem Speicher gespeichertes und von dem Prozessor ausführbares Segmentierungsprogramm repräsentiert. Bei der Aufnahme der Bildfolge durch die Aufnahmeeinrichtung wird die Bildfolge über eine Datenkommunikationsschnittstelle zwischen Computer und Aufnahmeeinrichtung in den Speicher des Computers zur nachfolgenden algorithmischen Segmentierung gespeichert. Bei einer derartigen Ausgestaltung der erfindungsgemäßen Segmentierungsvorrichtung kann die koordinierende Steuereinrichtung als auf dem Computer ausführbares Steuerprogramm ausgestaltet sein, oder als in die Kamera integrierte, die Beleuchtungseinrichtung steuernde Steuereinheit der Kamera. Eine solche Steuereinheit kann dann auch die Kommunikation der Kamera mit dem Computer bzw. dem Segmentierungsprogramm übernehmen.The Segmentierungsvor In addition to a camera as recording device and an arrangement of diode fields or other lighting elements as lighting device, the direction preferably comprises a computer with a memory and a processor, wherein the segmentation device represents a segmentation program stored in the memory and executable by the processor. When the image sequence is recorded by the recording device, the image sequence is stored via a data communication interface between computer and recording device in the memory of the computer for subsequent algorithmic segmentation. In such an embodiment of the segmentation device according to the invention, the coordinating control device can be configured as a control program that can be executed on the computer, or as a camera control unit that controls the illumination device and is integrated in the camera. Such a control unit can then also take over the communication of the camera with the computer or the segmentation program.
Weitere Merkmale der Erfindung ergeben sich aus der folgenden Beschreibung verschiedener erfindungsgemäßer Ausführungsbeispiele und Ausführungsalternativen. Es wird auf die folgenden Figuren verwiesen, welche zeigen:Further Features of the invention will become apparent from the following description various inventive embodiments and design alternatives. Reference is made to the following figures, which show:
Nachfolgend wird eine Vorrichtung sowie ein Verfahren zum Erzeugen eines segmentierten Bildes einer Szene beschrieben, die ein oder mehrere Objekte umfasst, die zu erkennen, zu vermessen, zu zählen oder anderweitig zu analysieren sind. Das Verfahren zeichnet sich durch eine hohe Robustheit der Segmentie rungsergebnisse aus, d. h. einer geringen Fehleranfälligkeit und Abhängigkeit von Bildartefakten, einen im Vergleich zu z. B. gängigen 3D-Aufnahmetechniken geringen apparativen Aufwand sowie außerordentlich geringen algorithmischen Berechnungsanforderungen, woraus insgesamt die Echtzeitfähigkeit des beschriebenen Segmentierungsverfahrens resultiert. Das Verfahren ist deshalb insbesondere für solche Bildverarbeitungs- und Segmentierungsanwendungen geeignet, die eine hohe Verarbeitungsgeschwindigkeit bei einer gleichzeitigen hohen Zuverlässigkeit der Segmentierungs- und Erkennungsergebnisse erfordern. Dies gilt insbesondere im industriellen Bereich für die Überwachung von Produktionsvorgängen und die optische Qualitätskontrolle sowie für den Bereich der Personenüberwachung, -registrierung oder -erkennung, beispielsweise an Flughäfen, bei Grenzbehörden, zur Zugangskontrolle zu geschützten Bereichen und dergleichen.following is an apparatus and a method for generating a segmented Image of a scene comprising one or more objects, recognizing, measuring, counting or otherwise analyzing them are. The method is characterized by a high degree of robustness Segmentation results, d. H. a low error rate and dependence of image artifacts, one compared to z. B. common 3D recording techniques low expenditure on equipment and extremely low algorithmic Calculation requirements, from which overall the real-time capability of the described segmentation method. The procedure is therefore especially for such image processing and segmentation applications suitable, the one high processing speed with a simultaneous high reliability require the segmentation and recognition results. this applies especially in the industrial sector for monitoring production processes and the optical quality control also for the area of personal monitoring, registration or recognition, for example at airports Border authorities, for access control to protected Areas and the like.
Ein
prototypischer Ablauf des Segmentierungsverfahrens ist in
Nach dem Beginn des Verfahrens mit Schritt S1 (START) bilden die Schritte S2, S3 und S4 eine Schleife zur sequentiellen Aufnahme von Einzelbildern der Bildfolge. In Schritt S2 werden die Einzelbinder jeweils von einer Kamera statisch aufgenommen (ACQUISITION), deren Ausrichtung und Orientierung sich gegenüber der aufzunehmenden Szene nicht verändert. Im Idealfall haben also alle aufgenommenen Bilder der Bildfolge B0, B1, ..., Bn einander entsprechende Bildpunkte, die jeweils einen nahezu identischen Szenenausschnitt repräsentieren. In den Schrit ten S3 (SET MODULATION) und S4 (ILLUMINATION) wird die Beleuchtung der Szene für das jeweils nächste aufzunehmende Einzelbild festgelegt.To the beginning of the process with step S1 (START) form the steps S2, S3 and S4 loop for sequential recording of frames the sequence of pictures. In step S2, the single binders are each of a camera statically recorded (ACQUISITION), their orientation and orientation opposite the scene to be recorded has not changed. Ideally, therefore all captured images of the image sequence B0, B1, ..., Bn each other corresponding pixels, each having a nearly identical scene detail represent. In Step S3 (SET MODULATION) and S4 (ILLUMINATION) become the Lighting the scene for that each next recorded single image.
Im
ersten Durchlauf der Schleife S2, S3, S4 wird in Schritt S2 das
Bild B0 bei Umgebungsbeleuchtung aufgenommen, d. h. ohne eine aktive
Beleuchtung durch eine Beleuchtungseinrichtung. In Schritt S3 wird
dann erstmals für
die Aufnahme des Bildes B1 eine Beleuchtung(-smodulation) eingestellt bzw.
verändert
und in Schritt S3 wird die Szene mit der eingestellten Beleuchtung
beleuchtet, um anschließend
in Schritt S2 als Bild B1 aufgenommen zu werden. Nach insgesamt
n Schleifendurchläufen
liegt in Schritt S5 schließlich
die vollständige
Bildfolge B0, B1, ..., Bn vor (SEQUENCE). Die Beleuchtungsmodulation
wird in Schritt S3 derart bildweise angepasst, dass die Bilder B0,
B1, ..., Bn jeweils paarweise derart verschieden beleuchtet sind,
dass auch paarweise unterschiedliche Darstellungen insbesondere
des Objekts vorliegen. Die Art der Beleuchtungsmodulation wird nachfolgend
im Zusammenhang mit den
Die in Schritt S5 vorliegende Bildfolge B0, B1, ..., Bn wird in Schritt S6 von einer Segmentierungseinrichtung in eine Folge von Differenzbildern D1 = B1 – B0, D2 = B2 – B0, ..., Dn = Bn – B0 transformiert, indem jeweils aus dem unbeleuchtet aufgenommenen Bild B0 und jedem der aktiv und paarweise unterschiedlich beleuchteten Bilder B1, B2, ..., Bn ein entsprechendes Differenzbild erzeugt wird (DIFFERENCE). Da die aktive Beleuchtung der Bilder B1, B2, ..., Bn gegenüber dem unbeleuchteten Bild B0 zu einem deutlichen Helligkeitsänderung des Objekts führt, sind die Objekte in den Differenzbildern D1, D2, ..., Dn jeweils deutlich dargestellt, während der Hintergrund, auf den die Beleuchtungsmodulation einen geringen Einfluss hat, in den Differenzbildern D1, D2, ..., Dn vernachlässigbar kleine Helligkeitswerte besitzt.The Image sequence B0, B1,..., Bn present in step S5 is determined in step S6 from a segmentation device into a sequence of difference images D1 = B1 - B0, D2 = B2 - B0, ..., Dn = Bn - B0 transformed by each from the unlit recorded Picture B0 and each of the active and in pairs differently lit Images B1, B2, ..., Bn generates a corresponding difference image becomes (DIFFERENCE). Since the active illumination of the images B1, B2, ..., opposite to Bn the unlit image B0 to a significant change in brightness of the object leads, are the objects in the difference images D1, D2, ..., Dn, respectively clearly shown while the background to which the illumination modulation has a low Influence, in the difference images D1, D2, ..., Dn negligible has small brightness values.
In Schritt S7 werden die Differenzbilder D1, D2, ..., Dn einer Rauschfilterung unterzogen (LOW-PASS), beispielsweise durch ein geeignetes Tiefpass-, Median- oder sonstiges Rauschfilter, und in Schritt S8 wird jedes einzelne der gefilterten Differenzbilder durch eine Schwellenwertoperation in die Binärbilder S1, S2, ..., Sn binarisiert (THRESHOLD). Der angelegte Schwellenwert ist dabei derart gewählt, dass die Helligkeiten der Hintergrundbildpunkte in einem Differenzbild im Wesentlichen unterhalb des Schwellenwerts liegen, während die Helligkeiten der Objektbildpunkte im Differenzbild im Wesentlichen oberhalb der Schwelle liegen. Demzufolge sind in den Binärbildern S1, S2, ..., Sn Objektbildpunkte z. B. mit dem Binärwert 1 dargestellt, während Hintergrundbildpunkte mit dem Binärwert 0 dargestellt sind. Jedes Binärbild S1, S2, ..., Sn kann aufgrund der paarweise unterschiedlichen Beleuchtungen durch die Beleuchtungsmodulation eine leicht veränderte Objektinformation bzw. Objektrepräsentation zeigen, so dass in Schritt S9 ein einzelnes resultierendes Ergebnisbild S des Segmentierungsprozesses durch eine Fusion der Binärbilder S1, S2, ..., Sn errechnet wird (FUSION). Diese Fusion kann beispielsweise durch Bool’sche Binäroperatoren erfolgen, z. B. durch ein logisches UND, ein logisches ODER oder ein exklusives ODER (XOR).In Step S7 becomes the difference images D1, D2, ..., Dn of noise filtering subjected (LOW-PASS), for example by a suitable low-pass, Median or otherwise Noise filter, and in step S8 each of the filtered Difference pictures by a threshold operation into the binary pictures S1, S2, ..., Sn binarized (THRESHOLD). The created threshold is chosen in such a way that the brightnesses of the background pixels in a difference image substantially below the threshold, while the Magnitudes of the object pixels in the difference image substantially above the threshold. As a result, in the binary images S1, S2, ..., Sn Object pixels z. B. with the binary value 1 shown while Background pixels with the binary value 0 are shown. each binary image S1, S2, ..., Sn may be due to the pairwise different illuminations by the illumination modulation a slightly altered object information or object representation show, so that in step S9 a single resulting result image S of the segmentation process by merging the binary images S1, S2, ..., Sn is calculated (FUSION). This merger can be done, for example, by Boolean binary operators done, z. By a logical AND, a logical OR or a exclusive OR (XOR).
Die
Steuereinrichtung
Die
Bildfolge
Kern
des Segmentierungsverfahrens ist die variierende Beleuchtung des
Objekts
Bei Anwendungsgebieten aus der Sicherheitstechnik, dem Zählen oder Registrieren von Personen oder industriellen Gegenständen oder dergleichen ist die Verwendung einer Beleuchtung außerhalb des sichtbaren Spektralbereichs sinnvoll, beispielsweise im Infrarotbereich, da auf diese Weise eine Störung der Beleuchtungsmodulation durch eine Umweltbeleuchtung weiter minimiert werden kann. Darüber hinaus kann eine im Infrarotbereich bzw. allgemein im nicht sichtbaren Lichtbereich operierende Segmentierungsvorrichtung relativ unauffällig arbeiten.at Application areas from the security technology, the counting or Registering persons or industrial objects or the like is the use of a lighting outside of the visible spectral range, for example in the infrared range, because in this way a disturbance the illumination modulation further minimized by environmental lighting can be. About that In addition, one in the infrared or generally not visible in the visible Operating light segmentation device relatively inconspicuous.
Die
Kamera
Bei
einer besonders bevorzugten Ausführungsvariante
besitzt die Kamera
Zwischen
der Objekthelligkeit HO(B0) = RO(B0) × LO(B0) eines Objekts
Hierbei
setzt sich die Oberflächenbeleuchtungsstärke L aus
einem konstanten Anteil Lconst und einem
modulierten Anteil Lmod zusammen:
Für ein Objekt
Dies
bedeutet, dass im Differenzbild D1 = B1 – B0 die Helligkeitsdifferenzen
von entsprechenden Bildpunkten des Objekts
Die
Verwendung einer Kamera
In
Grundsätzlich sind
zur Segmentierung auch Schattenflächen
Bei
der in
Dieses
Vorgehen kann mit einer kameraseitigen Polarisationsfilterung verbunden
werden, wobei ein Polarisationsfilter
Die
Polarisationsfilterung kann auch im Zusammenhang mit der Anordnung
gemäß
Die
erläuterten
Ausführungsformen
der vorliegenden Erfindung zeichnen sich allgemein dadurch aus,
dass Bildfolgen B0, B1, ..., Bn mit unveränderter relativer Position
und Ausrichtung der Kamera
Claims (24)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102007033835A DE102007033835B4 (en) | 2007-07-18 | 2007-07-18 | Imaging technique for direct object segmentation in images |
PCT/EP2008/059363 WO2009010550A1 (en) | 2007-07-18 | 2008-07-17 | Image recording method for the direct object segmentation in images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102007033835A DE102007033835B4 (en) | 2007-07-18 | 2007-07-18 | Imaging technique for direct object segmentation in images |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102007033835A1 DE102007033835A1 (en) | 2009-01-29 |
DE102007033835B4 true DE102007033835B4 (en) | 2010-07-15 |
Family
ID=39828471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102007033835A Expired - Fee Related DE102007033835B4 (en) | 2007-07-18 | 2007-07-18 | Imaging technique for direct object segmentation in images |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102007033835B4 (en) |
WO (1) | WO2009010550A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009024030B3 (en) * | 2009-06-05 | 2011-01-27 | Walter Maschinenbau Gmbh | Method for optical determination of e.g. length of edges of machined metallic object surface of object, involves determining surface characteristics of surface section of object surface based on evaluation result of pixels or image segments |
EP2801958B1 (en) | 2013-05-08 | 2016-09-14 | Axis AB | Monitoring method and camera |
CN108242042A (en) * | 2016-12-23 | 2018-07-03 | 南京理工大学 | Objective self-adapting plateau equalization implementation method based on FPGA |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6587582B1 (en) * | 1996-03-21 | 2003-07-01 | Cognex Corporation | Semiconductor device image inspection with contrast enhancement |
US20060008171A1 (en) * | 2004-07-06 | 2006-01-12 | Microsoft Corporation | Digital photography with flash/no flash extension |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070154063A1 (en) * | 1995-06-07 | 2007-07-05 | Automotive Technologies International, Inc. | Image Processing Using Rear View Mirror-Mounted Imaging Device |
US5574511A (en) * | 1995-10-18 | 1996-11-12 | Polaroid Corporation | Background replacement for an image |
US7359562B2 (en) * | 2003-03-19 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Enhancing low quality videos of illuminated scenes |
-
2007
- 2007-07-18 DE DE102007033835A patent/DE102007033835B4/en not_active Expired - Fee Related
-
2008
- 2008-07-17 WO PCT/EP2008/059363 patent/WO2009010550A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6587582B1 (en) * | 1996-03-21 | 2003-07-01 | Cognex Corporation | Semiconductor device image inspection with contrast enhancement |
US20060008171A1 (en) * | 2004-07-06 | 2006-01-12 | Microsoft Corporation | Digital photography with flash/no flash extension |
Non-Patent Citations (3)
Title |
---|
Paul E.Debevec, Jitendra Malik: "Recovering high dynamic range radiance maps from photographs", ACM Press/Addison-Wesley 1997, Proceedings of the 24th annual conference on computer graphics and interactive techniques, pp.369-378, ISBN: 0-89791-896-7 * |
R M Harrison: "Digital radiography". Phys. Med. Biol., 1988, Vol. 33, No.7, pp.751-784 * |
R M Harrison: "Digital radiography". Phys. Med. Biol., 1988, Vol. 33, No.7, pp.751-784 Paul E.Debevec, Jitendra Malik: "Recovering high dynamic range radiance maps from photographs", ACM Press/Addison-Wesley 1997, Proceedings of the 24th annual conference on computer graphics and interactive techniques, pp.369-378, ISBN: 0-89791-896-7 |
Also Published As
Publication number | Publication date |
---|---|
DE102007033835A1 (en) | 2009-01-29 |
WO2009010550A1 (en) | 2009-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112012001243B4 (en) | Method for measuring depth values in a scene | |
EP1784978B1 (en) | Method and device for representing a digital image on a surface which is non-trivial in terms of its geometry and photometry | |
DE102011106050B4 (en) | Shadow removal in an image captured by a vehicle-based camera for detection of a clear path | |
DE69934068T2 (en) | DETERMINATION OF THE POSITION OF EYES BY LIGHT REFLEX DETECTION AND CORRECTION OF DEFECTS IN A RECORDED IMAGE | |
EP1173749B1 (en) | Image editing for preparing a texture analysis | |
DE112020004813T5 (en) | SYSTEMS AND METHODS FOR EXTENSION OF SENSOR SYSTEMS AND IMAGING SYSTEMS WITH POLARIZATION | |
DE112013002321B4 (en) | Image processing apparatus, method for controlling the same, program and test system | |
DE102011106052B4 (en) | Shadow removal in an image captured by a vehicle based camera using a nonlinear illumination invariant core | |
DE112020004391T5 (en) | SYSTEMS AND METHODS FOR SURFACE MODELING USING POLARIZATION FEATURES | |
DE60133026T2 (en) | ACCURATE ALIGNMENT OF IMAGES IN DIGITAL PICTURE SYSTEMS BY ADJUSTING POINTS IN THE PICTURES | |
EP1610270A2 (en) | Process for qualitative evaluation of a material with at least one identification characteristic | |
EP3688725B1 (en) | Method and device for creating a 3d reconstruction of an object | |
DE29521937U1 (en) | Test system for moving material | |
DE10346481B4 (en) | Three-dimensional reconstruction of surface profiles | |
DE102011106072A1 (en) | SHADOW REMOVAL IN A PICTURE BASED ON A VEHICLE-BASED CAMERA USING AN OPTIMIZED LINEAR AXIS | |
DE102013212495A1 (en) | Method and device for inspecting a contoured surface, in particular the underbody of a motor vehicle | |
WO2005080916A1 (en) | Device and method for determining spatial co-ordinates of an object | |
Tanaka et al. | Recovering inner slices of layered translucent objects by multi-frequency illumination | |
DE102007033835B4 (en) | Imaging technique for direct object segmentation in images | |
WO2010007094A2 (en) | Method and arrangement for 3d detection of objects, and a corresponding computer program and computer-readable storage medium | |
DE102018205551A1 (en) | Construction of a 3D model from 2D objects | |
DE112022005406T5 (en) | AI-based product surface inspection device and method | |
DE112022001773T5 (en) | Systems and methods for determining an adaptive region of interest (ROI) for calculating image metrics | |
DE102014108924A1 (en) | A semi-supervised procedure for training an auxiliary model to recognize and capture multiple patterns | |
DE112021004035T5 (en) | SYSTEMS AND PROCEDURES TO FACILITATE SELECTION OF TOOLS FOR IMAGING JOBS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8364 | No opposition during term of opposition | ||
R081 | Change of applicant/patentee |
Owner name: AIRBUS DEFENCE AND SPACE GMBH, DE Free format text: FORMER OWNER: EADS DEUTSCHLAND GMBH, 85521 OTTOBRUNN, DE Effective date: 20140819 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |