DE4438235A1 - Movement detection system for objects in a natural background - Google Patents
Movement detection system for objects in a natural backgroundInfo
- Publication number
- DE4438235A1 DE4438235A1 DE4438235A DE4438235A DE4438235A1 DE 4438235 A1 DE4438235 A1 DE 4438235A1 DE 4438235 A DE4438235 A DE 4438235A DE 4438235 A DE4438235 A DE 4438235A DE 4438235 A1 DE4438235 A1 DE 4438235A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- pixels
- marked
- result
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff von Anspruch 1 und eine Schaltungsanordnung zur Durchfüh rung des Verfahrens.The invention relates to a method according to the preamble of claim 1 and a circuit arrangement for implementation procedure.
Ein derartiges Verfahren ist in der DE 41 20 676 C2 be schrieben, welches zur Detektion von kleinen kompakten Objekten in natürlicher Umgebung bei nahezu vollständi ger Unterdrückung von irrelevanten Hintergrundinforma tionen des Bildes unter Verwendung eines die Umgebung abtastenden elektrooptischen Sensors mit nachgeordneter Auswerteeinheit und gegebenenfalls vorhandener Bilddar stellungseinrichtung vorgesehen ist.Such a method is in DE 41 20 676 C2 wrote, which for the detection of small compact Objects in a natural environment with almost complete Suppression of irrelevant background information tion of the image using an environment scanning electro-optical sensor with subordinate Evaluation unit and any existing image position device is provided.
Dieses Verfahren, bei dem zur Gewinnung von Informationen über die Objekte in einem mehrstufigen Prozeß zwei Annah men, wonach künstliche Objekte kompakt und teilweise symme trisch sind, gemacht werden und bei dem das von einem elektrooptischen Sensor gelieferte digitale Bild zuerst durch ein zweidimensionales FIR-Filter geschickt wird, um weißes Rauschen zu reduzieren, wird dabei in folgende Schritte gegliedert:This process in which information is obtained two assumptions about the objects in a multi-stage process men, according to which artificial objects are compact and sometimes sympathetic trical, are done and that by one electro-optical sensor delivered digital image first is sent through a two-dimensional FIR filter, In order to reduce white noise, the following is used Structured steps:
- a) Das so gefilterte Bild wird weiter verarbeitet und von mindestens drei jeweils mehrere Pixel enthaltenden Matrizen abgetastet, wobei jeder Matrix eine Referenzmenge außer halb des zugehörigen Matrixmittelpunktes vorgegeben wird und wobei die Referenzmengen jeder Matrix sich voneinander unterscheiden.a) The filtered image is processed and processed by at least three matrices each containing several pixels sampled, with each matrix except a reference set half of the associated matrix center is specified and wherein the reference amounts of each matrix differ from each other differentiate.
- b) Von jeder Referenzmenge werden das Maximum und Minimum der Helligkeitswerte ermittelt. Die Referenzmengen können vorzugsweise jeweils in den Ecken des 7×7 Bereiches (Ma trix) angesiedelt sein, wobei die spezielle Auswahl der verschiedenen Referenzmengen aus Fig. 1 (schraffierte Dreiecke) der DE 41 20 676 C2 zu entnehmen ist. Dieser Ver arbeitungsschritt berücksichtigt die Symmetrieerfordernis se zur Detektion kleiner, kompakter Objekte. Für zweidimen sionale Objekte sind mindestens drei Referenzmengen und da her mindestens drei parallele Filterzweige erforderlich.b) The maximum and minimum of the brightness values are determined from each reference quantity. The reference quantities can preferably each be located in the corners of the 7 × 7 region (matrix), the special selection of the different reference quantities from FIG. 1 (hatched triangles) being apparent from DE 41 20 676 C2. This processing step takes into account the symmetry requirements for the detection of small, compact objects. For two-dimensional objects, at least three reference quantities and therefore at least three parallel filter branches are required.
- c) Im nächsten Schritt werden in jedem Filterzweig die Er gebnisse der Maxima- und Minimaberechnungen mit dem aktuel len Bildpunkt(pixel) im Zentrum der Matrix verglichen und es erfolgt eine Markierung des dem jeweiligen Matrixmittel punkt entsprechenden Pixels als signifikant und ihr Eintrag in das Zwischenergebnisbild des Filterzweiges.c) In the next step, the Er results of the maxima and minima calculations with the current len pixel in the center of the matrix compared and the respective matrix agent is marked point corresponding pixel as significant and their entry in the intermediate result image of the filter branch.
Hierbei wird das dem jeweiligen Matrixmittelpunkt entspre chende Pixel dann markiert, wenn erstens dieses Pixel um einen ersten Schwellwert heller als das Maximum der Hellig keitswerte der zugehörigen Referenzmenge ist und zweitens wenn die Streuung der zugehörigen Referenzmenge kleiner als ein weiterer fester Schwellwert ist, wobei als Maß für die Streuung der Helligkeitswerte hier die Differenz von Maximum und Minimum verwendet wird.This will correspond to the respective matrix center corresponding pixels are marked when first this pixel around a first threshold brighter than the maximum of the brightness second values if the scatter of the associated reference quantity is less than is another fixed threshold, being a measure of Scatter the brightness values here the difference from maximum and minimum is used.
Es werden somit die KriterienSo the criteria
P - M < T (K1) und M - m < L (K2)P - M <T (K1) and M - m <L (K2)
erfüllt. Fulfills.
Dabei bedeuten:
P: Intensität des dem Matrixmittelpunkt entsprechenden
Pixels
M: Maximum der Intensitäten der Referenzmenge
m: Minimum der Intensitäten der Referenzmenge
T: dynamischer Schwellwert
L: fester Schwellwert.Here mean:
P: Intensity of the pixel corresponding to the center of the matrix
M: Maximum of the intensities of the reference set
m: minimum of the intensities of the reference set
T: dynamic threshold
L: fixed threshold.
Der Sinn dieses Verarbeitungsschrittes besteht darin, den zentralen Bildpunkt zu markieren, wenn sowohl der Bildpunkt genügend heller als seine Umgebung ist (dynamische Schwelle T) und seine Umgebung nicht zu stark strukturiert ist (fester Schwellwert L für Differenz M-n als Maß für die Streuung).The purpose of this processing step is to to mark central pixel if both the pixel is sufficiently lighter than its surroundings (dynamic threshold T) and its environment is not too strongly structured (firmer Threshold L for difference M-n as a measure of the scatter).
- d) Die markierten Pixel in den Zwischenergebnisbildern wer den dilatiert, d. h. auf 3×3 Pixel vergrößert. Hierzu werden die benachbarten Pixel jedes markierten Pixels des digitalen Bildes markiert, so daß alle markierten Pixel eine dilatierte Menge bilden, und es werden die aus einer Referenzmenge gewonnenen dilatierten Mengenelemente mit den anderen jeweils aus einer Referenzmenge hervorgegangenen dilatierten Mengenelementen UND-verknüpft. Die UND-Verknüp fung sämtlicher Ergebnisbilder liefert das Endergebnis. Da jedoch aus Gründen unvollkommener Symmetrie nicht alle Fil terzweige dasselbe Pixel markieren, ist die Erzeugung der dilatierten Mengenelemente vor der UND-Verknüpfung erfor derlich.d) The marked pixels in the intermediate result images the dilated, d. H. enlarged to 3 × 3 pixels. For this the neighboring pixels of each marked pixel of the digital image marked so that all marked pixels form a dilated set, and they become one Dilated quantity elements obtained with the reference quantity others each derived from a reference set dilated quantity elements AND-linked. The AND link The result of all images provides the final result. There however, not all fil. due to imperfect symmetry mark the same pixel, the generation of the dilated set elements before the AND operation such.
Mit einem die obigen Verfahrensschritte a) bis d) aufwei senden Detektionsverfahren können irrelevante Hintergrund informationen nahezu unterdrückt werden, womit auch eine Reduktion der Falschalarme erzielt wird. Eine Methode, die durch zufällige Fehler im Detektionsprozeß entstehenden Falschalarme zu reduzieren, ist die Verfolgung von detek tierten Objekten über eine bestimmte Zeitspanne. Objekte, die keine Spuren bilden, werden nicht weiter berücksichtigt. With one of the above process steps a) to d) send detection methods can be irrelevant background information is almost suppressed, with which a Reduction of false alarms is achieved. A method that caused by random errors in the detection process Detek's aim is to reduce false alarms objects over a certain period of time. Objects, that do not form traces will not be taken into account.
Hierbei können die Objekte jedoch nur dann verfolgt wer den, wenn man über normale Bildfolgen verfügt, wie sie z. B. in einer normalen Videokamera entstehen. Nachteiligerweise gibt es jedoch Situationen, in denen keine Bildfolgen zur Verfügung stehen oder bei denen die Systemspezifikationen so hart sind, daß trotz Spurenbildung die Falschalarmrate hoch bleibt.However, the objects can only be tracked here the, if you have normal picture sequences, such as z. B. created in a normal video camera. Unfortunately However, there are situations in which no image sequences are used Are available or where the system specifications are so hard that the false alarm rate despite the formation of traces stays high.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art zu schaffen, durch welches möglichst viele Informationen aus den digitalen Bildern verarbeitet werden, so daß eine optimale Detektion von Objekten, die gegebenenfalls von verschiedenen Sensoren erzeugt werden, mit einer geeigneten Echtzeit-Hardware ermöglicht wird.The invention has for its object a method of to create the type mentioned, by which possible processed a lot of information from the digital images be so that an optimal detection of objects that may be generated by various sensors, with suitable real-time hardware.
Die Aufgabe wird erfindungsgemäß durch die im Kennzeichen des Anspruchs 1 angegebenen Verfahrensschritte gelöst.The object is achieved by the in the license plate of the process steps specified.
Eine Ausgestaltung des erfindungsgemäßen Verfahrens ist im Unteranspruch 2 beschrieben.An embodiment of the method according to the invention is in the Subclaim 2 described.
Eine Schaltungsanordnung zur Durchführung des Verfahrens ist im Anspruch 3 beansprucht.A circuit arrangement for performing the method is claimed in claim 3.
Für das eingangs genannte Verfahren sind erfindungsgemäß die folgenden weiteren Verfahrensschritte vorgesehen, von denen die ersten beiden Verfahrensschritte e) und f) bereits bei einem Detektionsverfahren Anwendung finden, welches in der nicht vorveröffentlichten DE-Patentanmeldung P 43 36 751.8 beschrieben ist:For the method mentioned at the outset are according to the invention the following further procedural steps are provided by which the first two process steps e) and f) already are used in a detection method which is described in the unpublished DE patent application P 43 36 751.8 is described:
- e) In mindestens einer ersten von n, eine Reduktionspyramide bildenden Reduktionsstufen wird das von dem Sensor gelie ferte digitale Bild um den Faktor 2n zur Erzeugung von digitalen Teilbildern verkleinert, deren Anzahl in x- und y-Richtung des digitalen Bildes jeweils dem Verkleine rungsfaktor 2n der zugehörigen Reduktionsstufe n ent spricht.e) In at least a first of n reduction stages forming a reduction pyramid, the digital image supplied by the sensor is reduced by a factor of 2 n to generate digital partial images, the number of which in the x- and y-direction of the digital image is in each case the reduction factor 2 n of the associated reduction stage speaks ent.
Das verkleinerte Bild wird jeweils als Eingabe für einen Punktobjektdetektor verwendet. Es ist offensichtlich, daß auch größere Objekte bei einer bestimmten Reduktionsstufe als Punktobjekte erscheinen und dann als bedeutend markiert werden. Durch diesen Mechanismus können Objekte mit unter schiedlicher Größe mit der gleichen Methode detektiert werden.The reduced image is used as input for one Point object detector used. It is obvious that even larger objects at a certain reduction level appear as point objects and then marked as significant will. This mechanism allows objects with under different sizes detected with the same method will.
- f) Für jedes erzeugte digitale Teilbild einer zugehörigen Reduktionsstufe werden nacheinander die eingangs genann ten Verfahrensschritte a bis e durchgeführt, wobei die "und-verknüpften" dilatierten Mengenelemente jedes digi talen Teilbildes jeweils eine ein detektiertes Objekt dar stellende Ergebnismenge (ein Teilendergebnis) in einer zu gehörigen Reduktionsstufe der Reduktionspyramide bilden. Hierbei werden die redundanten Ergebnismengen (Teilender gebnisse) von unterschiedlichen Reduktionsstufen, die je weils dasselbe Objekt in verschiedenen ähnlichen Teilbil dern markieren, als "horizontale Redundanzen" sowie redun dante Ergebnismengen (Teilendergebnisse) der unterschied lichen Reduktionsstufen, die jeweils dasselbe Objekt mar kieren, wenn dieses eine vorgegebene Intensitätsverteilung in Größe und Form aufweist, als "vertikale Redundanzen" bezeichnet.f) For each digital partial image generated an associated one Reduction stages are called the one after the other th process steps a to e carried out, the "and-linked" dilated set elements of each digi tal partial image each represent a detected object result set (a partial end result) in one form the corresponding reduction level of the reduction pyramid. The redundant result sets (dividing ends results) of different reduction levels, each because the same object in different similar parts mark as "horizontal redundancies" and redun dante result sets (partial end results) the difference reduction stages, each mar the same object if this has a predetermined intensity distribution in size and shape, as "vertical redundancies" designated.
Zum Beispiel erzeugt die Verkleinerung um den Faktor 2 in beiden Richtungen vier ähnliche aber nicht identische Bil der, abhängig vom Versatz des Ursprungs, der beispielsweise die Koordinaten (0,0), (0,1), (1,0), (1,1) annehmen kann. Eine einzelne Reduktionspyramide mit 4 Stufen wird auf diese Weise 1 + 4 + 16 + 64 = 85 redundante Bilder erzeugen. Das bedeutet, daß unter bestimmten Umständen ein Objekt bis zu 85mal markiert wird. Diese Tatsache reduziert die Wahr scheinlichkeit sehr deutlich, daß ein gültiges Objekt wegen des nichtlinearen Charakters des Punktobjektdetektors nicht detektiert werden könnte.For example, the reduction by a factor of 2 in Four similar but not identical images in both directions which, depending on the offset of the origin, for example can assume the coordinates (0.0), (0.1), (1.0), (1.1). A single pyramid of reduction with 4 levels is based on this Ways 1 + 4 + 16 + 64 = 85 create redundant images. The means that under certain circumstances an object up to Is marked 85 times. This fact reduces the truth Probability very clear that because of a valid object of the non-linear character of the point object detector could be detected.
- g) Ein aus den gemäß Verfahrensschritt d markierten Pixeln der Und-verknüpften Mengenelemente gewonnenes zweidimen sionales Bild wird mittels einer 3×3-Matrix derart verkleinert (erodiert), daß alle markierten Pixel mit mindestens einem unmarkierten Nachbarn gelöscht werden und alle markierten Pixel mit (vorzugsweise) acht nächs ten Nachbarn erhalten bleiben (erodierte Markierungen der Teilendergebnisse). Hierdurch werden die Auswirkungen von Dilatationen aus vorhergehenden Stufen beseitigt.g) A from the pixels marked according to method step d of the AND-linked set elements sional image is made using a 3 × 3 matrix reduced (eroded) that all marked pixels with deleted at least one unmarked neighbor and all marked pixels with (preferably) eight next neighbors are retained (eroded markings of the Partial end results). This will have an impact eliminated from dilations from previous stages.
- h) Aus den markierten Pixeln mit (vorzugsweise) acht Nachbarn (erodierte Markierungen der Teilendergebnisse) wird ein Teilergebnisbild hergestellt, in demh) From the marked pixels with (preferably) eight neighbors (eroded marks of the part end results) becomes a Partial result image produced in the
- - die Pixel für das Originalbild die Werte 1 oder 0 der art aufweisen, daß die die Werte 1 aufweisenden Pixel zu einem signifikanten Objekt gehören und daß die Pixel mit den Werten 0 nicht zu einem signifikanten Objekt gehören, und in dem- The pixels for the original image have the values 1 or 0 Art that the pixels having the values 1 to belong to a significant object and that the pixels with the values 0 do not belong to a significant object, and in that
- - die durch die Pixel mit den Werten 1 markierten Flächen kompakte Regionen von annähernder Größe der Objekte im Originalbild darstellen.- The areas marked by the pixels with the values 1 compact regions of approximately the size of the objects in the Show original image.
- i) Aus den gemäß Verfahrensschritt f markierten Pixeln der "und-verknüpften" dilatierten Mengenelemente jedes digi talen Teilbildes einer zugehörigen Reduktionsstufe (wel ches jeweils eine ein detektiertes Objekt darstellende Ergebnismenge (Teilendergebnis) in einer zugehörigen Re duktionsstufe der Reduktionspyramide bildet) wird je weils ein zweidimensionales Binärbild gewonnen, welches mittels einer 3×3-Matrix derart verkleinert (erodiert) wird, daß alle markierten Pixel mit mindestens einem un markierten Nachbarn gelöscht werden und alle markierten Pixel mit (vorzugsweise) acht nächsten Nachbarn erhalten bleiben (erodierte Markierungen der digitalen Teilbilder).i) From the pixels marked according to method step f "and-linked" dilated set elements of each digi tal partial image of an associated reduction stage (wel ches each represent a detected object Result set (partial result) in an associated re level of the reduction pyramid) because a two-dimensional binary image is obtained, which reduced in size (eroded) using a 3 × 3 matrix is that all marked pixels with at least one un marked neighbors are deleted and all marked neighbors Obtain pixels with (preferably) eight nearest neighbors remain (eroded markings of the digital drawing files).
- j) Aus den markierten Pixeln mit (vorzugsweise) acht Nachbarn jedes Teilbildes (erodierte Markierungen eines digitalen Teilbildes) wird jeweils ein zweidimensionales Teilergeb nisbild hergestellt, in dem jeweils den Werten der mar kierten Pixeln ein Wert a hinzuaddiert wird, der sich nach der folgenden Formel errechnet: a = (2)(n-1),wobei "a" den zu addierenden Wert und "n" einen zahlen mäßig der zugehörigen Reduktionsstufe der Reduktionspy ramide entsprechenden Verkleinerungsfaktor bezeichnen.j) From the marked pixels with (preferably) eight neighbors of each partial image (eroded markings of a digital partial image), a two-dimensional partial result image is produced, in which a value a is added to the values of the marked pixels, which is calculated according to the following formula calculated: a = (2) (n-1) , "a" denoting the value to be added and "n" denoting a reduction factor corresponding to the number of the reduction stage of the reduction pyramids.
Es wird sichergestellt, daß größeren Objekten mehr Wichtig keit zugemessen wird als kleineren. Dieser Prozeß wird für alle redundanten Ergebnisse fortgesetzt. In der ersten Re duktionsstufe haben die Pixel im Ergebnisbild maximal den Wert 3, wenn das Objekt im Originalbild und im verkleiner ten Bild markiert wurde, und den Wert 0, wenn es überhaupt nicht markiert wurde.It ensures that larger objects are more important is measured as smaller. This process is for all redundant results continued. In the first re production level, the pixels in the result image have a maximum of Value 3 if the object is in the original image and in the reduced th picture was marked, and the value 0, if it was at all was not marked.
Die Schritte von Verkleinerung, Markierung und Aufsummation der Resultate kann beliebig oft wiederholt werden. Beispiels weise enthält bei drei Verkleinerungsstufen das Ergebnis bild kompakte Inseln mit einem maximalen Pixelwert von 15 (entsprechend 1+2+4+8), wenn ein Objekt in allen Stufen mar kiert wurde, und einen Minimalwert von 0, wenn keine Markie rungen existieren. Die Eintragung der Markierungen aus den verkleinerten Bildern erfolgt deckungsgleich zu der Unter abtastung gemäß Verfahrensschritt e). Die Teilbilder werden so wieder zu einem flächendeckenden Gesamtbild verwoben.The steps of downsizing, marking, and summing up the results can be repeated any number of times. Example wise contains the result for three reduction levels picture compact islands with a maximum pixel value of 15 (corresponding to 1 + 2 + 4 + 8) if an object mar in all levels and a minimum value of 0 if there is no marker stanchions exist. The entry of the marks from the reduced images are congruent to the sub scanning according to method step e). The drawing files are so again woven into an overall picture.
- k) Die erodierten Markierungen der Teilendergebnisse gemäß Verfahrensschritt g, die Teilergebnisbilder gemäß Ver fahrensschritt h, die erodierten Markierungen der digi talen Teilbilder gemäß Verfahrensschritt i sowie die zweidimensionalen Teilergebnisbilder gemäß Verfahrens schritt j werden zu einem zweidimensionalen Gesamtergeb nisbild fusioniert, in demk) The eroded marks of the part end results according to Method step g, the partial result images according to Ver driving step h, the eroded markings of the digi tal partial images according to process step i and the two-dimensional partial result images according to the method step j become a two-dimensional overall result merged nis picture in which
- - die Pixel für das Originalbild die Werte 1 oder 0 derart aufweisen, daß die die Werte 1 aufweisenden Pixel zu einem signifikanten Objekt gehören und daß die Pixel mit den Werten 0 nicht zu einem signifikanten Ob jekt gehören, und in dem- the pixels for the original image have the values 1 or 0 in such a way that those with the values 1 Pixels belong to a significant object and that the Pixel with the values 0 does not become a significant ob belong and in which
- - die durch die Pixel mit den Werten 1 markierten Flächen kompakte Regionen von annähernder Größe der Ob jekte im Originalbild darstellen.- those marked by the pixel with the values 1 Areas of compact regions of approximately the size of ob represent objects in the original image.
- l) Das zweidimensionale Gesamtergebnisbild wird einem 3×3- Mittelwertfilter (9) zur Erzeugung eines Mittelwertes aus der Markierung seines Zentralpixels und den Markie rungen seiner (vorzugsweise) acht Nachbarn zugeführt.l) The two-dimensional overall result image is fed to a 3 × 3 mean filter ( 9 ) for generating an average from the marking of its central pixel and the markings of its (preferably) eight neighbors.
Es werden somit Objekte zusammengefügt, die möglicherweise im Erosionsprozeß und in den vorangegangenen Bearbeitungs stufen getrennt wurden. Dieses reduziert die Wahrschein lichkeit, daß das gleiche Objekt mehrfach gemeldet wird.Objects are thus put together that may be in the erosion process and in previous machining stages were separated. This reduces the likelihood the same object is reported several times.
- m) Der Mittelwert des zweidimensionalen Gesamtergebnisbil des wird als Ergebnisbild in einem Ergebnisspeicher (12) abgelegt, undm) The mean value of the two-dimensional overall result picture is stored as a result picture in a result memory ( 12 ), and
- n) das den gefilterten Mittelwert des zweidimensionalen Ge samtergebnisbildes darstellende Ergebnisbild wird zur Er rechnung der Objekteigenschaften wie Position, Größe, Formfaktor oder Wichtigkeit der Objekte einem Segmenta tionsprozeß unterworfen.n) the filtered mean of the two-dimensional Ge The entire result picture representing the result becomes Er calculation of object properties such as position, size, Form factor or importance of objects in a segment tion process subjected.
Errechnet werden beispielsweise die Schwerpunktkoordinaten des Objektes, die "Wichtigkeit" als Summe aller Pixelwerte in einer Objektinsel, der Umfang, die Fläche und der resul tierende Formfaktor des Objektes. Die "Wichtigkeit" des Objektes spiegelt den Grad an Kompaktheit und einer teil weisen Symmetrie wieder, der bzw. die im Fusionsprozessor ermittelt wurden. Simulationsergebnisse zeigen, daß die interessanten Objekte im Originalbild auch diejenigen mit dem höchsten Wichtigkeitswert sind. Das bestätigt die der Algorithmenentwicklung zugrundeliegenden Annahmen. Durch Anlegen von unterschiedlichen Schwellen an die "Wichtig keit" der Objekte kommt man zu einer Teilklassifikation von Objekten in einem Bild.For example, the center of gravity coordinates are calculated of the object, the "importance" as the sum of all pixel values in an object island, the extent, the area and the resul tive form factor of the object. The "importance" of Object reflects the degree of compactness and a part show symmetry again, that in the fusion processor were determined. Simulation results show that the interesting objects in the original image also those with are of the highest importance. That confirms that of Assumptions underlying algorithm development. By Applying different thresholds to the "Important of the objects one comes to a partial classification of objects in an image.
In einem Sensorbild auftretende verschiedene Objekte wer den zu ihrer Klassifikation nach ihrer Position, Größe, Form oder Wichtigkeit oder nach einer Kombination der ermittelten Objekteigenschaften in eine Liste nach fal lender Wertigkeit eingetragen. Beispielsweise können Ober- und Untergrenzen der Wertigkeit festgelegt und da mit bestimmte Klassen von Objekten ausgewählt werden. Die Auswahl kann sich auch auf die Größe, Form oder Wich tigkeit der Objekte stützen, oder auf eine Kombination der ermittelten Objekteigenschaften.Different objects appearing in a sensor image for their classification according to their position, size, Shape or importance or a combination of the determined object properties in a list after fal lender valence entered. For example Upper and lower limits of the value and there with certain classes of objects can be selected. The selection can also depend on the size, shape or wich based on the activity of the objects, or on a combination of the determined object properties.
In der Zeichnung ist ein Ausführungsbeispiel der Erfindung in Form eines Blockschaltbildes dargestellt, und zwar zeigt die einzige Figur eine Schaltungsanordnung zur Weiterver arbeitung eines seriellen kontinuierlichen Bilddatenstromes, der zeilenweise aus dem zweidimensionalen Binärbild für die nach den eingangs beschriebenen Verfahrensmerkmalen d) und f) gewonnenen Objektmarkierungen gebildet wird und somit die Objektmarkierungen repräsentiert.In the drawing is an embodiment of the invention shown in the form of a block diagram, showing the only figure is a circuit arrangement for further ver working a serial continuous image data stream, the line by line from the two-dimensional binary image for the according to the process features d) and f) object markings are formed and thus the Represented object markers.
Der binäre Datenstrom für die Objektmarkierungen wird den Eingängen einer 3×3-Bildpunktmatrix 2 unverzögert sowie mit Hilfe von zwei Verzögerungsleitungen 1.1 und 1.2, die jeweils die Länge der Zeile eines digitalen Bildes aufweisen, über eine bzw. über beide (in Serie geschaltete) Verzögerungslei tungen 1.1 bzw. 1.2 verzögert zugeführt. Die 3×3-Matrix 2 liefert aus den drei benachbarten Zeilen für jedes markierte Pixel die zugehörigen Nachbarpixel. Wenn das Zentralpixel und seine acht Nachbarpixel markiert sind, erzeugt das der 3×3-Matrix 2 nachgeordnete Und-Verknüpfungsglied 3 für dieses Zentralpixel erneut eine Markierung. Damit steht am Ausgang des Und-Gliedes 3 ein binärer Datenstrom zur Verfügung, der die erodierten Markierungen des Eingangsbildes enthält.The binary data stream for the object markings is undelayed at the inputs of a 3 × 3 pixel matrix 2 and with the aid of two delay lines 1.1 and 1.2 , each of which has the length of the line of a digital image, via one or both delay lines (connected in series) lines 1.1 and 1.2 supplied with a delay. The 3 × 3 matrix 2 supplies the associated neighboring pixels from the three neighboring rows for each marked pixel. If the central pixel and its eight neighboring pixels are marked, the AND logic element 3 arranged downstream of the 3 × 3 matrix 2 generates a mark again for this central pixel. A binary data stream is therefore available at the output of the AND element 3 , which contains the eroded markings of the input image.
Mit Hilfe eines dem Und-Glied 3 nachgeschalteten Multi pliziergliedes 4 werden die im Erosionsprozeß erzeugten Markierungen mit dem Verkleinerungsfaktor 2(n-1) multipli ziert. Am Ausgang des Multipliziergliedes 4 steht ein Bild datenstrom an, der die der Wertigkeit des aktuellen Ver kleinerungsfaktors entsprechenden Markierungen enthält. Zu diesen Markierungen werden mit Hilfe eines Addiergliedes 6 die zugehörigen Werte des vorangegangenen Durchlaufs, die in einem Zwischenspeicher 7 abgespeichert sind, hinzugefügt. Das Ergebnis der Summe wird ebenfalls im Zwischenspeicher 7 abge legt. Den aktuellen Verkleinerungsfaktor für das Multipli zierglied 4, die diesem Faktor entsprechende Adressierung des Zwischenspeichers 7 sowie den Befehl zur Maskierung der Zwischenspeicherergebnisse für ein dem Addierglied 6 vorge schaltetes UND-Verknüpfungsglied 5 liefert eine Steuerein richtung 14. Hierbei muß das Ergebnis des Zwischenspeichers 7 beim ersten Durchlauf des Verkleinerungsprozesses ignoriert werden, was mittels des UND-Verknüpfungsgliedes 5 durchge führt wird.With the help of an AND gate 3 downstream multi pliziergliedes 4 , the markings generated in the erosion process are multiplied by the reduction factor 2 (n-1) . At the output of the multiplier 4 there is an image data stream which contains the markings corresponding to the value of the current reduction factor. With the help of an adder 6, the associated values of the previous run, which are stored in a buffer 7, are added to these markings. The result of the sum is also stored in the buffer 7 . The current reduction factor for the multiplication element 4 , the addressing of the buffer memory 7 corresponding to this factor and the command for masking the buffer results for an upstream of the adder 6 AND gate 5 provides a control device 14th Here, the result of the buffer 7 must be ignored when the reduction process is run through for the first time, which is carried out by means of the AND logic element 5 .
Wenn der Verkleinerungsprozeß abgeschlossen ist, d. h. wenn alle Verkleinerungsstufen abgearbeitet sind, dann wird das im Zwischenspeicher 7 vorliegende Bild einer Filterung unter zogen. Hierzu wird der Zwischenspeicher 7 mittels geeigne ter Adressierung durch die Steuereinrichtung 14 zeilenweise ausgelesen, so daß ein kontinuierlicher Bilddatenstrom ent steht. Dieser Datenstrom wird einer 3×3-Bildpunktmatrix 9 unverzögert sowie mit Hilfe von zwei weiteren Verzögerungs leitungen 8.1 und 8.2 um jeweils eine bzw. zwei Bildzeilen verzögert zur Verfügung gestellt. Die 3×3-Bildpunktmatrix 9 liefert aus den drei benachbarten Zeilen die Werte für jedes Pixel mit den jeweiligen Nachbarpixeln.When the reduction process is complete, ie when all reduction stages have been processed, the image present in the buffer 7 is subjected to filtering. For this purpose, the buffer 7 is read out line by line by means of suitable addressing by the control device 14 , so that a continuous image data stream is created. This data stream is made available to a 3 × 3 pixel matrix 9 without delay and with the aid of two further delay lines 8.1 and 8.2 each delayed by one or two image lines. The 3 × 3 pixel matrix 9 supplies the values for each pixel with the respective neighboring pixels from the three adjacent lines.
In einem der 3×3-Bildpunktmatrix nachgeordneten Addierglied 10 wird die Summe der neun gleichzeitig an seinen Eingängen anliegenden Werte generiert und anschließend in einem Divi dierglied 11 durch den Faktor 9 geteilt. Somit liegt am Aus gang des Dividiergliedes 11 für jedes Pixel des Original bildes der Mittelwert aus der Markierung des Zentralpixels und den Markierungen seiner acht Nachbarpixel an. Der hier aus resultierende Datenstrom wird als Ergebnisbild in einem Ergebnisspeicher 12 abgelegt, dessen Adressierung von der Steuereinrichtung 14 vorgenommen wird.The sum of the nine values present at its inputs at the same time is generated in an adder 10 arranged downstream of the 3 × 3 pixel matrix and then divided in a divider 11 by the factor 9. Thus, the average of the marking of the central pixel and the markings of its eight neighboring pixels is present at the output of the divider 11 for each pixel of the original image. The data stream resulting here is stored as a result image in a result memory 12 , the addressing of which is carried out by the control device 14 .
Dem Ergebnisspeicher 12 ist ein Segmentationsprozessor 13 nachgeordnet, der vorzugsweise durch ein Signal- bzw. Mikro prozessor-System gebildet wird. Der Prozessor 13 kann als Er gebnis des Systems eine nach fallender Wichtigkeit sortierte Objektliste bereitstellen.The result memory 12 is followed by a segmentation processor 13 , which is preferably formed by a signal or microprocessor system. As a result of the system, the processor 13 can provide an object list sorted by decreasing importance.
Anwendungsgebiete der Erfindung sind beispielsweise die auto matische Detektion von unterschiedlich großen Objekten, all gemeine Überwachungsaufgaben, bei denen das dauernde Monito ring von Ereignissen, Dingen oder Einrichtungen erforderlich ist, oder das Sortieren unterschiedlicher Produktionsgüter nach Größe, Form und wenn nötig Farbe mittels einer Farb kamera und einer Modifikation der oben erläuterten Verfah rensschritte.Areas of application of the invention are, for example, the auto matic detection of objects of different sizes, all common surveillance tasks, where the constant Monito ring of events, things or facilities required or sorting different production goods according to size, shape and, if necessary, color using a color camera and a modification of the method explained above steps.
BezugszeichenlisteReference list
1.1/1.2 Verzögerungsleitungen mit der Länge einer Zeile
8.1/8.2 des Originalbildes
2 3×3-Bildpunktmatrix, die aus drei benachbarten Zeilen
des zweidimensionalen Binärbildes das Zentralpixel mit
seinen acht Nachbarpixeln liefert
3 Und-Verknüpfungsglied für den Erosionsprozeß
4 Multiplizierglied, das die binären Markierungen aus dem
Erosionsprozeß mit dem aktuellen Verkleinerungsfaktor
2(n-1) multipliziert
5 UND-Verknüpfungsglied, welches die Daten des Zwischen
speichers 7 beim ersten Durchlauf der Aufsummierung
maskiert
6 Addierglied summiert die aktuellen Markierungen aus dem
Erosionsprozeß mit den zugehörigen Markierungen des vor
angegangenen Durchlaufes (Akkumulation)
7 Zwischenspeicher für die Ergebnisse der Aufsummierungen
für den nächsten Durchlauf
9 3×3-Bildpunktmatrix liefert aus drei benachbarten Zeilen
des zweidimensionalen Summationsbildes das Zentralpixel
mit seinen acht Nachbarpixeln
10 Addierglied, welches zu der Markierungssumme des Zentral
pixels die Markierungssummen der acht Nachbarpixel addiert
11 Dividierglied, das die Summe der neun Markierungssummen
durch neun dividiert
12 Ergebnisspeicher speichert das gefilterte Ergebnisbild für
die weitere Bearbeitung
13 Segmentationsprozessor liefert eine sortierte Objektliste
14 Steuereinrichtung zur Steuerung des Fusionsprozesses und
für die Adressierung von Zwischen- und Ergebnisspeicher 1.1 / 1.2 delay lines with the length of one line
8.1 / 8.2 of the original image
2 3 × 3 pixel matrix, which supplies the central pixel with its eight neighboring pixels from three adjacent lines of the two-dimensional binary image
3 AND link for the erosion process
4 Multiplier that multiplies the binary marks from the erosion process by the current reduction factor 2 (n-1)
5 AND logic element, which masks the data of the buffer memory 7 during the first run of the summation
6 adding element sums up the current markings from the erosion process with the associated markings from the previous run (accumulation)
7 Buffer for the results of the summations for the next run
9 3 × 3 pixel matrix supplies the central pixel with its eight neighboring pixels from three adjacent lines of the two-dimensional summation image
10 adder, which adds the marker sums of the eight neighboring pixels to the marker sum of the central pixel
11 Divider that divides the sum of the nine marker sums by nine
12 results memory stores the filtered result image for further processing
13 segmentation processor provides a sorted object list 14 control device for controlling the fusion process and for addressing the intermediate and result memory
Claims (4)
- a) ein von dem Sensor geliefertes digitales Bild wird von mindestens drei jeweils mehrere Pixel enthaltenden Matri zen abgetastet, wobei jeder Matrix eine Referenzmenge außerhalb des zugehörigen Matrixmittelpunktes vorgegeben wird und wobei die Referenzmengen jeder Matrix sich von einander unterscheiden,
- b) von jeder Referenzmenge werden das Maximum und Minimum der Helligkeitswerte ermittelt,
- c) das dem jeweiligen Matrixmittelpunkt entsprechende Pixel des Sensorbildes wird dann markiert, wenn erstens dieses Pixel um einen ersten Schwellwert heller als das Maximum der Helligkeitswerte der zugehörigen Referenzmenge ist und zweitens wenn die Streuung der zugehörigen Referenz menge kleiner als ein weiterer fester Schwellwert ist, wobei als Maß für die Streuung der Helligkeitswerte hier vorzugsweise die Differenz von Maximum und Minimum verwen det wird,
- d) die benachbarten Pixel jedes markierten Pixels des digi talen Bildes werden markiert, so daß alle markierten Pixel eine dilatierte Menge bilden, und es werden die aus einer Referenzmenge gewonnenen dilatierten Mengenelemente mit den anderen jeweils aus einer Referenzmenge hervorge gangenen dilatierten Mengenelementen UND-verknüpft,
- a) a digital image supplied by the sensor is scanned by at least three matrices each containing a plurality of pixels, each matrix being given a reference quantity outside the associated matrix center and the reference quantities of each matrix differing from one another,
- b) the maximum and minimum of the brightness values are determined from each reference quantity,
- c) the pixel of the sensor image corresponding to the respective matrix center point is marked if, firstly, this pixel is brighter than the maximum of the brightness values of the associated reference quantity by a first threshold value and secondly if the scatter of the associated reference quantity is smaller than a further fixed threshold value, whereby the difference between maximum and minimum is preferably used here as a measure of the spread of the brightness values,
- d) the neighboring pixels of each marked pixel of the digital image are marked so that all marked pixels form a dilated set, and the dilated set elements obtained from a reference set are AND-linked with the other dilated set elements resulting from a reference set,
- e) in mindestens einer ersten von n, eine Reduktionspyramide bildenden Reduktionsstufen wird das von dem Sensor gelie ferte digitale Bild um den Faktor 2n zur Erzeugung von digitalen Teilbildern verkleinert, deren Anzahl in x- und y-Richtung des digitalen Bildes jeweils dem Verkleinerungs faktor 2n der zugehörigen Reduktionsstufe n entspricht,
- f) für jedes erzeugte digitale Teilbild einer zugehörigen Reduktionsstufe werden nacheinander die Verfahrensschrit te a bis e durchgeführt, wobei die "und-verknüpften" di latierten Mengenelemente jedes digitalen Teilbildes je weils eine ein detektiertes Objekt darstellende Ergebnis menge (ein Teilendergebnis) in einer zugehörigen Reduk tionsstufe der Reduktionspyramide bilden, und wobei redundante Ergebnismengen (Teilendergebnisse) von unter schiedlichen Reduktionsstufen, die jeweils dasselbe Ob jekt in verschiedenen ähnlichen Teilbildern markieren, "horizontale Redundanzen" sowie redundante Ergebnismengen (Teilendergebnisse) der unterschiedlichen Reduktionsstu fen, die jeweils dasselbe Objekt markieren, wenn dieses eine vorgegebene Intensitätsverteilung in Größe und Form aufweist, "vertikale Redundanzen" bilden,
- g) ein aus den gemäß Verfahrensschritt d markierten Pixeln der Und-verknüpften Mengenelemente gewonnenes zweidimen sionales Bild wird mittels einer 3×3-Matrix (2) derart verkleinert (erodiert), daß alle markierten Pixel mit mindestens einem unmarkierten Nachbarn gelöscht werden und alle markierten Pixel mit (vorzugsweise) acht nächs ten Nachbarn erhalten bleiben (erodierte Markierungen der Teilendergebnisse),
- h) aus den markierten Pixeln mit (vorzugsweise) acht Nachbarn (erodierte Markierungen der Teilendergebnisse) wird ein Teilergebnisbild hergestellt, in dem
- - die Pixel für das Originalbild die Werte 1 oder 0 der art aufweisen, daß die die Werte 1 aufweisenden Pixel zu einem signifikanten Objekt gehören und daß die Pixel mit den Werten 0 nicht zu einem signifikanten Objekt gehören, und in dem
- - die durch die Pixel mit den Werten 1 markierten Flächen kompakte Regionen von annähernder Größe der Objekte im Originalbild darstellen,
- i) aus den gemäß Verfahrensschritt f markierten Pixeln der "und-verknüpften" dilatierten Mengenelemente jedes digi talen Teilbildes einer zugehörigen Reduktionsstufe (wel ches jeweils eine ein detektiertes Objekt darstellende Ergebnismenge (Teilendergebnis) in einer zugehörigen Re duktionsstufe der Reduktionspyramide bildet) wird je weils ein zweidimensionales Binärbild gewonnen, welches mittels einer 3×3-Matrix (2) derart verkleinert (erodiert) wird, daß alle markierten Pixel mit mindestens einem un markierten Nachbarn gelöscht werden und alle markierten Pixel mit (vorzugsweise) acht nächsten Nachbarn erhalten bleiben (erodierte Markierungen der digitalen Teilbilder),
- j) aus den markierten Pixeln mit (vorzugsweise) acht Nachbarn jedes Teilbildes (erodierte Markierungen eines digitalen Teilbildes) wird jeweils ein zweidimensionales Teilergeb nisbild hergestellt, in dem jeweils den Werten der mar kierten Pixeln ein Wert a hinzuaddiert wird, der sich nach der folgenden Formel errechnet: a = (2)(n-1),wobei "a" den zu addierenden Wert und "n" einen zahlen mäßig der zugehörigen Reduktionsstufe der Reduktionspy ramide entsprechenden Verkleinerungsfaktor bezeichnen,
- k) die erodierten Markierungen der Teilendergebnisse gemäß Verfahrensschritt g, die Teilergebnisbilder gemäß Ver fahrensschritt h, die erodierten Markierungen der digi talen Teilbilder gemäß Verfahrensschritt i sowie die zweidimensionalen Teilergebnisbilder gemäß Verfahrens schritt j werden zu einem zweidimensionalen Gesamtergeb nisbild fusioniert, in dem
- - die Pixel für das Originalbild die Werte 1 oder 0 derart aufweisen, daß die die Werte 1 aufweisenden Pixel zu einem signifikanten Objekt gehören und daß die Pixel mit den Werten 0 nicht zu einem signifikanten Ob jekt gehören, und in dem
- - die durch die Pixel mit den Werten 1 markierten Flächen kompakte Regionen von annähernder Größe der Ob jekte im Originalbild darstellen,
- l) das zweidimensionale Gesamtergebnisbild wird einem 3×3- Mittelwertfilter (8.1 bis 11) zur Erzeugung eines Mittel wertes aus der Markierung seines Zentralpixels und den Markierungen seiner (vorzugsweise) 8 Nachbarn zugeführt,
- m) der Mittelwert des zweidimensionalen Gesamtergebnisbildes wird als Ergebnisbild in einem Ergebnisspeicher (12) ab gelegt, und
- n) das den gefilterten Mittelwert des zweidimensionalen Ge samtergebnisbildes darstellende Ergebnisbild wird zur Er rechnung der Objekteigenschaften wie Position, Größe, Formfaktor oder Wichtigkeit der Objekte einem Segmenta tionsprozeß unterworfen.
- e) in at least a first of n reduction stages forming a reduction pyramid, the digital image supplied by the sensor is reduced by a factor of 2 n in order to generate digital partial images, the number of which in the x and y directions of the digital image is in each case the reduction factor 2 n corresponds to the associated reduction stage n,
- f) for each generated digital partial image of an associated reduction stage, the process steps te a to e are carried out in succession, the "and-linked" dilated quantity elements of each digital partial image each representing a result set (a partial final result) representing a detected object in an associated reduc Formation level of the reduction pyramid, and where redundant result sets (partial end results) from different reduction levels, each of which mark the same object in different similar drawing files, `` horizontal redundancies '' and redundant result sets (partial end results) of the different reduction levels, which each mark the same object, if this has a predetermined intensity distribution in size and shape, form "vertical redundancies",
- g) a two-dimensional image obtained from the pixels of the AND-linked quantity elements marked according to method step d is reduced (eroded) by means of a 3 × 3 matrix ( 2 ) in such a way that all marked pixels with at least one unmarked neighbor are deleted and all marked Pixels with (preferably) eight nearest neighbors are retained (eroded markings of the parts end results),
- h) from the marked pixels with (preferably) eight neighbors (eroded markings of the partial end results) a partial result image is produced in which
- - The pixels for the original image have the values 1 or 0 such that the pixels with the values 1 belong to a significant object and that the pixels with the values 0 do not belong to a significant object, and in that
- the areas marked by the pixels with the values 1 represent compact regions of approximately the size of the objects in the original image,
- i) from the pixels marked according to method step f of the "and -linked" dilated quantity elements of each digital partial image of an associated reduction level (which each forms a result set representing a detected object (partial result) in an associated reduction level of the reduction pyramid) is in each case one Two-dimensional binary image obtained, which is reduced (eroded) using a 3 × 3 matrix ( 2 ) in such a way that all marked pixels with at least one unmarked neighbor are deleted and all marked pixels with (preferably) eight nearest neighbors are retained (eroded markings the digital drawing files),
- j) from the marked pixels with (preferably) eight neighbors of each partial image (eroded markings of a digital partial image) a two-dimensional partial result image is produced, in which a value a is added to the values of the marked pixels, which is based on the following formula calculated: a = (2) (n-1) , "a" denoting the value to be added and "n" a numerical reduction factor corresponding to the associated reduction stage of the reduction pyramids,
- k) the eroded markings of the partial end results according to method step g, the partial result images according to method step h, the eroded markings of the digital partial images according to method step i and the two-dimensional partial result images according to method step j are merged to form a two-dimensional overall result image in which
- - The pixels for the original image have the values 1 or 0 such that the pixels having the values 1 belong to a significant object and that the pixels with the values 0 do not belong to a significant object, and in that
- the areas marked by the pixels with the values 1 represent compact regions of approximately the size of the objects in the original image,
- l) the two-dimensional overall result image is fed to a 3 × 3 mean filter ( 8.1 to 11 ) for generating an average from the marking of its central pixel and the marking of its (preferably) 8 neighbors,
- m) the mean value of the two-dimensional overall result image is stored as a result image in a result memory ( 12 ), and
- n) the result image representing the filtered mean value of the two-dimensional overall result image is subjected to a segmentation process for calculating the object properties such as position, size, form factor or importance of the objects.
- - daß eine 3×3-Matrix (2) mit drei Eingängen und einem nachgeordneten Und-Glied (3) vorgesehen ist, an deren ersten Eingang der serielle Datenstrom direkt ansteht, an deren zweiten Eingang der serielle Datenstrom über eine Verzögerungsleitung (1.1) von der Länge der Zeile eines digitalen Bildes gelangt und derem dritten Eingang der serielle Datenstrom über zwei in Serie geschaltete Ver zögerungsleitungen (1.1 und 1.2) jeweils von der Länge der Zeile eines digitalen Bildes zugeführt wird,
- - daß dem Und-Glied (3) ein von einer Steuereinrichtung (14) gesteuertes Multiplizierglied (4) nachgeschaltet ist,
- - daß der Ausgang des Multipliziergliedes (4) mit einem von zwei Eingängen eines Addiergliedes (6) verbunden ist, des sen zweiter Eingang an dem Ausgang eines UND-Verknüpfungs gliedes (5) angeschlossen und dessen Ausgang zu einem Zwi schenspeicher (7) geführt ist, wobei das UND-Verknüpfungs glied (5) und der Zwischenspeicher (7) von der Steuerein richtung (14) gesteuert werden,
- - daß der Ausgang des Zwischenspeichers (7) an den zweiten Eingang des UND-Verknüpfungsgliedes (5), an den ersten Ein gang einer 3×3-Bildpunktmatrix (9), an deren zweiten Ein gang über eine Verzögerungsleitung (8.1) von der Länge der Zeile eines digitalen Bildes und an den dritten Ein gang der 3×3-Bildpunktmatrix (9) über zwei in Serie ge schaltete Verzögerungsleitungen (8.1 und 8.2) jeweils von der Länge einer Zeile eines digitalen Bildes angeschlos sen ist,
- - daß der 3×3-Bildpunktmatrix (9) ein Addierglied (10), ein Dividierglied (11) und ein von der Steuereinrichtung (14) gesteuerter Ergebnisspeicher (12) zur Speicherung des gefilterten Ergebnisbildes nachgeordnet sind, und
- - daß dem Ergebnisspeicher (12) ein Segmentationsprozessor (13) zur Ermittlung der Objekteigenschaften nachgeschaltet ist.
- - That a 3 × 3 matrix ( 2 ) with three inputs and a subordinate AND gate ( 3 ) is provided, at whose first input the serial data stream is directly present, at the second input of the serial data stream via a delay line ( 1.1 ) the length of the line of a digital image arrives and the third input of the serial data stream is fed via two delay lines ( 1.1 and 1.2 ) connected in series, each of the length of the line of a digital image,
- - That the AND element ( 3 ) is followed by a multiplier ( 4 ) controlled by a control device ( 14 ),
- - That the output of the multiplier ( 4 ) is connected to one of two inputs of an adder ( 6 ), the sen second input connected to the output of an AND gate ( 5 ) and the output of which leads to an intermediate storage ( 7 ) , wherein the AND gate ( 5 ) and the buffer ( 7 ) from the Steuerein direction ( 14 ) are controlled,
- - That the output of the buffer ( 7 ) to the second input of the AND gate ( 5 ), to the first input of a 3 × 3 pixel matrix ( 9 ), to the second input via a delay line ( 8.1 ) of length the line of a digital image and the third input of the 3 × 3 pixel matrix ( 9 ) via two series-connected delay lines ( 8.1 and 8.2 ) each connected to the length of one line of a digital image,
- - That the 3 × 3 pixel matrix ( 9 ) is an adder ( 10 ), a divider ( 11 ) and a control device ( 14 ) controlled result memory ( 12 ) for storing the filtered result image, and
- - That the result memory ( 12 ) is followed by a segmentation processor ( 13 ) for determining the object properties.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE4438235A DE4438235B4 (en) | 1994-10-26 | 1994-10-26 | Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE4438235A DE4438235B4 (en) | 1994-10-26 | 1994-10-26 | Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE4438235A1 true DE4438235A1 (en) | 1996-05-02 |
| DE4438235B4 DE4438235B4 (en) | 2005-04-07 |
Family
ID=6531737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE4438235A Expired - Fee Related DE4438235B4 (en) | 1994-10-26 | 1994-10-26 | Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE4438235B4 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19955919C1 (en) * | 1999-11-20 | 2001-05-31 | Daimler Chrysler Ag | Object recognition method for pixel images provides reduced image from input image which is divided by filtering into at least 2 filtered images each used for providing set of classification images |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4120676C2 (en) * | 1991-06-22 | 1994-09-08 | Deutsche Aerospace | Method and circuit arrangement for the detection of small objects in a natural environment |
| DE4336751C2 (en) * | 1993-10-28 | 2002-04-25 | Lfk Gmbh | Method for the automatic detection of fixed or moving objects in the natural environment of a real-time image sequence |
-
1994
- 1994-10-26 DE DE4438235A patent/DE4438235B4/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19955919C1 (en) * | 1999-11-20 | 2001-05-31 | Daimler Chrysler Ag | Object recognition method for pixel images provides reduced image from input image which is divided by filtering into at least 2 filtered images each used for providing set of classification images |
| US6944342B1 (en) | 1999-11-20 | 2005-09-13 | Eads Deutschland Gmbh | Method for recognizing objects in an image pixel plane |
Also Published As
| Publication number | Publication date |
|---|---|
| DE4438235B4 (en) | 2005-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE2909153C2 (en) | Device for the digital analysis of image or drawing patterns | |
| DE69629930T2 (en) | Method for setting an optical code attached to an object | |
| DE4201514A1 (en) | METHOD FOR DETERMINING DEFECTIVE SITES | |
| EP0925682B1 (en) | Process for detecting edges in an image signal | |
| CH627571A5 (en) | DEVICE AND METHOD FOR DETERMINING CHARACTERISTIC DETAILS IN AN ELECTRONICALLY SCANNED IMAGE PATTERN. | |
| DE4116054A1 (en) | DEVICE FOR Distinguishing Particle Aggregation Patterns | |
| WO2021023514A1 (en) | Determining the level of wear of a tool | |
| DE69813931T2 (en) | Filtering method for focusing images | |
| DE102016100134B4 (en) | Method and device for examining an object using computer vision | |
| DE19840969A1 (en) | Process and device for opto-electronic determination of contact reflection (contact surface) between gear teeth uses a process where a marking material is applied to one set of gear teeth and a digital image is obtained | |
| DE3905234C2 (en) | ||
| DE3622222A1 (en) | CHARACTER RECOGNITION IN TWO-DIMENSIONAL SIGNALS | |
| DE3000918C2 (en) | Correlation device | |
| DE4438235B4 (en) | Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence | |
| EP2138242A2 (en) | Device and method for detecting transport containers | |
| EP0017821B1 (en) | Process and circuit for evaluation of stationary television pictures consisting of lines and frames used for detecting a brightness variation cansed by a moving object | |
| DE19834718C2 (en) | Digital image processing for a quality control system | |
| EP3316216B1 (en) | Method for checking an object | |
| DE69531412T2 (en) | Image coding based on image areas and their segmented border lines | |
| DE2007577C3 (en) | Arrangement for recognizing characters | |
| DE3044883A1 (en) | METHOD AND ARRANGEMENT FOR FINDING PARTICULARS, BSPW. METAPHASE PLATES | |
| DE4336751C2 (en) | Method for the automatic detection of fixed or moving objects in the natural environment of a real-time image sequence | |
| AT408377B (en) | METHOD AND DEVICE FOR TESTING OR EXAMINATION OF OBJECTS | |
| DE4407376A1 (en) | Real-time image processing system, especially as an additional PC system | |
| DE4223424A1 (en) | Method and device for generating circular courses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8127 | New person/name/address of the applicant |
Owner name: LFK LENKFLUGKOERPERSYSTEME GMBH, 81669 MUENCHEN, D |
|
| 8110 | Request for examination paragraph 44 | ||
| 8364 | No opposition during term of opposition | ||
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20110502 |