DE4438235B4 - Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence - Google Patents

Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence Download PDF

Info

Publication number
DE4438235B4
DE4438235B4 DE4438235A DE4438235A DE4438235B4 DE 4438235 B4 DE4438235 B4 DE 4438235B4 DE 4438235 A DE4438235 A DE 4438235A DE 4438235 A DE4438235 A DE 4438235A DE 4438235 B4 DE4438235 B4 DE 4438235B4
Authority
DE
Germany
Prior art keywords
image
pixels
matrix
marked
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE4438235A
Other languages
German (de)
Other versions
DE4438235A1 (en
Inventor
Wolfgang Ing.(grad.) Kieslich
Vahe Dipl.-Ing. Nahapetian
Karl-Heinz Dr.-Ing. Niederhofer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LFK Lenkflugkoerpersysteme GmbH
Original Assignee
LFK Lenkflugkoerpersysteme GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LFK Lenkflugkoerpersysteme GmbH filed Critical LFK Lenkflugkoerpersysteme GmbH
Priority to DE4438235A priority Critical patent/DE4438235B4/en
Publication of DE4438235A1 publication Critical patent/DE4438235A1/en
Application granted granted Critical
Publication of DE4438235B4 publication Critical patent/DE4438235B4/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

Verfahren zur automatischen Detektion von kleinen beweglichen Objekten in natürlicher Umgebung vorzugsweise einer Echtzeitbildfolge unter Verwendung eines die Umgebung abtastenden elektrooptischen Sensors mit nachgeordneter Auswerteeinheit und gegebenenfalls vorgesehener Bilddarstellungseinrichtung mit folgenden Verfahrensschritten:
a) ein von dem Sensor geliefertes digitales Bild wird von mindestens drei jeweils mehrere Pixel enthaltenden Matrizen abgetastet, wobei jeder Matrix eine Referenzmenge außerhalb des zugehörigen Matrixmittelpunktes vorgegeben wird und wobei die Referenzmengen jeder Matrix sich voneinander unterscheiden,
b) von jeder Referenzmenge werden das Maximum und Minimum der Helligkeitswerte ermittelt,
c) das dem jeweiligen Matrixmittelpunkt entsprechende Pixel des Sensorbildes wird dann markiert, wenn erstens dieses Pixel um einen ersten Schwellwert heller als das Maximum der Helligkeitswerte der zugehörigen Referenzmenge ist und zweitens wenn die Streuung der zugehörigen Referenzmenge kleiner als ein weiterer fester Schwellwert ist, wobei als Maß für die...Method for automatically detecting small moving objects in a natural environment, preferably a real-time image sequence using an electro-optical sensor scanning the environment with a downstream evaluation unit and optionally provided image display device with the following method steps:
a) a digital image supplied by the sensor is scanned by at least three matrices each containing several pixels, each matrix being given a reference quantity outside the associated matrix center, and the reference quantities of each matrix being different from each other,
b) the maximum and minimum of the brightness values are determined from each reference quantity,
c) the pixel of the sensor image corresponding to the respective matrix center point is marked, firstly, if this pixel is brighter by a first threshold than the maximum of the brightness values of the associated reference quantity and, secondly, if the scatter of the associated reference quantity is smaller than another fixed threshold value Measure for the ...

Figure 00000001
Figure 00000001

Description

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff von Anspruch 1 und eine Schaltungsanordnung zur Durchführung des Verfahrens.The The invention relates to a method according to the preamble of claim 1 and a circuit arrangement for carrying out the method.

Ein derartiges Verfahren ist in der DE 41 20 676 C2 beschrieben, welches zur Detektion von kleinen kompakten Objekten in natürlicher Umgebung bei nahezu vollständiger Unterdrückung von irrelevanten Hintergrundinformationen des Bildes unter Verwendung eines die Umgebung abtastenden elektrooptischen Sensors mit nachgeordneter Auswerteeinheit und gegebenenfalls vorhandener Bilddarstellungseinrichtung vorgesehen ist.Such a method is in the DE 41 20 676 C2 described, which is provided for the detection of small compact objects in a natural environment with almost complete suppression of irrelevant background information of the image using an electro-optical sensor scanning the environment with downstream evaluation unit and possibly existing image display device.

Dieses Verfahren, bei dem zur Gewinnung von Informationen über die Objekte in einem mehrstufigen Prozeß zwei Annahmen, wonach künstliche Objekte kompakt und teilweise symmetrisch sind, gemacht werden und bei dem das von einem elektrooptischen Sensor gelieferte digitale Bild zuerst durch ein zweidimensionales FIR-Filter geschickt wird, um weißes Rauschen zu reduzieren, wird dabei in folgende Schritte gegliedert:

  • a) Das so gefilterte Bild wird weiter verarbeitet und von mindestens drei jeweils mehrere Pixel enthaltenden Matrizen abgetastet, wobei jeder Matrix eine Referenzmenge außerhalb des zugehörigen Matrixmittelpunktes vorgegeben wird und wobei die Referenzmengen jeder Matrix sich voneinander unterscheiden.
  • b) Von jeder Referenzmenge werden das Maximum und Minimum der Helligkeitswerte ermittelt. Die Referenzmengen können vorzugsweise jeweils in den Ecken des 7 × 7 Bereiches (Matrix) angesiedelt sein, wobei die spezielle Auswahl der verschiedenen Referenzmengen aus 1 (schraffierte Dreiecke) der DE 41 20 676 C2 zu entnehmen ist. Dieser Verarbeitungsschritt berücksichtigt die Symmetrieerfordernisse zur Detektion kleiner, kompakter Objekte. Für zweidimensionale Objekte sind mindestens drei Referenzmengen und daher mindestens drei parallele Filterzweige erforderlich.
  • c) Im nächsten Schritt werden in jedem Filterzweig die Ergebnisse der Maxima- und Minimaberechnungen mit dem aktuellen Bildpunkt(pixel) im Zentrum der Matrix verglichen und es erfolgt eine Markierung des dem jeweiligen Matrixmittelpunkt entsprechenden Pixels als signifikant und ihr Eintrag in das Zwischenergebnisbild des Filterzweiges.
This method, in which to obtain information about the objects in a multi-stage process, makes two assumptions that artificial objects are compact and partially symmetric, and in which the digital image provided by an electro-optical sensor is first passed through a two-dimensional FIR filter To reduce white noise, it is divided into the following steps:
  • a) The image thus filtered is further processed and scanned by at least three matrices each containing a plurality of pixels, wherein each matrix is given a reference quantity outside the associated matrix center and wherein the reference quantities of each matrix differ from one another.
  • b) The maximum and minimum of the brightness values are determined from each reference quantity. The reference quantities may preferably each be located in the corners of the 7 × 7 area (matrix), with the specific selection of the different reference quantities 1 (hatched triangles) the DE 41 20 676 C2 can be seen. This processing step takes into account the symmetry requirements for detecting small, compact objects. For two-dimensional objects, at least three reference sets and therefore at least three parallel filter branches are required.
  • c) In the next step, in each filter branch, the results of the maximum and minimum calculations are compared with the current pixel in the center of the matrix and a marking of the pixel corresponding to the respective matrix center is significant and its entry in the intermediate result image of the filter branch.

Hierbei wird das dem jeweiligen Matrixmittelpunkt entsprechende Pixel dann markiert, wenn erstens dieses Pixel um einen ersten Schwellwert heller als das Maximum der Helligkeitswerte der zugehörigen Referenzmenge ist und zweitens wenn die Streuung der zugehörigen Referenzmenge kleiner als ein weiterer fester Schwellwert ist, wobei als Maß für die Streuung der Helligkeitswerte hier die Differenz von Maximum und Minimum verwendet wird.in this connection becomes the pixel corresponding to the respective matrix center point marked, first, if this pixel by a first threshold brighter than the maximum of the brightness values of the associated reference quantity and, secondly, if the scatter of the associated reference quantity is smaller as another fixed threshold, being used as a measure of the dispersion The brightness values here are the difference between maximum and minimum is used.

Es werden somit die Kriterien
P – M > T (K1) und M – m < L (K2)
erfüllt.It will become the criteria
P - M> T (K1) and M - m <L (K2)
Fulfills.

Dabei bedeuten:
P: Intensität des dem Matrixmittelpunkt entsprechenden Pixels
M: Maximum der Intensitäten der Referenzmenge
m: Minimum der Intensitäten der Referenzmenge
T: dynamischer Schwellwert
L: fester SchwellwertWhere:
P: intensity of the pixel corresponding to the matrix center
M: maximum of the intensities of the reference quantity
m: minimum of the intensities of the reference quantity
T: dynamic threshold
L: fixed threshold

Der Sinn dieses Verarbeitungsschrittes besteht darin, den zentralen Bildpunkt zu markieren, wenn sowohl der Bildpunkt genügend heller als seine Umgebung ist (dynamische Schwelle T) und seine Umgebung nicht zu stark strukturiert ist (fester Schwellwert L für Differenz M – n als Maß für die Streuung).

  • d) Die markierten Pixel in den Zwischenergebnisbildern werden dilatiert, d. h. auf 3 × 3 Pixel vergrößert. Hierzu werden die benachbarten Pixel jedes markierten Pixels des digitalen Bildes markiert, so daß alle markierten Pixel eine dilatierte Menge bilden, und es werden die aus einer Referenzmenge gewonnenen dilatierten Mengenelemente mit den anderen jeweils aus einer Referenzmenge hervorgegangenen dilatierten Mengenelementen UND-verknüpft. Die UND-Verknüpfung sämtlicher Ergebnisbilder liefert das Endergebnis. Da jedoch aus Gründen unvollkommener Symmetrie nicht alle Filterzweige dasselbe Pixel markieren, ist die Erzeugung der dilatierten Mengenelemente vor der UND-Verknüpfung erforderlich.
The purpose of this processing step is to mark the central pixel if both the pixel is sufficiently brighter than its environment (dynamic threshold T) and its environment is not too heavily structured (fixed threshold L for difference M - n as a measure of the dispersion ).
  • d) The marked pixels in the intermediate result images are dilated, ie enlarged to 3 × 3 pixels. For this purpose, the adjacent pixels of each marked pixel of the digital image are marked so that all marked pixels form a dilated quantity, and the dilated set elements obtained from a reference set are ANDed with the other dilated set elements each resulting from a reference set. The AND link of all result images provides the final result. However, because not all filter branches mark the same pixel due to imperfect symmetry, it is necessary to generate the dilated set of elements before ANDing.

Mit einem die obigen Verfahrensschritte a) bis d) aufweisenden Detektionsverfahren können irrelevante Hintergrundinformationen nahezu unterdrückt werden, womit auch eine Reduktion der Falschalarme erzielt wird. Eine Methode, die durch zufällige Fehler im Detektionsprozeß entstehenden Falschalarme zu reduzieren, ist die Verfolgung von detektierten Objekten über eine bestimmte Zeitspanne. Objekte, die keine Spuren bilden, werden nicht weiter berücksichtigt.With a detection method comprising the above method steps a) to d) can irrelevant background information is almost suppressed, which also achieves a reduction of the false alarms. A method, by accidental Errors in the detection process resulting false alarms to reduce is the tracking of detected objects via a certain period of time. Objects that do not form tracks will not continue considered.

Hierbei können die Objekte jedoch nur dann verfolgt werden, wenn man über normale Bildfolgen verfügt, wie sie z.B. in einer normalen Videokamera entstehen. Nachteiligerweise gibt es jedoch Situationen, in denen keine Bildfolgen zur Verfügung stehen oder bei denen die Systemspezifikationen so hart sind, daß trotz Spurenbildung die Falschalarmrate hoch bleibt. Here, however, the objects can only be tracked if one has normal image sequences, as they arise, for example, in a normal video camera. Disadvantageously, however, there are situations in which no image sequences are available or in which the system specifications are so severe that, despite trace formation, the false alarm rate stays high.

In der älteren Anmeldung DE 43 36 751.8 wurde bereits vorgeschlagen, den Gegenstand der genannten Druckschrift DE-OS 4120676 dahingehend zu verbessern, dass auch die Detektion von größeren festen oder beweglichen Objekten, die gegebenenfalls von verschiedenen Sensoren erzeugt werden, ermöglicht wird. Dies wird durch eine Reihe von im einzelnen dort erläuterten weiteren Verfahrensschritten bzw. schalttechnischen Maßnahmen erreicht.In the older application DE 43 36 751.8 has already been proposed, the subject of the cited document DE-OS 4120676 be improved so that the detection of larger fixed or moving objects, which may be generated by different sensors, is possible. This is achieved by a series of further explained in detail there further process steps or switching technical measures.

Der vorliegenden Erfindung liegt darüber hinaus die Aufgabe zugrunde, die Detektion von Objekten, die gegebenenfalls von verschiedenen Sensoren erzeugt werden, weiter zu optimieren und mit einer geeigneten Echtzeit-Hardware zu ermöglichen.Of the present invention is above In addition to the object, the detection of objects, if necessary generated by various sensors to further optimize and to enable with appropriate real-time hardware.

Die Aufgabe wird erfindungsgemäß durch die im Kennzeichen des Anspruchs 1 angegebenen Verfahrensschritte gelöst.The The object is achieved by the dissolved in the characterizing part of claim 1 process steps.

Eine Ausgestaltung des erfindungsgemäßen Verfahrens ist im Unteranspruch 2 beschrieben.A Embodiment of the method according to the invention is described in the dependent claim 2.

Eine Schaltungsanordnung zur Durchführung des Verfahrens ist im Anspruch 3 beansprucht.A Circuit arrangement for implementation of the method is claimed in claim 3.

Für das eingangs genannte Verfahren sind erfindungsgemäß die folgenden weiteren Verfahrensschritte vorgesehen, von denen die ersten beiden Verfahrensschritte e) und f) bereits bei einem Detektionsverfahren Anwendung finden, welches in der nicht vorveröffentlichten DE-Patentanmeldung P 43 36 751.8 beschrieben ist:

  • e) In mindestens einer ersten von n, eine Reduktionspyramide bildenden Reduktionsstufen wird das von dem Sensor gelieferte digitale Bild um den Faktor 2n zur Erzeugung von digitalen Teilbildern verkleinert, deren Anzahl in x- und y-Richtung des digitalen Bildes jeweils dem Verkleinerungsfaktor 2n der zugehörigen Reduktionsstufe n entspricht.
For the method mentioned in the introduction, the following further method steps are provided according to the invention, of which the first two method steps e) and f) are already used in a detection method which is described in the unpublished German patent application P 43 36 751.8 is described:
  • e) In at least a first of n, a reduction pyramid forming reduction stages, the digital image supplied by the sensor is reduced by a factor of 2 n to produce digital partial images whose number in the x and y direction of the digital image respectively the reduction factor 2 n corresponds to the associated reduction stage n.

Das verkleinerte Bild wird jeweils als Eingabe für einen Punktobjektdetektor verwendet. Es ist offensichtlich, daß auch größere Objekte bei einer bestimmten Reduktionsstufe als Punktobjekte erscheinen und dann als bedeutend markiert werden. Durch diesen Mechanismus können Objekte mit unterschiedlicher Größe mit der gleichen Methode detektiert werden.

  • f) Für jedes erzeugte digitale Teilbild einer zugehörigen Reduktionsstufe werden nacheinander die eingangs genannten Verfahrensschritte a bis e durchgeführt, wobei die "und-verknüpften" dilatierten Mengenelemente jedes digitalen Teilbildes jeweils eine ein detektiertes Objekt darstellende Ergebnismenge (ein Teilendergebnis) in einer zugehörigen Reduktionsstufe der Reduktionspyramide bilden. Hierbei werden die redundanten Ergebnismengen (Teilendergebnisse) von unterschiedlichen Reduktionsstufen, die jeweils dasselbe Objekt in verschiedenen ähnlichen Teilbildern markieren, als "horizontale Redundanzen" sowie redundante Ergebnismengen (Teilendergebnisse) der unterschiedlichen Reduktionsstufen, die jeweils dasselbe Objekt markieren, wenn dieses eine vorgegebene Intensitätsverteilung in Größe und Form aufweist, als "vertikale Redundanzen" bezeichnet.
The reduced image is used as input to a dot object detector. It is obvious that even larger objects appear as point objects at a certain reduction level and are then marked as significant. Through this mechanism, objects of different sizes can be detected by the same method.
  • f) For each generated digital partial image of an associated reduction stage, the above-mentioned process steps a to e are carried out successively, the "and-linked" dilated quantity elements of each digital partial image each representing a detected object representing a result set (a partial result) in an associated reduction stage of the reduction pyramid form. Here, the redundant result sets (partial results) of different reduction stages, each marking the same object in different similar sub-images, as "horizontal redundancies" and redundant result sets (partial results) of the different reduction stages, each marking the same object, if this a predetermined intensity distribution in size and shape, referred to as "vertical redundancies".

Zum Beispiel erzeugt die Verkleinerung um den Faktor 2 in beiden Richtungen vier ähnliche aber nicht identische Bilder, abhängig vom Versatz des Ursprungs, der beispielsweise die Koordinaten (0,0), (0,1), (1,0), (1,1) annehmen kann. Eine einzelne Reduktionspyramide mit 4 Stufen wird auf diese Weise 1 + 4 + 16 + 64 = 85 redundante Bilder erzeugen. Das bedeutet, daß unter bestimmten Umständen ein Objekt bis zu 85 mal markiert wird. Diese Tatsache reduziert die Wahrscheinlichkeit sehr deutlich, daß ein gültiges Objekt wegen des nichtlinearen Charakters des Punktobjektdetektors nicht detektiert werden könnte.

  • g) Ein aus den gemäß Verfahrensschritt d markierten Pixeln der Und-verknüpften Mengenelemente gewonnenes zweidimensionales Bild wird mittels einer 3 × 3-Matrix derart verkleinert (erodiert), daß alle markierten Pixel mit mindestens einem unmarkierten Nachbarn gelöscht werden und alle markierten Pixel mit (vorzugsweise) acht nächsten Nachbarn erhalten bleiben (erodierte Markierungen der Teilendergebnisse). Hierdurch werden die Auswirkungen von Dilatationen aus vorhergehenden Stufen beseitigt.
  • h) Aus den markierten Pixeln mit (vorzugsweise) acht Nachbarn (erodierte Markierungen der Teilendergebnisse) wird ein Teilergebnisbild hergestellt, in dem – die Pixel für das Originalbild die Werte 1 oder 0 derart aufweisen, daß die die Werte 1 aufweisenden Pixel zu einem signifikanten Objekt gehören und daß die Pixel mit den Werten 0 nicht zu einem signifikanten Objekt gehören, und in dem – die durch die Pixel mit den Werten Z markierten Flächen kompakte Regionen von annähernder Größe der Objekte im Originalbild darstellen.
  • i) Aus den gemäß Verfahrensschritt f markierten Pixeln der "und-verknüpften" dilatierten Mengenelemente jedes digitalen Teilbildes einer zugehörigen Reduktionsstufe (welches jeweils eine ein detektiertes Objekt darstellende Ergebnismenge (Teilendergebnis) in einer zugehörigen Reduktionsstufe der Reduktionspyramide bildet) wird jeweils ein zweidimensionales Binärbild gewonnen, welches mittels einer 3 × 3-Matrix derart verkleinert (erodiert) wird, daß alle markierten Pixel mit mindestens einem unmarkierten Nachbarn gelöscht werden und alle markierten Pixel mit (vorzugsweise) acht nächsten Nachbarn erhalten bleiben (erodierte Markierungen der digitalen Teilbilder).
  • j) Aus den markierten Pixeln mit (vorzugsweise) acht Nachbarn jedes Teilbildes (erodierte Markierungen eines digitalen Teilbildes) wird jeweils ein zweidimensionales Teilergebnisbild hergestellt, in dem jeweils den Werten der markierten Pixeln ein Wert a hinzuaddiert wird, der sich nach der folgenden Formel errechnet: a – (2)(n–1),wobei "a" den zu addierenden Wert und "n" einen zahlenmäßig der zugehörigen Reduktionsstufe der Reduktionspyramide entsprechenden Verkleinerungsfaktor bezeichnen.
For example, the reduction by a factor of 2 produces four similar but not identical images in both directions, depending on the offset of the origin, for example the coordinates (0,0), (0,1), (1,0), (1, 1) can accept. A single 4-step reduction pyramid will thus produce 1 + 4 + 16 + 64 = 85 redundant images. This means that under certain circumstances an object will be marked up to 85 times. This fact very clearly reduces the probability that a valid object could not be detected due to the non-linear nature of the point object detector.
  • g) A two-dimensional image obtained from the pixels of the AND-linked set elements according to method step d is reduced (eroded) by means of a 3 × 3 matrix in such a way that all marked pixels are deleted with at least one unmarked neighbor and all marked pixels with (preferably ) to preserve eight nearest neighbors (eroded markers of the partial results). This eliminates the effects of dilations from previous stages.
  • h) From the marked pixels with (preferably) eight neighbors (eroded markers of the partial results) a partial result image is produced in which the pixels for the original image have the values 1 or 0 such that the pixels having the values 1 become a significant object and that the pixels having the values 0 do not belong to a significant object and in which the areas marked by the pixels with the values Z represent compact regions of approximately the size of the objects in the original image.
  • i) A two-dimensional binary image is obtained from the pixels of the "and-linked" dilated set elements of each digital sub-image of an associated reduction stage (which represents a detected object representing a detected object in an associated reduction step of the reduction pyramid) according to method step f. which is covered by a 3 × 3 matrix nert (erodes) that all marked pixels with at least one unmarked neighbor are erased and all marked pixels with (preferably) eight closest neighbors are preserved (eroded markers of the digital subimages).
  • j) From the marked pixels with (preferably) eight neighbors of each sub-image (eroded markings of a digital sub-image), a two-dimensional sub-result image is produced in each case in which a value a is added to each of the values of the marked pixels, which is calculated according to the following formula: a - (2) (N-1) . where "a" denotes the value to be added and "n" denotes a reduction factor corresponding numerically to the associated reduction step of the reduction pyramid.

Es wird sichergestellt, daß größeren Objekten mehr Wichtigkeit zugemessen wird als kleineren. Dieser Prozeß wird für alle redundanten Ergebnisse fortgesetzt. In der ersten Reduktionsstufe haben die Pixel im Ergebnisbild maximal den Wert 3, wenn das Objekt im Originalbild und im verkleinerten Bild markiert wurde, und den Wert 0, wenn es überhaupt nicht markiert wurde.It will ensure that larger objects more importance is given than smaller ones. This process becomes redundant for all Results continued. In the first reduction stage, the pixels have maximum 3 in the result image if the object is in the original image and in the reduced image has been marked, and the value 0, if any was not marked.

Die Schritte von Verkleinerung, Markierung und Aufsummation der Resultate kann beliebig oft wiederholt werden. Beispielsweise enthält bei drei Verkleinerungsstufen das Ergebnisbild kompakte Inseln mit einem maximalen Pixelwert von 15 (entsprechend 1+2+4+8), wenn ein Objekt in allen Stufen markiert wurde, und einen Minimalwert von 0, wenn keine Markierungen existieren. Die Eintragung der Markierungen aus den verkleinerten Bildern erfolgt deckungsgleich zu der Unterabtastung gemäß Verfahrensschritt e). Die Teilbilder werden so wieder zu einem flächendeckenden Gesamtbild verwoben.

  • k) Die erodierten Markierungen der Teilendergebnisse gemäß Verfahrensschritt g, die Teilergebnisbilder gemäß Verfahrensschritt h, die erodierten Markierungen der digitalen Teilbilder gemäß Verfahrensschritt i sowie die zweidimensionalen Teilergebnisbilder gemäß Verfahrensschritt j werden zu einem zweidimensionalen Gesamtergebnisbild fusioniert, in dem – die Pixel für das Originalbild die Werte ≥ 1 oder 0 derart aufweisen, daß die die Werte ≥ 1 aufweisenden Pixel zu einem signifikanten Objekt gehören und daß die Pixel mit den Werten 0 nicht zu einem signifikanten Objekt gehören, und in dem – die durch die Pixel mit den Werten ≥ 1 markierten Flächen kompakte Regionen von annähernder Größe der Objekte im Originalbild darstellen.
  • l) Das zweidimensionale Gesamtergebnisbild wird einem 3 × 3-Mittelwertfilter (9) zur Erzeugung eines Mittelwertes aus der Markierung seines Zentralpixels und den Markierungen seiner (vorzugsweise) acht Nachbarn zugeführt.
The steps of reducing, marking and summing up the results can be repeated as often as you like. For example, at three levels of reduction, the result image contains compact islands with a maximum pixel value of 15 (corresponding to 1 + 2 + 4 + 8) when an object has been marked in all levels, and a minimum value of 0 when there are no marks. The registration of the markers from the reduced images is congruent with the sub-sampling according to method step e). The partial images are thus interwoven again into a nationwide overall picture.
  • k) The eroded markers of the partial results according to method step g, the partial result images according to method step h, the eroded markers of the digital partial images according to method step i and the two-dimensional partial result images according to method step j are fused to form a two-dimensional overall result image in which the pixels for the original image are the values ≥ 1 or 0 such that the pixels having the values ≥ 1 belong to a significant object and that the pixels having the values 0 do not belong to a significant object, and in that - the areas marked by the pixels having the values ≥ 1 represent compact regions of approximate size of the objects in the original image.
  • l) The two-dimensional overall result image is a 3 × 3 average filter ( 9 ) for generating an average from the mark of its central pixel and the markers of its (preferably) eight neighbors.

Es werden somit Objekte zusammengefügt, die möglicherweise im Erosionsprozeß und in den vorangegangenen Bearbeitungsstufen getrennt wurden. Dieses reduziert die Wahrscheinlichkeit, daß das gleiche Objekt mehrfach gemeldet wird.

  • m) Der Mittelwert des zweidimensionalen Gesamtergebnisbildes wird als Ergebnisbild in einem Ergebnisspeicher (12) abgelegt, und
  • n) das den gefilterten Mittelwert des zweidimensionalen Gesamtergebnisbildes darstellende Ergebnisbild wird zur Errechnung der Objekteigenschaften wie Position, Größe, Formfaktor oder Wichtigkeit der Objekte einem Segmentationsprozeß unterworfen.
It thus objects are joined, which may have been separated in the erosion process and in the previous processing stages. This reduces the probability that the same object will be reported multiple times.
  • m) The mean value of the two-dimensional overall result image is displayed as result image in a result memory ( 12 ), and
  • n) the result image representing the filtered mean value of the two-dimensional overall result image is subjected to a segmentation process in order to calculate the object properties such as position, size, form factor or importance of the objects.

Errechnet werden beispielsweise die Schwerpunktkoordinaten des Objektes, die "Wichtigkeit" als Summe aller Pixelwerte in einer Objektinsel, der Umfang, die Fläche und der resultierende Formfaktor des Objektes. Die "Wichtigkeit" des Objektes spiegelt den Grad an Kompaktheit und einer teilweisen Symmetrie wieder, der bzw. die im Fusionsprozessor ermittelt wurden. Simulationsergebnisse zeigen, daß die interessanten Objekte im Originalbild auch diejenigen mit dem höchsten Wichtigkeitswert sind. Das bestätigt die der Algorithmenentwicklung zugrundeliegenden Annahmen. Durch Anlegen von unterschiedlichen Schwellen an die "Wichtigkeit" der Objekte kommt man zu einer Teilklassifikation von Objekten in einem Bild.calculated For example, the center of gravity coordinates of the object, the "importance" as the sum of all Pixel values in an object island, the perimeter, the area, and the resulting form factor of the object. The "importance" of the object reflects the degree of compactness and a partial symmetry, in the fusion processor were determined. Simulation results show that the interesting Objects in the original image are also those with the highest importance value. That confirms the assumptions underlying the algorithm development. By Applying different thresholds to the "importance" of the objects leads to a partial classification of objects in a picture.

In einem Sensorbild auftretende verschiedene Objekte werden zu ihrer Klassifikation nach ihrer Position, Größe, Form oder Wichtigkeit oder nach einer Kombination der ermittelten Objekteigenschaften in eine Liste nach fallender Wertigkeit eingetragen. Beispielsweise können Ober- und Untergrenzen der Wertigkeit festgelegt und damit bestimmte Klassen von Objekten ausgewählt werden. Die Auswahl kann sich auch auf die Größe, Form oder Wichtigkeit der Objekte stützen, oder auf eine Kombination der ermittelten Objekteigenschaften.In A variety of objects occurring in a sensor image become theirs Classification according to their position, size, shape or importance or after a combination of the determined object properties into one List entered in descending order of importance. For example, and lower bounds of valence and thus certain classes of Objects selected become. The selection may also be based on the size, shape or importance of the objects support, or a combination of the determined object properties.

In der Zeichnung ist ein Ausführungsbeispiel der Erfindung in Form eines Blockschaltbildes dargestellt, und zwar zeigt die einzige Figur eine Schaltungsanordnung zur Weiterverarbeitung eines seriellen kontinuierlichen Bilddatenstromes, der zeilenweise aus dem zweidimensionalen Binärbild für die nach den eingangs beschriebenen Verfahrensmerkmalen d) und f) gewonnenen Objektmarkierungen gebildet wird und somit die Objektmarkierungen repräsentiert.In the drawing is an embodiment of Invention shown in the form of a block diagram, and that the single figure shows a circuit arrangement for further processing a serial continuous image data stream, line by line from the two-dimensional binary image for the obtained according to the method features d) and f) described above Object marks is formed and thus the object marks represents.

Der binäre Datenstrom für die Objektmarkierungen wird den Eingängen einer 3 × 3-Bildpunktmatrix 2 unverzögert sowie mit Hilfe von zwei Verzögerungsleitungen 1.1 und 1.2, die jeweils die Länge der Zeile eines digitalen Bildes aufweisen, über eine bzw. über beide (in Serie geschaltete) Verzögerungsleitungen 1.1 bzw. 1.2 verzögert zugeführt. Die 3 × 3-Matrix 2 liefert aus den drei benachbarten Zeilen für jedes markierte Pixel die zugehörigen Nachbarpixel. Wenn das Zentralpixel und seine acht Nachbarpixel markiert sind, erzeugt das der 3 × 3-Matrix 2 nachgeordnete Und-Verknüpfungsglied 3 für dieses Zentralpixel erneut eine Markierung. Damit steht am Ausgang Und-Gliedes 3 ein binärer Datenstrom zur Verfügung, der die erodierten Markierungen des Eingangsbildes enthält.The binary data stream for the object mark The inputs of a 3 × 3 pixel matrix 2 instantaneous as well as with the help of two delay lines 1.1 and 1.2 , each having the length of the line of a digital image, via one or via both (series-connected) delay lines 1.1 respectively. 1.2 fed delayed. The 3x3 matrix 2 provides the associated neighboring pixels for each marked pixel from the three adjacent lines. If the central pixel and its eight neighboring pixels are marked, this will produce the 3x3 matrix 2 subordinate AND link 3 a mark again for this central pixel. Thus stands at the exit And-member 3 a binary data stream containing the eroded markers of the input image.

Mit Hilfe eines dem Und-Glied 3 nachgeschalteten Multipliziergliedes 4 werden die im Erosionsprozeß erzeugten Markierungen mit dem Verkleinerungsfaktor 2(n–1) multipliziert. Am Ausgang des Multipliziergliedes 4 steht ein Bilddatenstrom an, der die der Wertigkeit des aktuellen Verkleinerungsfaktors entsprechenden Markierungen enthält. Zu diesen Markierungen werden mit Hilfe eines Addiergliedes 6 die zugehörigen Werte des vorangegangenen Durchlaufs, die in einem Zwischenspeicher 7 abgespeichert sind, hinzugefügt. Das Ergebnis der Summe wird ebenfalls im Zwischenspeicher 7 abgelegt. Den aktuellen Verkleinerungsfaktor für das Multiplizierglied 4, die diesem Faktor entsprechende Adressierung des Zwischenspeichers 7 sowie den Befehl zur Maskierung der Zwischenspeicherergebnisse für ein dem Addierglied 6 vorgeschaltetes UND-Verknüpfungsglied 5 liefert eine Steuereinrichtung 14. Hierbei muß das Ergebnis des Zwischenspeichers 7 beim ersten Durchlauf des Verkleinerungsprozesses ignoriert werden, was mittels des UND-Verknüpfungsgliedes 5 durchgeführt wird.With the help of an And-member 3 downstream multiplier 4 The markers generated in the erosion process are multiplied by the reduction factor 2 (n-1) . At the output of the multiplier 4 is an image data stream containing the value corresponding to the current reduction factor marks. These markings are made using an adder 6 the associated values of the previous run, which are in a cache 7 saved, added. The result of the sum is also in the cache 7 stored. The current reduction factor for the multiplier 4 , the addressing of the buffer corresponding to this factor 7 and the command for masking the latch results for the adder 6 upstream AND gate 5 provides a control device 14 , Here, the result of the buffer must 7 be ignored on the first pass of the reduction process, which by means of the AND gate 5 is carried out.

Wenn der Verkleinerungsprozeß abgeschlossen ist, d.h. wenn alle Verkleinerungsstufen abgearbeitet sind, dann wird das im Zwischenspeicher 7 vorliegende Bild einer Filterung unter zogen. Hierzu wird der Zwischenspeicher 7 mittels geeigneter Adressierung durch die Steuereinrichtung 14 zeilenweise ausgelesen, so daß ein kontinuierlicher Bilddatenstrom entsteht. Dieser Datenstrom wird einer 3 × 3-Bildpunktmatrix 9 unverzögert sowie mit Hilfe von zwei weiteren Verzögerungsleitungen 8.1 und 8.2 um jeweils eine bzw. zwei Bildzeilen verzögert zur Verfügung gestellt. Die 3 × 3-Bildpunktmatrix 9 liefert aus den drei benachbarten Zeilen die Werte für jedes Pixel mit den jeweiligen Nachbarpixeln.When the shrinking process is completed, ie when all the reduction stages have been completed, then this is in the buffer 7 present picture of a filtered under. For this purpose, the cache 7 by means of suitable addressing by the control device 14 read line by line, so that a continuous image data stream is created. This data stream becomes a 3 × 3 pixel matrix 9 instantaneous and with the help of two additional delay lines 8.1 and 8.2 delayed by one or two picture lines. The 3 × 3 pixel matrix 9 returns from the three adjacent lines the values for each pixel with the respective neighboring pixels.

In einem der 3 × 3-Bildpunktmatrix nachgeordneten Addierglied 10 wird die Summe der neun gleichzeitig an seinen Eingängen anliegenden Werte generiert und anschließend in einem Dividierglied 11 durch den Faktor 9 geteilt. Somit liegt am Ausgang des Dividiergliedes 11 für jedes Pixel des Originalbildes der Mittelwert aus der Markierung des Zentralpixels und den Markierungen seiner acht Nachbarpixel an. Der hieraus resultierende Datenstrom wird als Ergebnisbild in einem Ergebnisspeicher 12 abgelegt, dessen Adressierung von der Steuereinrichtung 14 vorgenommen wird.In one of the 3 × 3 pixel matrix downstream adder 10 the sum of the nine values applied to its inputs at the same time is generated and then in a divider 11 by the factor 9 divided. Thus lies at the output of the divider 11 for each pixel of the original image, the average of the mark of the central pixel and the markers of its eight neighboring pixels. The resulting data stream is displayed as a result image in a result memory 12 filed, whose addressing by the control device 14 is made.

Dem Ergebnisspeicher 12 ist ein Segmentationsprozessor 13 nachgeordnet, der vorzugsweise durch ein Signal- bzw. Mikroprozessor-System gebildet wird. Der Prozessor 13 kann als Ergebnis des Systems eine nach fallender Wichtigkeit sortierte Objektliste bereitstellen.The result store 12 is a segmentation processor 13 downstream, which is preferably formed by a signal or microprocessor system. The processor 13 may provide a list of objects sorted by decreasing importance as a result of the system.

Anwendungsgebiete der Erfindung sind beispielsweise die automatische Detektion von unterschiedlich großen Objekten, allgemeine überwachungsaufgaben, bei denen das dauernde Monitoring von Ereignissen, Dingen oder Einrichtungen erforderlich ist, oder das Sortieren unterschiedlicher Produktionsgüter nach Größe, Form und wenn nötig Farbe mittels einer Farbkamera und einer Modifikation der oben erläuterten Verfahrensschritte.application areas The invention, for example, the automatic detection of different sizes Objects, general surveillance tasks, where the continuous monitoring of events, things or facilities required or sorting different production items Size, shape and color if necessary by means of a color camera and a modification of the above Process steps.

1.1/1.2 8.1/8.21.1 / 1.2 8.1 / 8.2
Verzögerungsleitungen mit der Länge einer Zeile des Originalbildesdelay lines with the length a line of the original image
22
3 × 3-Bildpunktmatrix, die aus drei benachbarten Zeilen des zweidimensionalen Binärbildes das Zentralpixel mit seinen acht Nachbarpixeln liefert3 × 3 pixel matrix, that of three adjacent lines of the two-dimensional binary image provides the central pixel with its eight neighboring pixels
33
Und-Verknüpfungsglied für den ErosionsprozeßAnd-gate for the erosion process
44
Multiplizierglied, das die binären Markierungen aus dem Erosionsprozeß mit dem aktuellen Verkleinerungsfaktor 2(n – 1) multipliziertMultiplier, which multiplies the binary markers from the erosion process by the current reduction factor 2 (n-1)
55
UND-Verknüpfungsglied, welches die Daten des Zwischenspeichers 7 beim ersten Durchlauf der Aufsummierung maskiertAND gate, which contains the data of the buffer 7 masked on the first pass of the rollup
66
Addierglied summiert die aktuellen Markierungen aus dem Erosionsprozeß mit den zugehörigen Markierungen des vorangegangenen Durchlauf es (Akkumulation)adder summed up the current markings from the erosion process with the associated markings of the previous pass it (accumulation)
77
Zwischenspeicher für die Ergebnisse der Aufsummierungen für den nächsten Durchlaufcache for the Results of the summations for the next pass
99
3 × 3-Bildpunktmatrix liefert aus drei benachbarten Zeilen des zweidimensionalen Summationsbildes das Zentralpixel mit seinen acht Nachbarpixeln3 × 3 pixel matrix provides three adjacent lines of the two-dimensional summation image the central pixel with its eight neighboring pixels
1010
Addierglied, welches zu der Markierungssumme des Zentralpixels die Markierungssummen der acht Nachbarpixel addiertAdder, which gives the marker sums to the marker sum of the central pixel the eight neighbor pixels added
1111
Dividierglied, das die Summe der neun Markierungssummen durch neun dividiertdividing element, which divides the sum of the nine sums by nine
1212
Ergebnisspeicher speichert das gefilterte Ergebnisbild für die weitere BearbeitungResults storage saves the filtered result image for further processing
1313
Segmentationsprozessor liefert eine sortierte ObjektlisteSegmentationsprozessor returns a sorted list of objects
1414
Steuereinrichtung zur Steuerung des Fusionsprozesses und für die Adressierung von Zwischen- und Ergebnisspeichercontrol device for the control of the fusion process and for the addressing of interim and result memory

Claims (3)

Verfahren zur automatischen Detektion von kleinen beweglichen Objekten in natürlicher Umgebung vorzugsweise einer Echtzeitbildfolge unter Verwendung eines die Umgebung abtastenden elektrooptischen Sensors mit nachgeordneter Auswerteeinheit und gegebenenfalls vorgesehener Bilddarstellungseinrichtung mit folgenden Verfahrensschritten: a) ein von dem Sensor geliefertes digitales Bild wird von mindestens drei jeweils mehrere Pixel enthaltenden Matrizen abgetastet, wobei jeder Matrix eine Referenzmenge außerhalb des zugehörigen Matrixmittelpunktes vorgegeben wird und wobei die Referenzmengen jeder Matrix sich voneinander unterscheiden, b) von jeder Referenzmenge werden das Maximum und Minimum der Helligkeitswerte ermittelt, c) das dem jeweiligen Matrixmittelpunkt entsprechende Pixel des Sensorbildes wird dann markiert, wenn erstens dieses Pixel um einen ersten Schwellwert heller als das Maximum der Helligkeitswerte der zugehörigen Referenzmenge ist und zweitens wenn die Streuung der zugehörigen Referenzmenge kleiner als ein weiterer fester Schwellwert ist, wobei als Maß für die Streuung der Helligkeitswerte hier vorzugsweise die Differenz von Maximum und Minimum verwendet wird, d) die benachbarten Pixel jedes markierten Pixels des digitalen Bildes werden markiert, so daß alle markierten Pixel eine dilatierte Menge bilden, und es werden die aus einer Referenzmenge gewonnenen dilatierten Mengenelemente mit den anderen jeweils aus einer Referenzmenge hervorgegangenen dilatierten Mengenelementen UND-verknüpft, gekennzeichnet durch folgende weitere Verfahrensschritte: e) in mindestens einer ersten von n, eine Reduktionspyramide bildenden Reduktionsstufen wird das von dem Sensor gelieferte digitale Bild um den Faktor 2n zur Erzeugung von digitalen Teilbildern verkleinert, deren Anzahl in x- und y-Richtung des digitalen Bildes jeweils dem Verkleinerungsfaktor 2n der zugehörigen Reduktionsstufe n entspricht, f) für jedes erzeugte digitale Teilbild einer zugehörigen Reduktionsstufe werden nacheinander die Verfahrensschritte a bis e durchgeführt, wobei die "und-verknüpften" dilatierten Mengenelemente jedes digitalen Teilbildes jeweils eine ein detektiertes Objekt darstellende Ergebnismenge (ein Teilendergebnis) in einer zugehörigen Reduktionsstufe der Reduktionspyramide bilden, und wobei redundante Ergebnismengen (Teilendergebnisse) von unterschiedlichen Reduktionsstufen, die jeweils dasselbe Objekt in verschiedenen ähnlichen Teilbildern markieren, "horizontale Redundanzen" sowie redundante Ergebnismengen (Teilendergebnisse) der unterschiedlichen Reduktionsstufen, die jeweils dasselbe Objekt markieren, wenn dieses eine vorgegebene Intensitätsverteilung in Größe und Form aufweist, "vertikale Redundanzen" bilden. g) ein aus den gemäß Verfahrensschritt d markierten Pixeln der Und-verknüpften Mengenelemente gewonnenes zweidimensionales Bild wird mittels einer 3 × 3-Matrix (2) derart verkleinert (erodiert), daß alle markierten Pixel mit mindestens einem unmarkierten Nachbarn gelöscht werden und alle markierten Pixel mit (vorzugsweise) acht nächsten Nachbarn erhalten bleiben (erodierte Markierungen der Teilendergebnisse), h) aus den markierten Pixeln mit (vorzugsweise) acht Nachbarn (erodierte Markierungen der Teilendergebnisse) wird ein Teilergebnisbild hergestellt, in dem – die Pixel für das Originalbild die Werte 1 oder 0 derart aufweisen, daß die die Werte 1 aufweisenden Pixel zu einem signifikanten Objekt gehören und daß die Pixel mit den Werten 0 nicht zu einem signifikanten Objekt gehören, und in dem – die durch die Pixel mit den Werten 1 markierten Flächen kompakte Regionen von annähernder Größe der Objekte im Originalbild darstellen, i) aus den gemäß Verfahrensschritt f markierten Pixeln der "und-verknüpften" dilatierten Mengenelemente jedes digitalen Teilbildes einer zugehörigen Reduktionsstufe (welches jeweils eine ein detektiertes Objekt darstellende Ergebnismenge (Teilendergebnis) in einer zugehörigen Reduktionsstufe der Reduktionspyramide bildet) wird jeweils ein zweidimensionales Binärbild gewonnen, welches mittels einer 3 × 3-Matrix (2) derart verkleinert (erodiert) wird, daß alle markierten Pixel mit mindestens einem unmarkierten Nachbarn gelöscht werden und alle markierten Pixel mit (vorzugsweise) acht nächsten Nachbarn erhalten bleiben (erodierte Markierungen der digitalen Teilbilder), j) aus den markierten Pixeln mit (vorzugsweise) acht Nachbarn jedes Teilbildes (erodierte Markierungen eines digitalen Teilbildes) wird jeweils ein zweidimensionales Teilergebnisbild hergestellt, in dem jeweils den Werten der markierten Pixeln ein Wert a hinzuaddiert wird, der sich nach der folgenden Formel errechnet: a = (2)(n – 1),wobei "a" den zu addierenden Wert und "n" einen zahlenmäßig der zugehörigen Reduktionsstufe der Reduktionspyramide entsprechenden Verkleinerungsfaktor bezeichnen, k) die erodierten Markierungen der Teilendergebnisse gemäß Verfahrensschritt g, die Teilergebnisbilder gemäß Verfahrensschritt h, die erodierten Markierungen der digitalen Teilbilder gemäß Verfahrensschritt i sowie die zweidimensionalen Teilergebnisbilder gemäß Verfahrensschritt j werden zu einem zweidimensionalen Gesamtergebnisbild fusioniert, in dem – die Pixel für das Originalbild die Werte ≥ 1 oder 0 derart aufweisen, daß die die Werte ≥ 1 aufweisenden Pixel zu einem signifikanten Objekt gehören und daß die Pixel mit den Werten 0 nicht zu einem signifikanten Objekt gehören, und in dem – die durch die Pixel mit den Werten ≥ 1 markierten Flächen kompakte Regionen von annähernder Größe der Objekte im Originalbild darstellen, l) das zweidimensionale Gesamtergebnisbild wird einem 3 × 3-Mittelwertfilter (8.1 bis 11) zur Erzeugung eines Mittelwertes aus der Markierung seines Zentralpixels und den Markierungen seiner (vorzugsweise) 8 Nachbarn zugeführt, m) der Mittelwert des zweidimensionalen Gesamtergebnisbildes wird als Ergebnisbild in einem Ergebnisspeicher (12) abgelegt, und n) das den gefilterten Mittelwert des zweidimensionalen Gesamtergebnisbildes darstellende Ergebnisbild wird zur Errechnung der Objekteigenschaften wie Position, Größe, Formfaktor oder Wichtigkeit der Objekte einem Segmentationsprozeß unterworfen.Method for the automatic detection of small moving objects in a natural environment, preferably a real-time image sequence using an environment-scanning electro-optical sensor with downstream evaluation unit and optionally provided image display device comprising the following method steps: a) a digital image supplied by the sensor is of at least three pixels each containing a plurality of pixels Scanned matrices, wherein each matrix is given a reference quantity outside the associated matrix center point and wherein the reference amounts of each matrix differ from each other, b) of each reference amount, the maximum and minimum brightness values are determined, c) the corresponding matrix center point corresponding pixel of the sensor image is then First, if this pixel is brighter by a first threshold than the maximum of the brightness values of the associated reference set, and secondly if the scatter is the train The reference quantity of interest is less than another fixed threshold value, the difference between the maximum and the minimum being preferably used here as a measure of the scattering of the brightness values. d) The adjacent pixels of each marked pixel of the digital image are marked so that all the marked pixels are dilated Form quantity, and there are the dilated quantity elements obtained from a reference amount with the other each from a reference amount resulting dilated quantity elements, characterized by the following further process steps: e) in at least a first of n, a reduction pyramid forming reduction stages of the sensor supplied digital image by a factor of 2 n to produce digital partial images reduced in size, the number of which in each case the reduction factor 2 n in the x- and y-direction of the digital image corresponds to n of the associated reduction stage,) f for each produced digital partial image of an associated In the reduction stage, the method steps a to e are carried out in succession, wherein the "and-linked" dilated set elements of each digital sub-image each form a result set representing a detected object (a sub-result) in an associated reduction step of the reduction pyramid, and redundant result sets (sub-results) of different ones Reduction stages, each marking the same object in different similar sub-images, "horizontal redundancies" and redundant result sets (sub-results) of the different reduction stages, each marking the same object, if this has a given intensity distribution in size and shape, form "vertical redundancies". g) a two-dimensional image obtained from the pixels of the AND-linked set elements labeled according to method step d is determined by means of a 3 × 3 matrix ( 2 ) such that all marked pixels with at least one unmarked neighbor are erased and all marked pixels with (preferably) eight nearest neighbors are preserved (eroded markers of the subresults), h) from the marked pixels with (preferably) eight neighbors (eroded markers of the partial results), a partial result image is produced in which the pixels for the original image have the values 1 or 0 such that the pixels having the values 1 belong to a significant object and the pixels with the values 0 do not become one in which the areas marked by the pixels with the values 1 represent compact regions of approximate size of the objects in the original image, i) from the pixels of the "and-linked" dilated quantity elements of each digital partial image marked according to method step f associated reduction stage (which each one detecti In each case, a two-dimensional binary image is obtained, which is determined by means of a 3 × 3 matrix (FIG. 2) in a corresponding reduction stage of the reduction pyramid. 2 ) such that all marked pixels with at least one unmarked neighbor are erased and all marked pixels with (preferably) eight nearest neighbors are preserved (eroded markers of the digital subframes), j) from the marked pixels with (preferably) eight Neighbors of each partial image (eroded markings of a digital partial image), a two-dimensional partial result image is produced in each case in which the values of the marked pixels in each case are added to a value a, which is calculated according to the following formula: a = (2) (n - 1) . k) the eroded markers of the partial results according to method step g, the partial result images according to method step h, the eroded markings of the digital partial images according to method step i as well as the two-dimensional partial result images according to method step j are fused into a two-dimensional overall result image in which the pixels for the original image have the values ≥ 1 or 0 such that the pixels having the values ≥ 1 belong to a significant object and the pixels with the values 0 does not belong to a significant object, and in which the areas marked by the pixels having the values ≥ 1 represent compact regions of approximate size of the objects in the original image, l) the two-dimensional overall result image becomes a 3 × 3 average filter ( 8.1 to 11 ) for generating an average value from the mark of its central pixel and the markings of its (preferably) 8 neighbors, m) the mean value of the two-dimensional overall result image is displayed as a result image in a result memory ( 12 ), and n) the result image representing the filtered mean value of the two-dimensional overall result image is subjected to a segmentation process in order to calculate the object properties such as position, size, form factor or importance of the objects. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß in einem Sensorbild auftretende verschiedene Objekte zu ihrer Klassifizierung nach ihrer Position, Größe, Form oder Wichtigkeit oder nach einer Kombination der ermittelten Objekteigenschaften in eine Liste von fallender Wertigkeit eingetragen werden.Method according to claim 1, characterized in that that in a sensor image occurring different objects for their classification according to their position, size, shape or importance or after a combination of the determined object properties in a list of falling significance is entered. Schaltungsanordnung zur Durchführung des Verfahrens nach Anspruch 1 unter Verwendung eines die Umgebung abtastenden elektrooptischen Sensors mit nachgeordneter Auswerteeinheit zur Weiterverarbeitung eines seriellen Datenstromes, der zeilenweise aus dem zweidimensionalen Binärbild für die nach den Verfahrensmerkmalen d) und f) gewonnenen Objektmarkierungen gebildet wird, dadurch gekennzeichnet, – daß eine 3 × 3-Matrix (2) mit drei Eingängen und einem nachgeordneten Und-Glied (3) vorgesehen ist, an deren ersten Eingang der serielle Datenstrom direkt ansteht, an deren zweiten Eingang der serielle Datenstrom über eine Verzögerungsleitung (1.1) von der Länge der Zeile eines digitalen Bildes gelangt und derem dritten Eingang der serielle Datenstrom über zwei in Serie geschaltete Verzögerungsleitungen (1.1 und 1.2) jeweils von der Länge der Zeile eines digitalen Bildes zugeführt wird, – daß dem Und-Glied (3) ein von einer Steuereinrichtung (14) gesteuertes Multiplizierglied (4) nachgeschaltet ist, – daß der Ausgang des Multipliziergliedes (4) mit einem von zwei Eingängen eines Addiergliedes (6) verbunden ist, dessen zweiter Eingang an dem Ausgang eines UND-Verknüpfungsgliedes (5) angeschlossen und dessen Ausgang zu einem Zwischenspeicher (7) geführt ist, wobei das UND-Verknüpfungsglied (5) und der Zwischenspeicher (7) von der Steuereinrichtung (14) gesteuert werden, – daß der Ausgang des Zwischenspeichers (7) an den zweiten Eingang des UND-Verknüpfungsgliedes (5), an den ersten Eingang einer 3 × 3-Bildpunktmatrix (9), an deren zweiten Eingang über eine Verzögerungsleitung (8.1) von der Länge der Zeile eines digitalen Bildes und an den dritten Eingang der 3 × 3-Bildpunktmatrix (9) über zwei in Serie geschaltete Verzögerungsleitungen (8.1 und 8.2) jeweils von der Länge einer Zeile eines digitalen Bildes angeschlossen ist, – daß der 3 × 3-Bildpunktmatrix (9) ein Addierglied (10), ein Dividierglied (11) und ein von der Steuereinrichtung (14) gesteuerter Ergebnisspeicher (12) zur Speicherung des gefilterten Ergebnisbildes nachgeordnet sind, und – daß dem Ergebnisspeicher (12) ein Segmentationsprozessor (13) zur Ermittlung der Objekteigenschaften nachgeschaltet ist.Circuit arrangement for carrying out the method according to claim 1 using an electro-optical sensor scanning the environment with a downstream evaluation unit for further processing a serial data stream which is formed line by line from the two-dimensional binary image for the object markings obtained according to method features d) and f), characterized that a 3 × 3 matrix ( 2 ) with three inputs and a downstream AND element ( 3 ) is provided at the first input of the serial data stream is directly pending, at the second input of the serial data stream via a delay line ( 1.1 ) of the length of the line of a digital image and the third input of the serial data stream via two series-connected delay lines ( 1.1 and 1.2 ) is supplied in each case by the length of the line of a digital image, - that the AND element ( 3 ) from a control device ( 14 ) controlled multiplier ( 4 ), - that the output of the multiplier ( 4 ) with one of two inputs of an adder ( 6 ) whose second input is connected to the output of an AND gate ( 5 ) and its output to a buffer ( 7 ), wherein the AND gate ( 5 ) and the cache ( 7 ) from the control device ( 14 ), - that the output of the buffer ( 7 ) to the second input of the AND gate ( 5 ), to the first input of a 3 × 3 pixel matrix ( 9 ), at the second input via a delay line ( 8.1 ) of the length of the line of a digital image and to the third input of the 3 × 3 pixel matrix ( 9 ) via two series-connected delay lines ( 8.1 and 8.2 ) is connected in each case by the length of one line of a digital image, - that the 3 × 3 pixel matrix ( 9 ) an adder ( 10 ), a divider ( 11 ) and one from the control device ( 14 ) controlled result memory ( 12 ) are arranged downstream of the storage of the filtered result image, and - that the result memory ( 12 ) a segmentation processor ( 13 ) is connected downstream to determine the object properties.
DE4438235A 1994-10-26 1994-10-26 Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence Expired - Fee Related DE4438235B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE4438235A DE4438235B4 (en) 1994-10-26 1994-10-26 Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE4438235A DE4438235B4 (en) 1994-10-26 1994-10-26 Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence

Publications (2)

Publication Number Publication Date
DE4438235A1 DE4438235A1 (en) 1996-05-02
DE4438235B4 true DE4438235B4 (en) 2005-04-07

Family

ID=6531737

Family Applications (1)

Application Number Title Priority Date Filing Date
DE4438235A Expired - Fee Related DE4438235B4 (en) 1994-10-26 1994-10-26 Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence

Country Status (1)

Country Link
DE (1) DE4438235B4 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19955919C1 (en) 1999-11-20 2001-05-31 Daimler Chrysler Ag Object recognition method for pixel images provides reduced image from input image which is divided by filtering into at least 2 filtered images each used for providing set of classification images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4120676C2 (en) * 1991-06-22 1994-09-08 Deutsche Aerospace Method and circuit arrangement for the detection of small objects in a natural environment
DE4336751A1 (en) * 1993-10-28 1995-05-18 Deutsche Aerospace Method for the automatic detection of fixed or moving objects in the natural environment of a real-time image sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4120676C2 (en) * 1991-06-22 1994-09-08 Deutsche Aerospace Method and circuit arrangement for the detection of small objects in a natural environment
DE4336751A1 (en) * 1993-10-28 1995-05-18 Deutsche Aerospace Method for the automatic detection of fixed or moving objects in the natural environment of a real-time image sequence

Also Published As

Publication number Publication date
DE4438235A1 (en) 1996-05-02

Similar Documents

Publication Publication Date Title
DE2909153C2 (en) Device for the digital analysis of image or drawing patterns
DE60224324T2 (en) Method and device for processing vehicle images
EP0925682B1 (en) Process for detecting edges in an image signal
DE2801536A1 (en) CHARACTER RECOGNITION DEVICE
DE69738287T2 (en) A method of displaying a moving object whose track is to be identified, display system using this method and program recording medium therefor
DE2648641A1 (en) ELECTRONIC SYSTEM FOR READING SIGNS
CH660920A5 (en) METHOD AND DEVICE FOR THE AUTOMATIC DETECTION OF FAULTS IN TISSUES AND SIMILAR TEXTILES.
DE4314483A1 (en) Surveillance system
EP0897247A2 (en) Method for computing motion vectors
DE3622222A1 (en) CHARACTER RECOGNITION IN TWO-DIMENSIONAL SIGNALS
DE4438235B4 (en) Method for automatic detection of small moving objects in a natural environment, preferably a real-time image sequence
DE3000918C2 (en) Correlation device
EP0753231B1 (en) Method and device for binarising pixel data
EP2138242A2 (en) Device and method for detecting transport containers
DE3044883A1 (en) METHOD AND ARRANGEMENT FOR FINDING PARTICULARS, BSPW. METAPHASE PLATES
EP0651264B1 (en) Automatic detection method of fixed or moving objects in the natural environment of a real time image sequence
EP3316216B1 (en) Method for checking an object
EP1139285B1 (en) Method and apparatus for testing or inspection of articles
DE2222346A1 (en) Pixel classification in image analysis
DE19749136C2 (en) Method and device for detecting movements
DE10041037A1 (en) Picture coding method and picture coder
EP0195281B1 (en) Circuit arrangement for picture processing
DE10136649B4 (en) Method and device for object recognition of moving motor vehicles
DE4407376A1 (en) Real-time image processing system, especially as an additional PC system
DE3436276A1 (en) Device for the digital processing of grey scale images by means of local operators, synchronised with the image scanning by a television camera

Legal Events

Date Code Title Description
8127 New person/name/address of the applicant

Owner name: LFK LENKFLUGKOERPERSYSTEME GMBH, 81669 MUENCHEN, D

8110 Request for examination paragraph 44
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20110502