DE19810162A1 - Verfahren und Vorrichtung zur Bildanalyse nach stochastischen Eigenschaften - Google Patents

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildanalyse nach stochastischen Eigenschaften.

Bei der Analyse von Bildern werden meist Verfahren zur Erkennung von Kanten oder Gebilden aus Kanten benutzt. Dabei wird die Stochastik normalerweise als störend empfunden und mittels Media-Filter oder anderen Glättungsverfahren unterdrückt. Ein solches Glättungsverfahren ist beispielsweise aus dem Fachartikel "P.Soille Partitioning of Multispectral Images Using Mathematical Morphology, Vision & Voice Magazine, vol. 6, Nr. 4, 1992, pp 283-293" bekannt.

Für das Herausfiltern von Informationen in scheinbar stochastischen Bildern werden Korrelationsanalysen, Analysen mit Walsh-Funktion, Histogramm- oder Wavelet-Analysen durchgeführt. Nachteilig an diesen Verfahren ist, daß diese Aussagen über das Bild als ganzes machen und nicht die Dynamik des Bildes erfassen. Die Verfahren beschreiben global das Bild und unterscheiden nicht darin, ob eine Beziehung gehäuft an einer Stelle im Bild auftritt oder über das ganze Bild verteilt ist. Dies ist aber eine notwendige Voraussetzung zur Beschreibung des Bildinhaltes über die Stochastik.

Des weiteren sind beispielsweise aus dem Fachartikel "M. Köppen, B Nickolay, G. Schwarze: Anwendung neuronaler Netze für die Texturklassifikation, Vision & Voice Magazine, vol. 6, Nr. 3, pp 201-212" neuronale Netze zur Bildanalyse bekannt. Allerdings können neuronale Netze für die Analyse des Bildinhaltes nur Muster lernen, die immer wieder vorkommen. Bei Mustern mit zeitlich schnellen Änderungen und keiner festen Charakteristik versagen derartige Verfahren, da die Lernphasen länger als die Zeit dauern, innerhalb der sich die Muster ändern. Das gleiche Problem stellt sich bei Diskriminationsverfahren auf der Basis von Merkmalvektoren, dargestellt in Merkmalsräumen, mit Bestimmung von Trennebenen zwischen einzelnen Merkmalsräumen bei der Clusteranalyse. Auch diese Methoden erfordern eine Reihe von Beispielen und konstante Bildbeispiele, die dann erkannt werden.

Insbesondere für die Stereobildauswertung wird eine Hypothesentestung von stochastischen Eigenschaften benutzt was beispielsweise in dem Fachbuch "Z. Zhang, O. Faugeras; 3D Dynamic Scence Analysis, Springer Verlag, 1992" beschrieben ist. Hiebei müssen aber feste Verhältnisse vorliegen, die als Hypothese a priori bekannt sind und entsprechend aufgelistet werden.

Bei allen zuvor beschriebenen Verfahren geht es immer darum, eine Betrachtung in einem anderen Raum als dem ursprünglichen Bildraum durchzuführen (Transformationen). Dabei gehen die lokalen Beziehungen im einzelnen verloren und auch stochastische Besonderheiten werden damit nicht erkannt. Außerdem gibt es stochastische Eigenschaften im Bild, die nur über ihren Markow-Charakter beschrieben werden können.

Der Erfindung liegt daher das technische Problem zugrunde, ein Verfahren und eine Vorrichtung zur Durchführung des Verfahrens zu schaffen, mittels derer eine Bildanalyse nach stochastischen Eigenschaften auch bei sich schnell ändernden Mustern durchgeführt werden kann.

Die Lösung des technischen Problems ergibt sich aus den Merkmalen der Patentansprüche 1 und 6. Dabei wird die radiometrische Verteilung des zu analysierenden Bildes mittels einer optischen Erfassungseinrichtung erfaßt, wobei dann einzelne radiometrischen Bestandteile des Bildes werte- und/oder bereichsweise selektiert werden, wie beispielsweise nach Besetzungen von bestimmten Potenzen (z. B. Zweierpotenzen), nach Besetzungen von ausgewählten Intensitätsintervallen, nach Intervallen des Gradienten von benachbarten Punkten und nach Besetzungen von Intervallen für die Summen aus Histogrammen von Teilbildern. Diese selektierten radiometrischen Bestandteile werden logisch und/oder arithmetisch verknüpft, wodurch bereits erste stochastische Informationen des Bildes erhalten werden. Parallel hierzu werden benachbarte radiometrische Bestandteile werte- oder bereichsweise mittels verschiedener nichtlinearer Filteralgorithmen anhand der gefilterten Kurven entlang von Schnittgeraden durch das erfaßte Bild und Beschreibung der so erhaltenen stochastischen Parameter einzelner Bildabschnitte durch Wertebelegungen bezüglich der Bildpixel untersucht, so daß weitere stochastische Informationen erhalten werden. Die unterschiedlichen stochastischen Informationen werden anschließend zur Bildung einer Anzahl von binären oder logisch höherwertigen Bildern verwendet. Dadurch entstehen neue Bilder, in denen bestimmte stochastische Eigenschaften des Originalbildes hervorgehoben und andere reduziert oder unterdrückt sind. Über einfache operative arithmetische und/oder logische Verknüpfungen der binären Bilder oder mittels Fuzzy-Verknüpfungen für die höherwertigen Bilder können dann Steueraussagen gebildet werden. Eine solche Steueraussage kann beispielsweise ein Einhalten von Anforderungen bei einer Qualitätskontrolle für Textilien oder die Beurteilung von Gewebeteilen in der Medizintechnik sein. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispieles näher erläutert. Die Figuren zeigen:

Fig. 1 ein Prinzipschaltbild zur Erfassung einer stochastischen Eigenschaft eines Bildes,

Fig. 2 einen Schaltungsanordnung zur Erzeugung eines Schätzwertes für den radiometrischen Wert des Bildes,

Fig. 3 eine Schaltungsanordnung zur Ermittlung eines Schätzwertes von k_i für die Schaltungsanordnung gemäß Fig. 2,

Fig. 4 ein Gesamtblockschaltbild einer Vorrichtung zur Bildanalyse nach stochastischen Eigenschaften,

Fig. 5 eine beispielhafte radiometrische Verteilung einer Zeile in einem Bild,

Fig. 6 eine radiometrische Verteilung gemäß Fig. 5 nach einer ersten nichtlinearen Filterung,

Fig. 7 eine radiometrische Verteilung gemäß der Fig. 5 nach einer zweiten nichtlinearen Filterung,

Fig. 8 eine Darstellung der Stochastik mittels Differenzbildung der Verteilungen gemäß Fig. 5 und 7 und

Fig. 9a-d Darstellungen verschiedener Stochastiken einer Materialoberfläche.

Die Schaltungsanordnung 1 zur Erfassung einer stochastischen Eigenschaft eines Bildes umfaßt einen Speicher 2, eine Auswertelogik 3 und eine Verknüpfungslogik 4. Das unter stochastischen Gesichtspunkten zu untersuchende Bild wird mittels einer nicht dargestellten CCD-Kamera aufgenommen und die radiometrischen Werte eines jeden Bildpunktes digitalisiert im Speicher 2 abgelegt. Mittels der Auswertelogik 3 sind einzelne Bits (LSB bis MSB) der radiometrischen Werte, Graustufenbereiche oder Funktionsbereiche, die aus der Anwendung nichtlinearer Funktionen auf die radiometrischen Digitalwerte erzeugt werden, auswählbar und werden der Verknüpfungslogik 4 zugeführt. Zu der Verknüpfungslogik 4 werden die ausgewählten Bits oder Bereiche miteinander logisch, algebraisch oder arithmetisch verknüpft, so daß ausgewählte stochastische Eigenschaften des Bildes selektiert werden. Im einfachsten Fall kann dies beispielsweise die Umsetzung des Bildes in ein Schwarz-Weiß-Bild sein. Dazu wird das höchstwertige Bit MSB jedes Bildpunktes auf logisch 0 oder 1 überprüft. Ist das MSB1, so wird der Bildpunkt als schwarz, ansonsten als weiß angesehen. Ergibt die Überprüfung, daß alle Bildpunkte als schwarz oder weiß eingestuft würden, so wird das Verfahren mit dem nächstniedrigen Bit wiederholt, bis sich eine entsprechende Verteilung einstellt. Die derart ermittelten Verteilungen können dann nach anderen Kriterien erneut untersucht werden. Ebenso können auch Rückkoppelungen vorgesehen sein, so daß die neuen Verteilungen wieder mit den ursprünglichen Verteilungen verknüpft werden. Die durch die verschiedenen Verknüpfungen erhaltenen Verteilungen und/oder Ergebnisse stellen jeweils eine stochastische Eigenschaft des Bildes dar. Die Form der Zerlegung ist bestimmt durch die Art des Bildinhaltes bzw. der Dynamik der zeitlichen Beobachtung. Ist die Dynamik groß, dann sind die bitweise oder logarithmische Zerlegung zu bevorzugen. Sind die örtlichen Änderungen gering, so bieten sich Wurzelfunktionen oder schmale Bereiche von Graustufen an.

In der Fig. 2 ist eine Schaltungsanordnung 5 zur Durchführung einer Beurteilung der Dynamik des Bildes bzw. der Dynamik bei aufeinanderfolgenden Bildern dargestellt. Das dabei angewendete Verfahren ist ähnlich der Kalmanfilterung, wobei jedoch im Unterschied echt nichtlineare Funktionen verwendet werden, die zeitliche Beziehungen auf örtliche Beziehungen angewandt und Rückkopplungen von logischen Verknüpfungen mit einbezogen. Hierbei geht es insbesondere um die örtlichen Veränderungen von nahezu stochastischen Bildinhalten, deren wesentliche Merkmale weder durch Kanten, Skelette oder geometrische Gebilde beschrieben sind. Dazu wird der Speicher 2 in Form von Zeilen, Spalten, ausgewählten Bereichen oder Kombinationen davon ausgelesen. Die einzelnen Auslesewerte bilden eine Einlesefolge Y_i in die Schaltungsanordnung 5, Von dieser Eingangsfolge Y_i wird ein aus einer Rückkopplung mit den vorherigen Eingangswerten gebildeter Wert abgezogen. Dieser Differenzwert wird mit einem Faktor k_i multipliziert, der aus vorangegangenen Eingangswerten der vorangegangenen Eingangsfolgen gebildet wird, was nachfolgend anhand der Fig. 3 noch näher erläutert wird. Die Konstanten d, b, r und q und die nichtlineare Funktion werden problemspezifisch angepaßt. Ändern sich die radiometrischen Werte von Bildpunkt zu Bildpunkt nur langsam, so werden vorzugsweise schwach nichtlineare Funktionen wie Wurzel- oder Logarithmusfunktionen gewählt. Ist die Änderung hingegen stark, so werden auch vorzugsweise stark nichtlineare Funktionen wie Exponential- oder Potenzfunktionen mit höheren Koeffizienten gewählt. Über die Konstanten d, b, r und q wird die Stärke der nichtlinearen Filterung festgelegt. Die Operation shift_-1 bedeutet, daß der jeweils vorherige Digitalwert der eingelesenen Digitalwerte benutzt wird. Der Ausgangswert X_i ist ein Schätzwert der Eingangswerte Y_i bezüglich der angenommenen Stochastik. Die Konstanten h, d und q bestimmen, welcher Anteil im Bild als Störung bzw. Stochastik gewählt und welcher Anteil dem eigentlichen Bildinhalt zugeordnet wird. Allgemein kann gesagt werden, daß bei größerem d und h der Anteil der Stochastik mehr Bedeutung hat. Die nichtlinearen Funktionen dienen zur Anpassung an nichtlineare Veränderungen der Stochastik im Bild und werden dem Herausheben der verschiedenen örtlichen Änderungsdynamiken im Bild angepaßt, z. B. Exponentialfunktionen bei schnellen Änderungen und Wurzelfunktionen bei langsameren Änderungen.

In Fig. 3 ist eine Schaltungsanordnung 6 zur Bestimmung des Steuerfaktors k_i in Form eines Schaltungsalgorithmus dargestellt. Es zeigen sich hier gewisse Analogien zur Bestimmung der Verstärkungsfaktors bei der Kalmanfilterung. Der Hauptunterschied besteht in der Berücksichtigung der Nichtlinearität und der unmittelbaren Abhängigkeit von dem Schätzwert, so daß diese Größe nicht, wie sonst üblich, vorher bestimmt werden kann. Der vorhergehende radiometrische Schätzwert X_i-1 wird über eine nichtlineare Funktion mit der Konstanten q mit der Konstanten d multipliziert und 1 dazu addiert. Eine ähnliche Prozedur wird mit der radiometrischen Eingangsgröße Y_i durchgeführt, wobei hier Vorzeichen verschieden sind. Beide Ergebniswerte werden durcheinander dividiert und mit dem vorherigen Schätzwert P_i-1 multipliziert. Diesem Ergebnis wird der Wert nach der Division multipliziert mit b und quadriert sowie multipliziert mit der Konstanten d hinzugefügt. Aus diesem Ergebnis werden zwei Werte gebildet, einer durch Multiplikation mit der Konstanten h, der an der durch Multiplikation mit h² und anschließender Addition von r. Beide ergeben nach ihrer Division durcheinander den Verstärkungsfaktor k_i, der wieder in den Schaltungsanordnungen 5, 6 in den Fig. 3 und Fig. 2 benutzt wird. Durch Verknüpfung der von dem Ausgang nach der Multiplikation mit dem vorhergehenden Schätzwert P_i-1 mit den Konstanten h und r sowie dem Verstärkungsfaktor k_i wird der neue Schätzwert P_i erhalten. Dieser ist wieder Eingang in der Schaltungsanordnung 6 für die Bestimmung des nächsten Wertes P_i+1.

In der Fig. 4 ist das Gesamtblockschaltbild der Schaltungsanordnung 1 dargestellt. Aus dem Speicher 2 werden die digitalisierten Daten mittels der hier nicht dargestellten Auswerteeinheit 3 sowohl der logischen und arithmetischen Verknüpfungslogik 4, als auch der Schaltungsanordnung 5 übergeben, an dessen Ausgang einer Vielzahl verschiedener Filterwerte 1-m anliegen. Diese werden in einer Logik 7 mit den ursprünglichen radiometrischen Werten des Bildes verknüpft. Die Ausgangswerte fil₁ bis fil_m der Logik 7 werden an eine Steuereinheit 8 übergeben und in dieser mit den Ausgangsdaten log₁ bis log_k der Verknüpfungslogik 4 zu Steuersignalen s₁ bis s₃ verknüpft. Die Anpassung aller Einheiten erfolgt nach dem Ziel des Ergebnisses. So kann man beispielsweise die Unterscheidung von Wolken über Eis untersuchen, die beide zwar stochastischer Natur sind, jedoch hinsichtlich der Eigenschaften erfaßbare Unterschiede aufweisen. Eine weitere Anwendung ist beispielsweise die Untersuchung von Farbfehlern in Seidenstoffen oder Vlies, wobei dann die Steuergrößen beispielsweise fail oder pass sind.

In Fig. 5 ist der originale Verlauf einer Zeile eines Bildes dargestellt. Deutlich zu erkennen ist nur das Maximum in der Mitte. Der restliche Verlauf geht im Rauschen unter. Nach der ersten nichtlinearen Filterung gemäß der Fig. 6 sind auch schwache Maxima auf der rechten Seiten des absoluten Maximums zu erahnen. Bei der nachgeschalteten nichtlinearen Filterung gemäß Fig. 7 sind die Maxima sowohl links als auch rechts vom absoluten Maximum deutlich zu erkennen. In der Fig. 8 ist das Rauschen, das in der Bildzeile auftritt, durch Differenzbildung der ursprünglichen und der gefilterten Bildzeile aufgetragen. Es ist zu sehen, daß das Rauschen unabhängig von der Signalhöhe etwa gleich ist. Aus dem mittleren Abstand der Spitzen können die Parameter für die Filterung abgeleitet werden. Die Steilheit des Anstieges gibt einen Hinweis für die Nichtlinearität, die zur Filterung verwendet werden sollte. Ist der mittlere Anstieg sehr groß, dann sind beispielsweise Exponentialfunktionen oder Potenzfunktionen mit großen Koeffizienten zu wählen, sonst logarithmische und Wurzelfunktionen.

In den Fig. 9a-d sind verschiedene Stochastiken ein und derselben Materialoberfläche dargestellt, wozu die zuvor beschriebenen Nebenmaxima digitalisiert werden. Die Erkennung von Störungen in einem Material, dessen Oberfläche im wesentlichen durch unregelmäßige Texturen charakterisiert ist, soll hier beispielhaft erklärt werden. Aus den Bildern werden mittels der stochastischen Analyse parametrisierte Bilder mit den Werten 0 oder 1 erzeugt, um eine einfache algebraische Auswertung zu ermöglichen. Um die Längsstörungen, d. h. Störungen die von oben nach unten verlaufen, in dem Material aufzufinden, wird das Bild der Oberfläche von unten nach oben und von oben nach unten nichtlinear gefiltert. Die Filterparameter und die Nichtlinearitäten sind so eingestellt, daß die überlagerten regelmäßigen Strukturen verschmiert werden und kaum noch sichtbar sind. Besonders werden so Risse hervorgehoben, die sonst in dem Oberflächenbild nicht oder kaum zu sehen sind, was in Fig. 9a dargestellt ist. Über eine Analyse der 0-1-Verteilung werden die Stellen mit den Längsstörungen herausgefunden, indem die Stellen mit einer Häufung von dunklen Punkten in Längsrichtung markiert werden. Entsprechend kann auch eine Untersuchung in andere Richtungen vorgenommen werden.

Die Mikrostruktur des Materials, die beispielsweise für dessen Biegefestigkeit wichtig ist, wird über eine Anpassung der Parameter und Nichtlinearität auf die Korngröße des Materials hervorgehoben. Es werden damit die elementaren Zellen der Oberfläche hervorgehoben, die auch im Material die gleiche Struktur haben. Da die Stegdicke der Zellen etwa gleich ist, kann über eine Bestimmung der Schwärzung die Anzahl der Zellen und deren Regelmäßigkeit bestimmt werden. Das Ergebnis ist in Fig. 9b dargestellt.

Die regelmäßig eingelagerten Verdickungen dienen zur Stabilisierung des Materials und können über eine Subtraktion der stochastischen Strukturbilder von den Originalbildern erhalten werden. Dabei werden alle Strukturen, die nicht mit der regelmäßigen Struktur korrespondieren, als Störungen betrachtet und danach Nichtlinearität und Parameter bestimmt. Die Wahl der Parameter und Nichtlinearitäten bestimmt die Anteile, die zur regelmäßigen Struktur gehören, was in den Fig. 9c-d dargestellt ist.

Claims (6)

1. Verfahren zur Bildanalyse nach stochastischen Eigenschaften, mittels einer optischen Erfassungseinrichtung, umfassend folgende Verfahrensschritte:

• a) erfassen der radiometrischen Verteilung des zu analysierenden Bildes mittels der optischen Erfassungseinrichtung,
• b) selektieren der einzelnen radiometrischen Bestandteile des Bildes werte- und/oder bereichsweise, insbesondere nach Besetzungen von bestimmten Potenzen, von ausgewählten Intensitätsintervallen, von Intervallen des Gradienten von benachbarten Punkten und von Intervallen für die Summen aus Histogrammen von Teilbildern,
• c) verknüpfen der selektierten radiometrischen Bestandteile nach logischen und/oder arithmetischen Verknüpfungsregeln,
• d) iterativer Untersuchung benachbarter radiometrischer Bestandteile werte- oder bereichsweise mittels verschiedener nichtlinearer Filteralgorithmen anhand der Form der gefilterten Kurven entlang einer Schnittgerade durch das erfaßte Bild und Beschreibung der so erhaltenen stochastischen Parameter einzelner Bildabschnitte durch Wertebelegungen bezüglich der Bildpixel,
• e) bilden einer Anzahl von binären oder logisch höherwertigen Bildern aus den Ergebnissen nach Verfahrensschritt c) und d) und f) charakterisieren von Merkmalen des Bildes anhand der Abbildung von verschiedenen elementaren Eigenschaften aufeinander,
• g) erzeugen von Steueraussagen über einfache operative arithmetische und/oder logische Verknüpfungen der binären oder mittels Fuzzy-Verknüpfungen für höherwertigen Bilder gemäß Verfahrensschritt f).

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die radiometrische Verteilung in digitalisierter Form aufgenommen wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die logisch und/oder arithmetisch verknüpften Bestandteile mittels eines einstellbaren Schwellwertes bewertet werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die logische und/oder arithmetische Verknüpfung rekursiv ausgebildet ist.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß für den interaktiven Vergleich ein Schätzwert für den radiometrischen Bestandteil berechnet, mit dem Originalwert verglichen und daraus ein Steuerfaktor ermittelt wird, der sukzessive aktualisiert wird.

6. Vorrichtung zur Bildanalyse nach stochastischen Eigenschaften, dadurch gekennzeichnet, daß einer CCD-Kamera ein Datenspeicher (2) zugeordnet ist, der mit einer logischen und/oder arithmetischen Verknüpfungslogik (4) und einer nichtlineare Filteranordnungen umfassenden Schaltungsanordnung (5) verbunden ist, deren jeweilige Datenausgänge mit einer Steuereinheit (8) verbunden sind.