DE19652925C2 - Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild - Google Patents

Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild

Info

Publication number
DE19652925C2
DE19652925C2 DE19652925A DE19652925A DE19652925C2 DE 19652925 C2 DE19652925 C2 DE 19652925C2 DE 19652925 A DE19652925 A DE 19652925A DE 19652925 A DE19652925 A DE 19652925A DE 19652925 C2 DE19652925 C2 DE 19652925C2
Authority
DE
Germany
Prior art keywords
signals
signal generating
feature
coupling
generating devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19652925A
Other languages
English (en)
Other versions
DE19652925A1 (de
Inventor
Hans Dr Geiger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KEEP GMBH, 80333 MUENCHEN, DE
Original Assignee
KNITTEL JOCHEN 82362 WEILHEIM DE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KNITTEL JOCHEN 82362 WEILHEIM DE filed Critical KNITTEL JOCHEN 82362 WEILHEIM DE
Priority to DE19652925A priority Critical patent/DE19652925C2/de
Priority to PCT/DE1997/002975 priority patent/WO1998027511A1/de
Publication of DE19652925A1 publication Critical patent/DE19652925A1/de
Application granted granted Critical
Publication of DE19652925C2 publication Critical patent/DE19652925C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vor­ richtung zur orts- und größenunabhängigen Erfassung von Merkma­ len aus einem Bild. Eine Schwierigkeit bei der Merkmalserfas­ sung aus Bildern liegt darin, daß bestimmte Objekte in unter­ schiedlichen Perspektiven und Größen erfaßt werden, je nach dem Abstand und der Lage des Objekts zum bildaufnehmenden System. Es ist jedoch in der Regel gewünscht, daß einem Objekt zugeord­ nete Merkmale oder das Objekt selbst unabhängig von seinem Ab­ stand und seiner Lage zum bildaufnehmenden System erfaßt wer­ den/wird. Eine derartige lagen- und größeninvariante Merkmals­ extrahierung bzw. Objekterkennung ist bislang mit neuronalen Netzwerken versucht worden.
Neuronale Netze sind hardware- oder softwareimplementierte ver­ netzte Strukturen aus Bauelementen wie z. B. Speichern, Addie­ rern, Multipliplizierern, Filtern etc. , die aufgrund der Ver­ netzung mit einer durch das Netz definierten Anzahl anderer Bauelemente verknüpft sind. Die Stärke dieser Verknüpfungen der Elemente ist entscheidend für die Funktionsfähigkeit des neuro­ nalen Netzes, eine gestellte Aufgabe, im vorliegenden Fall die der Merkmalsextraktion bzw. Identifikation, zu lösen. Diese Stärke der Verknüpfung zweier Bauelemente, nachfolgend in Ana­ logie zur menschlichen Hirnstruktur auch als Neuronen bezeich­ net, gibt der Kopplungskoeffizient wieder.
Eine Stärke des neuronalen Netzes liegt darin, daß es in der Lage ist, in überwachten und/oder unüberwachten Lernvorgängen diese Kopplungskoeffizienten selbst zu bestimmen bzw. zu opti­ mieren. Hierzu gibt es eine Reihe theoretischer Ansätze, die sich mit dem Lernverhalten des neuronalen Netzes auseinander­ setzen. Ein Ansatz zur lagen- und größeninvarianten Merkmalser­ fassung stammt z. B. von Widrow, der ein Mehrlagennetzwerk von adaptiven, linearen Neuronen verwendete. Die in den Lagen be­ findlichen Neuronen verknüpfte er durch Gewichtungsfaktoren oder auch Kopplungskoeffizienten, die dem neuronalen Netzwerk gelehrt wurden. Mehrere weitere Ansätze sind in dem Buch "Arti­ ficial Neural Networks for Image Understanding" von A. D. Kul­ karni im Verlag Van Nostrand Reinhold, New York, 1994 be­ schrieben. Diese Verfahren haben jedoch den Nachteil, daß die Extrahierung entweder nicht vollkommen zufriedenstellend ist oder ein äußerst großer Rechenaufwand erforderlich ist.
In der DE 41 00 500 A1 ist eine Signalverarbeitungsanordnung mit einem mehrlagigen neuronalen Netzwerk gezeigt. Das Ziel dieser Signalverarbeitungsanordnungen ist die Erkennung von Flugobjekten oder allgemein sich bewegenden Objekten. Ein der­ artiges Netzwerk eignet sich aufgrund der unterschiedlichen Ausgangsparameter und Verknüpfungen nicht für ein automatisches Kassensystem.
Die US-5,060,276 zeigt die Verknüpfung von Addierern oder Mul­ tiplizieren für ein Bilderkennungssystem. Die Verknüpfung die­ ser Bauelemente in der beschriebenen Weise erlaubt jedoch nicht ein lernfähiges Bilderkennungssystem, wie es durch die Erfin­ dung aufgrund der speziellen Verknüpfung dieser Bauelemente in den unterschiedlichen Stufen bereitgestellt wird.
Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Vor­ richtung zu schaffen, die mit wenig Rechenaufwand eine zuver­ lässige lagen- und größenunabhängige Merkmalserfassung erlau­ ben.
Diese Aufgabe wird durch das Verfahren des Anspruchs 1 und durch die Vorrichtung des Anspruchs 13 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprü­ che.
Die Erfindung beschreibt eine hardwaremäßige Grundstruktur für ein Bilderkennungssystem, das mit vorgegebenen Kopplungskoeffi­ zienten zwischen den einzelnen Komponenten arbeiten kann, das jedoch auch in hervorragender Weise dazu ausgebildet ist, die Kopplungsstärke der nachfolgend beschriebenen Komponenten in typischen Lernverfahren für neuronale Netzwerke selbst zu er­ lernen bzw. die vorgegebenen Werte zu optimieren.
Die vorliegende Erfindung beschreibt damit ein Verfahren und eine Vorrichtung zur Merkmalserkennung aus Bildern, insbeson­ dere digitalisierten Bildern, die mit wenig Zeit und Rechenauf­ wand eine sichere Merkmalszuordnung bzw. Objekterkennung auch bei sehr großen Objekt- und/oder Merkmalsbeständen ermöglichen.
Vereinfacht läßt sich das Bilderkennungssystem der Erfindung darstellen als ein mehrlagiges System. Am Anfang liegen Bild­ punkte, z. B. aus einem CCD-Chip oder einer Bilddatei vor. Durch Signalerzeugungseinrichtungen wie z. B. Filter werden in einer ersten Lage dem Bild entsprechend zweidimensional zugeordnete Merkmalsinformationen bereitgestellt. Diese Merkmalsinformatio­ nen werden durch Addierer und Multiplizierer (bzw. entsprechend verknüpfte Neuronen in einem neuronalen Netzwerk) in einer zweiten Lage zu Merkmalskombinationen verknüpft, die immer noch in Schichten zweidimensional entsprechend dem Bildaufbau zuge­ ordnet sind. Die einzelnen Kombinationen werden innerhalb der Schichten (also über die Bildfläche) aufsummiert, wodurch in einer dritten Lage ein Merkmalsvektor erhalten wird, der über die Bildfläche aufsummierte unterschiedliche Merkmalskombina­ tionen (z. B. Kantenschnittpunkte, d. h. Ecken, Farbkombinationen etc. ) enthält. Dieser Merkmalsvektor wird mit einem Referenz­ vektor zum Zwecke einer Merkmals- oder Objektzuordnung bzw. - erkennung verglichen.
Dies wird nun im einzelnen beschrieben. Die Erfindung geht aus von einem Bild, das in Form vorzugsweise digitalisierter Bild­ punkte vorliegt. Diese Bildpunkte werden durch eine Signaler­ zeugungseinrichtung, z. B. eine Filteranordung auf das Vorlie­ gen bestimmter Merkmale untersucht. In Abhängigkeit von dem Vorliegen des Merkmals wird ein Merkmalssignal (erstes Signal) ausgegeben, das mit denselben Merkmalen an anderen Orten des Bildes eine Merkmalsschicht der ersten Lage bildet. Die in die­ ser Schicht enthaltene Merkmalsinformation gibt somit die ört­ liche Verteilung des entsprechenden Merkmals innerhalb des Bil­ des wieder. Derartige Schichten existieren in der ersten Lage für unterschiedliche Merkmale. Die Art der Merkmale wird durch die Signalerzeugungseinrichtung definiert, z. B. durch die Art und Verknüpfung der darin vorhandenen Filteranordnung. Wie be­ reits angedeutet, sind zur Extraktion unterschiedlicher Merkma­ le aus dem Bild unterschiedliche Signalerzeugungseinrichtungen vorgesehen. Die Ausgangssignale einer Art von Signalerzeu­ gungseinrichtungen werden in einer Schicht zusammengefaßt.
Die Signalerzeugungseinrichtung bzw. Filteranordnung soll nach­ stehend kurz erläutert werden. Sie kann hard- und/oder softwa­ remäßig durch ein neuronales Netz von Digitalverstärkern mit einstellbaren Kopplungskoeffizienten, in Form von Bandpässen, Tief- oder Hochpässen, Integratoren, SC-Filtern oder Differen­ zieren, Addierern und/oder Multipliplizierern gebildet sein. Es ist auch jede beliebige Kombination dieser Bauelemente zur Rea­ lisierung einer bestimmten Filteranordnung, z. B. eines Kanten­ detektors, möglich. Die Signalerzeugungseinrichtung zur Extrak­ tion eines bestimmten Merkmals kann nun durch eine hardwaremä­ ßig vorgegebene Verknüpfung gebildet sein, die auf ein bestimm­ tes Merkmal spezialisiert ist, z. B. die Kantenerfassung. Es ist jedoch auch möglich, die Verknüpfung der Anordnung bestimmter oben aufgeführter Grundelemente zur Bildung einer Filteranord­ nung durch das neuronale Netz selber lernen oder optimieren zu lassen. Für unterschiedliche Merkmale, z. B. Kantendetektoren unterschiedlicher Orientierung werden daher unterschiedliche Filteranordnungen vorgesehen, welche die Signalerzeugungsein­ richtungen bilden. Im Falle einfachster Informationen wie z. B. Grau- oder Farbwerte besteht die Signalerzeugungseinrichtung einfach aus einem Signalverknüpfungsgatter zwischen den Bild­ punkten und einer Schicht der ersten Lage. D. h. durch dieses Gatter wird die in einem bestimmten Bildbereich enthaltene Bil­ dinformation zu einer Merkmalsinformation (erstes Signal) in der ersten Lage zusammengefaßt.
Die Merkmale bzw. ersten Signale aus unterschiedlichen Schich­ ten dieser ersten Lage können positiv oder negativ miteinander verkoppelt sein. Eine positive Kopplung bedeutet, daß ein be­ stimmtes Merkmal aus der einen Schicht vorzugsweise mit einem Merkmal aus der anderen Schicht gemeinsam auftritt. Derartige Kopplungen können beispielsweise bei Verwendung eines neurona­ len Netzwerks selbst erlernt werden. Wenn z. B. bestimmte Merk­ male positionsmäßig immer gekoppelt sind, kann dies vom Netz erkannt und durch eine entsprechende positive Kopplung erfaßt werden. Derartige Merkmale sind z. B. Kantendetektoren von 0 und 90 Grad. Negative Kopplungen können dadurch entstehen, daß bestimmte Merkmale örtlich nie miteinander korreliert sind. Dies betrifft z. B. Kantendetektoren gleicher Orientierung. Die­ se sind immer über quer verlaufende Kanten miteinander ver­ bunden oder voneinander isoliert, weshalb sie nie gemeinsam auftreten. Das Ausbilden derartiger Verknüpfungen verringert den Rechenaufwand zur Erkennung des Objekts.
Ein weiteres Mittel zur Verringerung des Rechenaufwandes und zur Verbesserung der Merkmals und/oder Objekterkennung besteht darin, daß durch die Signalerzeugungseinrichtungen mehrere Bildpunkte zu einer Merkmalsinformation bzw. einem Merkmalsneu­ ron (erstes Signal) zusammengefaßt werden. So kann z. B. aus hundert Bildpunkten am Eingang der Signalerzeugungseinrichtung ein Merkmalspunkt am Ausgang der Signalerzeugungseinrichtung gebildet werden. Die Zusammenfassung erfolgt durch Summation oder Integration. Je nach Merkmal sind jedoch auch andere Ver­ knüpfungsmöglichkeiten, wie z. B. Subtraktion, Multiplikation oder Differenzierung möglich. Durch die Zusammenfassung der Bildpunkte zu einem Informationspunkt wird zwar eine gewisse Unschärfe aufgrund der flächigen Integration der diskreten Merkmale der einzelnen Bildpunkte erzielt, andererseits ist dies erwünscht, da die Sicherheit der Merkmalsextraktion oder Objekterkennung durch eine Vielzahl an unscharfen Merkmalsde­ tektoren in den verschiedenen Schichten der zweiten Lage sogar erhöht wird. Denn eine zu exakte Aussage eines Merkmals könnte das Gesamtsystem derart beeinflussen, daß das System aufgrund dieses, gegebenenfalls falschen, Merkmals zu einer falschen Merkmalsextraktion gelangen könnte. Für die Sicherheit des Sy­ stem ist es positiver, eine größere Anzahl an "unscharfen" Merkmalen zu erhalten, die einzeln aufgrund ihrer Unschärfe keine Fehlbeurteilung auslösen können, in ihrer Gesamtheit je­ doch ein Merkmal oder Objekt mit großer Zuverlässigkeit und Si­ cherheit erfassen können.
Man kann daher die in den (Merkmals)Schichten der zweiten Lage auch vorhandenen ersten Signale als Kubus einfacher Merkmals­ punkte (Neuronen) bezeichnen.
Nachfolgend wird beschrieben, wie aus dem Kubus einfacher Merk­ malspunkte (Neuronen) zweite Signale in Form komplexer Merk­ malspunkte in der zweiten Lage gewonnen werden. Die komplexen Merkmalspunkte (Neuronen) werden durch Addierer bzw. Multipli­ plizierer gebildet, die Merkmalspunkte aus unterschiedlichen Schichten der zweiten Lage verknüpft. Hierbei kann ihr gegen­ seitiger Abstand berücksichtigt werden, indem z. B. die Kopp­ lungskoeffizienten für die Verknüpfung von Merkmalspunkten aus (wenigstens zwei) unterschiedlichen Schichten um so geringer gewählt werden, je größer deren gegenseitiger Abstand ist. Ein Beispiel hierfür ist die quadratische Summation. Die Höhe des Ausgangssignals der Verknüpfung ergibt sich hierbei aus folgen­ der Formel:
Asignal 2 = (Asignal 1 zu Merkmal 1 + Asignal 1 zu Merkmal 2)2
mit A = Amplitude. Diese Möglichkeit der Berücksichtigung des wechselseitigen Abstandes beim Bilden der komplexen Merkmale (Signale 2) ist eine erste Möglichkeit, die relative Lage, insb. den Abstand unterschiedlicher Merkmale zu berücksichti­ gen. Eine weitere Möglichkeit der positionsabhängigen Merkmals­ bewertung besteht später bei der nachfolgend noch beschriebenen Bildung der Merkmalsvektoren. Diese kann alternativ oder zu­ sätzlich zur oben beschriebenen Positionswichtung bei der Ver­ knüpfung erfolgen. Eine Möglichkeit zur positionsabhängigen Wichtung einer Verknüpfung besteht in allen Arten nicht linea­ rer Summationen. In einer funktionellen und sehr einfach struk­ turierten Ausführungsform wird jeder Merkmalspunkt einer ersten Merkmalsschicht aus dem einfachen Merkmalskubus mit dem örtlich korrespondierenden Merkmalspunkt wenigstens einer zweiten Schicht linear addiert. Die positionsbezogenen Wichtung erfolgt später bei der Bildung der Merkmalsvektoren.
Durch die Verknüpfung einfacher Merkmalspunkte werden somit in jeder Schicht dieser zweiten Lage "komplexe" Merkmalspunkte je­ weils einer Merkmalskombination erhalten. Man kann daher die unterschiedlichen Schichten der zweiten Lage, die unterschied­ liche Merkmalskombinationen beschreiben, als einen Kubus kom­ plexer Merkmalspunkte (Neuronen) bezeichnen. Hardwarebezogen sind diese Punkte durch die zweiten Signale, nämlich die Aus­ gangswerte bzw. -signale der zugehörigen Addierer bzw. Multi­ pliplizierer gegeben. Die komplexen Merkmalspunkte können auch durch Verknüpfung einfacher Merkmalspunkte (erster Signale) aus mehr als zwei Schichten, z. B. vorzugsweise drei Schichten ge­ bildet werden. Dies hat den Vorteil, daß eindeutigere Verknüp­ fungsergebnisse erhalten werden, die sich zu einer zuverlässi­ geren Objekterkennung nutzen lassen. Die komplexen Merkmals­ punkte oder auch zweiten Signale einer Schicht geben eine be­ stimmte Merkmalskombination in einer dem Bild entsprechenden zweidimensionalen Anordnung wieder.
Wiederum durch Addierer bzw. Multipliplizierer werden aus den komplexen Merkmalspunkten dritte Signale generiert. Alle kom­ plexen Merkmalspunkte einer Schicht werden dabei verknüpft, im einfachsten Fall aufsummiert. Dies ist möglich, falls der Ab­ stand einfacher Merkmale bereits bei der Bildung der komplexen Merkmale in oben beschriebener Weise berücksichtigt wurde. Falls dies in jenem Verfahrensschritt nicht geschehen ist, wer­ den nun alle komplexen Merkmale einer Schicht durch eine nicht­ lineare Verknüpfungsfunktion, z. B. quadratische Summation, mit­ einander verknüpft. Aufgrund der Nichtlinearität spiegelt das Verknüpfungsergebnis den wechselseitigen Abstand der verknüpf­ ten komplexen Merkmalspunkte in der Schicht wieder. Diese posi­ tionsbezogene Verknüpfung kann auch zusätzlich zu der bereits erfolgten positionsbezogenen Verknüpfung zur Bildung der kom­ plexen Merkmalspunkte durchgeführt werden. Es kann jedoch auch lediglich eines dieser beiden Verfahren zur positionsabhängigen Merkmalsverknüpfung angewandt werden. Die dritten Signale der unterschiedlichen Schichten bilden in der dritten Lage einen Merkmalsvektor, der schließlich durch Vergleich mit gespeicher­ ten Referenz-Merkmalsvektoren zur Objekt-/Eigenschaftserkennung bzw. -zuordnung verwendet wird. Durch die Punkte (dritte Si­ gnale) des Merkmalsvektors läßt sich das abgebildete Objekt hinreichend genau charakterisieren, selbst wenn die Anzahl der im Datenbestand befindlichen Objekte, z. B. in einem Supermarkt oder einer Personenkartei sehr hoch ist.
Die Punkte (Neuronen) des Merkmalsvektors werden erhalten, in­ dem alle Punkte einer Merkmalskombination in jeder einzelnen Schicht der zweiten Lage aufsummiert werden. Jeder Punkt des Merkmalsvektors enthält somit eine Zusammenfassung bestimmter Merkmalskombinationen, vorzugsweise unter Berücksichtigung ih­ rer positionsabhängigen Kopplung, z. B. durch nichtlineare Sum­ mation. Dieser Merkmalsvektor wird nun, z. B. durch Vergleich mit einem entsprechenden Referenzvektor zur Identifizierung von Objekten eingesetzt.
Prinzipiell kann ein derartiger Aufbau durch herkömmliche digi­ tale Bausteine wie z. B. Filter für die Signalerzeugungsein­ richtungen und Addierer und Multipliplizierer für die Verknüp­ fungen der einzelnen Lagen realisiert werden. In diesem Fall müßten jedoch die Kopplungskoeffizienten, die die Stärke der Verbindungen der einzelnen Hardware Komponenten angeben vorab durch Versuche und/oder Berechnungen eingestellt werden. Dies läßt sich wiederum am besten mit einem neuronalen Netzwerk un­ ter Verwendung eines Lernverfahrens bewerkstelligen, in dem sich die Kopplungsfaktoren zur Verknüpfung der einzelnen Neuro­ nen selbständig einstellen.
Für die Erzeugung der Merkmalsdetektoren in den Signalerzeu­ gungseinrichtungen werden vorzugsweise konventionelle Filter wie z. B. Bandpaßfilter, Kontrastfilter und Gradientenfilter zusammengefaßt, und aus den zugehörigen Filtermasken die Kopp­ lungskoeffizienten berechnet, indem in klassischer Weise die gekoppelten Filtergleichungen aufgestellt werden und die zu den einzelnen Bildpunkten gehörigen Koeffizienten zu einem Zahlen­ wert zusammengefaßt werden. Somit können beliebige Filter zur Erhöhung der Rechenleistung zusammengefaßt werden, was, wie be­ reits beschrieben, mit einer gewissen beabsichtigten Unschärfe einhergeht. Die Filtercharakteristik wie z. B. Eckfrequenzen der Filter und die Filtermassengröße muß entsprechend an die Problemstellung der aktuellen Bilderkennungsaufgabe angepaßt werden muß. Klassische Filter sind indes nicht gut für die Ver­ wendung in einem neuronalen Netz geeignet, da die für die Ver­ arbeitung im neuronalen Netzwerk vorteilhafte Unschärfe der Merkmalsextraktion der mathematischen Exaktheit der Filterope­ ration widerspricht. Deshalb wird in einer Vorphase vorzugswei­ se ein unüberwachter Lernvorgang durchgeführt, bei dem optimal an das Datenmaterial (Supermarkt, Personaldatei etc. ) angepaßte rezeptive Filter selbstorganisierend entstehen. Hierzu können bekannte Lernverfahren angewandt werden.
Um zu verhindern, daß identisch Merkmale an unterschiedlichen Signalerzeugungseinrichtungen erzeugt werden, werden vorzugs­ weise andere Signalerzeugungseinrichtungen gehemmt, sobald sich eine Signalerzeugungseinrichtung auf die Extraktion eines be­ stimmten Merkmals spezialisiert hat. Dadurch setzt sich inner­ halb einiger Zeit nur das jeweils aktivste Neuron durch, und dieses spezialisiert sich damit auf das entsprechende Merkmal, z. B. einen bestimmten Kantendetektor.
Neben dieser gelernten Organisation der Erzeugung der Merkmals­ punkte (Neuronen) in der ersten Lage kann die Einstellung der Kopplungskoeffizienten für die Erzeugung der komplexen Merk­ malspunkte der zweiten Lage erfolgen, die aus den Merkmalspunk­ ten des einfachen Merkmalskubus die Merkmalskombinationen des komplexen Merkmalskubus generiert. Hierbei entstehen Merkmals­ kombinationen, welche die in einem angebotenen Bild enthaltenen Merkmale oder Objekte am besten beschreiben. Das gleiche gilt für die Erzeugung der Punkte des Merkmalsvektors aus den kom­ plexen Merkmalspunkten. Auch diese Verknüpfungen können durch bekannte Lernverfahren selbsttätig generiert werden.
Muster, die zu einem Objekt gehören, werden dem System nach Abschluß der oben beschriebenen Selbstorganisationsphase mit einem überwachten Lernverfahren eintrainiert (z. B. Objekt wird in verschiedenen Abständen und Ansichten aufgenommen und ge­ speichert). Dies führt dazu, daß für jedes Objekt eine Reihe von Merkmalsvektoren gespeichert sind, die einen gewissen Wer­ tebereich umspannen. Liegt ein extrahierter Merkmalsvektor in diesem Bereich, so wird angenommen, daß das klassierte Objekt vorliegt. Bei einer geringen Anzahl von Objekten können hier alle zu einem Objekt gehörenden Muster auf dasselbe Ausgangs­ klassifikatorneuron abgebildet werden. Bei größeren Objektzah­ len müssen als Zwischenschritt Unterklassen definiert werden, innerhalb derer mehrere Klassifikatoren für Teilmuster zu einem Objektklassifikator zusammengefaßt werden, z. B. die verschie­ denen Seiten einer quaderförmigen Verpackung.
Als Hardware zur Realisierung und Verschaltung der Signalver­ arbeitungskomponenten kann vorzugsweise ein digitaler Signal­ prozessor verwendet werden oder ein Neurocomputer, dessen Auf­ bau einem neuronalen Netz entspricht. Jedoch kann das neuronale Netz auch in Form eines Programms auf jeder entsprechend leis­ tungsfähigen herkömmlichen Rechnerarchitektur implementiert werden.
Zusammenfassend läßt sich zur Erfindung sagen, daß aus den di­ gitalisierten Bilddaten durch mehrere Signalerzeugungseinrich­ tungen Merkmale extrahiert werden, die anschließend unter Be­ rücksichtigung ihrer relativen gegenseitigen Position zu kom­ plexen Merkmalskombinationen zusammengefaßt werden. Die positi­ onsbezogenen Daten, die sich auf eine bestimmte Merkmalskombi­ nation beziehen, werden aufsummiert und bilden einen orts- und größenunabhängigen Wert eines Merkmalsvektors, der zur Identi­ fizierung des Objekts oder zur Merkmalserkennung verwendet wird, z. B. durch Vergleich mit vorher erhaltenen Referenzwer­ ten.

Claims (17)

1. Verfahren zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild, mit Hilfe von mehreren Signalerzeugungseinrichtungen, z. B. Filteranordnungen, deren Ausgangssignale Bildinformationen in Form von Merkmalen, wie z. B. Hell/Dunkel-Kanten oder Farben, positionsbezogen aus dem Bild repräsentieren, wobei die Ausgangssignale unterschied­ licher oder unterschiedlich eingestellter Einrichtungen unter­ schiedliche Merkmale repräsentieren und in Form erster Signale vorliegen, wobei die ein Merkmal betreffenden ersten Signale die örtliche Verteilung des entsprechenden Merkmals im Bild wiedergeben, dadurch gekennzeichnet,
daß wenigstens zwei unterschiedliche Merkmale betreffende erste Signale zu zweiten Signalen verknüpft werden,
daß unterschiedliche zweite Signale für unterschiedliche Merk­ malskombinationen gebildet werden,
daß alle eine Merkmalskombination betreffenden zweiten Signale zu einem dritten Signal aufsummiert werden,
daß die Verknüpfung der ersten Signale zu den zweiten Signalen und/oder das Aufsummieren der eine Merkmalskombination betref­ fenden zweiten Signale zu einem dritten Signal unter Berück­ sichtigung ihrer wechselseitigen Ortsbeziehung, vorzugsweise unter Verwendung einer nichtlinearen Verknüpfungsfunktion durchgeführt wird, und
daß die Werte der dritten Signale in der Art eines Merkmalsvek­ tors zur Merkmalsauswertung verwendet werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Signalerzeugungseinrichtungen aus jeweils einer größe­ ren Anzahl von Bildpunkten, z. B. mehr als 10 Bildpunkten, ins­ besondere mehr als 100 Bildpunkten, ein erstes Signal generie­ ren.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die ersten Signale zu Erzeugung der zweiten Signale quadra­ tisch summiert werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Signalerzeugungseinrichtungen nach Art eines neuronalen Netzes miteinander verknüpft sind, und die Kopplungskoeffizien­ ten dieser Verknüpfungen zur Bestimmung der Merkmale in einem Lernprozeß bestimmt werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß sobald die Kopplungskoeffizienten einer Signalerzeugungs­ einrichtung in dem Lernverfahren bestimmt worden sind, die an­ deren Signalerzeugungseinrichtungen daran gehindert werden, die selben Kopplungskoeffizienten zu erlernen.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß zwischen den ersten Signalen für unterschiedliche Merkmale positive oder negative Verknüpfungen gebildet werden, die In­ formationen über die gemeinsame Verwendung der verknüpften er­ sten Signale zum Bilden der zweiten Signale enthalten.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß die Bildung der zweiten Signale aus den ersten Signalen über Kopplungskoeffizienten gesteuert wird, die bestimmen, wie stark die einzelnen ersten Signale bei der Bildung der zweiten Signale berücksichtigt werden, und
daß die Kopplungskoeffizienten in einem Lernprozeß bestimmt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß die Bildung der dritten Signale aus den zweiten Signalen über Kopplungskoeffizienten gesteuert wird, die bestimmen, wie stark die einzelnen zweiten Signale bei der Bildung der dritten Signale berücksichtigt werden, und
daß die Kopplungskoeffizienten in einem Lernprozeß bestimmt werden.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß als Signalerzeugungseinrichtungen Digitalfilter verwendet werden, wobei zur Erfassung unterschiedlicher Merkmale die Art und Anordnung der Filter und deren Kopplung variiert bzw. ge­ lernt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die zweiten und dritten Signale durch digitale Addierer und Multipliplizierer erzeugt werden.
11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, daß die Anordnung und Kopplung der Digitalfilter und/oder die Verschaltung der digitalen Addierer und Multipliplizierer in den Neuronen eines Neurocomputers oder im Programm einer Re­ chenmaschine implementiert sind.
12. Verfahren nach einem der vorhergehenden Ansprüche zum Er­ kennen von Objekten, dadurch gekennzeichnet, daß die dritten Signale aus unterschiedlichen Abbildungen ein und desselben Objekts als Referenzwerte für eine Zuordnung ver­ wendet werden.
13. Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild, umfassend mehrere Signalerzeugungseinrichtungen, z. B. Filteran­ ordnungen, die Bildinformationen in Form von Merkmalen, wie z. B. Hell/Dunkel-Kanten oder Farben, positionsbezogen aus einem Bild ermitteln, wobei unterschiedliche Signalerzeugungseinrich­ tungen zur Erfassung unterschiedlicher Merkmale vorgesehen sind, welche Signalerzeugungseinrichtungen sich in den Kopp­ lungskoeffizienten der Verknüpfung und/oder der Anordnung ihrer Funktionselemente unterscheiden, dadurch gekennzeichnet, daß die Signalerzeugungseinrichtungen über einstellbare Kopp­ lungsglieder mit ersten Addierern und/oder Multipliplizierern verbunden sind, die die Ausgangssignale unterschiedlicher Si­ gnalerzeugungseinrichtungen zu zweiten Signalen verknüpfen, und daß die Ausgänge der ersten Addierer/Multipliplizierer über einstellbare Kopplungsglieder mit den Eingängen zweiter Addie­ rer/Multiplizierer verbunden sind, die zum Aufsummieren der Ausgangssignale derjenigen ersten Addierer/Multipliplizierer vorgesehen sind, die sich auf die Verknüpfung der Signale glei­ cher Signalerzeugungseinrichtungen beziehen, welche Ausgänge der zweiten Addierer/Multipliplizierer wenigstens ein drittes Signal zur Merkmalsauswertung bereitstellen.
14. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, daß die Kopplungsglieder zur Verknüpfung der ersten und/oder zweiten Addierer/Multiplizierer derart eingestellt sind, daß die Stärke der Kopplung entsprechend dem örtlichen Abstand zweier zu verknüpfender Signale abnimmt.
15. Vorrichtung nach Anspruch 13 oder 14, dadurch gekennzeichnet, daß die Signalerzeugungseinrichtungen und/oder die Addie­ rer/Multipliplizierer durch die Neuronen eines neuronalen Netz­ werkes gebildet sind und die Einstellung der Kopplungsglieder durch ein an sich bekanntes Lernverfahren für neuronale Netz­ werke erfolgt.
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, daß die Neuronen des neuronalen Netzwerkes durch die Speicher- bzw. Funktionselemente (Neuronen) eines Neurocomputers oder durch ein Programm auf einer herkömmlichen Rechenmaschine ge­ bildet sind, welches das neuronale Netzwerk emuliert.
17. Vorrichtung nach einem der Ansprüche 13 bis 16, dadurch gekennzeichnet,
daß ein Referenzspeicher vorgesehen ist, der objektbezogen dritte Signale aus unterschiedlichen Ansichten des Objektes enthält, und
daß eine Erkennungslogik der Vorrichtung über eine Vergleichs­ schaltung verfügt, die zur Ableitung eines Erkennungssignals die aus einem Bild erhaltenen dritten Signale mit dem oder den im Referenzspeicher befindlichen Wertebereich oder -bereichen vergleicht.
DE19652925A 1996-12-18 1996-12-18 Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild Expired - Fee Related DE19652925C2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE19652925A DE19652925C2 (de) 1996-12-18 1996-12-18 Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild
PCT/DE1997/002975 WO1998027511A1 (de) 1996-12-18 1997-12-18 Verfahren und vorrichtung zur orts- und grössenunabhängigen erfassung von merkmalen aus einem bild

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19652925A DE19652925C2 (de) 1996-12-18 1996-12-18 Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild

Publications (2)

Publication Number Publication Date
DE19652925A1 DE19652925A1 (de) 1998-07-02
DE19652925C2 true DE19652925C2 (de) 1998-11-05

Family

ID=7815295

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19652925A Expired - Fee Related DE19652925C2 (de) 1996-12-18 1996-12-18 Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild

Country Status (2)

Country Link
DE (1) DE19652925C2 (de)
WO (1) WO1998027511A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19924008C2 (de) * 1999-05-26 2002-11-28 Siemens Ag Mustersuche
DE19924009C2 (de) * 1999-05-26 2002-11-28 Siemens Ag Mustersuche
DE10145608B4 (de) * 2001-09-15 2006-01-26 Eads Deutschland Gmbh Modellbasierte Objektklassifikation und Zielerkennung
DE102007005560B4 (de) 2007-01-24 2009-12-03 Bernhard Sänger Verfahren zum Betrieb einer Tunnelbohrmaschine, Verfahren zum Erkennen von geologischen Strukturen sowie Tunnelbohrmaschine
DE102010053678A1 (de) 2010-12-07 2012-06-14 Clemens Martin Verfahren zum automatischen Auffinden und zur Rückverfolgung von herrenlosen Gegenständen über Video-Überwachungsanlagen (Closed circuit television / CCTV)
EA201600444A1 (ru) 2013-12-06 2016-10-31 Мик Аг Система и способ распознавания образов
GB2525251A (en) 2014-04-18 2015-10-21 Mic Ag Optical fibre sensor system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060276A (en) * 1989-05-31 1991-10-22 At&T Bell Laboratories Technique for object orientation detection using a feed-forward neural network
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2049273A1 (en) * 1990-10-25 1992-04-26 Cindy E. Daniell Self adaptive hierarchical target identification and recognition neural network
JPH0695192A (ja) * 1991-05-01 1994-04-08 Matsushita Electric Ind Co Ltd 画像認識装置及び画像入力方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060276A (en) * 1989-05-31 1991-10-22 At&T Bell Laboratories Technique for object orientation detection using a feed-forward neural network
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAPPE, K.: "Erkennung lage-, größen- und dreh- varianter Schlagziffern mittels eines neuronalen Netzes" in: Mustererkennung 1991, 13. DAGM-Sympo- sium München, Springer-Verlag, S. 59-66 *

Also Published As

Publication number Publication date
DE19652925A1 (de) 1998-07-02
WO1998027511A1 (de) 1998-06-25

Similar Documents

Publication Publication Date Title
DE60130742T2 (de) Mustererkennung mit hierarchischen Netzen
DE3588169T2 (de) Verfahren zur Detektion einer Bildbelichtungsfläche in einem Bildauslesevorgang
DE3688178T2 (de) Verfahren zur Bildextraktion eines sich bewegenden Objekts.
DE60102247T2 (de) Kantenerhaltende verbesserung seismischer bilder durch nichtlineare anisotrope diffusion
DE68910498T2 (de) Signalverarbeitung zur autonomen erfassung von objekten in einem hintergrund von störechos.
DE3886560T2 (de) Musterkonturen in Bildverarbeitung.
DE69722378T2 (de) Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren
DE4224568C2 (de) Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes
DE19652925C2 (de) Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild
DE4437385A1 (de) Verfahren und Vorrichtung zur Bildkorrektur
EP0464896B1 (de) Verfahren zur Bildverbesserung und Anordnung zur Durchführung des Verfahrens
DE19851544C1 (de) Erzeugen eines abgerollten Fingerabdruckbildes aus einer Serie von Einzelbildern
WO2005073911A1 (de) Bildverarbeitungssystem
EP3142068B1 (de) Verfahren zur dreidimensionalen erfassung von objekten
EP3518180B1 (de) Verfahren zur erstellung einer bildstapel-datenstruktur
DE10048308B4 (de) Verfahren und Vorrichtung zum Klassifizieren von Objekten aus als Pixelmuster vorliegenden eingangsseitigen Bilddaten
DE68927662T2 (de) Verfahren zur Feststellung der Lage eines Objektmusters in einem Bild
EP1359539A2 (de) Neurodynamisches Modell der Verarbeitung visueller Informationen
DE68910625T2 (de) Verfahren zum Erkennen eines Musters in einem Feld mit einer Mehrwertamplitude, Anordnung zum Durchführen eines derartigen Verfahrens.
DE3874733T2 (de) Anordnung und vorrichtung zur erzeugung und verarbeitung von abgetasteten netzmustern.
DE68919205T2 (de) Verfahren zur segmentierung von sich bewegenden objekten.
EP3214602A1 (de) Verfahren zur dreidimensionalen erfassung von objekten
DE3740066C1 (de) Einrichtung zur Auffindung und Lokalisierung eines Bildausschnittes
DE3447930C1 (de) Datenprozessor
EP0195281B1 (de) Schaltungsanordnung für die Bildverarbeitung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: KEEP GMBH, 80333 MUENCHEN, DE

R082 Change of representative

Representative=s name: ,

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140701