AT505887B1 - Verfahren zur extraktion von kantensegmenten - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Extraktion von Kontursegmenten aus einem digitalen Bild, wobei das digitale Bild in ein Gradientenbild übergeführt wird. Erfindungsgemäß ist vorgesehen,-dass für das Gradientenbild eine Anzahl von diskreten Richtungen vorgegeben wird,-dass mehrere Integralbilder des Gradientenbildes erstellt werden, indem für jede dieser Richtungen jeweils über das gesamte Gradientenbild längs der jeweiligen Richtung eine kumulative Summation der Intensitätswerte der längs der jeweiligen Richtung liegenden, aufeinanderfolgenden Pixel vorgenommen wird,-dass für die längs den jeweiligen Richtungen liegenden Pixel die gegenseitigen Differenzen der Intensitätswerte im jeweiligen Integralbild gebildet werden,-dass durch Division der jeweiligen Differenzwerte durch den Abstand des jeweiligen Anfangs- und Endpixels normierte Dichtewerte ermittelt werden unddass eine vorgegebene Anzahl der größten erhaltenen Dichtewerte als Kontursegmente und als repräsentativ für das digitale Bild angesehen wird.

Description

österreichisches Patentamt AT505 887B1 2010-05-15

Beschreibung [0001] Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1.

[0002] Die Erfindung betrifft ein Verfahren im Bereich des Maschinellen Sehens und der digitalen Mustererkennung, und zwar ein Verfahren zur Extraktion von konturbasierten Bildmerkmalen.

[0003] Die Erkennung und Detektion von Objekten (z. B. Personen oder Fahrzeuge) in digitalen Bildern ist ein relevantes Thema des Maschinelles Sehens und der Mustererkennung. Ein notwendiger Schritt für die Objektdetektion ist üblicherweise die Extraktion von Bildmerkmalen, die bestimmte Objekteigenschaften wie Form, Farbe, Textur, Bewegung, usw. repräsentieren können. Bildmerkmale können in Kombination mit unterschiedlichen Verfahren der Mustererkennung, wie Template-Vergleich oder maschinelles Lernen, verwendet werden, um die Objektlage (Position, Größe und Rotation) zu bestimmen.

[0004] Die Problematik der Objektdetektion wird durch die gegebene hohe Anzahl von unbekannten objektspezifischen Parametern erheblich erschwert. Diese Unbekannten sind zum Beispiel die Objektlage, variierendes Aussehen des Objekts im Bild oder das Vorhandensein möglicher Verdeckungen. Bei deformierbaren oder artikulierten Objekten, wie zum Beispiel Personen, wird auch die Form eine hohe Variabilität aufweisen. Die Menge aller Unbekannten definiert den Suchraum, welchen ein Detektionsverfahren nach dem gewünschten Objekt durchsuchen muss. Die Suche basiert üblicherweise auf dem Vergleich zwischen Merkmalen. Einerseits werden Referenzmerkmale aus einem oder mehreren Bildern mit Objektbeispielen berechnet, anderseits werden Merkmale aus demjenigen Bild extrahiert, in dem das Objekt detektiert werden soll. Während der Suche werden die Referenzmerkmale mit den zu testenden Bildmerkmalen verglichen und falls eine hohe Ähnlichkeit festgestellt wird, wird das Objekt detektiert. In der Praxis wird meistens eine hohe Detektionsrate, niedrige Fehlalarmrate und Echtzeitfähigkeit gefordert. Diese Bedingungen können durch eine(n) recheneffiziente Extraktion und Vergleich von informativen Merkmalen leichter realisiert werden.

[0005] Aus der US-Patentanmeldung US 2004/0037465 A1 ist ein Kantendetektionssystem und ein Kantendetektionsverfahren bekannt, die einen rekursiven Algorithmus zur Erstellung eines Kantenbildes aus einem Eingangsbild verwenden. Das Kantendetektionssystem umfasst einen Polarfilter, um entlang der Kantenkonturen eine rekursive Tiefpassfilterung durchzuführen. Dadurch wird ein Gradientenbild erzeugt. Weiters können Maximalwerte des Gradientenfelds entlang einer Richtung von Gradientenvektoren auf dem Gradienteneingangsbild erkannt werden.

[0006] Ein Kantenpfadsegmentierungsalgorithmus kann die Gradientenpixel zu Gruppen von Kantensegmenten zusammenfassen und ein Kantensegmentklassifizierer kann bestimmen, ob die Kantensegmente Kantenpfade sind. Somit kann ein solches Kantendetektionssystem bevorzugt für medizinische Zwecke eingesetzt werden.

[0007] Ziel der Erfindung ist die Erstellung eines Verfahrens zur Merkmalsextraktion, das die Form beliebiger Objekte auf eine effiziente Weise durch Kantensegmentmerkmale repräsentieren kann und unabhängig von der Größe, Position und Verdrehung des zu detektierenden Objekts niedrigen Rechenaufwand benötigt.

[0008] Diese Ziele werden bei einem Verfahren der eingangs genannten Art erfindungsgemäß mit den im Kennzeichen des Anspruches 1 angeführten Merkmalen erreicht. Mit den erhaltenen Ergebnissen wird sodann das Bilderkennungsverfahren fortgesetzt. Das erfindungsgemäße Verfahren stellt somit eine Stufe bzw. Vorstufe eines Bilderkennungsverfahrens dar.

[0009] Das erfindungsgemäße Verfahren ermöglicht eine effiziente Suche nach Objekten in digitalen Bildern in Echtzeit unabhängig von Position, Größe und Verdrehung des Objektes.

[0010] Eine Reduktion des Rechenaufwandes ergibt sich bei Verwendung der Merkmale der Ansprüche 2, 4 und/oder 6. Der Vergleich der Dichtewerte der Muster mit den ermittelten Dich- 1/8 österreichisches Patentamt AT505 887 B1 2010-05-15 tewerten wird mit den Merkmalen der Ansprüche 2, 5, und/oder 8 vereinfacht.

[0011] Die Erfindung betrifft des Weiteren auch einen Datenträger, der dadurch gekennzeichnet ist, dass auf ihm ein Programm zur Ausführung des in den Ansprüchen 1 bis 8 beanspruchten Verfahrens gespeichert ist.

[0012] Im Folgenden wird die Erfindung anhand der Zeichnungen näher erläutert: [0013] Fig. 1a und 1b zeigen die Approximation der Form eines Freiformobjektes durch stückweise lineare Liniensegmente in einem digitalen Bild. Um eine effiziente Extraktion der Konturmerkmale erreichen zu können, müssen die zu suchenden Formen durch Kantensegmente mit diskreter Orientierung approximiert werden. Fig. 1a zeigt eine originale Objektform und Fig. 1b zeigt die Approximation der Konturen gemäß Fig. 1a durch geradlinige Kantensegmente.

[0014] Fig. 2 zeigt ein Beispiel für die zeilenweise Konstruktion von so genannten Integralbil-dern entlang der durch die Formapproximation vorgegebenen Anzahl von Richtungen, die vor allem durch die möglichen diskreten Richtungen in den digitalen Bildern aufgrund der diskreten Pixellagen definiert werden. Längs allen Richtungen und jeweils über das gesamte Gradientenbild erfolgt ein Aufsummieren der Intensitätswerte eines Gradientenbildes und Einträgen der für die einzelnen Pixel ermittelten kumulativen Summenwerte zur Bildung einer entsprechenden Anzahl von Integralbildern. Fig. 2 zeigt auch Beispiele, wie durch die Differenz der Intensitätswerte B-A im Integralbild die Summe der Intensitäten für die grau markierten bzw. zwischen B und A liegenden Pixel in dem ursprünglichen Gradientenbild ergibt.

[0015] Fig. 3 zeigt die Berechnung von Linienintegralen bzw. Intensitätssummen entlang den durch ein Musterobjekt vorgegebenen Kantensegmenten, das in Fig. 3 rechts dargestellt ist. Das Musterobjekt besteht aus drei geradlinigen Kantenstücken. Das Vorhandensein der einzelnen Kantenstücke wird mit Hilfe eines Satzes von Integralbildern, die für unterschiedliche diskrete Richtungen erhalten wurden, geprüft. Die Richtungen, für die die Integralbilder erstellt wurden, entsprechen den Richtungen der Kantensegmente im Muster.

[0016] Fig. 4 zeigt die Bestimmung von Linienintegralen (Summe der Gradientenintensitäten) entlang den Richtungen, die den Kantensegmenten des Musterobjektes entsprechen, so wie dieses rechts in Fig. 4 dargestellt ist. Vier Integralbilder der dargestellten Form reichen aus, um die Merkmale der Kantensegmente entsprechend dem Musterobjekt in acht unterschiedlich gedrehten Lagen zu berechnen, wobei die Position und Größe des Objekts beliebig sein kann.

[0017] Die Durchführung der effizienten Merkmalsextraktion wird anhand eines Beispielobjektes einer Personensilhouette erklärt. Fig. 1a zeigt ein, insbesondere in digitaler Form vorliegendes, Bild, insbesondere Gradientenbild, mit den wichtigsten Kanten oder Bildgradienten eines Fußgängers. Um eine Ähnlichkeit zwischen den Kantensegmenten eines Referenzmodells und des Bildes feststellen zu können, müsste man normalerweise alle Pixelintensitäten entlang der Kanten des Referenzmodells einzeln aufsummieren, um festzustellen, ob ähnliche Kantensegmente im Bild vorhanden sind. Die Anzahl der notwendigen Rechenoperationen ist durch N-1 Additionen gegeben, wobei N-1 die Anzahl der Kantenpixel ist. Die Anzahl der notwendigen Operationen kann durch die erfindungsgemäße Vorgangsweise wesentlich reduziert werden, wogegen das Endergebnis der Objektsuche ähnlich bleibt.

[0018] Bei der Durchführung des erfindungsgemäßen Merkmalsextraktion-Verfahrens werden zuerst, wie in Fig. 1b dargestellt, die Kanten des Referenzmodells durch geradlinige Kantensegmente ersetzt. Um eine effiziente Summation der Pixelintensitäten entlang der Kontur zu gewährleisten und wegen der diskreten Natur digitaler Bilder, werden für die vorzugebende Orientierung der Kantensegmente diskrete Werte vorgegeben. Vorteilhaft ist es, wenn zumindest eine dieser vorgegebenen Richtungen mit einer der Koordinatenachsen des Bildes einen Winkel von etwa 0°, 26,6°, 45°, 63,4° oder 90° einschließt.

[0019] Anhand des Bildes, in dem die Suche nach dem Muster erfolgen soll, wird ein digitales Gradientenbild erstellt. Die effiziente Berechnung der Summen von Pixelintensitäten entlang einzelner Kantensegmente bzw. Richtungen wird daraufhin mit Hilfe von so genannten Integralbildern realisiert. Integralbilder, wie sie z.B. aus der US 2002102024 A1 bekannt sind, sind auch 2/8 österreichisches Patentamt AT505 887B1 2010-05-15 unter den Namen „Summed Area Table" z.B. aus der WO 9963489 A1 und der US 6031934 A1 bekannt. Integralbilder sind eine tabellierte Form von kumulativen Summen von Pixelintensitäten reihenweise berechnet entlang bestimmten Richtungen im Gradientenbild. Das heißt, dass das Integralbild ein Bild ist, in dem der Pixelwert an der Stelle (x, y) die Summe von Intensitäten zwischen dem Pixel am Reihenanfang und dem Endpixel (x, y) repräsentiert.

[0020] Abb. 2 zeigt das Grundkonzept für die Konstruktion von Integralbildern für einige vorgegebene bzw. diskrete Richtungen in einem digitalen Bild. Die diskreten Richtungen sind durch die diskrete Auflösung eines digitalen Bildes gegeben. Die Zeilen des Integralbildes für eine gegebene Richtung Θ werden aus einem Gradientenbild durch zeilenweise Aufsummierung aller Pixelwerte errechnet, wobei das Aufsummieren aller Pixelwerte sehr schnell, rekursiv erfolgen kann. Es ist vorgesehen, dass für das Gradientenbild eine Anzahl von diskreten Richtungen vorgegeben wird, indem ein Integralbild des Gradientenbildes erstellt wird, indem für jede dieser Richtungen jeweils über das gesamte Gradientenbild längs der jeweiligen Richtung eine kumulative Summation bzw. sequentielle Aufsummierung der Intensitätswerte der längs der jeweiligen Richtung liegenden, aufeinanderfolgenden Pixel vorgenommen wird, und die für die jeweiligen Pixel erhaltenen Summen in das jeweilige Integralbild eingetragen werden.

[0021] Im Folgenden wird die Summe der Intensitäten im Integralbild längs einer Richtung für eine vorgegebene Strecke, z.B. der Strecke B-A, durch eine Subtraktion des End- und des Anfangswertes der Strecke im Integralbild berechnet, wie es in Abb. 2 beispielsweise für die Punkte A und B dargestellt ist. Die Differenz der akkumulierten Intensitätswerte der Pixel A und B entspricht der Summe der Intensitäten aller grau markierten Pixel im Gradientenbild. Für andere Richtungen (z.B. Θ = 26,6°, 45°, 63,4°) wird die Summenberechnung gleichartig durchgeführt.

[0022] Für jede diskrete Richtung wird ein Integralbild berechnet. Mit Hilfe eines Satzes von Integralbildern, erstellt durch entsprechendes Aufsummieren entlang der vorgegebenen Richtungen, jeweils über das gesamte Integralbild, können entlang der Kantensegmente eines hypothetischen Bildobjekts (Fig. 1b) die Summen der Pixelintensitäten effizient bestimmt werden. Die Anzahl der notwendigen Operationen ist eine Rechenoperation pro Kantensegment gegeben durch die einfache Subtraktion zwischen den End- und Anfangsintensitätswerten, unabhängig von der Position und Größe des Objekts im Integralbild. Der konstante Rechenaufwand ist gegeben durch die Tatsache, dass die Berechnung der Summe der Intensitäten für alle beliebige Stellen im Bild und unabhängig von der Länge der Kantensegmente immer durch eine Subtraktion zu rechnen ist. Fig. 3 rechts zeigt ein Musterobjekt, das im digitalen Bild gefunden werden soll, und zwar einen Pfeil mit drei Kanten A, B und C. Den diskreten Richtungen von A, B und C entsprechend werden drei Integralbilder berechnet, in denen die Summen der Pixelintensitäten entlang dieser Richtungen akkumuliert werden.

[0023] In Fig. 3 links sind die Integralbilder dargestellt bzw. die Richtungen angegeben, die zur kumulativen Summation bzw. Berechnung der Intensitätssummen entlang den Kanten A, B, und C verwendet werden. Der Vorteil hinsichtlich Rechenkomplexität entsteht dadurch, dass die Integralbilder nur einmal berechnet werden müssen und des Weiteren nur drei Rechenoperationen benötigt werden, um für eine Objektposition und Größe die Anwesenheit von Kanten im Bild zu prüfen.

[0024] Die Integralbilder können effizient rekursiv berechnet werden, weil kumulative Summen eine konsekutive Addition darstellen, bei der jeder neu berechnete Wert aus der Summe des früheren Werts und eines neuen Intensitätswerts besteht.

[0025] Das erfindungsgemäße Verfahren ermöglicht noch, dass Integralbilder, die für einen Satz von diskreten Orientierungen errechnet sind, für die Detektion unterschiedlich rotierter Musterobjekte verwendet werden können. Fig. 4 demonstriert diese Eigenschaft des Verfahrens. Rotationen um diskrete Schritte erzeugen wiederum Kantensegmente, die einer der vorgegebenen diskreten Orientierungen entsprechen. Das Musterobjekt wurde um ein Mehrfaches von n/4 gedreht und acht neue mögliche Musterlagen wurden generiert (Fig. 4 rechts). Für die Bestimmung der Summen der Intensitäten entlang den Kanten dieser Objekte werden vier 3/8

Claims (9)

1. österreichisches Patentamt AT505 887B1 2010-05-15 Integralbilder benötigt. Die einzelnen Kantensegmente sind schematisch in den Integralbildern eingezeichnet, die Differenzen der Werte an den Kanten-Endpunkten liefern die Summen der Intensitäten. [0026] Für den praktischen Einsatz des erfindungsgemäßen Verfahrens kann auch eine Vielzahl von Orientierungen eingesetzt werden, z.B. zwölf diskrete Orientierungen; der Rechenaufwand bleibt aber signifikant unter dem Rechenaufwand einer direkten Evaluierung, bei der die Intensitätswerte jedes Pixels ausgelesen und aufsummiert werden müssen. [0027] Bei der erfindungsgemäßen Vorgangsweise ist ferner vorgesehen, dass für die, insbesondere für eine vorgegebene Anzahl von, längs den jeweiligen Richtungen liegende Pixel die Differenz der Intensitätswerte im Integralbild gebildet wird und durch Division des jeweiligen Differenzwertes durch den Abstand der jeweiligen beiden Pixel normierte Dichtewerte ermittelt werden. Damit kann eine vorgegebene Anzahl der größten Dichtewerte als Kanten- bzw. Kontursegmente und als repräsentativ für das digitale Bild angesehen und zum Vergleich mit vorgegebenen Mustern von diskreten Kanten- bzw. Kontursegmenten herangezogen werden. [0028] Diese Dichtewerte können rasch durch entsprechende Differenzbildung in den Integralbildern ermittelt werden und werden mit den Dichtewerten der Kanten- bzw. Kontursegmente der als Muster vorgegebenen Bilder von diskreten Kanten- bzw. Kontursegmenten verglichen. Es ist vorgesehen, dass für den Vergleich Muster von diskreten Kanten bzw. Kontursegmenten herangezogen werden, die für die selben diskreten Richtungen ermittelt wurden wie die von den aufgenommenen jeweiligen Integralbildern abgeleiteten Dichtewerte. Die Dichtewerte, die von dem Muster vorgegeben werden, werden mit den ermittelten Dichtewerten verglichen. Vorteilhafter Weise wird für jede der einzelnen Richtungen eine Mehrzahl von besten, normierten Dichtewerten ermittelt und zum Vergleich mit den durch das Muster vorgegebenen Dichtewerten herangezogen. Bei Feststellung einer Übereinstimmung bzw. Erfüllung eines Vergleichskriteriums werden die in dem Integralbild festgestellten Dichten und die zugehörigen Kantensegmente als den Kantensegmenten des Musterobjektes entsprechend gewertet und allenfalls für eine weitere Auswertung herangezogen. [0029] Eine Reduktion des Rechenaufwandes kann zusätzlich erreicht werden, wenn aus dem Gradientenbild, insbesondere Kantenbild, ein Kantenorientierungsbild abgeleitet wird, dessen Pixel die Orientierung der Gradienten an einem Pixel des digitalen Bildes zu entnehmen ist und bei Stellung der jeweiligen Integralbilder nur Pixel berücksichtigt werden, die einer vorgegebenen Orientierung entsprechen. Wenn die Lage der Kantensegmente annähernd bekannt ist, können für die Errichtung des Integralbildes Pixel ausgeschieden werden, die Kantenorientierungen zugeordnet sind, die mit den gesuchten Kantenrichtungen nicht übereinstimmen. [0030] Sofern die längs der jeweiligen Orientierung, z.B. 26,6°, liegenden Pixel von dieser Richtung etwas abweichen (Fig. 2), so ist es zweckmäßig, wenn bei der sequentiellen Aufsummierung der Pixel die Intensitäten der innerhalb eines vorgegebenen seitlichen Abstandes zum jeweiligen Richtungsvektor liegenden Pixel aufeinanderfolgend aufsummiert werden. Patentansprüche 1. Verfahren zur Extraktion von Kanten- bzw. Kontursegmenten aus einem digitalen Bild im Zuge der bildoptischen Erkennung und Detektion von Objekten, wobei das digitale Bild in ein Gradientenbild, insbesondere Kantenbild, übergeführt wird, dadurch gekennzeichnet, - dass für das Gradientenbild eine Anzahl von diskreten Richtungen vorgegeben wird, - dass mehrere Integralbilder des Gradientenbildes erstellt werden, indem für jede dieser Richtungen jeweils über das gesamte Gradientenbild längs der jeweiligen Richtung eine kumulative Summation bzw. sequentielle Aufsummierung der Intensitätswerte der längs der jeweiligen Richtung liegenden, aufeinanderfolgenden Pixel vorgenommen wird, und die für die jeweiligen Pixel in der jeweiligen Richtung erhaltenen Summen in das jeweilige Integralbild eingetragen werden, 4/8 österreichisches Patentamt AT505 887 B1 2010-05-15 - dass für die, insbesondere eine vorgegebene Anzahl von, längs den jeweiligen Richtungen liegenden Pixel die gegenseitigen Differenzen der Intensitätswerte im jeweiligen Integralbild gebildet werden, - dass durch Division der jeweiligen Differenzwerte durch den Abstand des jeweiligen Anfangs- und Endpixels normierte Dichtewerte ermittelt werden und - dass eine vorgegebene Anzahl der größten erhaltenen Dichtewerte als Kanten- bzw. Kontursegmente und als repräsentativ für das digitale Bild angesehen und zum Vergleich mit den Dichtewerten von vorgegebenen Mustern von diskreten Kanten- bzw. Kontursegmenten herangezogen wird.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Bildung der Differenzen der Intensitätswerte diese Differenzwerte nur für Pixel gebildet werden, deren gegenseitiger Abstand innerhalb eines vorgegebenen Bereiches liegt.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zumindest eine, vorzugsweise eine Mehrzahl, der vorgegebenen Richtungen mit einer der Koordinatenachsen des Gradientenbildes einen Winkel von etwa 0°, 26,6°, 45°, 63,4° oder 90° einschließt.
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zur Bildung der Differenzen der Intensitätswerte zwischen zwei Pixeln die im Integralbild kumulierten Intensitätswerte des Anfangs- und Endpixels subtrahiert werden.
5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für den Vergleich Muster von diskreten Kanten bzw. Kontursegmenten herangezogen werden, die für die selben diskreten Richtungen ermittelt wurden wie die von den jeweiligen Integralbildern abgeleiteten Dichtewerte.
6. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass aus dem Gradientenbild, insbesondere Kantenbild, ein Orientierungsbild abgeleitet wird, dessen Pixel die Gradientenorientierung der Pixel des digitalen Bildes enthalten und dass bei Erstellung der jeweiligen Integralbilder nur Pixel berücksichtigt werden, die einer vorgegebenen Orientierung entsprechen.
7. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass bei der sequentiellen Aufsummierung der Pixel die Intensitäten der innerhalb eines vorgegebenen seitlichen Abstandes zum jeweiligen Richtungsvektor liegenden Pixel aufeinanderfolgend aufsummiert werden.
8. 8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die für die Ermittlung der Integralbilder vorgegebenen Orientierungen den Orientierungen der Kanten-bzw. Kantensegmente im Musterobjekt entsprechen.
9. 9. Datenträger, dadurch gekennzeichnet, dass auf ihm ein Programm zur Ausführung des in den Ansprüchen 1 bis 8 beanspruchten Verfahrens gespeichert ist. Hierzu 3 Blatt Zeichnungen 5/8