DE102005062154A1 - Erzeugung großer realistischer Trainingsproben für Klassifikatoren aus wenigen Beispielen - Google Patents

Abstract

Die Erzeugung leitungsfähiger Klassifikatoren in der Bildverarbeitung verlangt nach einer Vielzahl zu lernender Beispiele. Die Beschaffung dieser Beispiele gestaltet sich meist sehr aufwendig. Um den Aufwand zu umgehen, werden zur Erzeugung von ein Objekt repräsentierenden Musterdatensätzen (Trainings-Muster) zum Training eines Objektklassifikators mittels eines Sensors mehrere n Sätze von Sensordaten des Objekts und/oder von einem mit dem Objekt vergleichbaren Alternativobjekt erzeugt. Anschließend werden die n Sätze von Sensordaten in zum Training des Objektklassifikators geeignete n Musterdatensätze M¶obs¶ (Echt-Muster) transferiert. Des Weiteren wird eine ideale Repräsentation des Objekts in einen dem Format des Echt-Musters entsprechenden Musterdatensatz M¶ideal¶ (Ideal-Muster) transferiert. Die Transformationsfunktion T(PHI) zwischen den Echt-Mustern und dem Ideal-Muster wird sodann ermittelt. Hierzu wird jeweils zu den n Sätzen von Echt-Mustern in Bezug auf das Ideal-Muster deren Transformationsfunktion bestimmt, um auf Basis dieser n Transformationsfunktionen die Wahrscheinlichkeitsdichte p(PHI) der einzelnen Parameter PHI zu bestimmen. Auf Basis der Variation der Parameter PHI der Transformationsfunktion T(PHI) unter Beachtung der Wahrscheinlichkeitsdichten p(PHI) werden nun aus dem Ideal-Muster neue das Objekt repräsentierende Musterdatensätze M¶train¶ (Trainings-Muster) erzeugt.

Description

• Die Erfindung betrifft ein Verfahren zur Erzeugung großer realistischer Trainingsstichproben für Klassifikatoren aus wenigen Beispielen gemäß dem Oberbegriff des Patentanspruchs 1.
• Die Erzeugung leitungsfähiger Klassifikatoren in der Bildverarbeitung verlangt nach einer Vielzahl zu lernenden Beispielen. Die Beschaffung dieser Beispiele gestaltet sich meist sehr aufwendig. In manchen Fällen wird die große Variabilität der Trainingsstichprobe in erster Linie nicht durch die Variabilität der zu erkennenden Objekte selbst, sondern durch die Variabilität der Aufnahmebedingungen verursacht. Dies ist beispielsweise bei der Erkennung von Verkehrszeichen der Fall. Die Zeichen selbst sind zwar genormt, in der Realität werden allerdings diese „Ideal-Zeichen" durch vielfältige Einflüsse wie zum Beispiel Beleuchtungsrichtung, Helligkeit der Beleuchtung (Fahrzeugscheinwerfer bei Nacht, Sonne bei Tag) in unterschiedlich starker Verwischung (,Motion glur') resultierender Geschwindigkeit des Vorbeifahrens transformiert, so dass die Variabilität der in den vom Fahrzeug aus aufgenommenen Bildern von Verkehrszeichen extrem groß ist. Für einige wenige, häufige Klassen von Verkehrszeichen (z.B.: Geschwindigkeitsbegrenzung 60, 80, 100 oder Überholverbot) können die unterschiedlichen Sicht- und Vorbaifahrtsbedingungen tatsächlich mit angemessenem Aufwand aufgenommen werden, nicht für seltene Zeichen wie zum Beispiel Geschwindigkeitsbegrenzung 15 oder auch für ausländische Verkehrszeichen. Ähnliche ist die Situation bei industriellen Bildverarbeitungsanwendungen; hier sind jedoch die Objekte im allgemeinen durch CAD-Modelle definiert und die äußeren Bedingungen wie zum Beispiel die Beleuchtung sind bekannt und meist wendig variabel.
• Eine übliche Vorgehensweise bei der Generierung großer Trainingsstichproben besteht darin, die vorhandenen Beispiele leicht zu verschieben, in ihrer Helligkeit zu verändern, Rauschen hinzuzufügen, zu verzerren, zu drehen oder zu spiegeln, solange sich hierbei weiterhin Beispiele ergeben, die für die entsprechende Klassen von Mustern gültig sind (bspw.: C. Wöhler, Neuronale Zeitverzögerungsnetzwerke für die Bildsequenzanalyse und ihre Anwendung in fahrzeuggebundenen Bildverarbeitungssystemen, Dissertationsschrift, Math.-Naturw. Fakultät der Rheinsichen Friedrich-Wilhelms-Universität Bonn, 2000, VDI-Fortschrittberichte, Reihe 10, Nr. 645, VDI-Verlag, Düsseldorf, 2000).
• In Szenarien der industriellen Bildverarbeitung ist es oftmals möglich, unter Verwendung von CAD-Modelldaten der zu erkennenden Objekte und unter Berücksichtigung der Beleuchtungsbedingungen sowie der als bekannt angenommenen Reflexionseigenschaften der Objektoberfläche realistische virtuelle Trainingsstichproben zu erzeugen (bspw.: A. Kuhl, L. Krüger, C. Wöhler, U. Kressel, Training of Classifiers Using Virtual Samples Only, Int. Conf. on Pattern Recognition, vol. III, pp. 418-421, Cambridge, UK, 2004). Das hierzu notwendige entsprechende Modellwissen ist allerdings nicht immer verfügbar.
• Um zu möglichst realistischen Trainingsdaten zu gelangen, wird von Heigl, Niemann et al. vorgeschlagen, vorzugsweise mittels eines Referenzkörpers, die Reflektionseigenschaften eines Körpers und dessen im Umfeld für eine Mehrzahl von Beleuchtungsbedingungen (Beleuchtungsstärke und -richtung) zu erfassen. Die so ermittelten Reflektionseigenschaften werden sodann mittels eines Beleuchtungsmodells beliebige andere dreidimensionale Körper übertragen, um so deren Erscheinungsbild unter den jeweiligen Beleuchtungsbedingungen zu simulieren (B. Heigel, J. Denzler, H. Niemann, On the application of light field reconstruction for statistical object recognition, Europ. Signal Proc. Conf. Rhodos, 1998, pp. 1101-1105 oder H. Niemann et al., The SFB 603 – Model Based Analysis and Visualisation of Complex Scenes and Sensor Data, Lecture Notes in Computer Science, Springer Verlag, 1998, pp. 319-328). Die auf diese Weise erzeugten Trainingsdaten weisen jedoch eine signifikant schlechtere Erkennungsrate auf, wie dies bei der Klassifikation mittels real aufgenommener Bilddaten der Fall ist.
• Eine weitere Möglichkeit besteht in der Erzeugung von Merkmalssätzen, die gegenüber bestimmten Transformationen invariant sind. Ein Beispiel ist die Beschreibung einer Objektkontur durch rotationsinvariante Fourierdiskriptoren (bspw.: B. Jähne, Digitale Bildverarbeitung, Springer-Verlag, Berlin, Heidelberg, 2002). Diese Vorgehensweise erweitert die Gültigkeit der vorhandenen Trainingsbeispiele.
• Es ist allerdings nicht möglich, zuverlässig auf einem der bekannten Wege aus einer geringen Anzahl von Trainingsbeispielen eine große Anzahl realistischer neuer Trainingsbeispiele zu generieren. Als Konsequenz ergibt sich eine geringe Leistungsfähigkeit des Klassifikators insbesondere für die selten auftretenden Objekte.
• Aufgabe der Erfindung ist es deshalb, ein Verfahren zu finden, mittels welcher auch für selten auftretende Objekte eine große Anzahl realistischer Trainingsbeispiele generiert werden können.
• Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.
• Zur Erzeugung von ein Objekt repräsentierenden Musterdatensätzen (Trainings-Muster) zum Training eines Objektklassifikators werden mittels eines Sensors mehrere n Sätze von Sensordaten des Objekts und/oder von einem mit dem Objekt vergleichbaren Alternativobjekt erzeugt. Anschließend werden die n Sätzen von Sensordaten in zum Training des Objektklassifikators geeignete n Musterdatensätze M_obs (Echt-Muster) transferiert. Des Weiteren wird eine ideale Repräsentation des Objekts in einen dem Format der Echt-Musters entsprechenden Musterdatensatz M_ideal (Ideal-Muster) transferiert. Die Transformationsfunktion T(Φ) zwischen den Echt-Mustern und dem Ideal-Muster wird sodann entsprechend Mobs = T(Φ)Mideal Gl.(1)ermittelt. Hierzu wird jeweils zu den n Sätzen von Echt-Mustern in Bezug auf das Ideal-Muster deren Transformations funktion bestimmt, um auf Basis dieser n Transformationsfunktionen die Wahrscheinlichkeitsdichte p(Φ) der einzelnen Parameter Φ zu bestimmen. Auf Basis der Variation der Parameter Φ der Transformationsfunktion T(Φ) unter Beachtung der Wahrscheinlichkeitsdichten p(Φ), werden nun aus dem Ideal-Muster neuen das Objekt repräsentierende Musterdatensätze M_train (Trainings-Muster) erzeugt, entsprechend Mtrain = T(Φ)Mideal Gl.(2)
• In besonders vorteilhafter Weise wird also ein beobachtetes Trainingsmuster M_obs als ein mittels einer Transformationen T(Φ) modifiziertes Idealmuster M_ideal (z.B. Norm-Verkehrszeichen aus der Straßenverkehrsordnung, insb. §§ 39-42 StVO oder ein anhand eines CAD-Modells generiertes Bild) betrachtet, wobei sich die (gegebenenfalls nichtlineare) Transformationen T(Φ) beispielsweise durch geometrische, photometrische und dynamische Einflüsse, beschreiben lassen.
• Beispiele für die Transformation T(Φ) sind Transformationen, wie zum Beispiel affine oder projektive Transformation, die durch unterschiedliche Betrachtungsperspektiven bedingt sind, photometrische Transformationen, wie zum Beispiel Glanz- und Schattierungseffekte, und Bewegungseinflüsse, wie zum Beispiel die Verzerrung des Objekts durch Bewegungsunschärfe. Hinzu kommen kameraspezifische Parameter beispielsweise eine nicht-lineare Kennlinie bei hochdynamischen Bildsensoren oder die Modulationsübertragungsfunktion (MTF) des verwendeten Objektivs.
• Bevorzugt werden die Parameter Φ der Transformation T(Φ) für jedes Trainingsbeispiel so gewählt, dass das beobachtete Muster M_obs und das transformierte Idealmuster T(Φ)M_ideal möglichst ähnlich sind. Um dies zu erreichen bietet sich beispielsweise die Minimierung des Ausdrucks |Mobs – T(Φ)Mideal|2 Gl.(3)mittels hierzu geeigneter und bekannter Optimierungsverfahren im Raum der Transformationsparameter an; zum Beispiel das Verfahren des Gradientenabstiegs oder Gauß-Newton- oder Levenberg-Marquardt-Verfahren.
• In einigen Szenarien, wie beispielsweise dem der Verkehrszeichenerkennung, besteht der Vorteil der Beschreibung der Transformation T(Φ) darin, dass die Verteilung der die Transformation beschreibenden Parameter Φ für alle Objektklassen als identisch angenommen werden kann. Aus diesem Grunde ist es somit möglich, die Parameter Φ dieser Transformation T(Φ) und ihre Wahrscheinlichkeitsdichte p(Φ) einfach aus häufig auftretenden Objektklassen (beispielsweise: „Geschwindigkeitsbeschränkung auf 80 km/h") zu lernen und auf die seltenen auftretenden Objektklassen (beispielsweise: „Geschwindigkeitsbeschränkung auf 30 km/h") zu übertragen und diese somit zu lernen. Ausgehend von den die seltenen Objektklassen repräsentierenden Idealmuster M_ideal kann dann entsprechend Gleichung 1 durch zufälliges Erzeugen von Parametersätzen Φ, auf Basis der bei den häufig auftretenden Objektklassen gelernten Wahrscheinlichkeitsdichte p(Φ) eine sehr große Anzahl von realistischen virtuellen Trainingsmustern erzeugt werden, die den beobachteten Beispielen dieser Objektklassen sehr ähnlich sind.
• Ein weiterer Vorteil der Darstellung gemäß der Gleichung (1) besteht zudem darin, dass die Transformation T(Φ) oft durch wenige, oft nur einige 10, Parameter beschreiben werden kann. Es ist somit im Gegensatz zur Verwendung der Trainingsbilder selbst, lediglich eine geringe Anzahl von Trainingsstichproben notwendig, um die Wahrscheinlichkeitsverteilung p(Φ) mit hinreichender Signifikanz zu bestimmen. Auf diese vorteilhafte weise kann die Anpassung des Erkennungssystems an zusätzliche Erkennungsaufgaben bei gleich bleibender Aufnahmeanordnung anhand von Einzelbeispielen, CAD-Daten oder anderen Ideal-Bildvorlagen geschehen. Das aufwendige Sammeln einer großen Anzahl neuer Trainingsstichproben kann entweder ganz entfallen oder ist nur noch in stark reduziertem Umfang notwendig.

Claims (4)

1. Verfahren zur Erzeugung von ein Objekt repräsentierenden Musterdatensätzen (Trainings-Muster) zum Training eines Objektklassifikators, bei welchem mittels eines Sensors mehrere n Sätze von Sensordaten des Objekts und/oder von einem mit dem Objekt vergleichbaren Alternativobjekt erzeugt werden, bei welchem diese n Sätze von Sensordaten in zum Training des Objektklassifikators n geeignete Musterdatensätze M_obs(Echt-Muster) transferiert werden, bei welchem eine ideale Repräsentation des Objekts in einen dem Format der Echt-Musters entsprechenden Musterdatensatz M_ideal (Ideal-Muster) transferiert wird, bei welchem die Transformationsfunktion T(Φ) zwischen den Echt-Mustern und dem Ideal-Muster entsprechend Mobs = T(Φ)Mideal ermittelt wird, wozu jeweils zu den n Sätzen von Echt-Mustern in Bezug auf das Ideal-Muster deren Transformationsfunktion bestimmt wird, um auf Basis dieser n Transformationsfunktionen die Wahrscheinlichkeitsdichte p(Φ) der einzelnen Parameter Φ zu bestimmen, und bei welchem auf Basis der Variation der Parameter der Transformationsfunktion T(Φ) unter Beachtung der Wahrscheinlichkeitsdichten p(Φ), aus dem Ideal-Muster neuen das Objekt repräsentierende Musterdatensätze (Trainings-Muster) erzeugt werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ideal-Muster aus mittels CAD generierten synthetischen Bildern oder aus Bildtabellen (beispielsweise, §§ 39-42 StVO) hergeleitet werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Transformationsfunktion zwischen den n Sätzen Echt-Mustern und dem Ideal-Muster mittels eines Optimierungsverfahrens bestimmt wird.
4. Verfahren nach Patentanspruch 3, dadurch gekennzeichnet, dass es sich bei dem Optimierungsverfahren um ein Gradienten-Abstiegsverfahren oder einem Optimierungsverfahren nach Gaus-Newton oder Levenberg-Marquardt handelt.