DE19516664C1

DE19516664C1 - Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit zur Klassifikation von Bildpunkten in einem Bild

Info

Publication number: DE19516664C1
Application number: DE19516664A
Authority: DE
Inventors: Christoph Maggioni
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1995-05-05
Filing date: 1995-05-05
Publication date: 1996-08-29
Anticipated expiration: 2015-05-06
Also published as: JPH08322033A; US5828779A

Description

In vielen Bereichen der Bildverarbeitung, z. B. in dem Be reich der Videokonferenzen, ist es nötig, Objekte sehr schnell und einfach zu erkennen und diese Objekte mit mög lichst wenig unwichtiger bzw. redundanter Information weiter zuverarbeiten. Ein Objekt kann im Bereich von Videokonferen zen z. B. der Kopf eines Gesprächsteilnehmers sein. In ande ren Anwendungsgebieten der Bildverarbeitung kann es auch vor teilhaft sein, andere Objekte bzw. z. B. andere Körperteile zu erkennen und weiterzuverarbeiten. Eine mögliche Anwendung von einzelnen erkannten Objekten in einem Bild ist die Steue rung von virtuellen Objekten durch die Bewegung von Körper teilen.

In diesem Anwendungsgebiet werden häufig Farbtabellen oder Farbhistogramme verwendet. Die Farbtabellen müssen eine sehr einfache, den weiteren Anwendungen entsprechende Struktur aufweisen.

Verschiedene Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit sind bekannt (DE 36 39 636 A1, H. Ernst, Maschinelles Sehen, Europa Fachpresse Verlag GmbH, München, S. 121 bis 125, 1990; ELEKTRONIK 13/1988, S. 61 bis 66; Siemens-Forschungs- und Entwicklungs-Bereich, Band 13, Nr. 1, S. 28 bis 32, 1984).

Es ist ein Verfahren zur Erkennung der räumlichen Lage und Drehlage von in geeigneter Weise markierten Objekten bekannt (WO 95/04977 A1). Der Nachteil dieses Verfahrens ist, daß dieses Verfahren eine Markierung benötigt, die auf dem zu er kennenden Objekt aufgebracht werden muß.

Ein Verfahren zur Auflösung von Clustern bewegter Segmente ist bekannt (EP 0 564 858 A2).

Weiterhin ist ein Verfahren zur Verfolgung von Bewegungen einer menschlichen Hand in einer zeitlichen Folge digitaler Farbbilder bekannt (DE 43 39 161 A1). Dieses Verfahren weist jedoch den Nachteil auf, daß es gegenüber dem erfindungsgemäßen Verfahren ungenauere Ergebnisse liefert und auch in der Durchführung aufwendiger ist und somit für die Durchführung des Verfahrens eine längere Zeit benötigt wird.

Der Erfindung liegt das Problem zugrunde, in einer Computer einheit eine Farbtabelle zu bilden, anhand der Echtzeitanwen dungen in der Mustererkennung möglich sind.

Das Problem wird durch das Verfahren gemäß Patentanspruch 1 gelöst.

Der Vorteil des erfindungsgemäßen Verfahrens ist vor allem darin zu sehen, daß der Aufbau der Farbtabelle sehr einfach gehalten ist und auch auf der Farbtabelle aufsetzende Anwendungen somit leichter in Echtzeit realisierbar sind. Im folgenden wird das erfindungsgemäße Verfahren weiter erläu tert.

Ein Vorteil einer Verwendung des erfindungsgemäßen Verfahrens ist vor allem darin zu sehen, daß eine Echtzeitverarbeitung ohne Einschränkungen durch vorherige Markierungen von Zielobjekten erreicht wird. Durch die Verwendung einer Farbtabelle, in der für jede durch den Computer darstellbare Farbe jeweils binär enthalten ist, ob die Farbe der Farbe des Zielobjekts entspricht, ist eine sehr schnelle und effiziente Objekterkennung und Segmen tierung möglich. Dadurch werden auch Echtzeitanwendungen, die im weiteren erläutert werden, ermöglicht.

Durch die Möglichkeit der Weiterverarbeitung in Echtzeit ist es möglich, virtuelle Objekte kontaktlos nur durch Körperbe wegungen zu steuern. Die Möglichkeit der kontaktlosen Steue rung von virtuellen Objekten besitzt gegenüber z. B. Verfah ren, die zur Steuerung virtueller Objekte einen sogenannten Datenhandschuh verwenden (T.G. Zimmermann, J. Lanier, C. Blanchard, S. Bryson, Y. Harvell, "A Hand Gesture Interface Device", Proc. ACM CHI+GI Conf. Human Factors in Computing Systems and Graphics Interface, S. 189 bis 192) erhebliche Vorteile. Die Benutzerakzeptanz eines kontaktlosen Steue rungsmechanismus ist höher als bei einem Steuerungsmechanis mus, der von Seiten des Benutzers vor und während der Anwen dung zusätzlicher Aktivitäten bedarf, so muß z. B. der Da tenhandschuh während der Anwendung angezogen sein und stört außerdem den Benutzer in seiner Bewegungsfreiheit. Videokame ras sind außerdem leichter schützbar, sowohl gegen Verschmut zung als auch gegen Zerstörung.

Dadurch, daß der Benutzer nicht beeinträchtigt wird, ist die Verwendung des erfindungsgemäßen Verfahrens in vielen Berei chen des gesellschaftlichen Lebens sehr vorteilhaft einsetz bar.

Es ist z. B. möglich, eine dreidimensionale Präsentation von Objekten, z. B. von Produkten in der Werbung oder in dem Be reich der Architektur, intuitiv für den Benutzer darzustel len. Es wird dem Betrachter durch Verwendung des erfindungs gemäßen Verfahrens ermöglicht, dreidimensionale virtuelle Objekte, die auf einem Bildschirm abgebildet werden, durch Bewegung von Körperteilen aus allen Blickrichtungen zu be trachten.

Diese Eigenschaft ist auch in vielen Gebieten der Wissen schaft vorteilhaft anwendbar. So können z. B. in der Chemie Moleküle dreidimensional visualisiert und von beliebigen Blickrichtungen aus betrachtet werden. Ein weiteres wichtiges Anwendungsgebiet liegt in der Medizin, wo es sehr vorteilhaft ist, dreidimensionale Bilder, wie sie z. B. durch Computerto mographie zur Verfügung gestellt werden, intuitiv, nur durch Körperbewegung aus verschiedensten Blickrichtungen betrachten zu können. Auch die Steuerung entfernter Kameras, sowohl vir tueller als auch realer Kameras, birgt Vorteile, z. B. bei der Überwachung von Gebäuden oder bei der Steuerung von Kame ras, die am Heck von Lastkraftwagen angebracht sind, um ein Rückwärtsrangieren zu ermöglichen, in sich. Auch Videospiele können benutzerintuitiver und spannender gestaltet werden.

Bei der Verwendung des erfindungsgemäßen Verfahrens im Be reich von Videokonferenzen kann die benötigte Übertragungska pazität eingespart werden, da nur die wirklich benötigte In formation für eine Videokonferenz, also in diesem Zusammen hang das umschreibende Rechteck des Kopfes des Kommunikati onspartners übertragen wird.

Durch die Weiterbildung des erfindungsgemäßen Verfahrens ge mäß Patentanspruch 5 wird eine stabilere Klassifikation des Zielobjekts bzw. der Zielobjekte erreicht.

Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Ein bevorzugtes Ausführungsbeispiel der Erfindung und vor teilhafte Verwendungen des erfindungsgemäßen Verfahrens sind in den Zeichnungen dargestellt und werden im folgenden näher beschrieben.

Es zeigen

Fig. 1 eine Skizze, in der ein Muster dargestellt ist, das zur Kalibrierung der Kamera verwendet werden kann;

Fig. 2 eine Skizze, die die Geometrie der virtuellen Holo graphie darstellt;

Fig. 3 eine Skizze, in der eine vorteilhafte Verwendung des erfindungsgemäßen Verfahrens im Bereich der Medizin dargestellt ist;

Fig. 4 eine Skizze, in der eine weitere vorteilhafte Verwen dung des erfindungsgemäßen Verfahrens in dem Gebiet der dreidimensionalen Produktpräsentation beschrieben ist.

Anhand der Fig. 1 bis 4 wird das erfindungsgemäße Verfah ren und Verwendungen des erfindungsgemäßen Verfahrens weiter erläutert.

In einem ersten Schritt muß das System, also die die Zielob jekte aufnehmenden Kameras und die Computereinheit zum Erken nen der Zielobjekte sowohl den Lichtverhältnissen als auch der Farbe des zu erkennenden Zielobjekts bzw. der zu erken nenden Zielobjekte angepaßt werden.

In Fig. 1 ist ein Muster dargestellt zur Kalibrierung der Kamera. Das Bild wird von der Kamera bzw. den Kameras aufge nommen und ein bekannter Algorithmus zur Merkmalsextraktion berechnet die geometrischen Eigenschaften der Kamera, z. B. die Kameraverstärkung, die Verschlußgeschwindigkeit der Kame ra, der Weißabgleich und die Farbsättigung durch Messen von Farbwerten bestimmter Muster, wie z. B. in Fig. 1 darge stellt.

Die Anpassung des Systems an die Hautfarbe des Benutzers kann z. B. durch Bildung von Farbhistogrammen (R. Schuster, S. Ahmad, "Modellbasierte Beschreibung von Farbhistogrammen und Segmentation von Farbbildern", DAGM-Symposium 1993, Informatik aktuell "Mustererkennung 1993", Springer-Verlag, Seiten 305-312) er folgen. Eine weitere Möglichkeit zum bevorzugten Aufbau einer Farbtabelle wird im folgenden beschrieben. Die im folgenden beschriebene Vorgehensweise hat gegenüber den bekannten Ver fahren zum Aufbau von Farbhistogrammen einen erheblichen Ge schwindigkeitsvorteil. Ein weiterer Vorteil liegt in einer erheblichen Verbesserung des Segmentationsergebnisses.

Die Farbtabelle wird mit Unterstützung des Benutzers er stellt. Die Unterstützung des Benutzers besteht darin, daß er auf einem von einer Kamera aufgenommenen Bild, auf dem sich das Zielobjekt oder die Zielobjekte befinden, das Zielobjekt markiert. Diese Markierung kann z. B. durch einen Mausklick oder auch bei einem Touchscreen durch einfaches Antippen des Zielobjekts auf dem Touchscreen geschehen.

Im folgenden wird ohne Einschränkung der Allgemeingültigkeit nur noch ein Zielobjekt zur weiteren Erläuterung des erfin dungsgemäßen Verfahrens angenommen.

Eine Farbtabelle kann auch auf eine Weise erstellt werden, wie sie im folgenden beschrieben wird.

In einem ersten Schritt wird auf interaktive Weise zusammen mit dem Benutzer bestimmt, was als vorgegebene Farbe klassi fiziert werden soll. Hierzu wird durch den Benutzer in einem von einer Kamera aufgenommenen Bild ein Bildbereich markiert, der die vorgegebene Farbe aufweist. Dies kann vorzugsweise dadurch geschehen, daß z. B. bei Klassifikation von Hautfarbe, der Benutzer selbst in dem aufgenommenen Bild auf genommen wird, z. B. die Hand oder Kopf des Benutzers. Die Hand bzw. der Kopf des Benutzers auf dem Bild wird dann von dem Benutzer als Bildbereich markiert, der die vorgegebene Farbe aufweist. Das aufgenommene Bild wird in einer Computer einheit gespeichert und zur Weiterverarbeitung zur Verfügung gestellt.

Hier sind auch andere Vorgehensweisen möglich, z. B. kann auch die Farbe eines Kleidungsstücks als vorgegebene Farbe angegeben werden, indem der Benutzer in dem aufgenommenen Bild z. B. einen Bildbereich markiert, der das Kleidungsstück der vorgegebenen Farbe umfaßt.

Die Markierung kann auf verschiedene Weise erfolgen, sie kann z. B. vorzugsweise durch Verwendung einer Computermaus, der Tastatur, oder allen anderen dem Fachmann bekannten Möglich keiten zur Markierung von in einer Computereinheit zu bear beitenden Bildbereichen erfolgen.

Die Größe des markierten Bildbereichs ist von dem Benutzer frei wählbar.

Die Farbinformation aller durch die Computereinheit darstell baren Farben aus dem verwendeten Farbraum, üblicherweise dem dreidimensionalen R-G-B (Rot-Grün-Blau) Raum wird durch eine Transformation in einen zweidimensionalen Färberaum transfor miert. Durch die Transformation geht keinerlei Farbinformati on verloren.

Die Transformation kann auf verschiedene Weise erfolgen. Vor zugsweise sind folgende Transformationsgleichungen vorgese hen.

Eine erste Transformation besitzt folgenden Aufbau:

Hierbei bezeichnen

- R den Anteil der Farbe Rot an der jeweiligen Farbe,
- G den Anteil der Farbe Grün an der jeweiligen Farbe,
- B den Anteil der Farbe Blau an der jeweiligen Farbe,
- a eine erste Raumkoordinate in dem zweidimensionalen Farb raum, und
- b eine zweite Raumkoordinate in dem zweidimensionalen Farb raum.

Eine zweite Transformation besitzt folgenden Aufbau:

Die Bezeichnungen werden bei der zweiten Transformation und bei einer dritten Transformation in derselben Bedeutung ver wendet wie in der ersten Transformation. Die dritte Transfor mation besitzt folgenden Aufbau:

Es wird jeweils nur eine dieser Transformationen verwendet, um alle von der Computereinheit darstellbaren Farben in den zweidimensionalen Farbraum zu transformieren.

Weitere Transformationen sind dem Fachmann bekannt und können ohne Einschränkung in dem erfindungsgemäßen Verfahren einge setzt werden.

Durch die Transformation wird jedem Punkt in dem dreidimen sionalen Farbraum eindeutig ein Punkt in dem zweidimensiona len Farbraum zugeordnet.

Für den im Vorherigen beschriebenen durch den Benutzer mar kierten Bildbereich wird ein erster Farbmittelwert berechnet, der einen Durchschnittswert aller in dem markierten Bildbe reich vorkommenden Farben repräsentiert. Da eine Farbe in ei ner Computereinheit durch einen Zahlenwert repräsentiert wird, kann die Berechnung z. B. durch Bildung einer Summe über alle Farbwerte jedes in dem markierten Bildbereich sich befindenden Bildpunktes und anschließende Division durch die Anzahl der in dem markierten Bildbereich sich befindenden Bildpunkte erfolgen. Das Ergebnis ist dann der den ersten Farbmittelwert repräsentierender Zahlenwert. Der erste Farb mittelwert wird ebenso durch einen Punkt im zweidimensionalen Farbraum repräsentiert.

Nun wird auf dieselbe im vorigen beschriebenen Weise in dem markierten Bildbereich ein zweiter Farbmittelwert berechnet, wobei ein Anteil von n% der in dem markierten Bildbereich sich befindenden Bildpunkte unberücksichtigt bleibt bei der Berechnung des zweiten Farbmittelwerts. Der Anteil von n% der unberücksichtigten Bildpunkte sind die Bildpunkte, die in dem zweidimensionalen Farbraum am weitesten von dem ersten Farb mittelwert entfernt sind, also jeweils eine Farbe aufweisen, die sich von dem ersten Farbmittelwert am meisten unterschei det.

Diese Nichtberücksichtigung von Farbwerten dient zur Fehler kompensation. Dieses Vorgehen ist sehr vorteilhaft, um z. B. bei der Berechnung von einem die Hautfarbe repräsentierenden zweiten Farbmittelwerts anhand eines markierten Bildbereichs, der durch den Kopf des Benutzers dargestellt wird, Farbunre gelmäßigkeiten, wie z. B. die Augen des Benutzers, die sich auch in dem markierten Bildbereich befinden, auszugleichen.

Die Größe von n, also die Angabe, wieviel % der sich in dem markierten Bildbereich befindenden Farbwerte unberücksichtigt bleiben sollen, ist abhängig sowohl von dem Objekt, anhand dessen der zweite Farbmittelwert gebildet werden soll als auch von der benötigten Genauigkeit des zweiten Farbmittel werts und der zur Verfügung stehenden Rechenleistung. Aus diesem Grund muß die Größe n jeweils an die entsprechende Si tuation angepaßt werden. Die Größe von n kann vorzugsweise in einem Bereich von 5-50 liegen. Das erfindungsgemäße Verfah ren ist nicht beschränkt auf den zweiten Farbmittelwert. Mit derselben Vorgehensweise können mehrere Farbmittelwerte, un ter Verwendung von unterschiedlichen Werten für n, gebildet werden. Eine höhere Anzahl von Farbmittelwerten erhöht die Qualität der später folgenden Klassifikation. Ohne Einschrän kung der Allgemeingültigkeit wird im folgenden nur der zweite Farbmittelwert betrachtet.

Anschließend wird eine beliebige Anzahl von Negativfarbwerten ausgewählt. Unter Negativfarbwerten sind in diesem Zusammen hang Farbwerte zu verstehen, die nicht der vorgegebenen Farbe entsprechen. Vorzugsweise wird mindestens ein die Farbe Weiß repräsentierender Weißpunkt in dem zweidimensionalen Raum als ein Negativfarbwert verwendet. Eine erhöhte Anzahl von Nega tivfarbwerten verbessert die im weiteren beschriebene Klassi fikation aller Farben in eine Farbe, die als der vorgegebenen Farbe zugehörig, d. h. als genügend ähnlich, und in eine der vorgegebenen Farbe nicht ähnlichen Farbe.

Sowohl um den zweiten Farbmittelwert als auch um jeden den jeweiligen Negativfarbwert repräsentierenden Negativfarb punkt, z. B. um den Weißpunkt, wird eine runde, z. B. kreis förmige oder elliptische Region gebildet. Diese Regionen wer den im folgenden als eine Mittelwertregion für den zweiten Farbmittelwert und als Negativfarbregionen für die Regionen um die Negativfarbpunkte bezeichnet.

Die Regionen können beliebige Größe aufweisen, es ist also auch möglich, daß sich Regionen überlappen oder eine Region vollständig eine andere Region umschließt.

Für jeden von der Computereinheit darstellbaren, in den zwei dimensionalen Farbraum transformierten Farbwert, der durch den jeweiligen Farbpunkt repräsentiert wird, wird eine Klas sifikation durchgeführt, ob der jeweilige Farbpunkt als dem vorgegebenen Farbpunkt, der den zweiten Farbmittelwert reprä sentiert genügend ähnlich eingeordnet wird oder ob der jewei lige Farbpunkt als dem vorgegebenen Farbpunkt nicht ähnlich klassifiziert wird.

Die Klassifikation wird in der Weise durchgeführt, daß für jeden von der Computereinheit darstellbaren Farbpunkt ein Lot gefällt wird auf jede Verbindungsgerade des den zweiten Farb mittelwert repräsentierenden vorgegebenen Farbpunkts mit je dem Negativfarbpunkt. Dadurch entstehen genau so viele Lot fußpunkte, darunter ist der Schnittpunkt des jeweiligen Lots mit der entsprechenden Verbindungsgerade zu verstehen, wie Negativfarbpunkte.

Für jeden Lotfußpunkt wird ein erster Abstand berechnet von dem Lotfußpunkt zu dem den zweiten Farbmittelwert repräsen tierenden vorgegebenen Farbpunkt. Der erste Abstand wird mit einem zweiten Abstand verglichen, der den Abstand des ent sprechenden Lotfußpunktes zu dem jeweiligen Negativfarbpunkt darstellt.

Ein Farbpunkt wird dann als dem zweiten Farbmittelwert reprä sentierenden vorgegebenen Farbpunkt genügend ähnlich klassi fiziert, wenn für jeden Lotfußpunkt des Farbpunkts der erste Abstand geringer ist als der zweite Abstand und jeder Lotfuß punkt in der Mittelwertregion liegt.

Das binäre Ergebnis wird in der Farbtabelle gespeichert, die nach Abschluß des im vorigen beschriebenen Verfahrens für je den Farbpunkt in dem zweidimensionalen Farbraum, also für je de von der Computereinheit darstellbaren Farbe einen binären Eintrag enthält.

Die Farbtabelle enthält für jeden Farbwert, der jeweils einen Eintrag in der Farbtabelle eindeutig adressiert, die binäre Information, ob der Farbpunkt als der vorgegebenen Farbe ähnlich klassifiziert wurde oder nicht.

Der Aufbau der Farbtabelle nach dem im vorigen beschriebenen Verfahren ermöglicht eine sehr schnelle Durchführung des er findungsgemäßen Verfahrens, wodurch eine Echtzeitrealisierung verschiedener Verwendungen des erfindungsgemäßen Verfahrens ermöglicht wird, da für einen Farbwert nur ein binärer Wert ausgelesen werden muß, damit bekannt ist, ob der Farbwert als der vorgegebenen Farbe genügend ähnlich klassifiziert wurde.

Nachdem die Farbtabelle gebildet wurde, wird für das gesamte Bild ein beliebiger bekannter Algorithmus zur Kantenverfol gung durchgeführt, beispielsweise ein in (T. Pavlidis, "Algorithms for Graphics and Image Processing", Springer Ver lag, 1982) beschriebenes Verfahren. Mit Hilfe dieses Verfah rens werden in dem Bild Objekte und deren Objektkanten ermit telt, deren Farbe z. B. laut der Farbtabelle als der vorgege benen Farbe ähnlich klassifiziert wurden.

Nachdem das Verfahren auf das Bild angewendet wurde, befindet sich möglicherweise eine Vielzahl von Objekten auf dem Bild, die als das Zielobjekt in Frage kommen.

Aus dieser Vielzahl von Objekten wird nun das Zielobjekt er mittelt anhand bekannter Kennzeichen des Zielobjekts. Die Kennzeichen können z. B. durch die Größe des Zielobjekts oder die Form des Zielobjekts repräsentiert werden.

Abhängig von der vorgesehenen Verwendung des erfindungsgemä ßen Verfahrens kann z. B. noch das geometrische Moment des Zielobjekts berechnet werden, z. B. nach dem in (Bing-Cheng Li und Jun Shen, "Fast Computation of Moment Invariants", Pattern Recognition Vol. 24, No. 8, S. 807 bis 813, 1991) be schriebenen Verfahren.

Die ermittelten Konturen und die Daten über die geometrischen Momente der Zielobjekte können zur Bildverbesserung noch ei nigen Verfahrensschritten unterzogen werden, die z. B. in (CH. Maggioni, "Non Immersive Control of Virtual Environ ments", Proc. Virtual Reality 1994 - Anwendungen und Trends, Stuttgart Feb. 1994, 1994) beschrieben sind.

Anschließend wird für das Zielobjekt ein das Zielobjekt um schreibendes Rechteck ermittelt. Alle Objekte, die die vorge gebene Farbe aufweisen und die sich außerhalb des umschrei benden Rechtecks befinden, werden als dem Hintergrundbild zu gehörig eingeordnet.

Das erfindungsgemäße Verfahren kann verbessert werden, indem zu Beginn des Verfahrens von der Kamera ein Hintergrundbild aufgenommen wird, das dieselbe Szene aufnimmt, wie später, wenn das Zielobjekt in der Szene vorhanden ist. Bei dem Hin tergrundbild ist das Zielobjekt nicht vorhanden.

Das erfindungsgemäße Verfahren wird in diesem Fall auf die Weise verbessert, daß bei der Klassifikation eines Objekts zu dem Zielobjekt das Objekt nur dann als das Zielobjekt klassi fiziert wird, wenn sich das Objekt außerdem nicht auf dem Hintergrundbild befindet.

Wenn das Zielobjekt durch einen Kopf repräsentiert wird, ist das Ergebnis des erfindungsgemäßen Verfahrens z. B. die Posi tion des Kopfes innerhalb des Bildes.

Wenn das Zielobjekt durch eine Hand repräsentiert wird, ist das Ergebnis des erfindungsgemäßen Verfahrens z. B. die Posi tion der Hand innerhalb des Bildes, die Entfernung der Hand zur Kamera, die das Bild aufnimmt, oder die Position der ein zelnen Finger der Hand die z. B. bestimmte Handgesten reprä sentieren.

Durch die Weiterverarbeitung nur des umschreibenden Recht ecks, für das im weiteren z. B. eine Bewegungsschätzung durchgeführt wird, um die Position des umschreibenden Recht ecks und damit des Zielobjekts in einem folgenden Bild zu er mitteln, wird der benötigte Rechenbedarf erheblich reduziert gegenüber bekannten Verfahren.

Das erfindungsgemäße Verfahren kann in mehreren Bereichen des gesellschaftlichen Lebens sehr vorteilhaft eingesetzt werden, da durch das erfindungsgemäße Verfahren die im folgenden be schriebenen Verwendungen in Echtzeit realisiert werden können, was bisher nicht möglich war.

Eine sehr vorteilhafte Verwendung des erfindungsgemäßen Ver fahrens liegt in der dreidimensionalen Präsentation von Pro dukten oder z. B. in Anwendungsgebieten der Architektur, ins besondere bei der Präsentation von virtuellen Räumen. Allge mein kann dieses Verfahren in vielen Gebieten der Virtuall Reality eingesetzt werden. In diesen Verwendungsgebieten kann das auf einen Monitor dargestellte dreidimensionale Produkt oder z. B. auch die Ansicht in einem virtuellen Raum oder die Ansicht eines virtuellen Hauses, nur durch Veränderung der Position eines Körperteils, z. B. des Kopfes oder der Hand eines Betrachters, "von allen Seiten" betrachtet werden.

Bei Verwendung des erfindungsgemäßen Verfahrens zu diesen Zwecken wird eine Kamera in der Nähe des Monitors instal liert, in dem das Produkt präsentiert wird. Die Kamera nimmt z. B. den Kopf oder die Hand des Betrachters auf und klassi fiziert den Kopf oder die Hand oder beides als Zielobjekt. Die von dem erfindungsgemäßen Verfahren gelieferten Werte, also z. B. die Kopfposition des Betrachters, wird als Steuer größe für eine virtuelle Kamera verwendet, die das auf dem Monitor dargestellte virtuelle Objekt aufnimmt. Durch Verän derung der Kopfposition oder durch Bewegung der Hand wird die dreidimensionale Perspektive des dargestellten Objekts verän dert indem die Körperbewegung in Steuergrößen umgesetzt wer den. Qualitative Verbesserung können durch Verwendung von Filtern, z. B. von Tiefpaßfiltern oder/und Hysteresefiltern, zur Filterung der Positionsparameter z. B. des Kopfes oder der Hand. Es ist außerdem vorteilhaft, richtungsabhängige Hy steresefilter zu verwenden. Unter einem richtungsabhängigen Hysteresefilter ist eine Funktion zu verstehen, die zeitlich aufeinanderfolgende, wählbare Koordinaten einer Transformati on unterzieht. Eine Koordinate ist in dem erfindungsgemäßen Verfahren ein fester, wählbarer Punkt innerhalb des Zielob jekts. Beispielsweise wird eine solche Koordinate bei Verwen dung einer Hand als Zielobjekt, durch den Schwerpunkt der Hand oder durch einen Punkt eines Fingers repräsentiert.

Die Transformation für eine Koordinate x_i zum Zeitpunkt i wird vorzugsweise anhand zeitlich vorangegangener Koordina tenwerte x_i-1 und x_i-2 zu den Zeitpunkten i-1 und i-2 durchgeführt nach folgenden Transformationsgleichungen:

falls sgn (x_i-2 - x_i-1) = sgn (x_i-1 - x_i)
dann t = t₁
sonst t = t₂
falls |x_i-1 - x_i|<t
dann x_i = x_i-1
sonst x′_i = x_i.

Hierbei bezeichnen die Werte t₁ und t₂ Hystereseschwellen, die vom Benutzer frei wählbar sind. Hierbei liegt der Wert t₁ in dem Bereich ]0;t₂[.

Der Wert x′_i repräsentiert eine transformierte Koordinate, also das Transformationsergebnis von x_i.

Die Erweiterung des richtungsabhängigen Hysteresefilters auf höhere Dimensionen ist durch Ersetzen der sgn-Funktion, also des Vorzeichenvergleichs, durch eine Berechnung der Bewe gungsrichtungsänderung der mehrdimensionalen Repräsentation der Koordinate x_i ist dem Durchschnittsfachmann geläufig.

Dies wird dadurch erreicht, daß z. B. eine Veränderung der Kopfposition um einen Winkel α von dem erfindungsgemäßen Verfahren, angewendet auf mehrere aufeinanderfolgende Bilder, also eine Bildsequenz, erkannt wird und dieser Winkel skal lierbar die Position der virtuellen Kamera, die das auf dem Monitor dargestellte virtuelle Objekt aufnimmt, um einen Win kel β verändert (vgl. Fig. 2). Die Änderung der Position der virtuellen Kamera an sich ist bekannt und ist eine häufig verwendete Technik z. B. bei dreidimensionalen CAD-Anwendun gen.

Durch das erfindungsgemäße Verfahren wird aber nun eine kon taktlose und benutzerintuitive Steuerung der dreidimensiona len Ansichten eines Objektes möglich.

Das erfindungsgemäße Verfahren kann in ähnlicher Weise auch in verschiedenen Gebieten der Wissenschaft sehr vorteilhaft ein gesetzt werden.

In dem Bereich der Medizin ist vorgesehen, dreidimensionale Bilddaten, z. B. Bilder einer Computertomographie nur durch Bewegung des Kopfes oder der Hand eines Betrachters, die durch eine Kamera aufgenommen wird, die in der Nähe, z. B. seitlich von dem Monitor oder über den Monitor angebracht ist, der das Tomographiebild zeigt aus unterschiedlichsten Perspektiven betrachten zu können. Ein behandelnder Arzt kann sich somit auf sehr einfache Weise und sehr detailliert die ihn interessierenden Ansichten des Tomographiebildes auswäh len.

In der Chemie können auf entsprechende Weise dreidimensionale Molekülstrukturen detailliert und einfach untersucht werden.

Auch im Bereich des Verkehrswesens ist die Verwendung des er findungsgemäßen Verfahrens vorteilhaft einsetzbar, z. B. bei der Steuerung von realen Kameras, die am Heck eines Last kraftwagens angebracht werden, um dem Fahrer die Sicht auf das Blickfeld zu ermöglichen, das bei normalem Rückwärtsfah ren verdeckt wäre. Bei Aufnahme und Verfolgung z. B. des Kop fes des Lastkraftwagenfahrers durch eine in der Fahrerkabine geeignet, z. B. am oberen Rand der Mitte der Windschutz scheibe, angebrachten Kamera ist die Steuerung der Heckkame ras durch den Fahrer nur durch Körperbewegung möglich.

Auf entsprechende Weise ist auch die Steuerung von entfernten Kameras allgemein möglich, z. B. bei der Überwachung von Ge bäuden.

Auch in Computerspielen, die die Steuerung dreidimensionaler Objekte beinhalten, ist das erfindungsgemäße Verfahren ent sprechend den oben beschriebenen Vorgehensweisen vorteilhaft einsetzbar.

In dem Bereich von Videokonferenzen kann das erfindungsgemäße Verfahren ebenso sehr vorteilhaft eingesetzt werden. Bei üb lichen Verfahren ist der Benutzer in seiner Bewegungsfreiheit sehr eingeschränkt, da zur Aufnahme der Szene keine Weitwin kelkamera verwendet wird, um möglichst wenig unnötige Infor mation übertragen zu müssen. Wenn allerdings eine Weitwinkel kamera verwendet würde, würde zuviel Übertragungskapazität benötigt. Durch das erfindungsgemäße Verfahren ist es mög lich, nur den Inhalt des umschreibenden Rechtecks z. B. des Kopfes eines Kommunikationspartners zu übertragen.

Durch die Verwendung des umschreibenden Rechtecks wird nur der Kopf des Kommunikationspartners übertragen und der unnö tige Bildhintergrund wird weggelassen. Aufgrund der vorgese henen Bewegungsschätzung für das umschreibende Rechteck ist es möglich, Bewegungen des Kopfes des Kommunikationspartners zu erkennen und z. B. entweder das umschreibende Rechteck an zupassen, die Größe des umschreibenden Rechtecks etwas größer zu wählen, damit der Kopf innerhalb des übertragenen Bildes nicht abgeschnitten wird, oder auch die die Szene aufnehmende Kamera mechanisch, den Kopfbewegungen angepaßt, in geeigneter Weise nachzuführen, so daß immer nur der Kopf des Kommunika tionspartners aufgenommen wird und übertragen werden muß. Da mit wird der Benutzer bei Videokonferenzen nicht mehr in sei ner Bewegungsfreiheit in dem Maße eingeschränkt wie bisher.

Es ist außerdem vorgesehen, daß vor Beginn einer Videokonfe renz oder auch während einer Videokonferenz festgelegt werden kann durch die Kommunikationspartner, ob z. B. das umschrei bende Rechteck und damit das Bild des Kopfes des Kommunikati onspartners übertragen werden soll, oder ob auch das Hinter grundbild mit übertragen werden soll. Auch die Größe des Fen sters ist individuell festlegbar und kann somit durch die Kommunikationspartner bzw. den Computereinheiten der verwen deten Videokonferenzeinheiten "ausgehandelt" werden vor Be ginn der Videokonferenz oder während der Videokonferenz.

Claims

1. Verfahren zum Aufbau einer Farbtabelle in einer Computer einheit zur Klassifikation von Bildpunkten in einem Bild,

- bei dem die Farbinformation aller Bildpunkte in einen zwei dimensionalen Farbraum transformiert wird,
- bei dem alle durch die Computereinheit darstellbaren Farben in dem zweidimensionalen Farbraum als Indexwerte der Farb tabelle verwendet werden,
- bei dem mindestens ein Bereich einer vorgegebenen Farbe und wählbarer Größe markiert wird,
- bei dem über den Bereich ein erster Farbmittelwert berech net wird,
- bei dem mindestens ein zweiter Farbmittelwert berechnet wird, wobei ein wählbarer Prozentsatz der Bildpunkte in dem Bereich, deren Farbpunkte von dem ersten Farbmittelwert am weitesten entfernt sind, nicht berücksichtigt wird,
- bei dem eine Region wählbarer Größe um den zweiten Farbmit telwert in dem zweidimensionalen Farbraum ausgewählt wird,
- bei dem eine beliebige Zahl von eine Farbe, die nicht der vorgegebenen Farbe entsprechenden, repräsentierenden Nega tivfarbpunkten in dem zweidimensionalen Farbraum berechnet wird,
- bei dem für alle durch die Computereinheit darstellbaren Farben überprüft wird, ob der die Farbe repräsentierende Farbpunkt dem zweiten Farbmittelwert zugeordnet wird, wobei die Überprüfung in der Weise erfolgt,
- - daß für jeden die jeweilige Farbe repräsentierenden Farb punkt ein Lot gefällt wird auf jede Geradenverbindung des mindestens zweiten Farbmittelwerts zu den Negativfarbpunk ten, und
- - daß der jeweilige Farbpunkt dann dem zweiten Farbmittel wert zugeordnet wird, wenn der Abstand von jedem Lotfuß punkt zu mindestens dem zweiten Farbmittelwert geringer ist als zu jedem der jeweiligen geraden Verbindung ent sprechenden anderen Negativfarbpunkte bzw. dem Weißpunkt, und der Farbpunkt in der Region um den zweiten Farbmittel wert liegt, und
- bei dem das binäre Ergebnis der Überprüfung als binärer Wert in die Farbtabelle eingetragen wird.

2. Verfahren zum rechnergestützten Erkennen mindestens eines wählbaren Zielobjekts eines Bildes unter Verwendung von Kenn zeichen des Zielobjekts,

- bei dem die Farbinformation aller Bildpunkte des Bildes in einen zweidimensionalen Farbraum transformiert wird,
- bei dem alle durch die Computereinheit darstellbaren Farben in dem zweidimensionalen Farbraum als Indexwerte der Farb tabelle verwendet werden,
- bei dem mindestens ein Bereich einer vorgegebenen Farbe und wählbarer Größe markiert wird,
- bei dem über den Bereich ein erster Farbmittelwert berech net wird,
- bei dem mindestens ein zweiter Farbmittelwert berechnet wird, wobei ein wählbarer Prozentsatz der Bildpunkte in dem Bereich, deren Farbpunkte von dem ersten Farbmittelwert am weitesten entfernt sind, nicht berücksichtigt wird,
- bei dem eine Region wählbarer Größe um den zweiten Farbmit telwert in dem zweidimensionalen Farbraum ausgewählt wird,
- bei dem eine beliebige Zahl von einer Farbe, die nicht der vorgegebenen Farbe entsprechenden, repräsentierenden Nega tivfarbpunkten in dem zweidimensionalen Farbraum berechnet wird,
- bei dem für alle durch die Computereinheit darstellbaren Farben überprüft wird, ob der die Farbe repräsentierende Farbpunkt dem zweiten Farbmittelwert zugeordnet wird, wobei die Überprüfung in der Weise erfolgt,
- - daß für jeden die jeweilige Farbe repräsentierenden Farb punkt ein Lot gefällt wird auf jede Geradenverbindung des mindestens zweiten Farbmittelwerts zu den Negativfarbpunk ten, und
- - daß der jeweilige Farbpunkt dann dem zweiten Farbmittel wert zugeordnet wird, wenn der Abstand von jedem Lotfuß punkt zu mindestens dem zweiten Farbmittelwert geringer ist als zu jedem der jeweiligen geraden Verbindung ent sprechenden anderen Negativfarbpunkte bzw. dem Weißpunkt, und der Farbpunkt in der Region um den zweiten Farbmittel wert liegt,
- bei dem das binäre Ergebnis der Überprüfung als binärer Wert in die Farbtabelle eingetragen wird,
- bei dem unter Verwendung der Farbtabelle Objekte gebildet werden, die vorgebbare Farben aufweisen, die in der Farbta belle festgelegt sind,
- bei dem aus den Objekten das mindestens eine Zielobjekt klassifiziert wird unter Verwendung von Kennzeichen des mindestens einen Zielobjekts, und
- bei dem die räumliche Lage für das mindestens eine Zielob jekt bestimmt wird.

3. Verfahren nach Anspruch 1 oder 2, bei dem ein Negativfarbpunkt durch einen die Farbe Weiß re präsentierenden Weißpunkt repräsentiert wird.

4. Verfahren nach Anspruch 2 oder 3, bei dem um mindestens das eine Zielobjekt ein umschreibendes Rechteck konstruiert wird.

5. Verfahren nach einem der Ansprüche 2 bis 4,

- bei dem zusätzlich zu Beginn des Verfahrens ein Hinter grundbild aufgenommen wird, daß das mindestens eine Zielob jekt nicht aufweist, und
- bei dem ein Objekt dann als ein Zielobjekt klassifiziert wird, wenn zusätzlich das Hintergrundbild nicht das Objekt aufweist.

6. Verfahren nach einem der Ansprüche 2 bis 5, bei dem für jedes gebildete umschreibende Rechteck eine Bewe gungsschätzung durchgeführt wird.

7. Verfahren nach einem der Ansprüche 2 bis 6, bei dem ein richtungsabhängiger Hysteresefilter verwendet wird.

8. Verfahren nach einem der Ansprüche 2 bis 7,

- bei dem das Zielobjekt durch einen menschlichen Kopf gebil det wird, und
- bei dem die vorgebbare Farbe durch die Farbe der menschli chen Haut gebildet wird.

9. Verfahren nach einem der Ansprüche 2 bis 8,

- bei dem das Zielobjekt durch eine menschliche Hand gebildet wird, und
- bei dem die vorgebbare Farbe durch die Farbe der menschli chen Haut gebildet wird.

10. Verwendung des Verfahrens nach einem der Ansprüche 2 bis 9 zur Präsentation von dreidimensionalen Objekten,

- bei dem Positionsparameter der Zielobjekte in Steuergrößen einer virtuellen Kamera umgesetzt werden,
- bei dem durch die Steuergrößen die Ansicht auf das darge stellte dreidimensionale Objekt beliebig variiert werden kann.

11. Verwendung des Verfahrens nach einem der Ansprüche 2 bis 9 in der Medizin, bei dem Positionsparameter des Zielobjekts in Steuergrößen zur Änderung der Ansicht eines dreidimensionalen Bildes umgesetzt werden.

12. Verwendung des Verfahrens nach einem der Ansprüche 2 bis 9 zur Steuerung realer Kameras,

- bei dem Positionsparameter der Zielobjekte in Steuergrößen mindestens einer realen Kamera umgesetzt werden,
- bei dem die mindestens eine reale Kamera durch die Steuer größen skalierbar bewegt wird.

13. Verwendung des Verfahrens nach einem der Ansprüche 2 bis 9 bei Videokonferenzen, bei dem die Größe des umschreibenden Rechtecks variierbar ist.