DE4339161A1

DE4339161A1 - Verfahren zur Verfolgung von Bewegungen einer menschlichen Hand in einer zeitlichen Folge digitaler Farbbilder

Info

Publication number: DE4339161A1
Application number: DE4339161A
Authority: DE
Inventors: Subutai Dr Ahmad
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1993-08-09
Filing date: 1993-11-16
Publication date: 1995-02-16
Anticipated expiration: 2013-11-17
Also published as: DE4339161C2

Description

Die Erfindung betrifft ein Verfahren zur Verfolgung von Bewegungen einer menschlichen Hand in einer zeitlichen Folge digitaler Farbbilder. Derartige Verfahren werden z. B. zur Steuerung von Datenverarbeitungssystemen oder daran ange schlossenen-Systemen, z. B. in der Medizintechnik, der Ferti gungstechnik oder der Automatisierungstechnik benötigt. In der Literatur sind verschiedene Verfahren dieser Art be schrieben worden. So beschreibt Krueger in [1] ein System, welches die Umrisse bzw. die Umrandungskurve einer Hand in zwei Dimensionen detektieren kann, unter der Vorraussetzung eines gleichförmigen Hintergrundes hinter der Hand. Segen be schreibt in [2] ein System mit ähnlichen Eigenschaften, wel ches die Bewegungen einer Hand in zwei Dimensionen unter der Annahme eines weißen Hintergrundes verfolgen kann; dieses Sy stem ist auch bereits dazu in der Lage, eine kleine Anzahl von Gesten zu erlernen. Schließlich beschreiben Wirtz und Maggioni in [3] ein System zur Verfolgung von Handbewegungen in drei Dimensionen, das zwar unabhängig von den Eigenschaf ten des Bildhintergrundes arbeitet, dafür aber voraussetzt, daß die betreffende Person einen Handschuh mit darauf ange brachten speziellen Markierungen trägt.

Keines der bekannten Verfahren ist jedoch in der Lage, unab hängig von den Eigenschaften des Bildhintergrundes und in drei Dimensionen zu arbeiten, ohne auf spezielle Markierungen auf der Handoberfläche angewiesen zu sein. Der Erfindung liegt deshalb die Aufgabe zugrunde, ein Verfahren zur Verfol gung von Bewegungen einer menschlichen Hand in einer zeitli chen Folge digitaler Farbbilder anzugeben, welches in der La ge ist, dreidimensionale Informationen auszuwerten, unabhän gig von den Eigenschaften des Bildhintergrundes arbeitet und nicht auf spezielle Markierungen auf der Handoberfläche ange wiesen ist. Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Verfolgung von Bewegungen einer menschlichen Hand in einer zeitlichen Folge digitaler Farbbilder mit Merk malen nach Anspruch 1 gelöst.

Bei diesem Verfahren wird eine Segmentierung der Hand mit Hilfe eines Farbhistogramms dieser Hand durchgeführt.

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.

Eine bevorzugte Ausführungsform des erfindungsgemäßen Verfah rens klassifiziert dazu eine Gruppe von Bildpunkten als zum Handsegment gehörend, falls ein Vergleich des Farbhistogramms dieser Gruppe von Bildpunkten mit dem Farbhistogramm der Hand eine hinreichende Übereinstimmung ergibt.

Diese Vorgehensweise ist mit dem Vorteil einer geringeren Rauschempfindlichkeit der Segmentierung verbunden. Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden aus den Koordinaten der Mittelpunkte der zum Handsegment gehörenden Gruppen von Bildpunkten die Koor dinaten des Schwerpunktes des Handsegments, die Momente zweiter Ordnung um diesen Schwerpunkt und daraus die Orien tierung der Hauptachse des Handsegments ermittelt, und es wird die senkrechte zur Bildebene gemessene momentane Entfer nung der Hand von der Kamera durch einen Vergleich der momen tanen Fläche des Handsegments mit seiner Fläche im Zeitpunkt einer Kalibrierung ermittelt. Da das Moment der Ordnung 0 gerade die Fläche des Handsegments angibt, bietet diese Vorgehensweise einen vorteilhaften Weg zur Bestimmung der Fläche des Handsegments.

Bei einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens werden zur Rauschunterdrückung die ermittelten Meßwerte für die Schwerpunktskoordinaten und die Orientierung der Hauptachse des Handsegments zur zeitlich rekursive Filterung geglättet. Auf diese Weise wird das erfindungsgemäße Verfahren weniger anfällig gegen Rauschen in den gemessenen Schwerpunktskoordinaten.

Bei einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens wird die Segmentierung eines Bildes auf einen Ausschnitt der Bildebene beschränkt, welcher das Handsegment des vorhergehenden Bildes zusammen mit einer geeignet gewählten Umgebung des Handsegments enthält. Auf diese Weise läßt sich eine beachtliche Beschleunigung des erfindungsgemäßen Verfahrens erzielen, welcher einer Ausführ barkeit dieses Verfahrens in Echtzeit zugute kommt.

Bei einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens wird die Segmentierung mit Hilfe einer Unterabtastung des zu segmentierenden Bildes durchge führt. Auch diese Vorgehensweise ist mit einer bedeutenden Beschleunigung des erfindungsgemäßen Verfahrens verbunden.

Im folgenden wird die Erfindung anhand bevorzugter Ausfüh rungsbeispiele näher beschrieben.

Zur Durchführung des erfindungsgemäßen Verfahrens wird eine menschliche Hand und ihre Bewegungen mit Hilfe einer Kamera, welche eine zeitliche Folge digitaler Farbbilder erzeugt, aufgenommen. Liegt diese zeitliche Folge von digitalen Farb bildern vor, besteht eine erste Aufgabe eines Systems zur Durchführung des erfindungsgemäßen Verfahrens in der Trennung der zu verfolgenden Hand von dem Bildhintergrund. Das haupt sächliche Problem bei der Entwicklung eines entsprechenden Moduls zur Segmentierung besteht darin, daß diese Segmentie rung unempfindlich gegenüber normalerweise auftretenden Bildhintergrundformen sein muß und daß das Verfahren in Echtzeit ablaufen muß. Dies ist deshalb keine einfache Aufga be, weil das Bild im allgemeinen eine Vielzahl irrelevanter und verwirrender Details enthalten kann. Die grundlegende Idee die den Kern des erfindungsgemäßen Verfahrens bildet, besteht darin, die spezielle Farbe einer menschlichen Hand dazu zu verwenden, diese Hand vom Bildhintergrund zu trennen. Die meisten Objekte in üblichen Arbeitsumgebungen haben nicht die gleiche Farbe wie eine menschliche Hand, so daß eine Segmentierung aufgrund der Farbunterschiede verhältnismäßig saubere Ergebnisse liefern sollte. Bei dem erfindungsgemäßen Verfahren wird ein Farbhistogramm dazu benutzt die Verteilung der Farben in einem Flächenausschnitt aus einem Bild der menschlichen Haut zu schätzen. Sobald diese Schätzung vor liegt, kann sie dazu verwendet werden zu entscheiden, welche Teile eines Bildes zur Handfläche gehören und welche nicht dazu gehören.

Die grundlegende Idee hinter dem Begriff "Farbhistogramm" ist eine Unterteilung des RGB (Rot-Grün-Blau) Farbraumes in einer Anzahl von Zellen. Zur Gewinnung eines repräsentativen Farb histogramms wird ein Ausschnitt eines Bildes einer Hauptober fläche ausgewählt. Aus der Menge der Bildpunkte dieses Aus schnittes wird ein Farbhistogramm gebildet, in dem jeweils die Zahl derjenigen Bildpunkte ermittelt wird, deren Farbwert in einer gegebenen Zelle des Farbraums liegt. Anstelle des RGB Raums könnte auch ein normalisierter zweidimensionaler Farbraum verwendet werden, welcher dazu beiträgt, die Auswir kungen von Beleuchtungsänderungen abzuschwächen.

Ist ein Beispielbildpunkt mit Hautfarbe gegeben, dessen Farbwerte mit r, g und b, bezeichnet werden, können dessen normalisierte Farben nach den Formeln

r′ = r/(r+g+b+1)

und

b′ = b/(r+g+b+1)

berechnet werden. Die Werte für r′ und b′ liegen zwischen 0 und 1 und können als relative Anteile der Farben Rot und Blau interpretiert werden. Jede der Achsen r′ und b′ im zweidi mensionalen normalisierten Farbraum kann mit einem Faktor d (z. B. d = 5) diskretisiert werden. Das normalisierte Farbhi stogramm ist dann eine d×d-Matrix. Für jeden Bildpunkt kann der Index jeder Dimension dann nach den Beziehungen

berechnet werden.

Um das Histogramm zu erstellen wird die Matrix zunächst mit Nullen initialisiert. Dann wird für jeden Bildpunkt (x, y) in dem Satz von Bildpunkten der zum Training des Histogramms verwendet wird die normalisierten Farbwerte berechnet welche dem Histogrammindex entsprechen, und der entsprechende Histo grammwert an dieser Stelle wird um 1 erhöht: H(i,j) ← H(i,j)+1. Durch diese Art der Histogrammberechnung von Haut proben wird im wesentlichen eine grobe Schätzung der Wahr scheinlichkeitsverteilung der Farben in der Hautoberfläche ermittelt.

Zur Laufzeit vergleicht das erfindungsgemäße Verfahren lau fend kleine Ausschnitte des momentanen digitalen Bildes (Gruppen von Bildpunkten) mit dem gespeicherten Histogramm, wobei eine der üblichen Algorithmen zum Vergleich von Histo grammen verwendet werden kann. Ein verbreiteter Weg zum Vergleich zweier Histogramme ist der Algorithmus von Swain und Ballard [4]. Bei diesem Algorithmus wird die Vergleichs zahl M zwischen den Histogrammen p und q definiert als:

Diejenigen Gruppen von Bildpunkten (Bildausschnitte) deren Vergleichszahl über einem vorgegebenen Schwellwert (typisch 0,9) liegt werden als Bereiche mit Hautfarbe angesehen und es wird davon ausgegangen, daß diese Bereiche zur Hand gehören.

Sobald das gesamte Bild auf diese Weise segmentiert wurde, liegt eine Liste von Bildausschnitten des Bildes vor; welche zu dem gespeicherten Histogramm passen. Jeder Bildausschnitt besitzt ein Zentrum und eine Fläche. Aus der Menge dieser Bildausschnitte und aus ihren Parametern (Schwerpunkten und Flächen) ist es möglich den Schwerpunkt und die Orientierung der Handfläche zu ermitteln. Dies wird weiter unten beschrie ben. Wenn sich die Hand bewegt, ist es auf diese Weise mög lich ihre Position und Orientierung im Raum in Echtzeit zu verfolgen.

Nach der Segmentierung kann die Position der Hand im Raum und ihre Orientierung (Anordnung) ermittelt werden. Die Schwer punkte der segmentierten Gruppen von Bildpunkten (der segmen tierten Bildausschnitte) ist gleich der zweidimensionalen Position der Hand:

und

wobei N die Gesamtzahl der Bildausschnitte bezeichnet die bei der Segmentierung als zur Hand gehörig ermittelt wurden, und wobei pix und piy die x- und y-Koordinaten des Schwerpunktes des Bildausschnittes mit dem Index i bezeichnen.

Die ebene Drehung (Drehung um die Kameraachse) der Hand wird durch Anpassung einer Ellipse an die segmentierten Bildaus schnitte ermittelt, wobei der Winkel und die Hauptachsen der Ellipse ermittelt werden. Dies kann mit Hilfe der Momente geschehen, insbesondere der Momente zweiter Ordnung der Bildausschnitte:

Die Orientierung der Hauptachse ist durch

gegeben.

Da das Verfahren mit einer Kamera arbeitet, ist es nicht ganz leicht eine genaue Schätzung des Abstandes der Hand von der Kamera zu erhalten. In jedem Falle ist es jedoch möglich, die relative Tiefe (d. h. die Tiefe relativ zu einer gegebenen Standardanordnung) zu berechnen. Mit dieser Information ist es dann möglich zu sagen, ob die Hand sich der Kamera nähert oder ob sie sich von der Kamera wegbewegt. Eine Methode dies zu ermitteln besteht darin, einfach die Gesamtfläche der segmentierten Bildausschnitte zu ermitteln. Wenn die zu verfolgende Hand der Kamera näher kommt, wird sie im allge meinen einen größeren Ausschnitt in der Bildebene belegen und die Gesamtfläche aller zur Hand gehörigen Bildausschnitte wird zunehmen. Dieser Effekt kann aber auch durch Störungen, welche durch vorübergehend auftretende Rauschsegmente veran laßt sind auftreten. Eine robustere Schätzung erhält man deshalb durch eine gewichtete Berechnung der Fläche der Bild ausschnitte mit Hilfe einer Gaußkurve, die um den Schwerpunkt der Bildausschnitte zentriert ist:

Hierbei bezeichnet A_p die Fläche die von jedem Bildausschnitt belegt wird und S ist ein Skalierungsfaktor. Um das System zu kalibrieren, muß die Fläche des ersten Bildes gespeichert werden (Kalibrierungsschritt). Anhand dieser Fläche ist es dann bei nachfolgenden Bildern möglich, eine Schätzung des Abstandes der Hand von der Kamera durch Vergleich der momen tanen Fläche mit der kalibrierten Fläche zu erhalten. Die z-Koordinate der Schwerpunktslage ergibt sich somit als Quoti ent der anfänglichen Fläche zur momentanen Fläche. Dieser Wert ist dann ein, wenn die zu verfolgende Hand sich gerade an der gleichen Position befindet wie im zur Kalibrierung verwendeten Bild. Der Wert wird kleiner, wenn die Hand sich der Kamera nähert und größer, wenn sie sich fortbewegt. Auf diese Weise gibt dieser Wert eine Schätzung der relativen Lage der zu verfolgenden Hand in Abstand zur Kamera an.

Um in diesen Schätzungen ein Rauschen zu unterdrücken ist es vorteilhaft, eine gleitende Mittelwertbildung in Form einer zeitlich rekursiven Filterung der oben angegebenen Parameter zu verwenden. Hierbei werden frühere Schätzungen mit laufen den Messungen so kombiniert, wie dies in den nachstehenden Formeln angegeben ist:

(7) C_x(t) = α_xC_x+(1-α_x)C_x(t-1)

(8) C_y(t) = α_yC_y+(1-α_y)C_y(t-1)

(9) C_z(t) = α_zC_z+(1-α_z)C_z(t-1)

(10) R(t) = α_RR+(1-α_R)R(t-1)

Hierbei sind die Werte der Gewichtsfaktoren α im allgemeinen zwischen 0 und 1. Auf diese Weise erhält man zeitlich geglät tete Schätzwerte für die oben angegebenen Parameter. Im allgemeinen ist ein Wert von α = 0,5 zur Durchführung des Verfahrens gut geeignet.

Obwohl die angegebenen Berechnungen bereits meistens mit ausreichender Effizienz durchgeführt werden können, kann die Eignung des erfindungsgemäßen Verfahrens für die Echzeitaus führung noch durch weitere Verbesserungen merklich gesteigert werden. Diese möglichen Verbesserungen umfassen den Einsatz eines dynamisch gesteuerten Suchfensters und einer adaptiven Unterabtastung der Bilder.

Der Zweck eines dynamischen Suchfensters besteht darin, irrelevante Bereiche des Bildes von vornherein zu ignorieren. Dazu verwaltet das Verfahren vorzugsweise ein rechteckiges Suchfenster um die segmentierten Bildausschnitte. Für jedes nachfolgende Bild werden lediglich Bildbereiche innerhalb dieses Suchfensters für die Segmentierung bearbeitet. In jedem Iterationsschritt des geschilderten Segmentierungsalgo rithmus werden die Ränder dieses Suchfensters für das folgen de Bild wie folgt berechnet:

x_min = min_i (p_ix)-b_x
x_max = max_i (p_ix)+b_x
y_min = min_i (p_iy)-b_y
y_max = max_i (p_iy)+b_y (11)

Auf diese Weise werden im folgenden Bild nur diejenigen Pixel durchsucht, die innerhalb des durch die Koordinaten x_min, y_min und x_max, y_max definierten Grenzen liegen. Die Konstante b (mit typischen Werten um 40) stellt sicher, daß das Fenster etwas größer ist als die tatsächlichen Ausmessungen der zu verfolgenden Hand.

Dabei ist es nicht erforderlich, jeden Bildpunkt innerhalb des Suchfensters zu untersuchen. In vielen Fällen ist dies auch für Echtzeitanwendungen zu zeitraubend. Um das Verfahren zu beschleunigen, wird in einem bevorzugten Ausführungsbei spiel des erfindungsgemäßen Verfahrens daher eine Unterabta stung des Bildes verwendet. Das bedeutet folgendes: Wurde ein Bildausschnitt am Ort (x, y) untersucht, wird der nächste Bildausschnitt an der Stelle (x+s, y) ausgewählt. Wird dabei das Ende der Abtastzeile erreicht, wird statt des sen der Bildausschnitt, der bei (0, y+s) beginnt untersucht. Dabei ist die Auswahl eines optimalen Unterabtastfaktors s wichtig aber nicht ganz einfach. Die Unterabtastung beein flußt nämlich die Genauigkeit und auch die Geschwindigkeit der Verfolgung. Wählt man die Unterabtastung zu groß, dann werden die Lageschätzungen zu sehr verrauscht. Wählt man die Unterabtastung hingegen zu klein, wird das Verfahren insge samt zu langsam und daher für eine Echzeitverarbeitung unge eignet.

Anstatt ein optimales Unterabtastverhältnis auf dem Wege des Probierens zu finden, verwendet das erfindungsgemäße Verfah ren bevorzugt eine adaptive Technik zur automatischen Auswahl eines optimalen Unterabtastverhältnisses s. Dabei wird eine anzustrebende Bildfrequenz als Zielbildfrequenz vorgegeben. Der Segmentationsalgorithmus überwacht dabei laufend seine eigene Geschwindigkeit. Falls die Segmentationszeit mehr als 10% unter der gewünschten Segmentationszeit liegt, wird die Unterabtastung verringert, so daß eine größere Genauigkeit entsteht. Ist die Segmentationszeit hingegen 10% größer als gewünscht, dann wird die Unterabtastung erhöht um die Verar beitungsgeschwindigkeit zu steigern. Dabei mißt das Verfahren jeweils nach 10 Bildern die Zeit, die für die Verarbeitung dieser 10 Bilder benötigt wurde. Ist diese Zeit tp größer als das 1,1fache des Quotienten aus 10 und der Zielbildfrequenz, dann ist die Verarbeitungszeit zu klein und s wird erhöht. Andernfalls, wenn tp kleiner als das 0,9fache des Quotienten aus 10 und der Zielbildfrequenz ist, ist die Verarbeitungs zeit zu schnell und s wird erniedrigt.

Auf diese Art und Weise balanciert das Verfahren automatisch die sich widersprechenden Anforderungen zwischen Geschwindig keit und Genauigkeit unter Berücksichtigung der Anforderungen des erfindungsgemäßen Verfahrens.

Ein wichtiger Gesichtspunkt dabei ist, daß bei einer Änderung des Unterabtastfaktors s die Zahl der Bildausschnitte in der Hand sich ändert. Aus diesem Grunde kann man nicht die tat sächliche Fläche eines Bildaufschnitts für die Berechnung der Tiefeninformation verwenden. Z. B. wenn s verkleinert wird, gibt es mehr Bildausschnitte in der Hand, obwohl die Tiefe unverändert ist. Aus diesem Grunde wird der Faktor ap in Formel (6) gleich s² gewählt. Hierdurch wird die Veränderung der Bildausschnittsfläche, d. h. der Fläche die eine Gruppe von Bildpunkten bei der Segmentierung belegt, der Unterabta stung angepaßt. Hierdurch bleibt die Berechnung der Tiefe von der Änderung der Unterabtastrate unbeeinflußt.

Im Rahmen dieser Patentanmeldung wurden die folgenden Veröf fentlichungen zitiert:
[1] Krüger, M. (1991). Artificial Reality II. Addison-Wesley
[2] Segen, J. (1989), "Model learning and recognition of nonrigid objects" in IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, CA.
[3] Wirtz, B. and C. Maggioni (1993), Imageglove: "A novel way to control virtual environments", in Proceedings of Virtual Reality Systems ′93, New York.
[4] Swain, M. and D. Ballard (1991). Color indexing "International Journal of Computer Vision 7, 11-32.

Claims

1. Verfahren zur Verfolgung von Bewegungen einer menschlichen Hand in einer zeitlichen Folge digitaler Farbbilder, bei dem eine Segmentierung der Hand mit Hilfe eines Farbhistogramms dieser Hand durchgeführt wird.

2. Verfahren nach Anspruch 1, bei dem eine Gruppe von Bild punkten als zum Handsegment gehörend klassifiziert wird, falls ein Vergleich des Farbhistogramms dieser Gruppe von Bildpunkten mit dem Farbhistogramm der Hand eine hinreichende Übereinstimmung ergibt.

3. Verfahren nach einem der vorhergehenden Ansprüche, bei dem aus den Koordinaten der Mittelpunkte der zum Handsegment ge hörenden Gruppen von Bildpunkten die Koordinaten des Schwer punktes des Handsegments, die Momente zweiter Ordnung um die sen Schwerpunkt und daraus die Orientierung der Hauptachse des Handsegmentes ermittelt werden, und bei dem die senkrecht zur Bildebene gemessene momentane Entfernung der Hand von der Kamera durch einen Vergleich der momentanen Fläche des Hand segments mit seiner Fläche im Zeitpunkt einer Kalibrierung ermittelt wird.

4. Verfahren nach Anspruch 3, bei dem zur Rauschunterdrückung die ermittelten Meßwerte für die Schwerpunktskoordinaten und die Orientierung der Hauptachse des Handsegmentes durch zeit lich rekursive Filterung geglättet werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Segmentierung eines Bildes auf einen Ausschnitt der Bild ebene beschränkt wird, welcher das Handsegment des vorherge henden Bildes zusammen mit einer geeignet gewählten Umgebung dieses Handsegments enthält.

6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Segmentierung mit Hilfe einer Unterabtastung des zu seg mentierenden Bildes durchgeführt wird.