-
Die
Anmeldung beansprucht die Priorität der
japanischen Anmeldung Nr. 2008/331762 ,
angemeldet am 26. Dezember 2008, die hiermit durch Verweis aufgenommen
ist.
-
HINTERGRUND DER ERFINDUNG
-
Gebiet der Erfindung
-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren und ein Programm
zum Extrahieren eines Silhouettenbildes und auf ein Verfahren und
ein Programm zum Ertellen eines 3D Voxel Modells (visuelle Ummantelung).
Genauer bezieht sich die vorliegende Erfindung auf ein Hintergrundwegnahmeverfahren
und ein Programm zum Extrahieren der Silhouette aus einem Bild,
in dem ein Objekt erfasst ist, und einem Bild, in dem nur ein Hin tergrund
erfasst ist, und auf ein 3D modellierendes Verfahren und ein Programm
zum Erstellen der visuellen Ummantelung aus einer Anzahl der Silhouetten,
die durch das obige bei Anwendung eines Formgebung-aus-Silhouette-Verfahrens
extrahiert sind.
-
Beschreibung des verwandten
Standes der Technik
-
Bisher
wurde eine Hintergrundwegnahme, die eine Silhouette extrahiert,
die das Objekt aus dem Bild wiedergibt, in dem das Objekt erfasst
ist, und eine 3D Modellierung, die eine visuelle Ummantelung aus
einer Anzahl der gemachten Bilder durch Anwendung des Formgebungaus-Silhouette-Verfahrens
erstellt, getrennt durchgeführt. Um eine visuelle Ummantelung
mit hoher Genauigkeit zu erstellen, war es aus diesem Grund notwendig,
eine hochgenaue Silhouette zu extrahieren, und eine Spezialumgebung wie
ein blauer Hintergrund war erforderlich. Die
japanische Patentveröffentlichung
Nr. 2007-17364 und
Toyoura et al "Silhouette
Refinement for Visual Hull with Random Pattern Background",
IEICE General Conference 2005, D-12-133 beschreiben ein
Verfahren zum Verbessern der Genauigkeit der Silhouette, wobei das
Verfahren einen fehlenden Teil der Silhouette durch Gebrauchen von
Einfallsreichtum bei einer Hintergrundwegnahme und durch Nutzen
von Farbinformationen der visuellen Ummantelung repariert.
-
KURZE ZUSAMMENFASSUNG DER
ERFINDUNG
-
Ein
herkömmliches Verfahren benötigte zum Ersten eine
ausreichend hochgenaue Silhouette, um eine hochgenaue visuelle Ummantelung
zu erstellen. Daher war es dort ein Problem, die hochgenaue Silhouette
mit kompliziertem Berechnen und Nutzen manueller Arbeit oder spezieller
fotografischer Umgebung wie den blauen Hintergrund extrahiert zu
haben.
-
Es
ist daher ein Ziel der vorliegenden Erfindung, ein Verfahren und
ein Programm zum Extrahieren der hochgenauen Silhouette durch einen
relativ einfachen Prozess ohne Nutzung manueller Arbeit oder einer
speziellen fotografischen Umgebung, und ein Verfahren und ein Programm
zum Erstellen einer visuellen Ummantelung aus dieser Silhouette
bereitzustellen.
-
Um
dieses Ziel gemäß einem erfindungsgemäßen
Verfahren zum Extrahieren einer Anzahl an Silhouetten zu realisieren,
weist ein Verfahren zum Extrahieren einer Anzahl an Silhouetten,
die das Objekt darstellen, aus einer Anzahl von Objektbildern, in denen
ein Objekt und ein Hintergrund erfasst sind, und aus einer Anzahl
an Hintergrundbildern, in denen nur ein Hintergrund erfasst ist,
auf: einen ersten Extrahierungsschritt zum Extrahieren einer Anzahl
an ersten Silhouetten aus einer Anzahl der Objektbilder und einer
Anzahl der Hintergrundbilder durch eine Hintergrundwegnahme; einen
ersten Erstellungsschritt zum Erstellen einer ersten visuellen Ummantelung
aus einer Anzahl der ersten Silhouetten durch ein Formgebung-aus-Silhouetten-Verfahren;
einen zweiten Erstellungsschritt zum Erstellen einer zweiten visuellen
Ummantelung durch einen Prozess zum Reparieren fehlender Teile und/oder
zum Entfernen ungewollter Bereiche in der ersten visuellen Ummantelung;
und einen zweiten Extrahierungsschritt zum Extra hieren einer Anzahl
der zweiten Silhouetten aus der zweiten visuellen Ummantelung.
-
Desweiteren
ist es auch bevorzugt, dass der erste Erstellungsschritt bis zum
zweiten Extrahierungsschritt unter der Annahme wiederholt wird,
eine Anzahl der zweiten Silhouetten sei eine Anzahl der ersten Silhouetten
in dem ersten Erstellungsschritt.
-
Desweiteren
ist es auch bevorzugt, dass der zweite Erstellungsschritt aufweist:
einen Teilschritt zum Erlangen einer Anzahl an ersten Schnittbildern aus
der ersten visuellen Ummantelung in x-Achsen-, y-Achsen- und z-Achsen-Richtung;
und einen Teilschritt zum Durchführen eines Filterverfahrens
an einer Anzahl der ersten Schnittbilder und Erstellen einer zweiten
visuellen Ummantelung gemäß einem Ergebnis aus
dem Filterverfahren.
-
Desweiteren
ist es auch bevorzugt, dass der Teilschritt des Erstellens der zweiten
visuellen Ummantelung ein Schritt zum Erstellen der zweiten visuellen
Ummantelung durch Durchführen eines Filterverfahrens an
einer Anzahl der ersten Schnittbilder ist, wobei Pixel gesucht werden,
die durch das Filterverfahren weiß wurden, und bei dem
dreidimensionale Koordinaten der ersten visuellen Ummantelung entsprechend
dieser Pixel repariert werden.
-
Desweiteren
ist es auch bevorzugt, dass der zweite Extrahierungsschritt aufweist:
einen Teilschritt, in dem ein Filterverfahren an einer Anzahl der ersten
Schnittbilder durchgeführt wird, wobei Pixel gesucht werden, die
durch den Filterprozess weiß wurden und diese Pixel projektiv
in die Silhouetten umgewandelt werden, und in dem eine Anzahl dritter Silhouetten
extrahiert wird; einen Teilschritt zum Erlangen einer Anzahl zweiter
Schnittbilder der zweiten visuellen Umhüllung aus y-Achsen-Richtung;
einen Teilschritt zum Extrahieren einer Anzahl an vierten Silhouetten
durch Suchen weißer Pixel auf einer Anzahl der zweiten
Schnittbilder und durch projektives Umformen dieser Pixel in die
Silhouetten; und einen Teilschritt zum Extrahieren einer Anzahl
der zweiten Silhouetten durch Durchführen eines Filterverfahrens an
einer Anzahl der vierten Silhouetten, indem Pixel weiß gemacht
werden, die sowohl in einer Anzahl der vierten Silhouetten durch
Durchführen des Filterverfahrens und in einer Anzahl der
dritten Silhouetten weiß sind, und Schwarzmachen aller
anderen Pixel.
-
Desweiteren
ist es auch bevorzugt, dass das Verfahren zum Extrahieren einer
Anzahl an Silhouetten desweiteren einen Schritt zum Durchführen
eines Filterverfahrens an einer Anzahl der zweiten Silhouetten nach
dem zweiten Extrahierungsschritt aufweist.
-
Gemäß einem
erfindungsgemäßen Programm zum Extrahieren einer
Anzahl an Silhouetten weist, um das obige Ziel zu erreichen, ein
Programm zum Extrahieren einer Anzahl an Silhouetten, die ein Objekt
darstellen, aus einer Anzahl an Objektbildern, in denen ein Objekt
und ein Hintergrund erfasst ist, und aus einer Anzahl an Hintergrundbildern,
in denen nur ein Hintergrund erfasst ist, auf: erste Extrahierungsmittel
zum Extrahieren einer Anzahl an ersten Silhouetten aus einer Anzahl
der Ob jektbilder und einer Anzahl der Hintergrundbilder durch eine
Hintergrundwegnahme; erste Erstellungsmittel zum Erstellen einer
ersten visuellen Ummantelung aus einer Anzahl der ersten Silhouetten
durch ein Formgebung-aus-Silhouette-Verfahren; und zweite Erstellungsmittel
zum Erstellen einer zweiten visuellen Ummantelung mit einem Prozess
zum Reparieren fehlender Teile und/oder zum Entfernen ungewollter
Bereiche in der ersten visuellen Ummantelung; und zweite Extrahierungsmittel
zum Extrahieren einer Anzahl zweiter Silhouetten aus der zweiten
visuellen Ummantelung.
-
Gemäß einem
erfindungsgemäßen Verfahren zum Erstellen einer
visuellen Ummantelung weist, um das obige Ziel zu verwirklichen,
ein Verfahren zum Erstellen einer visuellen Ummantelung aus einer
Anzahl an Objektbildern, in denen ein Objekt und ein Hintergrund
erfasst sind, und aus einer Anzahl an Hintergrundbildern, in denen
nur ein Hintergrund erfasst ist, auf: einen ersten Extrahierungsschritt
zum Extrahieren einer Anzahl erster Silhouetten aus einer Anzahl
der Objektbilder und einer Anzahl der Hintergrundbilder durch eine
Hintergrundwegnahme; einen ersten Erstellungsschritt zum Erstellen
einer ersten visuellen Ummantelung aus einer Anzahl der ersten Silhouetten
durch ein Formgebung-aus-Silhouette-Verfahren; einen zweiten Erstellungsschritt
zum Erstellen einer zweiten visuellen Ummantelung mit einem Prozess
zum Reparieren fehlender Teile und/oder zum Entfernen ungewollter Bereiche
in der ersten visuellen Ummantelung; einen zweiten Extrahierungsschritt
zum Extrahieren einer Anzahl der zweiten Silhouetten aus der zweiten
visuellen Ummantelung; und einen dritten Erstellungsschritt zum
Erstellen einer dritten visuellen Ummantelung aus einer Anzahl der
zweiten Silhouetten mit dem Formgebung-aus-Silhouetten-Verfahren.
-
Gemäß einem
erfindungsgemäßen Programm zum Erstellen einer
visuellen Ummantelung weist, um das obige Ziel zu erreichen, ein
Programm zum Erstellen einer visuellen Ummantelung aus einer Anzahl
an Objektbildern, in denen ein Objekt und ein Hintergrund erfasst
sind, und aus einer Anzahl an Hintergrundbildern, in denen nur ein
Hintergrund erfasst ist, auf: ein erstes Extrahierungsmittel zum
Extrahieren einer Anzahl erster Silhouetten aus einer Anzahl der
Objektbilder und einer Anzahl der Hintergrundbilder durch Hintergrundwegnahme;
ein erstes Erstellungsmittel zum Erstellen einer ersten visuellen Ummantelung
aus einer Anzahl der ersten Silhouetten durch ein Formgebung-aus-Silhouetten-Verfahren;
ein zweites Erstellungsmittel zum Erstellen einer zweiten visuellen
Ummantelung durch einen Prozess zum Reparieren fehlender Teile und/oder
zum Entfernen ungewollter Bereiche in der ersten visuellen Ummantelung;
ein zweites Extrahierungsmittel zum Extrahieren einer Anzahl zweiter
Silhouetten aus der zweiten visuellen Ummantelung; und ein drittes
Erstellungsmittel zum Erstellen einer dritten visuellen Ummantelung
aus einer Anzahl der zweiten Silhouetten durch das Formgebung-aus-Silhouetten-Verfahren.
-
Erfindungsgemäß erreichen
das Verfahren und das Programm zum Extrahieren der Silhouetten die
Verbesserung der Genauigkeit der Silhouette und der visuellen Ummantelung
mit Interpolation durch Wiedergabe der Information der visuellen
Ummantelung auf die Silhouette. Das Verfahren und das Programm brauchen
nicht zuerst die ausreichend hochgenaue Silhouette, können
die hochgenaue Silhouette ohne komplizierte Berechnungen extrahieren
und können die hochgenaue visuelle Ummantelung aus der
hochgenauen Silhouette erstellen. Ferner ist die vorliegende Erfindung
nicht von der speziellen fotografischen Umgebung abhängig
und kann übliche Bilder verwenden.
-
KURZE BESCHREIBUNG DER MEHREREN
ANSICHTEN DER ZEICHNUNGEN
-
1 zeigt
ein Flussdiagramm, das ein Verfahren zum Extrahieren der Silhouette
und ein Verfahren zum Erstellen einer visuellen Ummantelung gemäß der
vorliegenden Erfindung zeigt;
-
2 zeigt
ein Beispiel einer Silhouette, die aus dem Kamerabild erhalten wird;
-
3a bis 3c zeigen
ein Beispiel einer visuellen Ummantelung, die aus der Silhouette
gemäß 2 erstellt ist;
-
4a bis 4c zeigen
ein Beispiel einer visuellen Ummantelung, in dem fehlende Teile
der visuellen Ummantelung aus 3 repariert
sind;
-
5 zeigt
eine Silhouette, in der fehlende Teile der Silhouette aus 2 repariert
sind;
-
6 zeigt
eine Silhouette, in der unnötige Teile der Silhouette aus 5 entfernt
sind;
-
7 zeigt
eine Silhouette, in der ein Filterverfahren an der Silhouette aus 6 durchgeführt ist;
-
8 zeigt
eine Silhouette, die durch dreimaliges Durchführen des
Schritts 9 aus Schritt 3 der vorliegenden Erfindung
extrahiert ist;
-
9 zeigt
eine Silhouette, die durch fünfmaliges Durchführen
der Schritte 3 bis 9 der vorliegenden Erfindung
extrahiert ist;
-
10 zeigt
eine Silhouette, die durch siebenmaliges Durchführen der
Schritte 3 bis 9 der vorliegenden Erfindung extrahiert
ist;
-
11 zeigt
eine Silhouette, die durch neunmaliges Durchführen der
Schritte 3 bis 9 der vorliegenden Erfindung extrahiert
ist;
-
12a bis 12c zeigen
eine visuelle Ummantelung, die aus der Silhouette gemäß 7 erstellt
ist;
-
13a bis 13c zeigen
eine visuelle Ummantelung, die aus der Silhouette aus 8 erstellt
ist;
-
14a bis 14c zeigen
eine visuelle Ummantelung, die aus der Silhouette in 9 erstellt ist;
-
15a bis 15c zeigen
eine visuelle Ummantelung, die aus der Silhouette aus 10 erstellt
ist; und
-
16a bis 16c zeigen
eine visuelle Ummantelung, die aus der Silhouette aus 11 erstellt
ist.
-
DETAILLIERTE BESCHREIBUNG
DER ERFINDUNG
-
Ein
Ausführungsbeispiel eines Verfahrens und eines Programms
zum Extrahieren einer Silhouette und eines Verfahrens und eines
Programms zum Erstellen einer visuellen Ummantelung gemäß der vorliegenden
Erfindung wird im Folgenden mit Bezug auf die Zeichnungen beschrieben. 1 zeigt
ein Flussdiagramm, das ein Verfahren zum Extrahieren der Silhouette
und ein Verfahren zum Erstellen der visuellen Ummantelung gemäß der
Erfindung zeigt. Das Ausführungsbeispiel wird im Folgenden
mit Bezug auf das Flussdiagramm beschrieben.
-
Schritt 1:
Eine Anzahl an Objektbildern und Hintergrundbildern, die in einem
Kreis angeordnet sind, wird erhalten. Eine Anzahl an kalibrierten
Kameras sind in dem Kreis angeordnet, wobei die Objektbilder, die
das Objekt umfassen und den Hintergrund, und die Hintergrundbilder,
die nur den Hintergrund umfassen, mit diesen Kameras erstellt werden, und
dann werden die Objektbilder und die Hintergrundbilder, die aus
einer Anzahl unterschiedlicher Richtungen aufgenommen werden, erhalten.
Wenn beispielsweise 30 Kameras angeordnet sind, werden die Objektbilder
und die Hintergrundbilder jeweils in 30 Stücken erhalten.
-
Schritt 2:
Eine Anzahl an Silhouetten wird aus den Objektbildern und den Hintergrundbildern durch
eine Hintergrundwegnahme extrahiert. Da diese Silhouetten durch
einfache konventionelle Hintergrundwegnahme erhalten werden, ist
die Genauigkeit dieser Silhouetten nicht hoch. Die Silhouetten werden
entsprechend der Anzahl der Kameras extrahiert. Zum Beispiel werden
30 Stück Silhouetten extrahiert, wenn 30 Kameras angeordnet
sind.
-
Schritt 3:
Eine visuelle Ummantelung wird erstellt durch Anwendung eines Formgebung-aus-Silhouette-Verfahrens.
Da die Genauigkeit der visuellen Ummantelung von der Genauigkeit
der Silhouetten abhängt, ist die Genauigkeit der erstellten
visuellen Ummantelung nicht hoch, wenn die Silhouetten, die im Schritt 2 extrahiert
wurden, genutzt werden.
-
Schritt 4:
Schnittbilder der obigen visuellen Ummantelung werden erstellt.
Unter Beachtung, dass die visuelle Ummantelung eine Sammlung der Schnittbilder
aus einer gewissen Richtung ist, werden die Schnittbilder aus der
visuellen Ummantelung in x-Achsen-, y-Achsen- und z-Achsen-Richtung
erarbeitet. Die Schnittbilder nehmen die Nummer der Folien des Koordinatenbereichs
jeder Achse. Wenn beispielsweise der Koordinatenbereich der y-Achse der
visuellen Ummantelung von –256 bis 255 ist, werden 512
Stücke der Schnittbilder erarbeitet. Die y-Achse ist in
vertikaler Richtung und die x-Achse und die z-Achse sind jeweils
in horizontaler Richtung.
-
Schritt 5:
Die visuelle Ummantelung wird erstellt, in der fehlende Teile repariert
sind. Da es der Fall sein kann, dass die Schnittbilder aus Schritt 4 aus
der visuellen Ummantelung erarbeitet sind, die nicht hochgenau ist,
können diese fehlende Teile umfassen, in denen ein weißer
Punkt, der einen Objektbereich repräsentiert, falsch als
schwarz eingeordnet ist, Hintergrund repräsentierend, oder
ungewollte Bereiche umfassen, in denen weiß falsch als
schwarz eingeordnet ist. Daher wird ein Filterverfahren an den erarbeiteten
Schnittbildern in jeder Richtung (in x-Achse, y-Achse, z-Achse)
durchgeführt. Zum Beispiel werden einige der fehlenden
Teile durch Anwendung eines Gauss-Filters repariert und die ungewollten
Bereiche in der visuellen Ummantelung durch Anwendung eines Median-Filters
entfernt. Auf diese Weise werden gefilterte Schnittbilder erhalten.
Als nächstes werden die gefilterten Schnittbilder mit den nicht
gefilterten Schnittbildern verglichen und die Pixel, die neu weiß geworden
sind (d. h. die Pixel, die durch das Filterverfahren repariert wurden)
werden gesucht und dann werden die dreidimensionalen Koordinaten
der visuellen Ummantelung entsprechend diesen Pixeln repariert.
Zum Beispiel wird die dreidimensionale Koordinate (x1, y1, z1) der
visuellen Ummantelung repariert, wenn das Pixel, das weiß geworden
ist, die y-Koordinate y1, z-Koordinate z1 in dem Schnittbild, das
in der Koordinate x1 der x-Achse erarbeitet ist, hat. Das oben erwähnte
Verfahren wird mit allen Schnittbildern durchgeführt und
die visuelle Umhüllung, in der die fehlenden Teile repariert sind,
wird erhalten.
-
Schritt 6:
Die Silhouetten, in denen eine Anzahl an fehlenden Teilen repariert
ist, werden extrahiert. Die dreidimensionalen Koordinaten aus Schritt 5 werden
projektiv umgewandelt in jede Silhouette und die entsprechenden
Pixel in jeder Silhouette werden weiß. In anderen Worten
werden die dreidimensionalen Koordinaten des Schnittbildes projektiv
umgewandelt und ein Bild, gesehen aus der Position, aus der jede
Silhouette erfasst ist, wird gemacht, und die Pixel, die den dreidimensionalen
Koordinaten aus Schritt 5 entsprechen, werden in dem Bild
weiß. Dadurch werden die Silhouetten, in denen die fehlenden Teile
repariert sind, extrahiert.
-
Schritt 7:
Schnittbilder aus der visuellen Ummantelung, die durch den obigen
Schritt 5 erlangt ist, werden aus der y-Richtung erarbeitet.
Die Schnittbilder nehmen die Nummer der Folien des Koordinatenbereichs
in jeder Achse so wie in Schritt 4.
-
Schritt 8:
Eine Anzahl an Silhouetten, in denen unnötige Teile entfernt
sind, werden extrahiert. Die dreidimensionalen Koordinaten, die
den weißen Pixel der Schnittbilder aus der y-Richtung entsprechen,
die durch Schritt 7 erhalten sind, werden in jeder Silhouette
projektiv umgewandelt und die entsprechenden Pixel in jeder Silhouette
werden weiß. Ein Filterverfahren wird an den oben genannten
Silhouetten durchgeführt. Die oben erhaltenen Silhouetten
werden mit den in Schritt 6 extrahierten Silhouetten verglichen,
wobei Pixel, die in beiden Bildern weiß sind, weiß gemacht
werden, und andere Pixel schwarz gemacht werden. Das oben genannte
Verfahren wird an allen Silhouetten durchgeführt und die Silhouetten,
in denen die unnötigen Teile entfernt sind, werden extrahiert.
-
Schritt 9:
Die Silhouetten, in denen eine Anzahl an fehlenden Teilen repariert
ist, werden extrahiert. Ein Filterverfahren wird an den oben erhaltenen Silhouetten
durchgeführt, so dass die fehlenden Teile weiter repariert
werden. Dadurch, dass die fehlenden Teile repariert werden (Schritt 6),
und die unnötigen Teile entfernt werden (Schritt 8)
und die fehlenden Teile repa riert werden (Schritt 9), werden
Silhouetten mit höherer Genauigkeit mit diesen Verfahren
extrahiert.
-
Schritt 10:
Wenn die Genauigkeit dieser Silhouetten genug ist, werden durch
das Formgebung-aus-Silhouetten-Verfahren aus diesen Silhouetten
hochgenaue visuelle Ummantelungen erstellt. Wenn die Genauigkeit
dieser Silhouetten nicht genug ist, wird die Genauigkeit der Silhouetten
und der visuellen Ummantelung graduell erhöht durch Annahme, dass
die in Schritt 9 erhaltenen Silhouetten eine Eingabe in
den Schritt 3 seien, wobei die Schritte 3 bis 9 wiederholt
werden.
-
Im
Allgemeinen beeinflussen unnötige Teile wie Schatten in
den Silhouetten die Erzeugung der visuellen Ummantelung nicht sehr,
wenn das Formgebung-aus-Silhouetten-Verfahren genutzt ist. Jedoch beeinflussen
die fehlenden Teile in einer Personenmaske die Erzeugung der visuellen
Ummantelung zu sehr. Es ist notwendig, die fehlenden Teile in einer Personenmaske
zu reparieren.
-
Daher
werden die Pixel, die eine Person in dem Schnittbild der visuellen
Ummantelung sind (d. h., eher die weißen Pixel als die
schwarzen), sicher weiß in den entsprechenden Pixeln jeder
Silhouette. Jedoch müssen Pixel, die nicht ein Zielobjekt
sind (die schwarzen Pixel), nicht unbedingt schwarz in jeder Silhouette
sein.
-
Daher
sind die weißen Pixel in jedem Schnittbild wichtig und
die Verbesserung der Genauigkeit der Schnittbilder wird die fehlenden
Teile Schritt für Schritt reparieren. Die Genauigkeit der
Schnittbilder verbessert sich und die fehlenden Teile der visuellen Umman telung
werden in kleinen Schritten durch Wiederholen der Schritte 3 bis 9 repariert.
-
Als
nächstes wird die Verbesserung der Silhouetten an realen
Bildern gezeigt. 2 zeigt ein Beispiel einer Silhouette,
die aus dem Kamerabild erhalten ist. 2 ist eine
Silhouette, die durch Schritt 2 durch einfache Hintergrundwegnahme
erzeugt ist, und es ist gefunden, dass die Genauigkeit nicht hoch ist.
-
3a bis 3c zeigen
ein Beispiel einer visuellen Ummantelung, die aus der Silhouette
aus 2 erstellt ist. Da die visuelle Ummantelung dreidimensional
ist, sind ein Bild (a), gesehen aus der horizontalen Richtung (aus
x-Achsen-Richtung), ein Bild (b), gesehen aus der vertikalen Richtung
(der y-Achsen-Richtung), und ein Bild (c), gesehen aus der horizontalen
Richtung (der z-Achsen-Richtung), gezeigt. Man beachte, dass 3b im
Vergleich mit 3a und 3c um
50% verkleinert ist. Da diese visuelle Ummantelung aus der Silhouette
aus 2 erstellt ist, die nicht von hoher Genauigkeit
ist, ist die Genauigkeit nicht hoch. Die Pixel, die weiß sein
sollten, sind nicht repariert und sind schwarz und ursprünglich
schwarze Pixel sind weiß.
-
4a bis 4c zeigen
ein Beispiel einer visuellen Ummantelung, in der fehlende Teile
der visuellen Ummantelung aus 3 repariert
sind. Es ist die visuelle Ummantelung nach Reparieren der fehlenden
Teile der visuellen Ummantelung aus 3 durch
den Schritt 5. Diese Figuren zeigen auch ein Bild (a),
gesehen aus x-Achsen-Richtung, ein Bild (b), gesehen aus der y-Achsen-Richtung,
und ein Bild (c), gesehen aus der z-Achsen- Richtung, wobei 4b im
Vergleich mit den 4a und 4c um 50%
verkleinert ist. Wenn 4 beispielsweise
mit 3 verglichen wird, wird gefunden,
dass fehlende Teile in der zweiten Person von links in x-Achsen-Richtung
repariert sind.
-
5 zeigt
eine Silhouette, in der fehlende Teile aus der Silhouette von 2 repariert
sind. Es ist die Silhouette, die durch das Verfahren in Schritt 5 und
Schritt 6 erhalten wird. Wenn 5 mit 2 verglichen
wird, sind fehlende Teile in dem Teil der Person repariert. In anderen
Worten ist gefunden, dass ein schwarzes Pixel weiß geworden
ist.
-
6 zeigt
eine Silhouette, in der nicht erforderliche Teile der Silhouette
aus 5 entfernt sind. Es ist die Silhouette, die durch
das Verfahren in Schritt 8 erhalten wird. Wenn 6 mit 5 verglichen
wird, wird gefunden, dass unnötige Teile entfernt sind.
Man beachte, dass, da die Silhouette aus 6 weiße
Teile aus beiden der Schnittbilder extrahiert, die aus der y-Achsen-Richtung
aus Schritt 7 und der Silhouette aus 5 extrahiert
sind, Hintergrundteile der Silhouette in 6 entfernt
sind.
-
7 zeigt
eine Silhouette, an der ein Filterverfahren gegenüber der
Silhouette aus 6 durchgeführt ist.
Es ist die Silhouette, die das Verfahren im Schritt 9 erarbeitet.
Wenn 7 mit 6 verglichen wird, wird gefunden,
dass fehlende Teile weiter durch den Filtervorgang repariert sind.
-
Man
beachte, dass die Silhouetten aus 2, 5, 6 und 7 ein
Stück einer Anzahl an Silhouetten sind und dass das Verfahren
für die Silhouetten entsprechend der Anzahl an Kameras
durchgeführt wird.
-
Wenn
die Silhouette aus 2 mit der Silhouette aus 7 verglichen
wird, wird gefunden, dass die Genauigkeit der Silhouetten stark
zugenommen hat durch einmaliges Durchführen der Schritte 3 bis 9 der
vorliegenden Erfindung.
-
Die
Genauigkeit der Silhouetten kann weiter verbessert werden durch
mehrmaliges Durchführen der Schritte 3 bis 9 der
vorliegenden Erfindung. 8 zeigt eine Silhouette, die
nach dreimaligem Durchführen der Schritte 3 bis 9 der
vorliegenden Erfindung extrahiert ist. 9 zeigt
eine Silhouette, die nach fünfmaligem Durchführen
der Schritte 3 bis 9 der vorliegenden Erfindung
extrahiert ist. 10 zeigt eine Silhouette, die
nach siebenmaligem Durchführen der Schritte 3 bis 9 der
vorliegenden Erfindung extrahiert ist. 11 zeigt
eine Silhouette, die durch neunmaliges Durchführen der
Schritte 3 bis 9 der vorliegenden Erfindung extrahiert
ist. Wenn die Silhouetten der 7, 8, 9, 10 und 11 miteinander verglichen
werden, kann erkannt werden, dass die Genauigkeit der Silhouetten
Stück für Stück verbessert wird. Zum
Beispiel ist ein Punkt, der mit einem Pfeil 1 angezeigt
wird, ursprünglich ein Punkt, der weiß in der
Figur sein sollte. Wenn 8 mit 7 verglichen
wird, wird gefunden, dass ein fehlender Teil schmaler in 8 geworden
ist, und es wird gefunden, dass der fehlende Teil in 9, 10 und 11 vollständig
repariert ist. Ein Punkt, angezeigt mit ei nem Pfeil 2,
ist ursprünglich auch ein Hintergrundpunkt, der schwarz
sein sollte. Wenn die 7, 8 und 9 miteinander
verglichen werden, wird gefunden, dass ein Punkt in weiß schmaler
wird, und es wird gefunden, dass der weiße Punkt vollständig
in den 10 und 11 verschwindet.
-
Abschließend
sind die visuellen Ummantelungen gezeigt, die aus den Silhouetten
der 7, 8, 9, 10 und 11 erstellt
sind. 12a bis 12c zeigen
eine visuelle Ummantelung, die aus der Silhouette gemäß 7 erstellt
ist, 13a bis 13c zeigen
eine visuelle Ummantelung, die aus der Silhouette von 8 erstellt
ist, 14a bis 14c zeigen
eine visuelle Ummantelung, die aus der Silhouette von 9 erstellt
ist, 15a bis 15c zeigen
eine visuelle Ummantelung, die aus der Silhouette von 10 erstellt
ist, und 16a bis 16c zeigen
eine visuelle Ummantelung, die aus der Silhouette von 11 erstellt ist.
Diese Figuren zeigen ein Bild (a), gesehen aus der x-Achsen-Richtung,
ein Bild (b), gesehen aus der y-Achsen-Richtung, und ein Bild (c),
gesehen aus der z-Achsen-Richtung, wobei das Bild (b) 50% verkleinert
ist im Vergleich mit dem Bild (a) und dem Bild (c). Es ist gefunden,
dass die Genauigkeit der visuellen Ummantelung mit Zunahme der Genauigkeit
der jeweiligen Silhouetten zunimmt. Zum Beispiel ist in der zweiten
Person von links in x-Achsen-Richtung gefunden, dass ein fehlender
Teil graduell abnimmt, wie es voranschreitet in den 12, 13 und 14,
und es ist gefunden, dass der fehlende Teil vollständig
repariert ist in den 15 und 16. Es ist auch gefunden, dass ein Teil
unter dem Fuß der zweiten Person von rechts (es ist Hintergrund
und sollte schwarz sein) graduell abnimmt, wie es in den 12, 13, 14 und 15 voranschreitet,
und es ist gefunden, dass es vollständig in 16 verschwindet. Auf diese Weise ist gefunden, dass
die visuelle Ummantelung, die die Genauigkeit verbessert, erstellt
ist aus der Silhouette, die die Genauigkeit verbessert.
-
Alle
die vorangegangenen Ausführungsbeispiele sind als Beispiele
der Erfindung aufgeführt und haben nicht die Absicht zu
beschränken, wobei viele unterschiedliche Ausbildungen
und Gestaltungen der vorliegenden Erfindung erstellt werden können,
ohne von dem Gedanken und dem Ziel der Erfindung abzuweichen. Entsprechend
ist die Erfindung nur durch das beschränkt, wie es in den
folgenden Ansprüchen und den entsprechenden Äquivalenten
definiert ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - JP 2008/331762 [0001]
- - JP 2007-17364 [0003]
-
Zitierte Nicht-Patentliteratur
-
- - Toyoura et
al ”Silhouette Refinement for Visual Hull with Random Pattern
Background”, IEICE General Conference 2005, D-12-133 [0003]