DE60316690T2

DE60316690T2 - System zur bildvergleichung mit verwendung eines dreidimensionalen objectmodelles, bildvergleichverfahren und bildvergleichprogramm

Info

Publication number: DE60316690T2
Application number: DE60316690T
Authority: DE
Inventors: Masahiko Hamanaka
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-07-10
Filing date: 2003-07-08
Publication date: 2008-07-17
Anticipated expiration: 2023-07-09
Also published as: CN1669052B; US7545973B2; KR100651010B1; AU2003281007B2; US20060120589A1; DE60316690D1; KR20050017117A; EP1530157B1; CN1669052A; ATE374978T1; CA2491727A1; WO2004008392A1; JPWO2004008392A1; JP4560832B2; EP1530157A4; US20090245624A1; US7873208B2; AU2003281007A1; EP1530157A1

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf ein Bildgleichheitsprüfsystem unter Verwendung eines dreidimensionalen Objektmodells, auf ein Bildgleichheitsprüfverfahren und auf ein Bildgleichheitsprüfprogramm. Insbesondere bezieht sich die vorliegende Erfindung auf ein Bildgleichheitsprüfsystem, das ein in einer Datenbank (DB) gespeichertes Referenzbild auf Grund eines Eingabebildes eines Objektes (eines menschlichen Gesichtes), das unter einer anderen Pose- und Beleuchtungsbedingung aufgenommen worden ist, abrufen kann, und auf sein Bildgleichheitsprüfverfahren und Bildgleichheitsprüfprogramm
STAND DER TECHNIK
Ein Beispiel eines herkömmlichen Bildgleichheitsprüfsystems ist in Tsutada usw., "Dictionary configuration method for discriminating person independently of face direction", The Transactions of the Institute of Electronics, Information and Communication Engineers, D-II, Bd. J78-D-II, Nr. 11 (1995), S. 1639–1649 (im Folgenden als erste herkömmliche Technik bezeichnet), beschrieben. Wie in 26 gezeigt ist, enthält ein Bildgleichheitsprüfsystem gemäß dem ersten Bildgleichheitsprüfsystem einen Bildeingabebereich 10, einen Bildgleichheitsprüfbereich 40, einen Ergebnisanzeigebereich 80, einen Referenzbild-Speicherbereich 70 und einen Referenzbild-Registrierungsbereich 75.
Das herkömmliche Bildgleichheitsprüfsystem mit einer solchen Konfiguration arbeitet wie im Folgenden beschrieben.
Referenzbilder verschiedener aufgenommener Objekte (wie etwa Referenzgesichtsbilder von Personen) werden zuvor durch den Referenzbild-Registrierungsbereich 75 in dem Referenzbild-Speicherbereich 70 gespeichert. Allerdings ändern sich Referenzbilder je nach der Bedingung (Bedingungen wie etwa der Pose und Beleuchtung) zur Zeit der Abbildung stark. Somit werden in Bezug auf ein Objekt zuvor mehrere unter verschiedenen Bedingungen abgebildete Bilder (eine große Anzahl abgebildeter Bilder) gespeichert.
Der Bildeingabebereich 10 wird z. B. unter Verwendung einer Kamera realisiert. Das abgebildete Eingabebild wird in einem Speicher (nicht veranschaulicht) ge speichert. Der Bildgleichheitsprüfbereich 40 vergleicht das von dem Bildeingabebereich 10 erhaltene Eingabebild mit jedem der von dem Referenzbild-Speicherbereich 70 erhaltenen Referenzbilder, berechnet Ähnlichkeiten (oder Abstandswerte) jeweiliger Merkmale und wählt für jedes Objekt ein Referenzbild mit der größten Ähnlichkeit (oder mit dem kürzesten Abstand) aus. Jedes Bild wird durch Graustufenmerkmale repräsentiert. Bei der Berechnung der Ähnlichkeit zwischen Merkmalen und bei der Berechnung des Abstandswertes werden z. B. die normierte Korrelation und der euklidische Abstand verwendet. Der Ergebnisanzeigebereich 80 zeigt ein unter den Referenzbildern ausgewähltes Referenzbild eines Objektes mit der größten Ähnlichkeit als ein Gleichheitsprüfungsergebnis an (oder zeigt Kandidatenreferenzbilder in absteigender Reihenfolge der Ähnlichkeit an).
Ein weiteres Beispiel eines herkömmlichen Bildgleichheitsprüfsystems ist in der japanischen offengelegten Patentanmeldung Nr. 2000-322577 (im Folgenden als zweite herkömmliche Technik bezeichnet) beschrieben. Wie in 28 gezeigt ist, enthält das herkömmliche Bildgleichheitsprüfsystem einen Bildeingabebereich 10, einen Bildumsetzungsbereich 35, einen Teilbildgleichheitsprüfbereich 45, einen Ergebnisanzeigebereich 80, einen Referenzbild-Registrierungsbereich 75, einen Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle und einen 3D-Objektmodell-Registrierungsbereich 25.
Das herkömmliche Bildgleichheitsprüfsystem mit einer solchen Konfiguration arbeitet wie im Folgenden beschrieben.
Zuvor werden eines oder mehrere repräsentative dreidimensionale Objektmodelle, die von dem 3D-Objektmodell-Registrierungsbereich 25 erhalten werden, in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle gespeichert. Der Bildumsetzungsbereich 35 setzt das Eingabebild und/oder das Referenzbild hinsichtlich einer Teilregion, die für das von dem Bildeingabebildbereich 10 erhaltene Eingabebild und für jedes der von dem Referenzbild-Speicherbereich 70 erhaltenen Referenzbilder gemeinsam ist, unter Verwendung eines dreidimensionalen Objektmodells, das von dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle erhalten wird, in der Weise um, dass die Aufnahmebedingung (wie etwa die Posebedingung) zu derselben gemacht wird, und erzeugt dadurch Teilbilder.
Die Teilregion ist z. B., wie in 29 gezeigt ist, ein Merkmalsbereich wie etwa ein Auge, eine Nase oder ein Mund. Dadurch, dass zuvor ein Merkmalspunkt in Bezug auf jedes der Bilder und in Bezug auf die dreidimensionalen Objektmodelle spezifiziert wird, kann eine Korrespondenz gebildet werden. Der Teilbildgleichheitsprüfbereich 45 vergleicht für jedes Objekt das von dem Bildumsetzungsbereich 35 erhaltene umgesetzte Eingabebild mit einem Teilbild jedes der Referenzbilder, berechnet jeweilige durchschnittliche Ähnlichkeiten und wählt ein Referenzbild mit der größten Ähnlichkeit aus. Der Ergebnisanzeigebereich 80 zeigt ein Objekt mit der größten Ähnlichkeit unter den Referenzbildern als ein Gleichheitsprüfungsergebnis an.
Im US-Patent 6.002.782 enthält ein Verfahren zum elektronischen Erkennen eines dreidimensionalen Objektes X eine Eintragungsphase, in der ein dreidimensionales digitales Modell der Oberfläche des Objektes X in einem Speicher gespeichert wird. Anschließend wird in einer Zugriffsphase durch eine Kamera, die das Objekt aus einer bestimmten Richtung betrachtet, die nicht vorhersagbar ist, ein zweidimensionales Zugriffsbild eines nicht identifizierten Objektes erfasst. Daraufhin wird aus dem gespeicherten dreidimensionalen Modell ein zweidimensionales Bild des Modells erzeugt, wie es von einer wählbaren Betrachtungsrichtung gesehen wird, die die bestimmte Richtung, von der das nicht identifizierte Objekt in dem Zugriffsbild gesehen wird, annähert. Da die wählbare Betrachtungsrichtung des Modells die Richtung annähert, in der das Objekt von der Kamera gesehen wird, ist eine Korrelation zwischen dem Zugriffsbild des nicht identifizierten Objektes und dem Bild, das von dem Modell erzeugt wird, sehr hoch.
OFFENBARUNG DER ERFINDUNG
Die oben beschriebenen herkömmlichen Techniken besitzen verschiedene im Folgenden beschriebene Probleme.
Zunächst haben die oben beschriebene erste und zweite herkömmliche Technik ein Problem, dass eine große Anzahl von Referenzbildern eines Objektes registriert werden müssen, wobei die Aufnahme unter verschiedenen Bedingungen notwendig wird.
Der Grund ist wie folgt: Das Eingabebild wird direkt mit einem Referenzbild verglichen; falls die Eingabebild-Aufnahmebedingung nicht beschränkt ist, ist es somit notwendig, zuvor Referenzbilder vorzubereiten, die hinsichtlich der Aufnahmebedingung dem Eingabebild nahe kommen, um eine große Anzahl von Pose- und Beleuchtungsbedingungen zu behandeln. Tatsächlich gibt es allerdings hinsichtlich der Pose- und Beleuchtungsbedingungen unendliche Möglichkeiten, wobei es praktisch unmöglich ist, zuvor eine große Anzahl von Bildern vorzubereiten, die verschiedenen Bedingungen zugeordnet sind.
Zweitens werden in der zweiten herkömmlichen Technik das Eingabebild oder das Referenzbild umgesetzt, um sie hinsichtlich der Pose miteinander zu quadrieren, und wird ein Vergleich ausgeführt. Falls die Anzahl der Referenzbilder eines dreidimensionalen Objektmodells nicht ausreicht oder die Pose sehr verschieden ist, wird somit die durch die Umsetzung verursachte Verzerrung hoch und kann eine Gleichheitsprüfung nicht richtig ausgeführt werden, was zu einem Problem führt. Außerdem besteht ein Problem, dass es sehr schwierig ist, die Beleuchtungsbedingungen durch die Ausführung einer Umsetzung miteinander zu quadrieren, wobei sicher eine gemeinsame Region vorhanden sein muss, da Bilder in der gemeinsamen Region verglichen werden.
Drittens besitzt die herkömmliche Technik ein Problem, dass es beträchtlich lange Zeit dauert, die Gleichheitsprüfung auszuführen.
Der Grund ist wie folgt: In den herkömmlichen Techniken wird das Eingabebild mit mehreren Referenzbildern von Referenzobjekten verglichen; falls die Anzahl der Objekte M ist und die Anzahl der Referenzbilder jedes Objektes L ist, muss eine Bildgleichheitsprüfung somit wenigstens L ☐ M-mal ausgeführt werden.
Eine Aufgabe der vorliegenden Erfindung ist die Schaffung eines Bildgleichheitsprüfsystems, eines Bildgleichheitsprüfverfahrens und eines Bildgleichheitsprüfprogramms, die es ermöglichen, selbst dann ein in einer Datenbank registriertes Referenzbild auf der Grundlage eines Eingabebildes hinsichtlich unter verschiedenen Pose- und Beleuchtungsbedingungen jedes Objektes aufgenommener Bilder abzurufen, wenn nur eine kleine Anzahl von Referenzbildern verfügbar ist.
Eine weitere Aufgabe der vorliegenden Erfindung ist die Schaffung eines Bildgleichheitsprüfsystems, eines Bildgleichheitsprüfverfahrens und eines Bildgleichheitsprüfprogramms, die es ermöglichen, eine Gleichheitsprüfung mit einer kleinen Anzahl von Referenzbildern dreidimensionaler Objektbilder auszuführen, ohne eine Verarbeitung wie etwa das Umsetzen des Eingabebildes oder des Referenzbildes auszuführen, um zu veranlassen, dass die Pose übereinstimmt, und die es ermöglichen, eine Gleichheitsprüfung selbst dann auszuführen, wenn keine gemeinsame Region für die Bilder vorhanden ist.
Eine weitere Aufgabe der vorliegenden Erfindung ist die Schaffung eines Bildgleichheitsprüfsystems, eines Bildgleichheitsprüfverfahrens und eines Bildgleichheitsprüfprogramms, die es ermöglichen, eine Bildgleichheitsprüfung auszuführen, ohne immer hinsichtlich aller Objekte eine bestimmte notwendige Anzahl dreidimensionaler Objekte zu erzeugen.
Eine nochmals weitere Aufgabe der vorliegenden Erfindung ist die Schaffung eines Bildgleichheitsprüfsystems, eines Bildgleichheitsprüfverfahrens und eines Bildgleichheitsprüfprogramms, die es ermöglichen, ein Abrufen selbst dann mit hoher Geschwindigkeit auszuführen, wenn eine Datenbank Referenzbilder hinsichtlich einer großen Anzahl darin registrierter Objekte besitzt.
Gemäß der vorliegenden Erfindung werden ein Bildgleichheitsprüfsystem, ein Bildgleichheitsprüfverfahren und ein Computerprogramm geschaffen, wie sie in den unabhängigen Ansprüchen 1, 20 und 39 definiert sind.
Die vorliegende Erfindung schafft ein Bildgleichheitsprüfsystem zum Abrufen eines Referenzbildes, das einem Eingabebild ähnlich ist, wobei das Bildgleichheitsprüfsystem enthält: Einrichtungen zum Ausführen einer Gleichheitsprüfung eines Eingabebildes und mehrerer repräsentativer dreidimensionaler Objektmodelle, Einrichtungen zum Ausführen einer Gleichheitsprüfung des Referenzbildes und der repräsentativen dreidimensionalen Objektmodelle und Einrichtungen zum Abrufen des Referenzbildes, das dem Eingabebild ähnlich ist, unter Verwendung eines Ergebnisses der Gleichheitsprüfung des Eingabebildes und der repräsentativen dreidimensionalen Objektmodelle, und eines Ergebnisses der Gleichheitsprüfung des Referenzbildes und der repräsentativen dreidimensionalen Objektmodelle.
Das Bildgleichheitsprüfsystem kann ferner Einrichtungen zum Ermitteln eines dreidimensionalen Referenzobjektmodells, das dem Referenzbild zugeordnet ist, das dem Eingabebild ähnlich ist; und Einrichtungen zum erneuten Abrufen des Referenzbildes, das dem Eingabebild ähnlich ist, unter Verwendung des dreidimensionalen Objektmodells und des Eingabebildes enthalten.
Das Bildgleichheitsprüfsystem kann ferner Einrichtungen zum Ermitteln eines dreidimensionalen Referenzobjektmodells, das dem Referenzbild zugeordnet ist, das dem Eingabebild ähnlich ist, Umsetzungseinrichtungen zum Quadrieren einer Aufnahmebedingung des Eingabebildes mit der des Referenzbildes durch Umsetzen des Eingabebildes und/oder des Referenzbildes auf Grund des dreidimensionalen Referenzobjektmodells und Einrichtungen zum Abrufen des Referenzbildes, das dem Eingabebild zugeordnet ist, durch Ausführen einer Gleichheitsprüfung des Eingabebildes und des hinsichtlich der Aufnahmebedingung damit quadrierten Referenzbildes enthalten.
In dem Bildgleichheitsprüfsystem können die Umsetzungseinrichtungen vorher das Referenzbild umsetzen und eine Aufnahmebedingung des Eingabebildes mit jener des Referenzbildes quadrieren.
Das Bildgleichheitsprüfsystem kann enthalten: Bildeingabeeinrichtungen zum Eingeben des Eingabebildes, einen Speicherbereich für repräsentative dreidimensionale Objektmodelle, um mehrere repräsentative dreidimensionale Objektmodelle zu speichern, Bilderzeugungseinrichtungen zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell auf Grund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, Bildgleichheitsprüfeinrichtungen zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder, die durch die Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell, einen Referenzbild-Speicherbereich zum Speichern der Referenzbilder von Objekten, einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, und Ergebnisgleichheitsprüfeinrichtungen zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist, auf Grund von durch die Bildgleichheitsprüfeinrichtungen berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen drei dimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Das Bildgleichheitsprüfsystem kann ferner enthalten: 3D-Objektmodell-Registrierungseinrichtungen zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle, Referenzbild-Registrierungseinrichtungen zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn durch die 3D-Objektmodell-Registrierungseinrichtungen ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn durch die Referenzbild-Registrierungseinrichtungen ein neues Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich.
In dem Bildgleichheitsprüfsystem können die Bildgleichheitsprüfeinrichtungen eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnen, kann der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, für jede Teilregion speichern und können die Ergebnisgleichheitsprüfeinrichtungen das Referenzbild extrahieren, das dem Eingabebild ähnlich ist – auf Grund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
In dem Bildgleichheitsprüfsystem können die Ergebnisgleichheitsprüfeinrichtungen Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und den re präsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnen und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten auf Grund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen liefern.
Das Bildgleichheitsprüfsystem kann enthalten: Bildeingabeeinrichtungen zum Eingeben des Eingabebildes, einen Speicherbereich für repräsentative dreidimensionale Objektmodelle, um mehrere repräsentative dreidimensionale Objektmodelle zu speichern, Bilderzeugungseinrichtungen zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell auf Grund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, Bildgleichheitsprüfeinrichtungen zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder, die durch die Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell, einen Referenzbild-Speicherbereich zum Speichern der Referenzbilder von Objekten, einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, und Ergebnisgleichheitsprüfeinrichtungen zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – auf Grund von durch die Bildgleichheitsprüfeinrichtungen berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen, einen 3D-Referenzobjektmodell-Speicherbereich zum Speichern von dreidimensionalen Referenzobjektmodellen, die den Referenzbildern zugeordnet sind, die im Referenzbild-Speicherbereich gespeichert sind, zweite Bilderzeugungseinrichtungen zum Erhalten von dreidimensionalen Referenzobjektmodellen, die Referenzbildern zugeordnet sind, die von den Ergebnisgleichheitsprüfeinrichtungenn extrahiert sind, aus dem Speicherbereich für dreidimensionale Referenzobjektmodelle und Erzeugen wenigstens eines zweiten Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes dreidimensionale Referenzobjektmodell auf Grund der erhaltenen dreidimensionalen Referenzobjektmodelle und zweite Bildgleichheitsprüfeinrichtungen zum Berechnen von Ähnlichkeiten zwischen dem Eingabebild und zweiten Vergleichsbildern, die durch die zweiten Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit aus zweiten Vergleichsbildern, die jedem der dreidimensionalen Referenzobjektmodelle zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem dreidimensionalen Referenzobjektmodell.
Das Bildgleichheitsprüfsystem kann ferner enthalten: 3D-Objektmodell-Registrierungseinrichtungen zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle, Referenzbild-Registrierungseinrichtungen zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn durch die 3D-Objektmodell-Registrierungseinrichtungen ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn durch die Referenzbild-Registrierungseinrichtungen ein neues Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und 3D-Objektmodell-Erzeugungseinrichtungen, die auf eine Registrierung einer Ähnlichkeit zwischen dem Referenzbild und dem repräsentativen dreidimensionalen Objektmodell im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich, die durch die Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen ausgeführt wird, reagieren, um das dem Referenzbild zugeordnete dreidimensionale Referenzobjektmodell zu erzeugen, indem sie die repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, auf Grund der Ähnlichkeit kombinieren und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registrieren.
In dem Bildgleichheitsprüfsystem können die 3D-Objektmodell-Erzeugungseinrichtungen jedem Referenzbild zugeordnet ein dreidimensionales Referenzobjektmodell erzeugen, indem sie für jede Teilregion repräsentative dreidimensionale Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, auf Grund von für jede Teilregion erhaltenen Ähnlichkeiten zwischen Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, kombinieren und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registrieren.
In dem Bildgleichheitsprüfsystem können die Bildgleichheitsprüfeinrichtungen eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnen, kann der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, speichern und können die Ergebnisgleichheitsprüfeinrichtungen das Referenzbild extrahieren, das dem Eingabebild ähnlich ist, auf Grund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
In dem Bildgleichheitsprüfsystem können die Ergebnisgleichheitsprüfeinrichtungen Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnen und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten auf Grund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen liefern.
Das Bildgleichheitsprüfsystem kann enthalten: Bildeingabeeinrichtungen zum Eingeben des Eingabebildes, einen Speicherbereich für repräsentative dreidimensio nale Objektmodelle, um mehrere repräsentative dreidimensionale Objektmodelle zu speichern, Bilderzeugungseinrichtungen zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell auf Grund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, Bildgleichheitsprüfeinrichtungen zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder, die durch die Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell, einen Referenzbild-Speicherbereich zum Speichern der Referenzbilder von Objekten, einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, Ergebnisgleichheitsprüfeinrichtungen zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – auf Grund von durch die Bildgleichheitsprüfeinrichtungen berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen, einen Speicherbereich für dreidimensionale Referenzobjektmodelle, um dreidimensionale Referenzobjektmodelle zu speichern, die den Referenzbildern zugeordnet sind, die im Referenzbild-Speicherbereich gespeichert sind, Bildumsetzungseinrichtungen zum Erhalten von dreidimensionalen Referenzobjektmodellen, die von den Ergebnisgleichheitsprüfeinrichtungen extrahierten Referenzbildern zugeordnet sind, aus dem Speicherbereich für dreidimensionale Referenzobjektmodelle, Quadrieren einer Aufnahmebedingung des Eingabebildes mit der des Referenzbildes, das durch die Ergebnisgleichheitsprüfeinrichtungen extrahiert ist, durch Umsetzen des Eingabebildes und/oder des Referenzbildes, das durch die Ergebnisgleichheitsprüfeinrichtungen extrahiert ist, auf Grund der erhaltenen dreidimensionalen Referenzobjektmodelle und Erzeugen von Teilbildern des Eingabebildes bzw. des Referenzbildes mit miteinander quadrierter Aufnahmebedingung und Teilbildgleichheitsprüfeinrichtungen zum Berechnen einer Ähnlichkeit zwischen dem Teil bild des Eingabebildes und dem Teilbild des Referenzbildes, die durch die Bildumsetzungseinrichtungen erzeugt sind.
Ferner kann das Bildgleichheitsprüfsystem enthalten: 3D-Objektmodell-Registrierungseinrichtungen zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle, Referenzbild-Registrierungseinrichtungen zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn durch die 3D-Objektmodell-Registrierungseinrichtungen ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn durch die Referenzbild-Registrierungseinrichtungen ein Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und 3D-Objektmodell-Erzeugungseinrichtungen, die auf die Registrierung einer Ähnlichkeit zwischen dem Referenzbild und dem repräsentativen dreidimensionalen Objektmodell im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich, die durch die Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen ausgeführt wird, reagieren, um das dem Referenzbild zugeordnete dreidimensionale Referenzobjektmodell zu erzeugen, indem sie die repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, auf Grund der Ähnlichkeit kombinieren und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registrieren.
In dem Bildgleichheitsprüfsystem können die 3D-Objektmodell-Erzeugungseinrichtungen jedem Referenzbild zugeordnet ein dreidimensionales Referenzobjektmodell erzeugen, indem sie im Speicherbereich für repräsentative dreidimensionale Objektmodelle für jede Teilregion gespeicherte repräsentative dreidimensionale Objektmodelle auf Grund von für jede Teilregion erhaltenen Ähnlichkeiten zwischen Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, kombinieren und das erzeugte dreidimensionale Objektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registrieren.
In dem Bildgleichheitsprüfsystem können die Bildgleichheitsprüfeinrichtungen eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnen, kann der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, für jede Teilregion speichern und können die Ergebnisgleichheitsprüfeinrichtungen das Referenzbild extrahieren, das dem Eingabebild ähnlich ist – auf Grund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
In dem Bildgleichheitsprüfsystem können die Ergebnisgleichheitsprüfeinrichtungen Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnen und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten auf Grund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen liefern.
In dem Bildgleichheitsprüfsystem kann das Objekt ein menschliches Gesicht sein.
Gemäß der vorliegenden Erfindung werden die folgenden Wirkungen erzielt.
Es wird nun eine erste Wirkung beschrieben. In Bezug auf ein Eingabebild eines unter einer anderen Aufnahmebedingung wie etwa unter einer anderen Pose- und Beleuchtungsbedingung aufgenommenes Objektes kann ein Referenzbild desselben Objektes selbst dann abgerufen werden, wenn nur ein Referenzbild vorhanden ist oder eine kleine Anzahl von Referenzbildern vorhanden sind. Darüber hinaus kann die Gleichheitsprüfung mit einer kleinen Anzahl von Referenzbildern dreidimensionaler Objekte ausgeführt werden, ohne eine Verarbeitung wie etwa eine Umsetzung des Eingabebildes oder des Referenzbildes auszuführen, um zu veranlassen, dass ihre Posen miteinander übereinstimmen. Außerdem kann eine Gleichheitsprüfung selbst dann ausgeführt werden, wenn keine gemeinsame Region für die Bilder vorhanden ist. Darüber hinaus wird eine Bildgleichheitsprüfung möglich, ohne immer eine vorgegebene Anzahl dreidimensionaler Objektmodelle für jedes Objekt zu erzeugen.
Der Grund ist, dass ein Referenzbild durch Vergleichen eines Ergebnisses der Gleichheitsprüfung zwischen dem Eingabebild und repräsentativen dreidimensionalen Objektmodellen mit einem Ergebnis der Gleichheitsprüfung zwischen Referenzbildern und repräsentativen dreidimensionalen Objektmodellen abgerufen wird. Außerdem ist der Grund, dass ein dreidimensionales Referenzobjektmodell durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen und Aussetzen einer Gleichheitsprüfung erzeugt wird.
Eine zweite Wirkung ist, dass ein Referenzbild mit hoher Geschwindigkeit in Bezug auf ein Eingabebild abgerufen werden kann.
Der Grund ist, dass die Gleichheitsprüfung von weniger repräsentativen dreidimensionalen Objektmodellen als die Objekte ausgeführt wird und dass eine Bildgleichheitsprüfung unter Verwendung der Berechnung der Ähnlichkeit des Gleichheitsprüfungsergebnisses ausgeführt wird. Selbst wenn eine Gleichheitsprüfung mit einem dreidimensionalen Referenzobjektmodell ausgeführt wird, werden unter Verwendung repräsentativer dreidimensionaler Objektmodelle Referenzbilder mit hoher Ähnlichkeit extrahiert und wird daraufhin eine Gleichheitsprüfung von Kandidaten hoher Priorität mit dreidimensionalen Referenzobjektmodellen ausgeführt.
KURZBESCHREIBUNG DER ZEICHNUNG
1 ist ein Blockschaltplan, der eine Konfiguration eines Bildgleichheitsprüfsystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt;
2 ist ein Ablaufplan, der den zur Zeit der Gleichheitsprüfung in einer ersten Ausführungsform ausgeführten Betrieb zeigt;
3 ist ein Diagramm, das ein konkretes Beispiel eines repräsentativen dreidimensionalen Objektmodells in einer ersten Ausführungsform zeigt;
4 ist ein Diagramm, das konkrete Beispiele eines Referenzbildes in einer ersten Ausführungsform zeigt;
5 ist ein Diagramm, das ein konkretes Beispiel eines Referenzbild-Gleichheitsprüfungsergebnisses in einer ersten Ausführungsform zeigt;
6 ist ein Diagramm, das ein konkretes Beispiel eines Eingabebildes in einer ersten Ausführungsform zeigt;
7 ist ein Diagramm, das ein konkretes Beispiel eines Eingabebild-Gleichheitsprüfungsergebnisses in einer ersten Ausführungsform zeigt;
8 ist ein Diagramm, das ein konkretes Beispiel einer Ergebnisgleichheitsprüfung in einer ersten Ausführungsform zeigt;
9 ist ein Blockschaltplan, der eine Konfiguration eines Bildgleichheitsprüfsystems gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt;
10 ist ein Ablaufplan, der einen zur Zeit der 3D-Objektmodell-Registrierung ausgeführten Betrieb in einer zweiten Ausführungsform zeigt;
11 ist ein Ablaufplan, der einen zur Zeit der Referenzbild-Registrierung in einer zweiten Ausführungsform ausgeführten Betrieb zeigt;
12 ist ein Diagramm, das ein konkretes Beispiel eines Gleichheitsprüfungsergebnisses eines registrierten dreidimensionalen Objektmodells in einer zweiten Ausführungsform zeigt;
13 ist ein Diagramm, das ein konkretes Beispiel der Aktualisierung eines Referenzbild-Gleichheitsprüfungsergebnisses in einer zweiten Ausführungsform zeigt;
14 ist ein Diagramm, das ein konkretes Beispiel eines Gleichheitsprüfungsergebnisses eines registrierten Referenzbildes in einer zweiten Ausführungsform zeigt;
15 ist ein Diagramm, das ein konkretes Beispiel der Aktualisierung eines Referenzbild-Gleichheitsprüfungsergebnisses in einer zweiten Ausführungsform zeigt;
16 ist ein Blockschaltplan, der eine Konfiguration eines Bildgleichheitsprüfsystems gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt;
17 ist ein Ablaufplan, der einen zur Zeit der Gleichheitsprüfung ausgeführten Betrieb in einer dritten Ausführungsform zeigt;
18 ist ein Diagramm, das konkrete Beispiele eines dreidimensionalen Referenzobjektmodells in einer dritten Ausführungsform zeigt;
19 ist ein Diagramm, das ein konkretes Beispiel eines Referenzbild-Gleichheitsprüfungsergebnisses in einer dritten Ausführungsform zeigt;
20 ist ein Blockschaltplan, der eine Konfiguration eines Bildgleichheitsprüfsystems gemäß einer vierten Ausführungsform der vorliegenden Erfindung zeigt;
21 ist ein Ablaufplan, der einen zur Zeit der 3D-Objektmodell-Registrierung ausgeführten Betrieb in einer vierten Ausführungsform zeigt;
22 ist ein Ablaufplan, der einen zur Zeit der Referenzbild-Registrierung ausgeführten Betrieb in einer vierten Ausführungsform zeigt;
23 ist ein Blockschaltplan, der eine Konfiguration eines Bildgleichheitsprüfsystems gemäß einer fünften Ausführungsform der vorliegenden Erfindung zeigt;
24 ist ein Ablaufplan, der einen zur Zeit der Gleichheitsprüfung ausgeführten Betrieb in einer fünften Ausführungsform zeigt;
25 ist ein Blockschaltplan, der eine Konfiguration eines Bildgleichheitsprüfsystems gemäß einer sechsten Ausführungsform der vorliegenden Erfindung zeigt;
26 ist ein Blockschaltplan, der eine Konfiguration eines Bildgleichheitsprüfsystems gemäß einer ersten herkömmlichen Technik zeigt;
27 ist ein Diagramm, das ein konkretes Beispiel von Koordinaten eines dreidimensionalen Objektmodells zeigt;
28 ist ein Blockschaltplan, der eine Konfiguration eines Bildgleichheitsprüfsystems gemäß einer zweiten herkömmlichen Technik zeigt; und
29 ist ein Diagramm, das ein konkretes Beispiel einer Teilregion einer zweiten herkömmlichen Technik zeigt.
BESTE AUSFÜHRUNGSART DER ERFINDUNG
Im Folgenden werden anhand der Zeichnung ausführlich Ausführungsformen der vorliegenden Erfindung beschrieben.
Anhand von 1 enthält ein Bildgleichheitsprüfsystem gemäß einer ersten Ausführungsform der vorliegenden Erfindung einen Bildeingabebereich 10, einen Bilderzeugungsbereich 30, einen Bildgleichheitsprüfbereich 40, einen Ergebnisgleichheitsprüfbereich 60, einen Ergebnisanzeigebereich 80, einen Referenzbild-Speicherbereich 70, einen Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle und einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50.
In dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle werden zuvor repräsentative dreidimensionale Objektmodelle (dreidimensionale Formen von Objekten und Texturen auf Objektoberflächen) registriert. Die dreidimensionalen Objektmodelle können z. B. unter Verwendung einer in der japanischen offengelegten Patentanmeldung Nr. 2001-12925 beschriebenen Messvorrichtung für dreidimensionale Formen oder einer Vorrichtung, die eine dreidimensionale Form aus mehreren mit einer großen Anzahl von Kameras aufgenomme nen Bildern rekonstruiert, die in der japanischen offengelegten Patentanmeldung Nr. 9-91436 beschrieben ist, erzeugt werden.
Wie in 27 gezeigt ist, besitzt das dreidimensionale Objektmodell in einem dreidimensionalen Raum (x, y, z) bei einer Objektoberfläche als Informationen eine Form P_Q(x, y, z) und eine Textur T_Q(R, G, B). Q repräsentiert einen Index eines Punktes auf der Objektoberfläche und entspricht den Koordinaten eines Punktes Q(s, t), der dadurch erhalten wird, dass ein Punkt auf der Objektoberfläche auf eine Kugel projiziert wird, die um den Schwerpunkt des Objektes von dem Schwerpunkt zentriert ist. Zur Gleichheitsprüfung werden zuvor unter Verwendung dreidimensionaler Objektmodelle und Computergraphiken CG-Bilder zum Lernen unter verschiedenen Beleuchtungsbedingungen erzeugt und wird durch Ausführen einer Hauptkomponentenanalyse an den CG-Bildern zum Lernen eine Basisbildgruppe abgeleitet.
Der Bilderzeugungsbereich 30 erzeugt mehrere Vergleichsbilder, die hinsichtlich Beleuchtungsbedingung einem von dem Bildeingabebereich 10 erhaltenen Eingabebild nahe kommen, während er eine Posebedingung auf der Grundlage eines repräsentativen dreidimensionalen Objektmodells annimmt, das von dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle erhalten wird. Die Erzeugung eines Vergleichsbildes, das hinsichtlich der Beleuchtungsbedingung dem Eingabebild nahe kommt, kann hier dadurch realisiert werden, dass an einer zuvor auf der Grundlage der angenommenen Posebedingung erhaltenen Basisbildgruppe eine Koordinatenumsetzung ausgeführt wird und unter Verwendung des Verfahrens der kleinsten Quadrate Koeffizienten einer linearen Summe in der Weise erhalten werden, dass veranlasst wird, dass die lineare Summe der Basisbilder, die der Koordinatenumsetzung ausgesetzt werden, dem Eingabebild nahe kommt.
Eine Technik, um aus dem dreidimensionalen Objektmodell ein Vergleichsbild zu erzeugen, das dem Eingabebild nahe kommt, ist z. B. in "Face matching using automatic correction of both illumination condition and pose", Technical Report of the Institute of Electronics, Information and Communication Engineers, Bd. 101, Nr. 524, PRMU 2001-153-175 (2001), S. 59–64, beschrieben.
Der Bildgleichheitsprüfbereich 40 schätzt die Pose durch Vergleichen des Eingabebildes, das von dem Bildeingabebereich 10 erhalten wird, mit jedem der Ver gleichsbilder, die von dem Bilderzeugungsbereich 30 erhalten werden, Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder und Auswählen eines Vergleichsbildes mit der größten Ähnlichkeit für jedes Objekt.
Der Bilderzeugungsbereich 30 und der Bildgleichheitsprüfbereich 40 behandeln jedes der Referenzbilder, die in dem Referenzbild-Speicherbereich 70 gespeichert sind, der als eine Datenbank (DB) dient, die Referenzbilder speichert, als das Eingabebild und führt eine Gleichheitsprüfung repräsentativer dreidimensionaler Objektmodelle, die in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle gespeichert sind, mit jedem der Referenzbilder aus. Die durch die Gleichheitsprüfung erhaltenen Ergebnisse werden zuvor in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeichert.
Der Ergebnisgleichheitsprüfbereich 60 vergleicht ein Ergebnis der Gleichheitsprüfung des von dem Bildeingabebildbereich 10 erhaltenen Eingabebildes, die durch den Bilderzeugungsbereich 30 und durch den Bildgleichheitsprüfbereich 40 ausgeführt wird, mit dem Gleichheitsprüfungsergebnis jedes Referenzbildes in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 und extrahiert Referenzbilder mit ähnlichen Gleichheitsprüfungsergebnissen in absteigender Reihenfolge der Ähnlichkeit. Der Ergebnisanzeigebereich 80 zeigt ein Objekt mit der höchsten Ähnlichkeit als ein Gleichheitsprüfungsergebnis an.
Referenzbilder, die zweidimensionale Bilder eines abzurufenden Objektes sind, werden in dem Referenzbild-Speicherbereich 70 registriert. Bezüglich der Referenzbilder gibt es keine Beschränkungen an die Aufnahmebedingung einschließlich der Beleuchtung und Pose. Von jedem Objekt (Abrufsubjekt) wird wenigstens ein Bild registriert.
In dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle werden mehrere repräsentative dreidimensionale Objektmodelle gespeichert.
Anhand von 1 und eines in 2 gezeigten Ablaufplans wird nun ausführlich der allgemeine Betrieb der ersten Ausführungsform beschrieben.
Zur Zeit der Eingabebild-Gleichheitsprüfung wird zunächst durch den Bildeingabebildbereich 10 ein Eingabebild erhalten (Schritt 100 in 2). Nachfolgend erzeugt der Bilderzeugungsbereich 30 Vergleichsbilder, die hinsichtlich der Aufnahmebe dingung wie etwa der Pose und Beleuchtung dem Eingabebild nahe kommen, d. h. Vergleichsbilder, die den Vergleich bezüglich jedes der in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle gespeicherten repräsentativen dreidimensionalen Objektmodelle erleichtern (Schritt 101).
Der Bildgleichheitsprüfbereich 40 ermittelt eine Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder (Schritt 102). Der Ergebnisgleichheitsprüfbereich 60 berechnet eine Ähnlichkeit zwischen dem Gleichheitsprüfungsergebnis und einem Gleichheitsprüfungsergebnis jedes der Referenzbilder, die in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeichert sind, und extrahiert Referenzbilder mit ähnlichen Gleichheitsprüfungsergebnissen in absteigender Reihenfolge der Ähnlichkeit (Schritt 103). Schließlich wird ein Referenzbild mit hoher Ähnlichkeit angezeigt (Schritt 104).
Es werden nun Wirkungen der ersten Ausführungsform beschrieben, die die wie oben beschriebene Konfiguration hat und wie oben beschrieben arbeitet.
Die erste Ausführungsform besitzt eine Konfiguration, in der Referenzbilder durch Vergleichen eines Ergebnisses der Gleichheitsprüfung des Eingabebildes und der repräsentativen dreidimensionalen Objektmodelle mit einem Ergebnis der Gleichheitsprüfung der Referenzbilder und der repräsentativen dreidimensionalen Objektmodelle abgerufen werden. Selbst wenn für jedes Objekt nur ein Referenzbild oder eine kleine Anzahl von Referenzbildern vorhanden sind, können somit Referenzbilder in Bezug auf ein Eingabebild eines Objektes, das unter einer anderen Bedingung hinsichtlich der Pose und Beleuchtung aufgenommen worden ist, abgerufen werden.
Die vorliegende Ausführungsform besitzt eine Konfiguration, in der die Bildgleichheitsprüfung durch Ausführung einer Gleichheitsprüfung mit repräsentativen dreidimensionalen Objektmodellen ausgeführt wird, die weniger als die Objekte sind, und an den Ergebnissen der Gleichheitsprüfung eine Ähnlichkeitsberechnung ausgeführt wird. Dies macht ein schnelles Abrufen möglich. Da die Zeit, die die Ähnlichkeitsberechnung der Gleichheitsprüfungsergebnisse dauert, kürzer ist als die Zeit, die die Bildgleichheitsprüfung dauert, hängt die Abrufzeit von der Anzahl der Bildgleichheitsprüfungsoperationen ab. Wenn z. B. die Anzahl N der repräsentativen dreidimensionalen Objektmodelle N = M/100 ist, wobei M die Anzahl der Objekte (die Anzahl der Referenzbilder) ist, ist die Anzahl erforderlicher Bildgleich heitsprüfungsoperationen L·N = L·M/100, wobei L die Anzahl der Vergleichsbilder für jedes in dem Bilderzeugungsbereich 30 erzeugte repräsentative dreidimensionale Objektmodell ist. Somit kann der Abruf mit der Gleichheitsprüfungsanzahl so klein wie 1/100 der in der herkömmlichen Technik ausgeführt werden.
Anhand der 3 bis 8, die konkrete Ausführungsformen zeigen, wird nun der Betrieb der ersten Ausführungsform beschrieben.
Wie in 3 gezeigt ist, sind in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle N repräsentative dreidimensionale Objektmodelle C_j (j = 1, 2, ..., N) gespeichert. Wie in 4 gezeigt ist, sind in dem Referenzbild-Speicherbereich 70 M Referenzbilder R_i (i = 1, 2, ..., M) der jeweiligen Objekte gespeichert. (Für jedes der Objekte können mehrere Referenzbilder vorhanden sein. Allerdings wird in der folgenden Beschreibung angenommen, dass für jedes Objekt ein Referenzbild gespeichert ist.) Wie in 5 gezeigt ist, wird in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 durch Verarbeitung zur Zeit der Referenzbild-Registrierung ein Ergebnis (Ähnlichkeit S_ij) der Gleichheitsprüfung jedes der Referenzbilder R_i mit dem repräsentativen dreidimensionalen Objektmodell C_j gespeichert. (In 5 sind die Gleichheitsprüfungsergebnisse in absteigender Reihenfolge der Ähnlichkeit gezeigt. Tatsächlich können die Gleichheitsprüfungsergebnisse jedoch in der Reihenfolge des Modells gespeichert sein.)
Es wird angenommen, dass durch den Bildeingabebildbereich 10 zur Zeit der Gleichheitsprüfung des Eingabebildes ein wie in 6 gezeigtes Eingabebild I(u, v) erhalten wird (Schritt 100 in 2). Nachfolgend erzeugt der Bilderzeugungsbereich 30 in Bezug auf jedes der repräsentativen dreidimensionalen Objektmodelle C_j (j = 1, ..., N) in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle L Vergleichsbilder G_jk(u, v) (j = 1, ..., N, k = 1, ..., L), die hinsichtlich der Aufnahmebedingung wie etwa der Pose und Beleuchtung dem Eingabebild nahe kommen (Schritt 101).
Außerdem ermittelt der Bildgleichheitsprüfbereich 40 eine Ähnlichkeit S(I, G_jk) zwischen dem Eingabebild I(u, v) und jedem der Vergleichsbilder G_jk(u, v) und ermittelt für jedes repräsentative dreidimensionale Objektmodell eine maximale Ähnlichkeit S_{0j_} = max_kS(I, G_jk) (Schritt 102). Die Gleichheitsprüfungsergebnisse (Ähnlichkeiten) S_0j werden z. B. wie in 7 gezeigt.
Der Ergebnisgleichheitsprüfbereich 60 berechnet eine Ähnlichkeit D_i = D(S_0j, S_ij) zwischen dem Gleichheitsprüfungsergebnis S_0j und dem Gleichheitsprüfungsergebnis S_ij jedes der Referenzbilder in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 und extrahiert Referenzbilder in absteigender Reihenfolge der Ähnlichkeit D_i des Gleichheitsprüfungsergebnisses (Schritt 103). Das Ergebnis der Extraktion wird z. B. wie in 8 gezeigt. Als Referenzbilder mit einer hohen Möglichkeit, ein Bild desselben Objektes wie das Eingabebild zu sein, werden in der erwähnten Reihenfolge R₁, R₅ und R₂ erhalten. Schließlich werden die Referenzbilder mit hohen Ähnlichkeiten angezeigt (Schritt 104).
Als das Berechnungsverfahren der Ähnlichkeit D_i(S_0i, S_ij) des Gleichheitsprüfungsergebnisses können normierte Korrelation, Rangkorrelation oder dergleichen verwendet werden. Die Rangkorrelation ist eine Korrelation der Kandidatenpriorität des Gleichheitsprüfungsergebnisses. Wenn die Kandidatenpriorität des Gleichheitsprüfungsergebnisses S_0j des Eingabebildes durch A_0j bezeichnet wird, folgt, dass im Fall des in 7 gezeigten Gleichheitsprüfungsergebnisses A_0,2 = 1, A_0,5 = 2 und A_0,3 = 3 ist. Bei Bezeichnung der Kandidatenpriorität des Gleichheitsprüfungsergebnisses S_ij jedes der Referenzbilder durch A_ij kann z. B. die Spearman-Rangkorrelation gemäß dem Ausdruck 1·6 Σ_j(A_0j·A_ij)²/{N(N² – 1)} erhalten werden.
In der Ähnlichkeitsberechnung können die Ähnlichkeiten nach Ausführung einer Variablenumsetzung an den Variablen (wie etwa S_0j, S_ij und A_0j, A_ij) berechnet werden. Die Ähnlichkeiten können durch Gewichten von Variablen mit Gewichten g(A_0j, A_ij) auf der Grundlage der Kandidatenpriorität A_0j und/oder A_ij berechnet werden. Zum Beispiel werden die relativen Dichten von Kandidaten hoher Priorität durch Setzen von g(A_0j, A_ij) = 1/(A_0j + A_ij) und Ersetzen der Ähnlichkeiten S_0j bzw. durch S_0j/(A_0j + A_ij) und S_ij/(A_0j + A_ij) hoch. Die Ähnlichkeiten können berechnet werden, während Kandidaten niedriger Priorität ausgeschlossen werden.
Anhand der 9 bis 15 wird nun ein Bildgleichheitsprüfsystem gemäß einer zweiten Ausführungsform der vorliegenden Erfindung beschrieben. Ein Bildgleichheitsprüfsystem gemäß der zweiten Ausführungsform der vorliegenden Erfindung enthält einen Bildeingabebereich 10, einen Bilderzeugungsbereich 30, einen Bild gleichheitsprüfbereich 40, einen Ergebnisgleichheitsprüfbereich 60, einen Ergebnisanzeigebereich 80, einen Referenzbild-Speicherbereich 70, einen Referenzbild-Registrierungsbereich 75, einen Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle und einen 3D-Objektmodell-Registrierungsbereich 25, einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 und einen Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55. Diese Konfiguration wird durch Hinzufügen des Referenzbild-Registrierungsbereichs 75, des 3D-Objektmodell-Registrierungsbereichs 25 und des Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereichs 55 zu der Konfiguration der ersten Ausführungsform erhalten.
Bezüglich Komponenten in dem Bildgleichheitsprüfsystem gemäß der zweiten Ausführungsform, die dieselben wie in der ersten Ausführungsform sind, wird die Beschreibung weggelassen. Es werden die in der vorliegenden Ausführungsform hinzugefügten Komponenten beschrieben.
Der 3D-Objektmodell-Registrierungsbereich 25 registriert in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle ein neues repräsentatives dreidimensionales Objektmodell (eine dreidimensionale Form eines Objektes und eine Textur auf der Objektoberfläche).
Wenn zur Zeit der Registrierung in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle durch das dreidimensionale Objektmodell 25 ein repräsentatives dreidimensionales Objektmodell registriert wird und wenn in dem Referenzbild-Speicherbereich 70 durch den Referenzbild-Registrierungsbereich 75 ein Referenzbild registriert wird, führt der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 an einer Kombination aus einem neuen Referenzbild und einem repräsentativen dreidimensionalen Objektmodell unter Verwendung des Bilderzeugungsbereichs 30 und des Bildgleichheitsprüfbereichs 40 eine Gleichheitsprüfungsoperation aus und fügt ein Ergebnis der Gleichheitsprüfung zu den Daten in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 hinzu.
Der Referenzbild-Registrierungsbereich 75 registriert Referenzbilder, die zweidimensionale Bilder eines abzurufenden Objektes sind, in dem Referenzbild-Speicherbereich 70. Bezüglich der Referenzbilder gibt es keine Beschränkungen an die Aufnahmebedingung einschließlich der Beleuchtung und der Pose. Für jedes Objekt (Abrufsubjekt) wird wenigstens ein Bild registriert.
Der 3D-Objektmodell-Registrierungsbereich 25 ist übrigens derselbe wie der in 28 gezeigte 3D-Objektmodell-Registrierungsbereich 25 in der zweiten herkömmlichen Technik. In dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle werden zuvor repräsentative dreidimensionale Objektmodelle gespeichert, die von dem 3D-Objektmodell-Registrierungsbereich 25 erhalten werden.
Anhand von 9 und der in den 2, 10 und 11 gezeigten Ablaufpläne wird nun ausführlich der allgemeine Betrieb der zweiten Ausführungsform beschrieben.
Der zur Zeit der Gleichheitsprüfung des Eingabebildes ausgeführte Betrieb ist vollständig derselbe wie der in 2 gezeigte Betrieb der ersten Ausführungsform.
Zur Zeit der Eingabebild-Gleichheitsprüfung wird zunächst durch den Bildeingabebereich 10 ein Eingabebild erhalten (Schritt 100 in 2). Nachfolgend erzeugt der Bildeingabebildbereich 30 Vergleichsbilder, die hinsichtlich der Aufnahmebedingung wie etwa der Pose und Beleuchtung dem Eingabebild nahe kommen, d. h. Vergleichsbilder, die hinsichtlich jedes der in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle gespeicherten repräsentativen dreidimensionalen Objektmodelle den Vergleich ermöglichen (Schritt 101).
Der Bildgleichheitsprüfbereich 40 ermittelt eine Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder (Schritt 102). Der Ergebnisgleichheitsprüfbereich 60 berechnet eine Ähnlichkeit zwischen dem Gleichheitsprüfungsergebnis und dem Gleichheitsprüfungsergebnis jedes der in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeicherten Referenzbilder und extrahiert die Referenzbilder mit ähnlichen Gleichheitsprüfungsergebnissen in absteigender Reihenfolge der Ähnlichkeit (Schritt 103). Schließlich wird ein Referenzbild mit hoher Ähnlichkeit angezeigt (Schritt 104).
Es werden nun der zur Zeit der Registrierung von repräsentativen dreidimensionalen Objektmodellen ausgeführte Betrieb und der zur Zeit der Referenzbild-Registrierung ausgeführte Betrieb beschrieben.
Zur Zeit der Registrierung eines repräsentativen dreidimensionalen Objektmodells (einer dreidimensionalen Form eines Objektes und einer Textur auf der Objektoberfläche) registriert der 3D-Objektmodell-Registrierungsbereich 25 zunächst ein neues repräsentatives dreidimensionales Objektmodell in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle (Schritt 200 in 10).
Nachfolgend sendet der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 jedes der in dem Referenzbild-Speicherbereich 70 gespeicherten Referenzbilder als das Eingabebild an den Bildeingabebereich 10. Der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 führt in dem Bildgleichheitsprüfbereich 40 eine Gleichheitsprüfung jedes der Referenzbilder mit durch den Bilderzeugungsbereich 30 auf der Grundlage des registrierten repräsentativen dreidimensionalen Objektmodells erzeugten Vergleichsbildern aus und ermittelt eine Ähnlichkeit (Schritt 201). Schließlich fügt der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 zu jedem der Gleichheitsprüfungsergebnisse der in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeicherten Referenzbilder ein Ergebnis der Gleichheitsprüfung hinzu (Schritt 202).
Zur Zeit der Referenzbild-Registrierung registriert zunächst der Referenzbild-Registrierungsbereich 75 ein neues Referenzbild in dem Referenzbild-Speicherbereich 70 (Schritt 210 in 11).
Nachfolgend sendet der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 das in dem Referenzbild-Speicherbereich 70 registrierte Referenzbild als das Eingabebild an den Bildeingabebildbereich 10. Der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 führt in dem Bildgleichheitsprüfbereich 40 eine Gleichheitsprüfung des Referenzbilds mit durch den Bilderzeugungsbereich 30 auf der Grundlage des in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle gespeicherten repräsentativen dreidimensionalen Objektmodells erzeugten Vergleichsbildern aus und ermittelt Ähnlichkeiten (Schritt 211). Schließlich fügt der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 ein Ergebnis der Gleichheitsprüfung zu dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 hinzu (Schritt 212).
Es werden nun Wirkungen der zweiten Ausführungsform beschrieben, die die wie oben beschriebene Konfiguration hat und wie oben beschrieben arbeitet.
Die zweite Ausführungsform besitzt die Konfiguration, in der Referenzbilder durch Vergleichen eines Ergebnisses der Gleichheitsprüfung des Eingabebildes und der repräsentativen dreidimensionalen Objektmodelle mit einem Ergebnis der Gleichheitsprüfung der Referenzbilder und der repräsentativen dreidimensionalen Objektmodelle abgerufen werden. Somit können selbst dann, wenn für jedes Objekt nur ein Referenzbild oder eine kleine Anzahl von Referenzbildern vorhanden sind, Referenzbilder in Bezug auf ein Eingabebild eines unter einer anderen Bedingung hinsichtlich Pose und Beleuchtung aufgenommenen Objektes abgerufen werden.
Die vorliegende Ausführungsform besitzt eine Konfiguration, in der die Bildgleichheitsprüfung durch Ausführen einer Gleichheitsprüfung mit repräsentativen dreidimensionalen Objektmodellen, die weniger als Objekte sind, und Ausführen einer ähnlichen Berechnung an den Ergebnissen der Gleichheitsprüfung ausgeführt wird. Dies ermöglicht einen schnellen Abruf. Da die Zeit, die die Ähnlichkeitsberechnung der Gleichheitsprüfungsergebnisse dauert, kürzer ist als die Zeit, die die Bildgleichheitsprüfung dauert, hängt die Abrufzeit von der Anzahl der Bildgleichheitsprüfungsoperationen ab. Falls z. B. die Anzahl N der repräsentativen dreidimensionalen Objektmodelle N = M/100 ist, wobei M die Anzahl der Objekte (die Anzahl der Referenzbilder) ist, ist die Anzahl erforderlicher Bildgleichheitsprüfungsoperationen L·N = L·M/100, wobei L die Anzahl der Vergleichsbilder für jedes in den Bilderzeugungsbereich 30 erzeugte repräsentative dreidimensionale Objektmodell ist. Somit kann ein Abruf mit der Gleichheitsprüfungsanzahl von nicht mehr als 1/100 der in der herkömmlichen Technik ausgeführt werden.
Der Betrieb der zweiten Ausführungsform wird nun anhand konkreter Ausführungsformen beschrieben.
Wie in 3 gezeigt ist, werden in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle in der gleichen Weise wie in der ersten Ausführungsform N repräsentative dreidimensionale Objektmodelle C_j (j = 1, 2, ..., N) gespeichert. Wie in 4 gezeigt ist, sind in dem Referenzbild-Speicherbereich 70 M Referenzbilder R_i (i = 1, 2, ..., M) der Objekte gespeichert. Wie in 5 gezeigt ist, wird durch Verarbeitung zur Zeit der Referenzbild-Registrierung ein Ergebnis (Ähnlichkeit S_ij) der Gleichheitsprüfung jedes Referenzbildes R_i mit dem reprä sentativen dreidimensionalen Objektmodell C_j in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeichert.
Es wird angenommen, dass durch den Bildeingabebereich 10 zur Zeit der Gleichheitsprüfung des Eingabebildes ein wie in 6 gezeigtes Eingabebild I(u, v) erhalten wird (Schritt 100 in 2. Nachfolgend erzeugt der Bilderzeugungsbereich 30 in Bezug auf jedes der repräsentativen dreidimensionalen Objektmodelle C_i(j = 1, ..., N) in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle L Vergleichsbilder G_jk(u, v) (j = 1, ..., N, k = 1, ..., L), die hinsichtlich der Aufnahmebedingung wie etwa der Pose und Beleuchtung dem Eingabebild nahe kommen (Schritt 101).
Außerdem ermittelt der Bildgleichheitsprüfbereich 40 eine Ähnlichkeit S(I, G_jk) zwischen dem Eingabebild I(u, v) und jedem der Vergleichsbilder G_jk(u, v) und ermittelt er für jedes repräsentative dreidimensionale Objektmodell eine maximale Ähnlichkeit S_oj = max_kS(I, G_jk) (Schritt 102). Die Gleichheitsprüfungsergebnisse (Ähnlichkeiten) S_oj werden z. B. wie in 7 gezeigt.
Der Ergebnisgleichheitsprüfbereich 60 berechnet Ähnlichkeiten D_i = D(S_0j, S_ij) zwischen dem Gleichheitsprüfungsergebnis S_0j und den Gleichheitsprüfungsergebnissen S_ij der Referenzbilder in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 und extrahiert Referenzbilder in absteigender Reihenfolge der Ähnlichkeit D_i des Gleichheitsprüfungsergebnisses (Schritt 103). Das Ergebnis der Extraktion wird z. B. wie in 8 gezeigt. Als Referenzbilder mit einer hohen Wahrscheinlichkeit, ein Bild desselben Objektes wie das Eingabebild zu sein, werden in der erwähnten Reihenfolge R₁, R₅ und R₂ erhalten. Schließlich werden Referenzbilder mit hohen Ähnlichkeiten angezeigt (Schritt 104).
Zur Zeit der Registrierung des repräsentativen dreidimensionalen Objektmodells registriert der 3D-Objektmodell-Registrierungsbereich 25 zunächst ein neues repräsentatives dreidimensionales Objektmodell. Falls in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle bereits N = 50 repräsentative dreidimensionale Objektmodelle registriert worden sind, registriert der 3D-Objektmodell-Registrierungsbereich 25 ein neues, einundfünfzigstes repräsentatives dreidimensionales Objektmodell C₅₁ (Schritt 200 in 10).
Nachfolgend sendet der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 jedes in dem Referenzbild-Speicherbereich 70 gespeicherte Referenzbild R_i als das Eingabebild an den Bildeingabebereich 10. Der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 führt unter Verwendung des Bilderzeugungsbereichs 30 und des Bildgleichheitsprüfbereichs 40 eine Gleichheitsprüfung jedes Referenzbildes R_i mit dem registrierten repräsentativen dreidimensionalen Objektmodell C₅₁ aus und ermittelt jede Ähnlichkeit S_i,51 = max_kS(R_i, G_51,k) (Schritt 201).
Das Bildgleichheitsprüfungsergebnis (die Ähnlichkeit) S_i,51 wird z. B. wie in 12 gezeigt. Schließlich fügt der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 das Gleichheitsprüfungsergebnis wie in 13 gezeigt zu den Gleichheitsprüfungsergebnissen jedes der in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeicherten Referenzbilder hinzu (Schritt 202).
Zur Zeit der Referenzbild-Registrierung registriert der Referenzbild-Registrierungsbereich 75 zunächst ein neues Referenzbild in dem Referenzbild-Speicherbereich 70. Falls in dem Referenzbild-Speicherbereich 70 bereits M = 100 Referenzbilder registriert worden sind, registriert der Referenzbild-Registrierungsbereich 75 ein neues, einhunderterstes Referenzbild R₁₀₁ in dem Referenzbild-Speicherbereich 70 (Schritt 210 in 11).
Nachfolgend sendet der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 das in dem Referenzbild-Speicherbereich 70 registrierte Referenzbild R₁₀₁ als das Eingabebild an den Bildeingabebereich 10. Der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 führt unter Verwendung des Bilderzeugungsbereichs 30 und des Bildgleichheitsprüfbereichs 40 eine Gleichheitsprüfung des Referenzbildes R₁₀₁ mit jedem in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle gespeicherten dreidimensionalen Objektmodell C_i aus und ermittelt jede Ähnlichkeit S₁₀₁ _, _j = max_kS(R₁₀₁, G_jk) (Schritt 211).
Das Gleichheitsprüfungsergebnis (die Ähnlichkeit) wird z. B. wie in 14 gezeigt. Schließlich fügt der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 das Gleichheitsprüfungsergebnis zu dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 hinzu (Schritt 212).
Anhand der 16 bis 19 wird nun ausführlich ein Bildgleichheitsprüfsystem gemäß einer dritten Ausführungsform der vorliegenden Erfindung beschrieben.
Anhand von 16 enthält ein Bildgleichheitsprüfsystem gemäß der dritten Ausführungsform der vorliegenden Erfindung einen Bildeingabebereich 10, einen Bilderzeugungsbereich 30, einen Bildgleichheitsprüfbereich 40, einen Ergebnisgleichheitsprüfbereich 60, einen zweiten Bilderzeugungsbereich 31, einen zweiten Bildgleichheitsprüfbereich 41, einen Ergebnisanzeigebereich 80, einen Referenzbild-Speicherbereich 70, einen Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle, einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 und einen 3D-Referenzobjektmodell-Speicherbereich 21.
Diese Komponenten arbeiten nahezu wie im Folgenden beschrieben. Der Bildeingabebereich 10, der Bilderzeugungsbereich 30, der Bildgleichheitsprüfbereich 40, der Ergebnisgleichheitsprüfbereich 60, der Ergebnisanzeigebereich 80, der Referenzbild-Speicherbereich 70 und der Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle führen dieselbe Verarbeitung wie die in der in 1 gezeigten ersten Ausführungsform der vorliegenden Erfindung ausgeführte Verarbeitung aus.
Die dem Referenzbild zugeordneten dreidimensionalen Referenzobjektmodelle werden zuvor in dem 3D-Referenzobjektmodell-Speicherbereich 21 gespeichert. Die dreidimensionalen Referenzobjektmodelle können durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen, die in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle gespeichert sind, auf der Grundlage von Informationen, die das in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeicherte Referenzbildgleichheitsprüfungsergebnis betreffen, erzeugt werden. Alternativ können dann, wenn in der gleichen Weise wie die oben beschriebene Registrierung von repräsentativen dreidimensionalen Objektmodellen zuvor durch eine Messvorrichtung für 3D-Formen dreidimensionale Objektmodelle desselben Objektes wie das Referenzbild erzeugt worden sind, die dreidimensionalen Objektmodelle verwendet werden.
Der zweite Bilderzeugungsbereich 31 erzeugt für ein Referenzbild, das in den von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Gleichheitsprüfungsergebnissen ein Kandidat hoher Priorität ist, auf der Grundlage jedes der dreidimensiona len Referenzobjektmodelle, die dem von dem 3D-Referenzobjektmodell-Speicherbereich 21 erhaltenen Referenzbild zugeordnet sind, Vergleichsbilder, die hinsichtlich der Aufnahmebedingung wie etwa der Pose- und der Beleuchtungsbedingung dem von dem Bildeingabebildbereich 10 erhaltenen Eingabebild nahe kommen.
Der zweite Bildgleichheitsprüfbereich 41 vergleicht das von dem Bildeingabebereich 10 erhaltene Eingabebild mit jedem der von dem zweiten Bilderzeugungsbereich 31 erhaltenen Vergleichsbilder und berechnet jede Ähnlichkeit.
Anhand von 16 und einem in 17 gezeigten Ablaufplan wird nun ausführlich der allgemeine Betrieb der dritten Ausführungsform beschrieben.
Die in 17 gezeigten Schritte 100, 101, 102 und 103 zur Zeit der Eingabebild-Gleichheitsprüfung sind dieselben wie der in der in 2 gezeigten ersten Ausführungsform ausgeführten Betrieb.
Der zweite Eingabebilderzeugungsbereich 31 erzeugt auf der Grundlage jedes der dreidimensionalen Referenzobjektmodelle, die dem von den 3D-Referenzobjektmodell-Speicherbereich 21 erhaltenen Referenzbild zugeordnet sind, für ein Referenzbild, das in den von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Gleichheitsprüfungsergebnissen ein Kandidat hoher Priorität ist, Vergleichsbilder, die hinsichtlich der Aufnahmebedingung wie etwa der Pose- und Beleuchtungsbedingung dem von dem Bildeingabebereich erhaltenen Eingabebild nahe kommen (Schritt 111).
Der zweite Bildgleichheitsprüfbereich 41 vergleicht das von dem Eingabebildbereich erhaltene Eingabebild mit jedem der von dem zweiten Bilderzeugungsbereich 31 erhaltenen Vergleichsbilder und berechnet jede Ähnlichkeit (Schritt 112). Schließlich wird das Referenzbild mit hoher Ähnlichkeit angezeigt (Schritt 104).
Es werden nun die Wirkungen der dritten Ausführungsform beschrieben, die die wie oben beschriebene Konfiguration hat und wie oben beschrieben arbeitet.
Die dritte Ausführungsform besitzt die Konfiguration, in der die Gleichheit des durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen erzeugten dreidimensionalen Referenzobjektmodells geprüft wird. Selbst wenn für jedes Objekt nur ein Referenzbild vorhanden ist, können somit unter Verwendung der dreidimensionalen Referenzobjektmodelle in Bezug auf ein Eingabebild eines unter einer anderen Bedingung hinsichtlich Pose und Beleuchtung aufgenommenen Objektes Referenzbilder abgerufen werden.
Die vorliegende Ausführungsform besitzt eine Konfiguration, in der unter Verwendung eines repräsentativen dreidimensionalen Objektmodells Referenzbilder mit hoher Ähnlichkeit extrahiert werden und daraufhin eine Gleichheitsprüfung des dreidimensionalen Referenzobjektmodells mit Kandidaten hoher Priorität ausgeführt wird. Im Ergebnis können Referenzbilder mit hoher Geschwindigkeit abgerufen werden.
Der Betrieb der dritten Ausführungsform wird nun anhand konkreter Ausführungsformen beschrieben.
In der gleichen Weise wie bei dem Betrieb der ersten Ausführungsform werden in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle wie in 3 gezeigte repräsentative dreidimensionale Objektmodelle C_j (j = 1, 2, ..., N) gespeichert. Die jeweiligen Referenzbilder R_i (i = 1, 2, ..., M) der wie in 4 gezeigten Objekte werden in dem Referenzbild-Speicherbereich 70 gespeichert. Ein Ergebnis (Ähnlichkeit) S_ij der Gleichheitsprüfung jedes der Referenzbilder R_i mit dem wie in 5 gezeigten repräsentativen dreidimensionalen Objektmodell C_j wird in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeichert.
Außerdem werden zuvor wie 18 gezeigt in dem 3D-Referenzobjektmodell-Speicherbereich 21 M dem Referenzbild R_i zugeordnete dreidimensionale Referenzobjektmodelle Bi (i = 1, 2, ..., M) gespeichert.
Es wird angenommen, dass zur Zeit der Gleichheitsprüfung des Eingabebildes ein wie in 6 gezeigtes Eingabebild I(u, v) von dem Bildeingabebildbereich 10 erhalten wird (Schritt 100 in 17). Gemäß derselben Verarbeitung wie dem Betrieb in der ersten Ausführungsform werden durch den Bilderzeugungsbereich 30, durch den Bildgleichheitsprüfbereich 40 und durch den Ergebnisgleichheitsprüfbereich 60 in der erwähnten Reihenfolge R₁, R₅ und R₂ als Referenzbilder mit einer hohen Wahrscheinlichkeit, ein Bild desselben Objektes wie das wie in 8 gezeigte Eingabebildes zu sein, erhalten (Schritte 101, 102 und 103).
Der zweite Bilderzeugungsbereich 31 erfasst von dem 3D-Referenzobjektmodell-Speicherbereich 21 z. B. in Bezug auf die Referenzbilder R₁, R₅ und R₂, die in dem von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Gleichheitsprüfungsergebnis drei Kandidaten hoher Priorität sind, zugeordnete dreidimensionale Referenzobjektmodelle B₁, B₅ und B₂ und erzeugt Vergleichsbilder H_jk(u, v) (j = 1, 5, 2, k = 1, ..., L), die hinsichtlich der Aufnahmebedingung wie etwa der Pose und Beleuchtung dem von dem Bildeingabebildbereich 10 erhaltenen Eingabebild nahe kommen (Schritt 111). Die Erzeugung der Vergleichsbilder H_jk(u, v) wird unter Verwendung eines ähnlichen Verfahrens wie in Schritt 101 ausgeführt. Mit anderen Worten, der zweite Bilderzeugungsbereich 31 erzeugt L Vergleichsbilder H_jk(u, v) (j = 1, 5, 2, k = 1, ..., L), die hinsichtlich der Aufnahmebedingung wie etwa der Pose und der Beleuchtung in Bezug auf die dreidimensionalen Referenzobjektmodelle B (j = 1, 5, 2) in dem 3D-Referenzobjektmodell-Speicherbereich 21 dem Eingabebild nahe kommen. Der zweite Bildgleichheitsprüfbereich 41 ermittelt eine Ähnlichkeit S(I, H_jk) zwischen dem Eingabebild I(u, v) und jedem Vergleichsbild H_jk(u, v) und ermittelt für jedes Modell eine maximale Ähnlichkeit S_oj = max_kS(I, H_jk) (Schritt 112).
Die Gleichheitsprüfungsergebnisse werden wie z. B. in 19 gezeigt. Falls S_0,5 > S_0,1 > S_0,2 ist, werden R₅, R₁ und R₂ in der erwähnten Reihenfolge als Referenzbilder mit hoher Wahrscheinlichkeit erhalten, ein Bild desselben Objektes wie das Eingabebild zu sein. Schließlich werden die Referenzbilder mit hohen Ähnlichkeiten angezeigt (Schritt 104).
Anhand der 20 bis 22 wird nun ausführlich ein Bildgleichheitsprüfsystem gemäß einer vierten Ausführungsform der vorliegenden Erfindung beschrieben.
Anhand von 20 enthält ein Bildgleichheitsprüfsystem gemäß der vierten Ausführungsform der vorliegenden Erfindung einen Bildeingabebereich 10, einen Bilderzeugungsbereich 30, einen Bildgleichheitsprüfbereich 40, einen Ergebnisgleichheitsprüfbereich 60, einen zweiten Bilderzeugungsbereich 31, einen zweiten Bildgleichheitsprüfbereich 41, einen Ergebnisanzeigebereich 80, einen Referenzbild-Speicherbereich 70, einen Referenzbild-Registrierungsbereich 75, einen Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle, einen 3D-Objektmodell-Registrierungsbereich 25, einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50, einen Referenzbild-Gleichheitsprüfungsergebnis-Ak tualisierungsbereich 55, einen 3D-Referenzobjektmodell-Speicherbereich 21 und einen 3D-Objektmodell-Erzeugungsbereich 27.
Die vierte Ausführungsform besitzt eine Konfiguration, die dadurch erhalten wird, dass zu der Konfiguration der dritten Ausführungsform der Referenzbild-Registrierungsbereich 75, der 3D-Objektmodell-Registrierungsbereich 25, der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 und der 3D-Objektmodell-Erzeugungsbereich hinzugefügt werden.
Bezüglich der Komponenten in dem Bildgleichheitsprüfsystem gemäß der vierten Ausführungsform, die dieselben wie in der dritten Ausführungsform sind, wird die Beschreibung weggelassen. Es werden die in der vorliegenden Ausführungsform hinzugefügten Komponenten beschrieben.
Diese Komponenten arbeiten nahezu wie im Folgenden beschrieben. Der Bildeingabebereich 10, der Bilderzeugungsbereich 30, der Bildgleichheitsprüfbereich 40, der Ergebnisgleichheitsprüfbereich 60, der Ergebnisanzeigebereich 80, der Referenzbild-Speicherbereich 70, der Referenzbild-Registrierungsbereich 75, der Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle, der 3D-Objektmodell-Registrierungsbereich 25 und der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 führen dieselbe Verarbeitung wie die in der in 1 gezeigten ersten Ausführungsform der vorliegenden Erfindung und in der in 9 gezeigten zweiten Ausführungsform ausgeführte Verarbeitung aus.
Der 3D-Referenzobjektmodell-Speicherbereich 21, der zweite Bilderzeugungsbereich 31 und der zweite Bildgleichheitsprüfbereich 41 führen dieselbe Verarbeitung wie die in der in 16 gezeigten dritten Ausführungsform ausgeführte Verarbeitung aus.
Wenn zur Zeit der Registrierung durch den Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 ein Referenzbild-Gleichheitsprüfungsergebnis in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 registriert wird, erzeugt der 3D-Objektmodell-Erzeugungsbereich 27 durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle auf der Grundlage von Informationen des Referenzbild-Gleichheitsprüfungsergebnisses ein dem Referenzbild zugeordnetes dreidimensionales Referenzobjektmodell und registriert das dreidi mensionale Referenzobjektmodell in dem 3D-Referenzobjektmodell-Speicherbereich 21 oder aktualisiert ein dreidimensionales Referenzobjektmodell in dem 3D-Referenzobjektmodell-Speicherbereich 21.
Der zweite Bilderzeugungsbereich 31 erzeugt in Bezug auf die Referenzbilder von Kandidaten hoher Priorität in dem von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Gleichheitsprüfungsergebnis auf der Grundlage jedes der dem Referenzbild zugeordneten dreidimensionalen Referenzobjektmodelle, die von dem 3D-Referenzobjektmodell-Speicherbereich 21 erhaltenen werden, Vergleichsbilder, die hinsichtlich Aufnahmebedingung wie etwa der Pose- und Beleuchtungsbedingung dem von dem Bildeingabebereich 10 erhaltenen Eingabebild nahe kommen.
Der zweite Bildgleichheitsprüfbereich 41 vergleicht das von dem Bildeingabebildbereich 10 erhaltene Eingabebild mit jedem der von dem zweiten Bilderzeugungsbereich 31 erhaltenen Vergleichsbilder und berechnet jede Ähnlichkeit.
Anhand von 20 und den in den 17, 21 und 22 gezeigten Ablaufplänen wird nun ausführlich der allgemeine Betrieb der vierten Ausführungsform beschrieben.
Der in den Schritten 100, 101, 102 und 103 in 17 zur Zeit der Gleichheitsprüfung des Eingabebildes ausgeführte Betrieb ist derselbe wie der in der in 2 gezeigten ersten Ausführungsform ausgeführte.
Der zweite Bilderzeugungsbereich 31 erzeugt auf der Grundlage jedes der dreidimensionalen Referenzobjektmodelle, die dem von dem 3D-Referenzobjektmodell-Speicherbereich 21 erhaltenen Referenzbild zugeordnet sind, für ein Referenzbild, das in den von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Gleichheitsprüfungsergebnissen ein Kandidat hoher Priorität ist, Vergleichsbilder, die hinsichtlich der Aufnahmebedingung wie etwa der Pose- und Beleuchtungsbedingung dem von dem Eingabebildbereich erhaltenen Eingabebild nahe kommen (Schritt 111).
Der zweite Bildgleichheitsprüfbereich 41 vergleicht das von dem Bildeingabebereich erhaltene Eingabebild mit jedem der von dem zweiten Bilderzeugungsbereich 31 erhaltenen Vergleichsbilder und berechnet jede Ähnlichkeit (Schritt 112). Schließlich wird das Referenzbild mit hoher Ähnlichkeit angezeigt (Schritt 104).
Der zur Zeit der 3D-Objektmodell-Registrierung in den Schritten 200, 201 und 202 in 21 ausgeführte Betrieb ist derselbe wie der in der in 10 gezeigten zweiten Ausführungsform ausgeführte. Schließlich regeneriert der 3D-Objektmodell-Erzeugungsbereich 27 durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle auf der Grundlage der Informationen jedes Referenzbild-Gleichheitsprüfungsergebnisses in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 ein jedem Referenzbild zugeordnetes dreidimensionales Referenzobjektmodell und registriert das dreidimensionale Referenzobjektmodell in dem 3D-Referenzobjektmodell-Speicherbereich 21 oder ersetzt ein gespeichertes dreidimensionales Referenzobjektmodell durch es (Schritt 220).
Der in den Schritten 210, 211 und 212 in 22 zur Zeit der Referenzbild-Registrierung ausgeführte Betrieb ist derselbe wie der in der in 11 gezeigten zweiten Ausführungsform ausgeführte. Schließlich erzeugt der 3D-Objektmodell-Erzeugungsbereich 27 auf der Grundlage von Informationen des in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 neu registrierten Referenzbild-Gleichheitsprüfungsergebnisses durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle ein dem Referenzbild zugeordnetes dreidimensionales Referenzobjektmodell und registriert das dreidimensionale Referenzobjektmodell außerdem in dem 3D-Referenzobjektmodell-Speicherbereich 21 (Schritt 221).
Es werden nun Wirkungen der vierten Ausführungsform beschrieben, die die wie oben beschriebene Konfiguration hat und wie oben beschrieben arbeitet.
Die vierte Ausführungsform besitzt die Konfiguration, in der die Gleichheit es durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen erzeugten dreidimensionalen Referenzobjektmodells geprüft wird. Selbst wenn für jedes Objekt nur ein Referenzbild vorhanden ist, können somit in Bezug auf ein unter einer anderen Bedingung hinsichtlich Pose und Beleuchtung aufgenommenes Eingabebild eines Objektes selbst dann Referenzbilder unter Verwendung der dreidimensionalen Referenzobjektmodelle abgerufen werden, wenn für jedes Objekt nur ein Referenzbild vorhanden ist.
Die vorliegende Ausführungsform besitzt eine Konfiguration, in der unter Verwendung eines repräsentativen dreidimensionalen Objektmodells Referenzbilder mit hoher Ähnlichkeit abgerufen werden und daraufhin die Gleichheitsprüfung des dreidimensionalen Referenzobjektmodells mit Kandidaten hoher Priorität ausgeführt wird. Im Ergebnis können Referenzbilder mit hoher Geschwindigkeit abgerufen werden.
Der Betrieb der vierten Ausführungsform wird nun anhand konkreter Ausführungsformen beschrieben.
In dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle werden in der gleichen Weise wie in dem Betrieb der ersten Ausführungsform wie in 3 gezeigte repräsentative dreidimensionale Objektmodelle C_j (j = 1, 2, ..., N) gespeichert. Die jeweiligen Referenzbilder R_i (i = 1, 2, ..., M) der wie in 4 gezeigten Objekte werden in dem Referenzbild-Speicherbereich 70 gespeichert. Ein Ergebnis (Ähnlichkeit) S_ij der Gleichheitsprüfung jedes Referenzbildes R_i mit dem wie in 5 gezeigten repräsentativen dreidimensionalen Objektmodell C_j wird in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeichert.
Außerdem werden zuvor in dem 3D-Referenzobjektmodell-Speicherbereich 21 durch die zur Zeit der Referenzbild-Registrierung wie in 18 gezeigt ausgeführte Verarbeitung M dem Referenzbild R_i zugeordnete dreidimensionale Referenzobjektmodelle Bi (i = 1, 2, ..., M) gespeichert.
Es wird angenommen, dass zur Zeit der Gleichheitsprüfung des Eingabebildes durch den Bildeingabebereich 10 ein wie in 6 gezeigtes Eingabebild I(u, v) erhalten wird (Schritt 100 in 17). Gemäß derselben Verarbeitung wie dem Betrieb in der ersten Ausführungsform werden durch den Bilderzeugungsbereich 30, durch den Bildgleichheitsprüfbereich 40 und durch den Ergebnisgleichheitsprüfbereich 60 R₁, R₅ und R₂ in der erwähnten Reihenfolge als Referenzbilder mit einer hohen Wahrscheinlichkeit erhalten, ein Bild desselben Objektes wie das in 8 gezeigte Eingabebild zu sein (Schritt 101, 102 und 103).
Zum Beispiel erfasst der zweite Bilderzeugungsbereich 31 in Bezug auf die Referenzbilder R₁, R₅ und R₂, die in dem von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Gleichheitsprüfungsergebnis drei Kandidaten hoher Priorität sind, von dem 3D-Referenzobjektmodell-Speicherbereich 21 zugeordnete dreidimensionale Referenzobjektmodelle B₁, B₅ und B₂ und erzeugt Vergleichsbilder H_jk(u, v) (j = 1, 5, 2, k = 1, ..., L), die hinsichtlich der Aufnahmebedingung wie etwa der Pose und der Beleuchtung dem von dem Bildeingabebereich 10 erhaltenen Eingabebild nahe kommen (Schritt 111). Der zweite Bildgleichheitsprüfbereich 41 ermittelt eine Ähnlichkeit S(I, H_jk) zwischen dem Eingabebild I(u, v) und jedem Vergleichsbild H_jk(u, v) und ermittelt für jedes Modell eine maximale Ähnlichkeit S_0j = max_kS(I, H_jk) (Schritt 112).
Die Gleichheitsprüfungsergebnisse werden z. B. wie in 19 gezeigt, wobei R₅, R₁ und R₂ in der erwähnten Reihenfolge als Referenzbilder mit einer hohen Möglichkeit erhalten werden, ein Bild desselben Objektes wie das Eingabebild zu sein. Schließlich werden die Referenzbilder mit hoher Ähnlichkeit angezeigt (Schritt 104).
Zur Zeit der 3D-Objektmodell-Registrierung registriert zunächst der 3D-Objektmodell-Registrierungsbereich 25 in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle ein neues repräsentatives dreidimensionales Objektmodell. Falls in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle bereits N = 50 dreidimensionale Objektmodelle registriert worden sind, registriert der 3D-Objektmodell-Registrierungsbereich 25 ein neues, einundfünfzigstes repräsentatives dreidimensionales Objektmodell C₅₁ (Schritt 200 in 21).
Nachfolgend aktualisiert der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 durch dieselbe Verarbeitung wie den Betrieb in der zweiten Ausführungsform das Gleichheitsprüfungsergebnis S_ij jedes Referenzbildes in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 (Schritt 201 und 202).
Schließlich regeneriert der 3D-Objektmodell-Erzeugungsbereich 27 durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen C_j in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle auf der Grundlage von Informationen jedes Referenzbild-Gleichheitsprüfungsergebnisses S_ij in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 ein jedem Referenzbild R_i (i = 1, 2, ..., M) zugeordnetes dreidimensionales Referenzobjektmodell B_i und ersetzt das bereits in dem 3D-Referenzobjektmodell-Speicherbe reich 21 gespeicherte dreidimensionale Referenzobjektmodell durch das dreidimensionale Referenzobjektmodell B_i (Schritt 220).
Wenn die Form und die Textur des dreidimensionalen Objektmodells C_j (j = 1, 2, N) durch P_Qj(x, y, z) bzw. durch T_Qj(R, G, B) bezeichnet werden und wenn die Form und die Textur des dreidimensionalen Referenzobjektmodells B_i (1 = 1, 2, ..., M) durch P_Qi(x, y, z) bzw. durch T_Qi(R, G, B) bezeichnet werden, wird das dreidimensionale Referenzobjektmodell z. B. gemäß den folgenden Ausdrücken berechnet. PQi(x, y, z) = Σjf(Sij)PQj(x, y, z) TQi(R, G, B) = Σjf(Sij)TQj(R, G, B).
Hier ist f eine Funktion, die monoton wächst, während S_ij wächst, und die der Relation Σ_jf(S_ij) = 1 genügt. Als das einfachste Beispiel kann f durch f(S_ij) = realisiert werden.
Zur Zeit der Referenzbild-Registrierung registriert der Referenzbild-Registrierungsbereich 75 zunächst ein neues Referenzbild in dem Referenzbild-Speicherbereich 70. Falls in dem Referenzbild-Speicherbereich 70 bereits M = 100 Referenzbilder gespeichert worden sind, registriert der Referenzbild-Registrierungsbereich 75 in dem Referenzbild-Speicherbereich 70 ein neues, einhunderterstes Referenzbild R₁₀₁ (Schritt 210 in 22).
Nachfolgend fügt der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 durch Ausführen derselben Verarbeitung wie dem Betrieb in der zweiten Ausführungsform zu dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 ein dem Referenzbild R₁₀₁ zugeordnetes Gleichheitsprüfungsergebnis S_101,j hinzu (Schritte 211 und 212).
Schließlich erzeugt der 3D-Objektmodell-Erzeugungsbereich 27 durch Kombinieren von repräsentativen dreidimensionalen Objektmodellen C_j in dem Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle auf der Grundlage von Information des Referenzbild-Gleichheitsprüfungsergebnisses S_101,j in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 ein dem Referenzbild R₁₀₁ zugeordnetes dreidimensionales Referenzobjektmodell B₁₀₁ und fügt das dreidimensionale Referenzobjektmodell B₁₀₁ zu dem 3D-Referenzobjektmodell-Speicherbereich 21 hinzu (Schritt 221).
Anhand der 23 und 24 wird nun ausführlich ein Bildgleichheitsprüfsystem gemäß einer fünften Ausführungsform der vorliegenden Erfindung beschrieben.
Anhand von 23 enthält ein Bildgleichheitsprüfsystem gemäß der fünften Ausführungsform der vorliegenden Erfindung einen Bildeingabebereich 10, einen Bilderzeugungsbereich 30, einen Bildgleichheitsprüfbereich 40, einen Ergebnisgleichheitsprüfbereich 60, einen Bildumsetzungsbereich 36, einen Teilbildgleichheitsprüfbereich 45, einen Ergebnisanzeigebereich 80, einen Referenzbild-Speicherbereich 70, einen Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle, einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 und einen 3D-Referenzobjektmodell-Speicherbereich 21.
Diese Komponenten arbeiten nahezu wie im Folgenden beschrieben. Der Bildeingabebereich 10, der Bilderzeugungsbereich 30, der Bildgleichheitsprüfbereich 40, der Ergebnisgleichheitsprüfbereich 60, der Ergebnisanzeigebereich 80, der Referenzbild-Speicherbereich 70 und der Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle führen dieselbe Verarbeitung wie die in der in 1 gezeigten ersten Ausführungsform der vorliegenden Erfindung ausgeführte Verarbeitung aus.
Der Bildumsetzungsbereich 36 setzt in Bezug auf ein Referenzbild eines Kandidaten hoher Priorität in dem von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Ergebnis erhaltenen Gleichheitsprüfungsergebnis das Eingabebild und/oder das Referenzbild auf der Grundlage jedes dreidimensionalen Referenzobjektmodells, das dem von dem 3D-Referenzobjektmodell-Speicherbereich 21 erhaltenen Referenzbild zugeordnet ist, so um, dass die Aufnahmebedingung (wie etwa die Posebedingung) zu derselben gemacht wird. Somit erzeugt der Bildumsetzungsbereich 36 Teilbilder. Der Bildumsetzungsbereich 36 ist ähnlich dem Bildumsetzungsbereich 35 in der in 28 gezeigten zweiten herkömmlichen Technik.
Der Teilbildgleichheitsprüfbereich 45 führt an den Teilbildern des von dem Bildumsetzungsbereich 36 erhaltenen umgesetzten Eingabebildes und Referenzbildes einen Vergleich aus und berechnet die Ähnlichkeit. Die Ähnlichkeitsberechnung wird in der gleichen Weise wie in Schritt 102 ausgeführt.
Anhand von 23 und eines in 24 gezeigte Ablaufplans wird nun ausführlich der allgemeine Betrieb der fünften Ausführungsform beschrieben.
Die in 24 gezeigten Schritte 100, 101, 102 und 103 zur Zeit der Eingabebild-Gleichheitsprüfung sind dieselben wie der in der in 2 gezeigten ersten Ausführungsform ausgeführte Betrieb. In Bezug auf ein Referenzbild eines Kandidaten hoher Priorität in dem von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Ergebnis erhaltenen Gleichheitsprüfungsergebnis setzt der Bildumsetzungsbereich 36 das Eingabebild und/oder das Referenzbild auf der Grundlage jedes dreidimensionalen Referenzobjektmodells, das dem von dem 3D-Referenzobjektmodell-Speicherbereich 21 erhaltenen Referenzbild zugeordnet ist, so um, dass die Aufnahmebedingung (wie etwa die Posebedingung) zu derselben gemacht wird. Somit erzeugt der Bildumsetzungsbereich 36 Teilbilder (Schritt 121).
Der Teilbildgleichheitsprüfbereich 45 führt an den Teilbildern des umgesetzten Eingabebildes und an dem von dem Bildumsetzungsbereich 36 erhaltenen Referenzbild einen Vergleich aus und berechnet die Ähnlichkeit (Schritt 122). Schließlich wird das Referenzbild mit hoher Ähnlichkeit angezeigt (Schritt 104).
In der fünften Ausführungsform der vorliegenden Erfindung setzt der Bildumsetzungsbereich 36 das Eingabebild und/oder das Referenzbild um. Alternativ kann das Referenzbild zuvor in das unter einer Standardaufnahmebedingung (z. B. unter einer Standardposebedingung) umgesetzt und gespeichert werden und kann der Bildumsetzungsbereich 36 das Eingabebild in das unter der Standardaufnahmebedingung (z. B. unter der Standardposebedingung) umsetzen. Dadurch wird es unnötig, das Referenzbild jedes Mal umzusetzen, wenn die Gleichheitsprüfung ausgeführt wird, und kann die Gleichheitsprüfungszeit verkürzt werden.
Anhand von 25 wird nun ausführlich ein Bildgleichheitsprüfsystem gemäß einer sechsten Ausführungsform der vorliegenden Erfindung beschrieben.
Anhand von 25 enthält ein Bildgleichheitsprüfsystem gemäß der sechsten Ausführungsform der vorliegenden Erfindung einen Bildeingabebereich 10, einen Bilderzeugungsbereich 30, einen Bildgleichheitsprüfbereich 40, einen Ergebnisgleichheitsprüfbereich 60, einen Bildumsetzungsbereich 36, einen Teilbildgleichheitsprüfbereich 45, einen Ergebnisanzeigebereich 80, einen Referenzbild-Spei cherbereich 70, einen Referenzbild-Registrierungsbereich 75, einen Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle, einen 3D-Objektmodell-Registrierungsbereich 25, einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50, einen Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55, einen 3D-Referenzobjektmodell-Speicherbereich 21 und einen 3D-Objektmodell-Erzeugungsbereich 27.
Diese Komponenten arbeiten nahezu wie im Folgenden beschrieben. Der Bildeingabebereich 10, der Bilderzeugungsbereich 30, der Bildgleichheitsprüfbereich 40, der Ergebnisgleichheitsprüfbereich 60, der Ergebnisanzeigebereich 80, der Referenzbild-Speicherbereich 70, der Referenzbild-Registrierungsbereich 75, der Speicherbereich 20 für repräsentative dreidimensionale Objektmodelle, der 3D-Objektmodell-Registrierungsbereich 25 und der Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsbereich 55 führen dieselbe Verarbeitung wie die in der in 1 gezeigten ersten Ausführungsform der vorliegenden Erfindung und in der in 9 gezeigten zweiten Ausführungsform ausgeführte Verarbeitung aus.
Der 3D-Referenzobjektmodell-Speicherbereich 21 und der 3D-Objektmodell-Erzeugungsbereich 27 führen dieselbe Verarbeitung wie die in der in 16 gezeigten dritten Ausführungsform und in der in 20 gezeigten vierten Ausführungsform der vorliegenden Erfindung ausgeführte Verarbeitung aus.
In Bezug auf ein Referenzbild eines Kandidaten hoher Priorität in dem von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Ergebnis erhaltenen Gleichheitsprüfungsergebnis setzt der Bildumsetzungsbereich 36 auf der Grundlage jedes dreidimensionalen Referenzobjektmodells, das dem von dem 3D-Referenzobjektmodell-Speicherbereich 21 erhaltenen Referenzbild zugeordnet ist, das Eingabebild und/oder das Referenzbild so um, dass die Aufnahmebedingung (wie etwa die Posebedingung) gleich gemacht wird. Somit erzeugt der Bildumsetzungsbereich 36 Teilbilder. Der Teilbildgleichheitsprüfbereich 45 führt an den von dem Bildumsetzungsbereich 36 erhaltenen Teilbildern des umgesetzten Eingabebildes und Referenzbildes einen Vergleich aus und berechnet die Ähnlichkeit.
Anhand von 25 und dem in 24 gezeigten Ablaufplan wird nun ausführlich der allgemeine Betrieb der sechsten Ausführungsform beschrieben.
Die in 24 gezeigten Schritte 100, 101, 102 und 103 zur Zeit der Eingabebild-Gleichheitsprüfung sind dieselben wie der in der in 2 gezeigten ersten Ausführungsform ausgeführte Betrieb. In Bezug auf ein Referenzbild eines Kandidaten hoher Priorität in dem von dem Ergebnisgleichheitsprüfbereich 60 erhaltenen Ergebnis erhaltenen Gleichheitsprüfungsergebnis setzt der Bildumsetzungsbereich 36 auf der Grundlage jedes dreidimensionalen Referenzobjektmodells, das dem von dem 3D-Referenzobjektmodell-Speicherbereich 21 zu erhaltenen Referenzbild zugeordnet ist, das Eingabebild und/oder das Referenzbild so um, dass die Aufnahmebedingung (wie etwa die Posebedingung) gleich gemacht wird. Somit erzeugt der Bildumsetzungsbereich 36 Teilbilder (Schritt 121).
Der Teilbildgleichheitsprüfbereich 45 führt an den Teilbildern des umgesetzten Eingabebildes und des von dem Bildumsetzungsbereich 36 erhaltenen Referenzbildes einen Vergleich aus und berechnet die Ähnlichkeit (Schritt 122). Schließlich wird das Referenzbild mit hoher Ähnlichkeit angezeigt (Schritt 104).
In der sechsten Ausführungsform der vorliegenden Erfindung setzt der Bildumsetzungsbereich 36 das Eingabebild und/oder das Referenzbild um. Alternativ kann das Referenzbild zuvor in das unter einer Standardaufnahmebedingung (z. B. unter einer Standardposebedingung) umgesetzt und gespeichert werden und kann der Bildumsetzungsbereich 36 das Eingabebild in das unter der Standardaufnahmebedingung (z. B. unter der Standardposebedingung) umsetzen.
Wenn die Ähnlichkeit S(I, G_jk) zwischen dem Eingabebild I(u, v) und jedem der Vergleichsbilder G_jk(u, v) in der ersten bis sechsten Ausführungsform der vorliegenden Erfindung ermittelt wird, ermittelt der Bildgleichheitsprüfbereich 40 eine Ähnlichkeit S(I, G_jk) an dem Ganzen. Alternativ kann der Bildgleichheitsprüfbereich 40 in jeder Teilregion m eine Ähnlichkeit S(I, G'_jkm) ermitteln und eine maximale Ähnlichkeit S'_0jm = max_kS(I, G'_jkm) jedes Modells ermitteln.
Die Teilregionen sind z. B. wie in 29 gezeigte Regionen. In diesem Fall ist die Ähnlichkeit S'_ijm = max_kS(R_i, G'_jkm) jeder Teilregion m ebenfalls in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 gespeichert. Der Ergebnisgleichheitsprüfbereich 60 berechnet eine Ähnlichkeit D_i = Σ_mD(S'_0jm, S'_ijm) zwischen dem Gleichheitsprüfungsergebnis S'_0jm und dem Gleichheitsprüfungsergebnis S'_ijm jedes der Referenzbilder in dem Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich 50 und extrahiert Referenzbilder in absteigender Reihen folge der Ähnlichkeit D_i des Gleichheitsprüfungsergebnisses. Darüber hinaus können in dem 3D-Objektmodell-Erzeugungsbereich 27 in der vierten und sechsten Ausführungsform ebenfalls repräsentative dreidimensionale Objektmodelle in jeder Teilregion kombiniert werden.
In der ersten bis sechsten Ausführungsform der vorliegenden Erfindung ist der Betrieb des Abrufens eines Bildes desselben Objektes wie das Eingabebild unter einer großen Anzahl von Referenzbildern beschrieben worden. Allerdings ist es ebenfalls möglich, die vorliegende Erfindung auf eine Eins-zu-eins-Gleichheitsprüfung anzuwenden, um zu bestimmen, ob ein spezifisches Referenzbild ein Bild desselben Objektes wie das Eingabebild ist.
Es wird angenommen, dass ein spezifisches Referenzbild R₁ ist. In der ersten und in der zweiten Ausführungsform berechnet der Ergebnisgleichheitsprüfbereich 60 eine Ähnlichkeit D₁ = D(S_0j, S_1j) zwischen dem Gleichheitsprüfungsergebnis S_0j des Eingabebildes und dem Gleichheitsprüfungsergebnis S_1j des Referenzbildes R₁. Falls die Ähnlichkeit D₁ größer als ein Schwellenwert R₁ ist, kann beurteilt werden, dass es dasselbe Objekt wie das Eingabebild ist. In der dritten, vierten, fünften und sechsten Ausführungsform kann die Beurteilung dadurch vorgenommen werden, dass bestimmt wird, ob die Ähnlichkeit zwischen dem Eingabebild und einem spezifischen Referenzbild in dem zweiten Bildgleichheitsprüfbereich 41 und in dem Teilbildgleichheitsprüfbereich 45 größer als ein Schwellenwert ist.
Selbstverständlich können die Funktionen der Komponenten in dem Bildgleichheitsprüfsystem gemäß der vorliegenden Erfindung unter Verwendung von Hardware realisiert werden. Außerdem können die Funktionen dadurch realisiert werden, dass ein Bildgleichheitsprüfprogramm 500 in einen Computer eingelesen wird, um zu veranlassen, dass der Computer die Funktionen der Komponenten ausführt. Das Bildgleichheitsprüfprogramm 500 ist in einem Aufzeichnungsmedium wie etwa einer Magnetplatte oder einem Halbleiterspeicher gespeichert. Der Computer liest das Bildgleichheitsprüfprogramm 500 von dem Aufzeichnungsmedium.
INDUSTRIELLE ANWENDBARKEIT
Die vorliegende Erfindung kann zur Personenidentifizierung, zur Personenauthentifizierung oder dergleichen unter Verwendung eines Bildes eines Gesichtes oder dergleichen verwendet werden.

Claims

Bildgleichheitsprüfsystem (1) zum Abrufen eines Referenzbildes, das einem Eingabebild ähnlich ist, wobei das Bildgleichheitsprüfsystem umfasst: Einrichtungen zum Ausführen einer Gleichheitsprüfung eines Eingabebildes und eines Bildes, das auf der Grundlage von mehreren repräsentativen dreidimensionalen Objektmodellen erzeugt ist; und Einrichtungen zum Ausführen einer Gleichheitsprüfung des Referenzbildes und eines Bildes, das auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt ist; wobei das erzeugte Bild auf der Grundlage des repräsentativen dreidimensionalen Modells so erzeugt ist, dass es dem Eingabebild hinsichtlich Beleuchtungsbedingung und Pose nahe kommt, und wobei das System ferner umfasst: Einrichtungen zum Abrufen des Referenzbildes, das dem Eingabebild ähnlich ist, unter Verwendung eines Ergebnisses der Gleichheitsprüfung des Eingabebildes und der Bilder, die auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt sind, und eines Ergebnisses der Gleichheitsprüfung des Referenzbildes und der Bilder, die auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt sind.
Bildgleichheitsprüfsystem nach Anspruch 1, das ferner umfasst: Einrichtungen zum Ermitteln eines dreidimensionalen Referenzobjektmodells, das dem Referenzbild zugeordnet ist, das dem Eingabebild ähnlich ist; und Einrichtungen zum erneuten Abrufen des Referenzbildes, das dem Eingabebild ähnlich ist, unter Verwendung des dreidimensionalen Objektmodells und des Eingabebildes.
Bildgleichheitsprüfsystem nach Anspruch 1, das ferner umfasst: Einrichtungen zum Ermitteln eines dreidimensionalen Referenzobjektmodells, das dem Referenzbild zugeordnet ist, das dem Eingabebild ähnlich ist; Umsetzungseinrichtungen zum Abstimmen einer Aufnahmebedingung des Eingabebildes auf jene des Referenzbildes durch Umsetzen des Eingabebildes und/oder des Referenzbildes aufgrund des dreidimensionalen Referenzobjektmodells und Einrichtungen zum Abrufen des Referenzbildes, das dem Eingabebild zugeordnet ist, durch Ausführen einer Gleichheitsprüfung des Eingabebildes und des darauf hinsichtlich der Aufnahmebedingung abgestimmten Referenzbildes.
Bildgleichheitsprüfsystem nach Anspruch 3, wobei die Umsetzungseinrichtungen vorher das Referenzbild umsetzen und eine Aufnahmebedingung des Eingabebildes auf jene des Referenzbildes abstimmen.
Bildgleichheitsprüfsystem nach Anspruch 1, das umfasst: Bildeingabeeinrichtungen (10) zum Eingeben des Eingabebildes; einen Speicherbereich (20) für repräsentative dreidimensionale Objektmodelle, um mehrere repräsentative dreidimensionale Objektmodelle zu speichern; Bilderzeugungseinrichtungen (39) zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; Bildgleichheitsprüfeinrichtungen (40) zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder, die durch die Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Referenzbild-Speicherbereich (70) zum Speichern der Referenzbilder von Objekten; einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich (50) zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; und Ergebnisgleichheitsprüfeinrichtungen (60) zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist, aufgrund von durch die Bildgleichheitsprüfeinrichtungen berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfsystem nach Anspruch 5, das ferner umfasst: 3D-Objektmodell-Registrierungseinrichtungen (25) zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; Referenzbild-Registrierungseinrichtungen (75) zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen (55) zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn durch die 3D-Objektmodell-Registrierungseinrichtungen ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn durch die Referenzbild-Registrierungseinrichtungen ein neues Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich.
Bildgleichheitsprüfsystem nach Anspruch 5, wobei die Bildgleichheitsprüfeinrichtungen eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnen; der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, für jede Teilregion speichert und die Ergebnisgleichheitsprüfeinrichtungen das Referenzbild extrahieren, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfsystem nach Anspruch 5, wobei die Ergebnisgleichheitsprüfeinrichtungen Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnen, und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen liefern.
Bildgleichheitsprüfsystem nach Anspruch 2, das umfasst: Bildeingabeeinrichtungen (10) zum Eingeben des Eingabebildes; einen Speicherbereich (20) für repräsentative dreidimensionale Objektmodelle, um mehrere repräsentative dreidimensionale Objektmodelle zu speichern; Bilderzeugungseinrichtungen (30) zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; Bildgleichheitsprüfeinrichtungen (40) zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder, die durch die Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Referenzbild-Speicherbereich (70) zum Speichern der Referenzbilder von Objekten; einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich (50) zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; und Ergebnisgleichheitsprüfeinrichtungen (60) zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleich heitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen; einen 3D-Referenzobjektmodell-Speicherbereich (21) zum Speichern von dreidimensionalen Referenzobjektmodellen, die den Referenzbildern zugeordnet sind, die im Referenzbild-Speicherbereich gespeichert sind; zweite Bilderzeugungseinrichtungen (31) zum Erhalten von dreidimensionalen Referenzobjektmodellen, die Referenzbildern zugeordnet sind, die von den Ergebnisgleichheitsprüfeinrichtungenn extrahiert sind, aus dem Speicherbereich für dreidimensionale Referenzobjektmodelle und Erzeugen wenigstens eines zweiten Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes dreidimensionale Referenzobjektmodell aufgrund der erhaltenen dreidimensionalen Referenzobjektmodelle und zweite Bildgleichheitsprüfeinrichtungen (41) zum Berechnen von Ähnlichkeiten zwischen dem Eingabebild und zweiten Vergleichsbildern, die durch die zweiten Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit aus zweiten Vergleichsbildern, die jedem der dreidimensionalen Referenzobjektmodelle zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem dreidimensionalen Referenzobjektmodell.
Bildgleichheitsprüfsystem nach Anspruch 9, das ferner umfasst: 3D-Objektmodell-Registrierungseinrichtungen (25) zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; Referenzbild-Registrierungseinrichtungen (75) zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen (55) zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn durch die 3D-Objektmodell-Registrierungseinrichtungen ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn durch die Referenzbild-Registrierungseinrichtungen ein neues Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und 3D-Objektmodell-Erzeugungseinrichtungen (27), die auf eine Registrierung einer Ähnlichkeit zwischen dem Referenzbild und dem repräsentativen dreidimensionalen Objektmodell im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich, die durch die Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen durchgeführt wird, reagieren, um das dem Referenzbild zugeordnete dreidimensionale Referenzobjektmodell zu erzeugen, indem sie die repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund der Ähnlichkeit kombinieren und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle speichern.
Bildgleichheitsprüfsystem nach Anspruch 10, wobei die 3D-Objektmodell-Erzeugungseinrichtungen jedem Referenzbild zugeordnet ein dreidimensionales Referenzobjektmodell erzeugen, indem sie für jede Teilregion repräsentative dreidimensionale Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund von für jede Teilregion erhaltenen Ähnlichkeiten zwischen Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, kombinieren und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registrieren.
Bildgleichheitsprüfsystem nach Anspruch 9, wobei die Bildgleichheitsprüfeinrichtungen eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnen; der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, speichert und die Ergebnisgleichheitsprüfeinrichtungen das Referenzbild extrahieren, das dem Eingabebild ähnlich ist, aufgrund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfsystem nach Anspruch 9, wobei die Ergebnisgleichheitsprüfeinrichtungen Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnen und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen liefern.
Bildgleichheitsprüfsystem nach Anspruch 3, das umfasst: Bildeingabeeinrichtungen (10) zum Eingeben des Eingabebildes; einen Speicherbereich (20) für repräsentative dreidimensionale Objektmodelle, um mehrere repräsentative dreidimensionale Objektmodelle zu speichern; Bilderzeugungseinrichtungen (30) zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; Bildgleichheitsprüfeinrichtungen (40) zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder, die durch die Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Referenzbildspeicherbereich (70) zum Speichern der Referenzbilder von Objekten; einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich (50) zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbildspeicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; Ergebnisgleichheitsprüfeinrichtungen (60) zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheits prüfeinrichtungen berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen; einen Speicherbereich (21) für dreidimensionale Referenzobjektmodelle, um dreidimensionale Referenzobjektmodelle zu speichern, die den Referenzbildern zugeordnet sind, die im Referenzbild-Speicherbereich gespeichert sind; Bildumsetzungseinrichtungen (36) zum Erhalten von dreidimensionalen Referenzobjektmodellen, die von den Ergebnisgleichheitsprüfeinrichtungen extrahierten Referenzbildern zugeordnet sind, aus dem Speicherbereich für dreidimensionale Referenzobjektmodelle, Abstimmen einer Aufnahmebedingung des Eingabebildes auf jene des Referenzbildes, das durch die Ergebnisgleichheitsprüfeinrichtungen extrahiert ist, durch Umsetzen des Eingabebildes und/oder des Referenzbildes, das durch die Ergebnisgleichheitsprüfeinrichtungen extrahiert ist, aufgrund der erhaltenen dreidimensionalen Referenzobjektmodelle und Erzeugen von Teilbildern des Eingabebildes bzw. des Referenzbildes bei aufeinander abgestimmter Aufnahmebedingung; und Teilbildgleichheitsprüfeinrichtungen (45) zum Berechnen einer Ähnlichkeit zwischen dem Teilbild des Eingabebildes und dem Teilbild des Referenzbildes, die durch die Bildumsetzungseinrichtungen erzeugt sind.
Bildgleichheitsprüfsystem nach Anspruch 14, das ferner umfasst: 3D-Objektmodell-Registrierungseinrichtungen (25) zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; Referenzbild-Registrierungseinrichtungen (75) zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen (55) zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn durch die 3D-Objektmodell-Registrierungseinrichtungen ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn durch die Referenzbild-Registrierungseinrichtungen ein Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Be rechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und 3D-Objektmodell-Erzeugungseinrichtungen (27), die auf die Registrierung einer Ähnlichkeit zwischen dem Referenzbild und dem repräsentativen dreidimensionalen Objektmodell im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich, die durch die Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungseinrichtungen durchgeführt wird, reagieren, um das dem Referenzbild zugeordnete dreidimensionale Referenzobjektmodell zu erzeugen, indem sie die repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund der Ähnlichkeit kombinieren und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registrieren.
Bildgleichheitsprüfsystem nach Anspruch 15, wobei die 3D-Objektmodell-Erzeugungseinrichtungen jedem Referenzbild zugeordnet ein dreidimensionales Referenzobjektmodell erzeugen, indem sie im Speicherbereich für repräsentative dreidimensionale Objektmodelle für jede Teilregion gespeicherte repräsentative dreidimensionale Objektmodelle aufgrund von für jede Teilregion erhaltenen Ähnlichkeiten zwischen Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, kombinieren und das erzeugte dreidimensionale Objektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registrieren.
Bildgleichheitsprüfsystem nach Anspruch 14, wobei die Bildgleichheitsprüfeinrichtungen eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnen; der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, für jede Teilregion speichert und die Ergebnisgleichheitsprüfeinrichtungen das Referenzbild extrahieren, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfsystem nach Anspruch 14, wobei die Ergebnisgleichheitsprüfeinrichtungen Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnen und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen liefern.
Bildgleichheitsprüfsystem nach Anspruch 1, wobei das Objekt ein menschliches Gesicht ist.
Bildgleichheitsprüfverfahren zum Abrufen eines Referenzbildes, das einem Eingabebild ähnlich ist, wobei das Bildgleichheitsprüfverfahren umfasst: einen Schritt zum Ausführen einer Gleichheitsprüfung des Eingabebildes und eines Bildes, das auf der Grundlage von mehreren repräsentativen dreidimensionalen Objektmodellen erzeugt ist; und einen Schritt zum Ausführen einer Gleichheitsprüfung des Referenzbildes und eines Bildes, das auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt ist; wobei das erzeugte Bild auf der Grundlage des repräsentativen dreidimensionalen Modells so erzeugt ist, dass es dem Eingabebild hinsichtlich Beleuchtungsbedingung und Pose nahe kommt, und wobei das Verfahren ferner umfasst: einen Schritt zum Abrufen des Referenzbildes, das dem Eingabebild ähnlich ist, unter Verwendung eines Ergebnisses der Gleichheitsprüfung des Eingabebildes und der Bilder, die auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt sind, und eines Ergebnisses der Gleichheitsprüfung des Referenzbildes und der Bilder, die auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt sind.
Bildgleichheitsprüfverfahren nach Anspruch 20, das ferner umfasst: einen Schritt zum Ermitteln eines dreidimensionalen Referenzobjektmodells, das dem Referenzbild zugeordnet ist, das dem Eingabebild ähnlich ist; und einen Schritt zum erneuten Abrufen des Referenzbildes, das dem Eingabebild ähnlich ist, unter Verwendung des dreidimensionalen Referenzobjektmodells und des Eingabebildes.
Bildgleichheitsprüfverfahren nach Anspruch 20, das ferner die folgenden Schritte umfasst: einen Schritt zum Ermitteln eines dreidimensionalen Referenzobjektmodells, das dem Referenzbild zugeordnet ist, das dem Eingabebild ähnlich ist; und einen Umsetzungsschritt zum Abstimmen einer Aufnahmebedingung des Eingabebildes auf jene des Referenzbildes durch Umsetzen des Eingabebildes und/oder des Referenzbildes aufgrund des dreidimensionalen Referenzobjektmodells und einen Schritt zum Abrufen des Referenzbildes, das dem Eingabebild zugeordnet ist, durch Ausführen einer Gleichheitsprüfung des Eingabebildes und des darauf hinsichtlich der Aufnahmebedingung abgestimmten Referenzbildes.
Bildgleichheitsprüfverfahren nach Anspruch 22, wobei in dem Umsetzungsschritt das Referenzbild vorher umgesetzt wird und eine Aufnahmebedingung des Eingabebildes auf jene des Referenzbildes abgestimmt wird.
Bildgleichheitsprüfverfahren nach Anspruch 20, das umfasst: einen Bildeingabeschritt zum Eingeben des Eingabebildes; einen Schritt zum Speichern mehrerer repräsentativer dreidimensionaler Objektmodelle in einen Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Bilderzeugungsschritt zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; einen Bildgleichheitsprüfschritt zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder, die durch die Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zuge ordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Schritt zum Speichern der Referenzbilder von Objekten in einen Referenzbild-Speicherbereich; einen Schritt zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, in einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und einen Ergebnisgleichheitsprüfschritt zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfverfahren nach Anspruch 24, das ferner umfasst: einen 3D-Objektmodell-Registrierungsschritt zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Referenzbild-Registrierungsschritt zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und einen Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsschritt zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn durch die 3D-Objektmodell-Registrierungseinrichtungen ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn durch die Referenzbild-Registrierungseinrichtungen ein neues Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich.
Bildgleichheitsprüfverfahren nach Anspruch 24, wobei in dem Bildgleichheitsprüfschritt eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnet wird; der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle für jede Teilregion gespeichert sind, speichert und im Ergebnisgleichheitsprüfschritt das Referenzbild extrahiert wird, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfverfahren nach Anspruch 24, wobei im Ergebnisgleichheitsprüfschritt Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnet werden, und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen geliefert werden.
Bildgleichheitsprüfverfahren nach Anspruch 21, das umfasst: einen Bildeingabeschritt zum Eingeben des Eingabebildes; einen Schritt zum Speichern mehrerer repräsentativer dreidimensionaler Objektmodelle in einen Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Bilderzeugungsschritt zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; einen Bildgleichheitsprüfschritt zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der im Bilderzeugungsschritt erzeugten Vergleichsbilder, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Schritt zum Speichern der Referenzbilder von Objekten in einen Referenzbild-Speicherbereich; einen Schritt zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbildspeicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, in einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich; einen Ergebnisgleichheitsprüfschritt zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – aufgrund von im Bildgleichheitsprüfschritt berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen; einen Schritt zum Speichern von dreidimensionalen Referenzobjektmodellen, die den Referenzbildern zugeordnet sind, die im Referenzbild-Speicherbereich gespeichert sind, in einen Speicherbereich für dreidimensionale Referenzobjektmodelle; einen zweiten Bilderzeugungsschritt zum Erhalten von dreidimensionalen Referenzobjektmodellen, die im Ergebnisgleichheitsprüfschritt extrahierten Referenzbildern zugeordnet sind, aus dem Speicherbereich für dreidimensionale Referenzobjektmodelle, und Erzeugen wenigstens eines zweiten Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes dreidimensionale Referenzobjektmodell aufgrund der erhaltenen dreidimensionalen Referenzobjektmodelle und einen zweiten Bildgleichheitsprüfschritt zum Berechnen von Ähnlichkeiten zwischen dem Eingabebild und im zweiten Bilderzeugungsschritt erzeugten zweiten Vergleichsbildern, Auswählen einer maximalen Ähnlichkeit aus zweiten Vergleichsbildern, die jedem der dreidimensionalen Referenzobjektmodelle zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem dreidimensionalen Referenzobjektmodell.
Bildgleichheitsprüfverfahren nach Anspruch 28, das ferner umfasst: einen 3D-Objektmodell-Registrierungsschritt zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Referenzbild-Registrierungsschritt zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und einen Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsschritt zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn im Schritt zum Registrieren des dreidimensionalen Objektmodells ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn im Referenzbild-Registrierungsschritt ein neues Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und einen 3D-Objektmodell-Erzeugungsschritt als Reaktion auf eine im Schritt zum Aktualisieren des Referenzbild-Gleichheitsprüfungsergebnisses durchgeführte Registrierung einer Ähnlichkeit zwischen dem Referenzbild und dem repräsentativen dreidimensionalen Objektmodell im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich, Erzeugen des dem Referenzbild zugeordneten dreidimensionalen Referenzobjektmodells durch Kombinieren der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund der Ähnlichkeit und Registrieren des erzeugten dreidimensionalen Referenzobjektmodells im Speicherbereich für dreidimensionale Referenzobjektmodelle.
Bildgleichheitsprüfverfahren nach Anspruch 29, wobei in dem 3D-Objektmodell-Erzeugungsschritt jedem Referenzbild zugeordnet ein dreidimensionales Referenzobjektmodell erzeugt wird, indem für jede Teilregion repräsentative dreidimensionale Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund von für jede Teilregion erhaltenen Ähnlichkeiten zwischen Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, kombiniert werden und das erzeugte dreidimen sionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registriert wird.
Bildgleichheitsprüfverfahren nach Anspruch 28, wobei in dem Bildgleichheitsprüfschritt eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnet wird; der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, für jede Teilregion speichert und im Ergebnisgleichheitsprüfschritt das Referenzbild extrahiert wird, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfverfahren nach Anspruch 28, wobei im Ergebnisgleichheitsprüfschritt Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnet werden, und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen geliefert werden.
Bildgleichheitsprüfverfahren nach Anspruch 22, das umfasst: einen Bildeingabeschritt zum Eingeben des Eingabebildes; einen Schritt zum Speichern mehrerer repräsentativer dreidimensionaler Objektmodelle in einen Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Bilderzeugungsschritt zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen drei dimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; einen Bildgleichheitsprüfschritt zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der im Bilderzeugungsschritt erzeugten Vergleichsbilder, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Schritt zum Speichern der Referenzbilder von Objekten in einen Referenzbild-Speicherbereich; einen Schritt zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbildspeicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, in einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich; einen Ergebnisgleichheitsprüfschritt zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – aufgrund von im Bildgleichheitsprüfschritt berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen; einen Schritt zum Speichern von dreidimensionalen Referenzobjektmodellen, die den Referenzbildern zugeordnet sind, die im Referenzbild-Speicherbereich gespeichert sind, in einen Speicherbereich für dreidimensionale Referenzobjektmodelle; einen Bildumsetzungsschritt zum Erhalten von dreidimensionalen Referenzobjektmodellen, die im Ergebnisgleichheitsprüfschritt extrahierten Referenzbildern zugeordnet sind, aus dem Speicherbereich für dreidimensionale Referenzobjektmodelle, Abstimmen einer Aufnahmebedingung des Eingabebildes auf jene des im Ergebnisgleichheitsprüfschritt extrahierten Referenzbildes durch Umsetzen des Eingabebildes und/oder des im Ergebnisgleichheitsprüfschritt extrahierten Referenzbildes aufgrund der erhaltenen dreidimensionalen Referenzobjektmodelle und Erzeugen von Teilbildern des Eingabebildes bzw. des Referenzbildes bei aufeinander abgestimmter Aufnahmebedingung und einen Teilbildgleichheitsprüfschritt zum Berechnen einer Ähnlichkeit zwischen dem Teilbild des Eingabebildes und dem Teilbild des im Bildumsetzungsschritt erzeugten Referenzbildes.
Bildgleichheitsprüfverfahren nach Anspruch 33, das ferner umfasst: einen 3D-Objektmodell-Registrierungsschritt zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Referenzbild-Registrierungsschritt zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und einen Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsschritt zum Ausführen der Berechnung der Ähnlichkeiten im Bildgleichheitsprüfschritt anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn im 3D-Objektmodell-Registrierungsschritt ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn im Referenzbild-Registrierungsschritt ein Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und einen 3D-Objektmodell-Erzeugungsschritt als Reaktion auf die Registrierung einer Ähnlichkeit zwischen dem Referenzbild und dem repräsentativen dreidimensionalen Objektmodell im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich, die im Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsschritt durchgeführt wird, und um das dem Referenzbild zugeordnete dreidimensionale Referenzobjektmodell zu erzeugen, indem repräsentative dreidimensionale Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund der Ähnlichkeit kombiniert werden und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registriert wird.
Bildgleichheitsprüfverfahren nach Anspruch 34, wobei in dem 3D-Objektmodell-Erzeugungsschritt jedem Referenzbild zugeordnet ein dreidimensionales Referenzobjektmodell erzeugt wird, indem für jede Teilregion repräsentative dreidimensionale Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund von für jede Teilregion erhaltenen Ähnlichkeiten zwischen Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, kombiniert werden, und das erzeugte dreidimen sionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registriert wird.
Bildgleichheitsprüfverfahren nach Anspruch 33, wobei im Bildgleichheitsprüfschritt eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnet wird; der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, für jede Teilregion speichert und im Ergebnisgleichheitsprüfschritt das Referenzbild extrahiert wird, das dem Eingabebild ähnlich ist – aufgrund von im Bildgleichheitsprüfschritt für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfverfahren nach Anspruch 33, wobei im Ergebnisgleichheitsprüfschritt Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnet werden und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen geliefert werden.
Bildgleichheitsprüfverfahren nach Anspruch 20, wobei das Objekt ein menschliches Gesicht ist.
Programm, um einen Computer ein Bildgleichheitsprüfverfahren ausführen zu lassen, um ein Referenzbild abzurufen, das einem Eingabebild ähnlich ist, wobei das Bildgleichheitsprüfverfahren umfasst: einen Schritt zum Ausführen einer Gleichheitsprüfung des Eingabebildes und eines Bildes, das auf der Grundlage von mehreren repräsentativen dreidimensionalen Objektmodellen erzeugt ist; und einen Schritt zum Ausführen einer Gleichheitsprüfung des Referenzbildes und eines Bildes, das auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt ist; wobei das erzeugte Bild auf der Grundlage des repräsentativen dreidimensionalen Modells so erzeugt ist, dass es dem Eingabebild hinsichtlich Beleuchtungsbedingung und Pose nahe kommt, und wobei das Verfahren ferner umfasst: einen Schritt zum Abrufen des Referenzbildes, das dem Eingabebild ähnlich ist, unter Verwendung eines Ergebnisses der Gleichheitsprüfung des Eingabebildes und der Bilder, die auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt sind, und eines Ergebnisses der Gleichheitsprüfung des Referenzbildes und der Bilder, die auf der Grundlage der repräsentativen dreidimensionalen Objektmodelle erzeugt sind.
Bildgleichheitsprüfprogramm nach Anspruch 39, wobei das Bildgleichheitsprüfverfahren ferner umfasst: einen Schritt zum Ermitteln eines dreidimensionalen Referenzobjektmodells, das dem Referenzbild zugeordnet ist, das dem Eingabebild ähnlich ist; und einen Schritt zum erneuten Abrufen des Referenzbildes, das dem Eingabebild ähnlich ist, unter Verwendung des dreidimensionalen Referenzobjektmodells und des Eingabebildes.
Bildgleichheitsprüfprogramm nach Anspruch 39, wobei das Bildgleichheitsprüfverfahren ferner die folgenden Schritte umfasst: einen Schritt zum Ermitteln eines dreidimensionalen Referenzobjektmodells, das dem Referenzbild zugeordnet ist, das dem Eingabebild ähnlich ist; und einen Umsetzungsschritt zum Abstimmen einer Aufnahmebedingung des Eingabebildes auf jene des Referenzbildes durch Umsetzen des Eingabebildes und/oder des Referenzbildes aufgrund des dreidimensionalen Referenzobjektmodells und einen Schritt zum Abrufen des Referenzbildes, das dem Eingabebild zugeordnet ist, durch Ausführen einer Gleichheitsprüfung des Eingabebildes und des darauf hinsichtlich der Aufnahmebedingung abgestimmten Referenzbildes.
Bildgleichheitsprüfprogramm nach Anspruch 41, wobei in dem Umsetzungsschritt das Referenzbild vorher umgesetzt wird und eine Aufnahmebedingung des Eingabebildes auf jene des Referenzbildes abgestimmt wird.
Bildgleichheitsprüfprogramm nach Anspruch 39, wobei das Bildgleichheitsprüfverfahren umfasst: einen Bildeingabeschritt zum Eingeben des Eingabebildes; einen Schritt zum Speichern mehrerer repräsentativer dreidimensionaler Objektmodelle in einem Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Bilderzeugungsschritt zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; einen Bildgleichheitsprüfschritt zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der Vergleichsbilder, die durch die Bilderzeugungseinrichtungen erzeugt sind, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Schritt zum Speichern der Referenzbilder von Objekten in einem Referenzbild-Speicherbereich; einen Schritt zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbildspeicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, in einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und einen Ergebnisgleichheitsprüfschritt zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfprogramm nach Anspruch 43, wobei das Bildgleichheitsprüfverfahren ferner umfasst: einen 3D-Objektmodell-Registrierungsschritt zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Referenzbild-Registrierungsschritt zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und einen Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsschritt zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn durch die 3D-Objektmodell-Registrierungseinrichtungen ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn durch die Referenzbild-Registrierungseinrichtungen ein neues Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich.
Bildgleichheitsprüfprogramm nach Anspruch 43, wobei in dem Bildgleichheitsprüfschritt eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnet wird, der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle für jede Teilregion gespeichert sind, speichert und im Ergebnisgleichheitsprüfschritt das Referenzbild extrahiert wird, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfprogramm nach Anspruch 43, wobei im Ergebnisgleichheitsprüfschritt Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmo dellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnet werden, und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen geliefert werden.
Bildgleichheitsprüfprogramm nach Anspruch 40, wobei das Bildgleichheitsprüfverfahren umfasst: einen Bildeingabeschritt zum Eingeben des Eingabebildes; einen Schritt zum Speichern mehrerer repräsentativer dreidimensionaler Objektmodelle in einen Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Bilderzeugungsschritt zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; einen Bildgleichheitsprüfschritt zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der im Bilderzeugungsschritt erzeugten Vergleichsbilder, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Schritt zum Speichern der Referenzbilder von Objekten in einen Referenzbild-Speicherbereich; einen Schritt zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbildspeicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, in einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich; einen Ergebnisgleichheitsprüfschritt zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – aufgrund von im Bildgleichheitsprüfschritt berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen; einen Schritt zum Speichern von dreidimensionalen Referenzobjektmodellen, die den Referenzbildern zugeordnet sind, die im Referenzbild-Speicherbereich gespeichert sind, in einen Speicherbereich für dreidimensionale Referenzobjektmodelle; einen zweiten Bilderzeugungsschritt zum Erhalten von dreidimensionalen Referenzobjektmodellen, die im Ergebnisgleichheitsprüfschritt extrahierten Referenzbildern zugeordnet sind, aus dem Speicherbereich für dreidimensionale Referenzobjektmodelle, und Erzeugen wenigstens eines zweiten Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes dreidimensionale Referenzobjektmodell aufgrund der erhaltenen dreidimensionalen Referenzobjektmodelle und einen zweiten Bildgleichheitsprüfschritt zum Berechnen von Ähnlichkeiten zwischen dem Eingabebild und im zweiten Bilderzeugungsschritt erzeugten zweiten Vergleichsbildern, Auswählen einer maximalen Ähnlichkeit aus zweiten Vergleichsbildern, die jedem der dreidimensionalen Referenzobjektmodelle zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem dreidimensionalen Referenzobjektmodell.
Bildgleichheitsprüfprogramm nach Anspruch 47, wobei das Bildgleichheitsprüfverfahren ferner umfasst: einen 3D-Objektmodell-Registrierungsschritt zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Referenzbild-Registrierungsschritt zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und einen Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsschritt zum Ausführen der Berechnung der Ähnlichkeiten unter Verwendung der Bildgleichheitsprüfeinrichtungen, anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn im Schritt zum Registrieren des dreidimensionalen Objektmodells ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn im Referenzbild-Registrierungsschritt ein neues Referenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und einen 3D-Objektmodell-Erzeugungsschritt als Reaktion auf eine im Schritt zum Aktualisieren des Referenzbild-Gleichheitsprüfungsergebnisses durchgeführte Registrierung einer Ähnlichkeit zwischen dem Referenzbild und dem repräsentativen dreidimensionalen Objektmodell im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich, Erzeugen des dem Referenzbild zugeordneten dreidimensionalen Referenzobjektmodells durch Kombinieren der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund der Ähnlichkeit und Registrieren des erzeugten dreidimensionalen Referenzobjektmodells im Speicherbereich für dreidimensionale Referenzobjektmodelle.
Bildgleichheitsprüfprogramm nach Anspruch 48, wobei in dem 3D-Objektmodell-Erzeugungsschritt jedem Referenzbild zugeordnet ein dreidimensionales Referenzobjektmodell erzeugt wird, indem für jede Teilregion repräsentative dreidimensionale Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund von für jede Teilregion erhaltenen Ähnlichkeiten zwischen Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, kombiniert werden und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registriert wird.
Bildgleichheitsprüfprogramm nach Anspruch 47, wobei in dem Bildgleichheitsprüfschritt eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnet wird; der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, für jede Teilregion speichert und im Ergebnisgleichheitsprüfschritt das Referenzbild extrahiert wird, das dem Eingabebild ähnlich ist – aufgrund von durch die Bildgleichheitsprüfeinrichtungen für jede Teilregion berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlich keiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfprogramm nach Anspruch 47, wobei im Ergebnisgleichheitsprüfschritt Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnet werden, und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kandidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen geliefert werden.
Bildgleichheitsprüfprogramm nach Anspruch 41, wobei das Bildgleichheitsprüfverfahren umfasst: einen Bildeingabeschritt zum Eingeben des Eingabebildes; einen Schritt zum Speichern mehrerer repräsentativer dreidimensionaler Objektmodelle in einen Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Bilderzeugungsschritt zum Erzeugen wenigstens eines Vergleichsbildes mit einer dem Eingabebild nahe kommenden Aufnahmebedingung für jedes repräsentative dreidimensionale Objektmodell aufgrund der repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind; einen Bildgleichheitsprüfschritt zum Berechnen einer Ähnlichkeit zwischen dem Eingabebild und jedem der im Bilderzeugungsschritt erzeugten Vergleichsbilder, Auswählen einer maximalen Ähnlichkeit in Bezug auf Vergleichsbilder, die jedem repräsentativen dreidimensionalen Objektmodell zugeordnet sind, und Betrachten der maximalen Ähnlichkeit als eine Ähnlichkeit zwischen dem Eingabebild und dem repräsentativen dreidimensionalen Objektmodell; einen Schritt zum Speichern der Referenzbilder von Objekten in einen Referenzbild-Speicherbereich; einen Schritt zum Speichern von Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbildspeicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, in einen Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich; einen Ergebnisgleichheitsprüfschritt zum Extrahieren des Referenzbildes, das dem Eingabebild ähnlich ist – aufgrund von im Bildgleichheitsprüfschritt berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen; einen Schritt zum Speichern von dreidimensionalen Referenzobjektmodellen, die den Referenzbildern zugeordnet sind, die im Referenzbild-Speicherbereich gespeichert sind, in einen Speicherbereich für dreidimensionale Referenzobjektmodelle; einen Bildumsetzungsschritt zum Erhalten von dreidimensionalen Referenzobjektmodellen, die im Ergebnisgleichheitsprüfschritt extrahierten Referenzbildern zugeordnet sind, aus dem Speicherbereich für dreidimensionale Referenzobjektmodelle, Abstimmen einer Aufnahmebedingung des Eingabebildes auf jene des im Ergebnisgleichheitsprüfschritt extrahierten Referenzbildes durch Umsetzen des Eingabebildes und/oder des im Ergebnisgleichheitsprüfschritt extrahierten Referenzbildes aufgrund der erhaltenen dreidimensionalen Referenzobjektmodelle und Erzeugen von Teilbildern des Eingabebildes bzw. des Referenzbildes bei aufeinander abgestimmter Aufnahmebedingung und einen Teilbildgleichheitsprüfschritt zum Berechnen einer Ähnlichkeit zwischen dem Teilbild des Eingabebildes und dem Teilbild des im Bildumsetzungsschritt erzeugten Referenzbildes.
Bildgleichheitsprüfprogramm nach Anspruch 52, wobei das Bildgleichheitsprüfverfahren ferner umfasst: einen 3D-Objektmodell-Registrierungsschritt zum Registrieren von repräsentativen dreidimensionalen Objektmodellen im Speicherbereich für repräsentative dreidimensionale Objektmodelle; einen Referenzbild-Registrierungsschritt zum Registrieren von Referenzbildern im Referenzbild-Speicherbereich und einen Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsschritt zum Ausführen der Berechnung der Ähnlichkeiten im Bildgleichheitsprüfschritt anhand einer Kombination aus einem Referenzbild und einem repräsentativen dreidimensionalen Objektmodell, das durch Registrieren neu erzeugt wird, wenn im 3D-Objektmodell-Registrierungsschritt ein neues repräsentatives dreidimensionales Objektmodell im Speicherbereich für repräsentative dreidimensionale Objektmodelle registriert wird oder wenn im Referenzbild-Registrierungsschritt ein Re ferenzbild im Referenzbild-Speicherbereich registriert wird, und Hinzufügen eines Ergebnisses der Berechnung zu den Ergebnissen im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich und einen 3D-Objektmodell-Erzeugungsschritt als Reaktion auf die Registrierung einer Ähnlichkeit zwischen dem Referenzbild und dem repräsentativen dreidimensionalen Objektmodell im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich, die im Referenzbild-Gleichheitsprüfungsergebnis-Aktualisierungsschritt durchgeführt wird, und um das dem Referenzbild zugeordnete dreidimensionale Referenzobjektmodell zu erzeugen, indem die repräsentativen dreidimensionalen Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund der Ähnlichkeit kombiniert werden und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registriert wird.
Bildgleichheitsprüfprogramm nach Anspruch 53, wobei in dem 3D-Objektmodell-Erzeugungsschritt jedem Referenzbild zugeordnet ein dreidimensionales Referenzobjektmodell erzeugt wird, indem für jede Teilregion repräsentative dreidimensionale Objektmodelle, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, aufgrund von für jede Teilregion erhaltenen Ähnlichkeiten zwischen Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, kombiniert werden, und das erzeugte dreidimensionale Referenzobjektmodell im Speicherbereich für dreidimensionale Referenzobjektmodelle registriert wird.
Bildgleichheitsprüfprogramm nach Anspruch 52, wobei im Bildgleichheitsprüfschritt eine Ähnlichkeit zwischen dem Eingabebild und einem repräsentativen dreidimensionalen Objektmodell für jede Teilregion berechnet wird; der Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich Ähnlichkeiten zwischen den Referenzbildern, die im Referenzbild-Speicherbereich gespeichert sind, und repräsentativen dreidimensionalen Objektmodellen, die im Speicherbereich für repräsentative dreidimensionale Objektmodelle gespeichert sind, für jede Teilregion speichert und im Ergebnisgleichheitsprüfschritt das Referenzbild extrahiert wird, das dem Eingabebild ähnlich ist – aufgrund von im Bildgleichheitsprüfschritt für jede Teil region berechneten Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und im Referenzbild-Gleichheitsprüfungsergebnis-Speicherbereich für jede Teilregion gespeicherten Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen.
Bildgleichheitsprüfprogramm nach Anspruch 52, wobei im Ergebnisgleichheitsprüfschritt Ähnlichkeiten zwischen Ähnlichkeiten zwischen dem Eingabebild und den repräsentativen dreidimensionalen Objektmodellen und Ähnlichkeiten zwischen den Referenzbildern und den repräsentativen dreidimensionalen Objektmodellen berechnet werden, und bei der Berechnung die resultierenden Ähnlichkeiten mit Gewichten aufgrund einer Kanndidatenpriorität von Ähnlichkeiten zwischen dem Eingabebild und den Vergleichsbildern und den repräsentativen dreidimensionalen Objektmodellen geliefert werden.
Bildgleichheitsprüfprogramm nach Anspruch 39, wobei das Objekt ein menschliches Gesicht ist.