DE112017002766T5

DE112017002766T5 - Merkmalspunktschätzvorrichtung, merkmalspunktpositionsschätzssystem, merkmalspunktpositionsschätzverfahren und merkmalspunktpositionsschätzprogramm

Info

Publication number: DE112017002766T5
Application number: DE112017002766.7T
Authority: DE
Inventors: Mitsuru Ambai; Yutaka Munaoka; Takuhiro Omi
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-06-02
Filing date: 2017-05-22
Publication date: 2019-02-21
Also published as: JP6563858B2; JP2017215897A; WO2017208875A1; US11163980B2; US20200327368A1

Abstract

Eine Merkmalspunktpositionsschätzvorrichtung ist vorgesehen. Die Merkmalspunktpositionsschätzvorrichtung enthält einen Objekterfassungsabschnitt (11) zum Erfassen eines Subjektbereichs aus einer Subjektabbildung, einen Merkmalspunktpositionierungsabschnitt (12) zum Positionieren eines Merkmalspunktes an einer im Voraus vorbereiteten anfänglichen Merkmalspunktposition in Bezug auf den Subjektbereich, eine Merkmalsmengenerlangungseinheit (13) zum Erfassen einer Merkmalsmenge der angeordneten Merkmalspunkte, eine Regressionsberechnungseinheit (14) zum Berechnen eines Abweichungsbetrags einer Position eines wahren Merkmalspunktes in Bezug auf die Position des Merkmalspunktes durch Durchführen einer Regressionsberechnung auf die Merkmalsmenge und eine Repositionierungseinheit (16) zum Repositionieren der Merkmalspunkte auf Grundlage des Abweichungsbetrags. Die Regressionsberechnungseinheit berechnet den Abweichungsbetrag durch ein Umwandeln der Merkmalsmenge in eine matrixaufgelöste Regressionsmatrix.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Die vorliegende Anmeldung basiert auf der am 2. Juni 2016 eingereichten japanischen Patentanmeldung Nr. 2016-110736 , deren Offenbarung hierin durch Bezugnahme aufgenommen ist.
TECHNISCHER BEREICH
Die vorliegende Offenbarung bezieht sich auf eine Merkmalspunkt-Schätzvorrichtung, ein Merkmalspunkt-Schätzsystem, ein Merkmalspunkt-Schätzverfahren und ein Merkmalspunktschätzprogramm zum Schätzen einer Position eines Merkmalspunktes in einer Abbildung.
HINTERGRUND
Herkömmlicherweise ist eine Technik namens SDM (Supervised Descent Method) als Merkmalspunktpositionsschätzverfahren zum Schätzen der Position eines Merkmalspunkts in einem Einzelbild bekannt.
Durch ein Schätzen der Merkmalspunktposition durch SDM ist es möglich, eine Position eines Gesichtsorgans unter Verwendung eines Gesichtsorganpunkts des Gesichts als Merkmalspunkt in einer Gesichtsabbildung (z.B. Nicht-Patentdokument 1) zu schätzen und eine Position des Gelenks jeder Person unter Verwendung eines Gelenkpunkts einer Person als Merkmalspunkt in einer Porträtabbildung zu schätzen. Es ist möglich, die Positionen der Linien, linke und rechte weiße Linie, an der Straße in einer Fahrzeugkameraabbildung unter Verwendung der Linien, linke und rechte weiße Linie, als Merkmalspunkte zu schätzen. Dann, zum Beispiel, durch das Schätzen der Position des Organpunkts des Gesichts in der Gesichtsabbildung, ist es möglich, den unaufmerksamen oder abnormalen Zustand des Fahrers während eines Fahrens zu schätzen und eine angemessene Warnung auszugeben.
Die 12 bis 19 sind Diagramme zur Erklärung von Verfahren zum Schätzen der Organpunktposition des Gesichts durch das herkömmliche SDM. SDM ist ein Algorithmus, der aus zwei Stufen, „Merkmalsextraktion“ und „linearen Regression“, besteht.
(Schritt 1: Gesichtsbereichserkennung)
Zunächst wird, wie es in 12 gezeigt wird, ein rechteckiger Gesichtsbereich von einer Gesichtsabbildung durch ein beliebiges Gesichtserkennungsverfahren erfasst. Für die Gesichtsbereichserkennung kann ein beliebiges Verfahren verwendet werden, und es ist möglich, z.B. ein Verfahren auf Basis von Viola-Jones oder ein Verfahren von SPADE (Scalar Product Accelerator by Integer Decomposition for Object Detection, Mitsuru Ambai und Ikuro Sato, ECCV 2014) zu verwenden.
(Schritt 2: Positionierung der durchschnittlichen Organpunkte)
Als nächstes werden in Bezug auf den erfassten Gesichtsbereich, wie es in 13 gezeigt wird, durchschnittliche Organpunkte als Ausgangsposition an durchschnittlichen Organpunktpositionen positioniert. Die durchschnittlichen Organpunktpositionen werden im Voraus erlangt, durch ein Angeben korrekter Daten der Organpunkte (z.B. der Innenwinkel der Augen, die Nasenspitze, der Mund usw.)einer großen Anzahl von Gesichtsabbildungen und ein Ermitteln von deren Durchschnitt. Hier wird angenommen, dass L durchschnittliche Organpunkte vorbereitet werden.
(Schritt 3: Merkmalsmengenextraktion)
Als nächstes wird, wie es in 14 gezeigt wird, die Merkmalsmenge in einer D-Dimension aus einer Umgebung der platzierten L-Stücke von Gesichtsorganpunkten extrahiert. Hier kann die Merkmalsmenge beliebig sein, z.B. kann eine HOG (Histogramme des orientierten Gradienten)-Merkmalsmenge verwendet werden. Dann wird, wie es in 14 gezeigt wird, ein Merkmalsvektor x₁ der LD-Dimension, bei der die Merkmalsmenge aller Organpunkte integriert ist, erzeugt.
(Schritt 4: Berechnung des Differenzvektors durch Regression)
Als nächstes wird, wie es in 15 gezeigt wird, ein Differenzvektor y₁ durch ein Transformatieren des Merkmalsvektors x₁ mit der Regressionsmatrix W₁ erhalten. Bei der Regressionsmatrix W₁ ist der Merkmalsvektor x₁ eine Eingabe und der Differenzvektor y₁, der einen Abweichungsbetrag einer wahren Organpunktposition in Bezug auf den durchschnittlichen Organpunkt anzeigt, ist eine Ausgabe. Für eine große Anzahl von Gesichtsabbildungen kann es durch ein Durchführen eines maschinellen Lernens mit einer linearen Regressionstechnik erhalten werden. Der Differenzvektor y₁ ist eine 2L-Dimension, die durch Multiplikation der Anzahl L von Organpunkten mit der Anzahl (2) von Koordinatenwerten jedes Organpunkts erhalten wird, und die Regressionsmatrix W₁ wird als eine Matrix mit 2L-Zeilen und LD-Spalten erhalten.
(Schritt 5: Repositionierung von Organpunkten)
Als nächstes wird, wie es in 16 gezeigt wird, die Positionierung der in Schritt 2 verwendeten durchschnittlichen Organpunkte um den in Schritt 4 erhaltenen Differenzvektor y₁ korrigiert, wodurch die Organpunkte repositioniert werden.
In Bezug auf die repositionierten Organpunkte wird Schritt 3 nochmal ausgeführt, um die Merkmalsmenge zu extrahieren, wobei der Merkmalsvektor x₂, wie es in 17 gezeigt wird, erhalten wird, und Schritt 4 wird ausgeführt, um den Merkmalsvektor x₂ durch die Regressionsmatrix W₂ zu extrahieren, wodurch, wie es in 18 gezeigt wird, der Differenzvektor y₂ erhalten wird, und außerdem wird Schritt 5 ausgeführt, um die Organpunkte neu anzuordnen, wodurch, wie es in 19 gezeigt wird, neu angeordnete Organpunkte erhalten werden. Durch ein Wiederholen der Extraktionen der Merkmalsmenge und der Repositionierung durch die Regression (von Schritt 3 auf Schritt 5) etwa 4- bis 5-mal auf diese Weise können genau positionierte Organpunkte erhalten werden.
Wie vorstehend beschrieben, ist es durch die Verwendung des Verfahrens des SDM für das Gesichtsabbildung, wie es in 20 gezeigt wird, möglich, Informationen (Koordinaten) über die Positionen einer Mehrzahl von Organpunkten, die Merkmalspunkte des Gesichts sind, aus dem Gesichtsabbildung zu erhalten.
DOKUMENT DES STANDS DER TECHNIK
Nicht-Patentdokument 1: Supervised Descent Method und ihre Anwendungen zur Gesichtsausrichtung, Xuehan Xiong, Fernando De la Torre (CVPR 2013)
ZUSAMMENFASSUNG DER ERFINDUNG
Beim oben beschriebenen konventionellen SDM gibt es ein Problem, dass der Speicherverbrauch groß ist. Das heißt, wenn die Anzahl der Organpunkte L und die Anzahl der Dimensionen der Merkmalsmenge D ist, ist die Regressionsmatrix Wi mit 2L-Zeilen und LD-Spalten. Wenn die Anzahl der Bytes des Gleitkommawertes jedes Elements der Regressionsmatrix Wi B-Bytes ist, werden 2L × LD × B-Bytes Speicher verbraucht. Dann wird der Speicher dieser Kapazität durch die Anzahl der Male der iterativen Verarbeitung der Organpunktschätzung verbraucht.
Wenn beispielsweise die Anzahl der Organpunkte 194 ist, die Merkmalsmenge 288 Dimensionen ist und die Elemente der Regressionsmatrix reelle Zahlen mit doppelter Genauigkeit sind (8 Bytes), ist der Speicherverbrauch für eine Regressionsmatrix 194 × 2 × 194 × 288 × 8 = etwa 173 MByte, und unter der Annahme, dass die Anzahl der Wiederholungsverarbeitung vier ist, wird Speicher von etwa 694 MByte verbraucht.
Bei der Gesichtserkennung durch den konventionellen SDM gab es ein anderes Problem, dass die Geschwindigkeit langsam war. Insbesondere die Belastung des Prozesses (Schritt 4) zum Durchführen der inneren Produktberechnung des Merkmalsvektors xi und der Regressionsmatrix Wi zum Erhalten des Differenzvektors yi ist groß (die Ordnung des Berechnungsbetrags ist 2L × LD), und es braucht Zeit, weil der Prozess durch die Anzahl der Iterationen wiederholt wird.
Ein Ziel der vorliegenden Offenbarung ist es, eine Merkmalspunktpositionsschätzvorrichtung vorzusehen, die in der Lage ist, den Speicherverbrauch und den Berechnungsbetrag in der Verarbeitung der Merkmalspunktpositionsschätzung, die die Erfassung und Regressionsberechnung der Merkmalsbeträge wiederholt, angesichts des obigen Problems zu unterdrücken,.
Eine Merkmalspunktpositionsschätzvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung enthält eine Subjekterkennungseinheit, die einen Subjektbereich aus einem Subjektabbildung erkennt, eine Merkmalspunktpositionierungseinheit, die in Bezug auf den Subjektbereich Merkmalspunkte an zuvor vorbereiteten anfänglichen Merkmalspunktpositionen positioniert, eine Merkmalsmengenerlangungseinheit, die eine Merkmalsmenge des positionierten Merkmalspunktes erlangt, eine Regressionsberechnungseinheit, die durch Ausführen einer Regressionsberechnung in Bezug auf den Merkmalsmenge einen Abweichungsbetrag einer wahren Merkmalspunktposition in Bezug auf die Merkmalspunktposition berechnet, eine Repositionierungseinheit, die die Merkmalspunkte auf Grundlage des Abweichungsbetrags repositioniert. Die Merkmalsmengenerlangungseinheit erlangt Merkmalspunkte, die in der Merkmalspunktpositionierungseinheit angeordnet sind, und die Merkmalanzahl der Merkmalspunkte, die in der Repositionierungseinheit repositioniert wurden. Die Regressionsberechnungseinheit berechnet den Abweichungsbetrag durch Transformation der Merkmalsmengen in eine matrixaufgelöste Regressionsmatrix. Die Repositionierungseinheit gibt die Positionen der repositionierten Merkmalspunkte aus, indem sie die Erlangung einer Merkmalsmenge durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsbetrags durch die Regressionsberechnungseinheit und die Repositionierung der Merkmalspunkte mehrmals wiederholt.
Die Regressionsmatrix kann in eine Basismatrix zerlegt werden, d.h. eine Reelle-Zahlen-Matrix und eine Koeffizientenmatrix, die eine Reelle-Zahlen-Matrix ist. Insbesondere kann die Regressionsmatrix durch Singulärwertzerlegung in die Basismatrix und die Koeffizientenmatrix zerlegt werden.
Die Regressionsmatrix kann in eine Basismatrix zerlegt werden, die eine ganzzahlige Matrix und eine Koeffizientenmatrix, die eine Reelle-Zahlen-Matrix ist. Dabei kann die Basismatrix eine binäre Matrix oder eine ternäre Matrix sein. Außerdem kann in der Regressionsmatrix jeder Spaltenvektor einzeln oder gemeinsam in einer Matrix zerlegt werden.
Die Merkmalspunktpositionsschätzvorrichtung kann die Positionen der Merkmalspunkte in Bezug auf die Subjektabbildung einer Mehrzahl von aufeinanderfolgenden Bildern schätzen. Die Merkmalspunktpositionierungseinheit wiederholt mehrfach die Merkmalsmengenerlangung durch die Merkmalsmengenerlangungseinheit im Bild, die Berechnung des Abweichungsgrades durch die Regressionsberechnungseinheit und die Neuanordnung der Merkmalspunkte, so dass die Neuanordnungsmerkmalspunkte als die im aktuellen Einzelbild vorher vorbereiteten anfänglichen Merkmalspunktpositionen festgelegt werden können. Mit dieser Konfiguration, da die Anzahl der Regressionen reduziert werden kann, kann der Rechenaufwand bis zur Konvergenz reduziert werden.
Die Merkmalspunktpositionsschätzvorrichtung kann ferner eine Auswertungseinheit beinhalten, die die Merkmalsmenge des von der Repositionierungseinheit repositionierten Merkmalspunktes linear umwandelt, um eine Bewertung des Merkmalspunktes zu erhalten. Mit dieser Konfiguration ist es möglich zu beurteilen, ob die Schätzung der Position des Merkmalspunktes durch Auswertung der Bewertung fehlgeschlagen ist oder nicht.
Die Auswertungseinheit kann die Mehrzahl der von der Repositionierungseinheit repositionierten Merkmalspunkte gruppieren und die Bewertung für jede Gruppe erhalten. Im Vergleich zum Fall der Zuweisung von Bewertungen zu jedem Merkmalspunkt kann die Zuverlässigkeit des durch die gruppierte Bewertung geschätzten Teils bestimmt werden, so dass eine robuste Zuverlässigkeitsschätzung durchgeführt werden kann.
Die Regressionsberechnungseinheit führt die Regressionsberechnung nur für einige der Merkmalspunkte mit hoher Priorität aus der Mehrzahl der Merkmalspunkte durch. Die Erfassung der Merkmalsmenge durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsbetrags durch die Regressionsberechnungseinheit und die Repositionierung des Merkmalspunktes werden mehrfach wiederholt. Die Anzahl der Merkmalspunkte, für die die Regressionsberechnung durchgeführt wird, kann entsprechend der Priorität erhöht und die Regressionsberechnung für alle Merkmalspunkte durchgeführt werden. Mit dieser Konfiguration können Anzahl und Anzahl der Regressionsberechnungen reduziert und die Berechnungskosten reduziert werden.
Die Subjekterkennungseinheit kann den Subjektbereich erfassen, indem sie aus jedem der Mehrzahl von Blöcken der Subjektabbildung eine charakteristische Menge extrahiert und einen Identifikationsprozess durchführt, und die Merkmalsmengenerlangungseinheit kann die in der Subjekterkennungseinheit extrahierte Merkmalsmenge als Merkmalsmenge des Merkmalspunktes erhalten. Zu diesem Zeitpunkt kann die Merkmalsmengenerlangungseinheit der Merkmalsmenge des Blocks, zu dem der Merkmalspunkt gehört, als den Merkmalsmenge des Merkmalspunktes erwerben.
Eine Merkmalspunktpositionsschätzvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung enthält eine Subjekterkennungseinheit, die einen Subjektbereich aus einem Subjektabbildung erkennt, eine Merkmalspunktpositionierungseinheit, die in Bezug auf den Subjektbereich Merkmalspunkte an zuvor vorbereiteten anfänglichen Merkmalspunktpositionen positioniert, eine Merkmalsmengenerlangungseinheit, die einen Merkmalsmenge des positionierten Merkmalspunktes erfasst, eine Regressionsberechnungseinheit, die durch ein Ausführen einer Regressionsberechnung in Bezug auf den Merkmalsmenge einen Abweichungsbetrag einer tatsächlichen Merkmalspunktposition in Bezug auf die Merkmalspunktposition berechnet, eine Repositionierungseinheit, die die Merkmalspunkte auf Grundlage des Abweichungsbetrags repositioniert. Die Merkmalsmengenerlangungseinheit erfasst Merkmalspunkte, die in der Merkmalspunktpositionierungseinheit angeordnet sind, und die Merkmalanzahl der Merkmalspunkte, die in der Repositionierungseinheit neu angeordnet sind. Die Regressionsberechnungseinheit berechnet den Abweichungsbetrag durch Transformation der Merkmalsmengen in eine matrixaufgelöste Regressionsmatrix. Die Repositionierungseinheit gibt die Positionen der repositionierten Merkmalspunkte aus, indem sie die mehrfache Erfassung einer Merkmalsmenge durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsgrades durch die Regressionsberechnungseinheit und die Repositionierung der Merkmalspunkte wiederholt.
Ein Merkmalspunktpositionsschätzsystem gemäß einer Ausführungsform der vorliegenden Offenbarung wird von einem Computer ausgeführt. Der Computer fungiert als Subjekterkennungseinheit, die einen Subjektbereich aus einem Subjektbild erkennt, eine Merkmalpunktpositionierungseinheit, die in Bezug auf den Subjektbereich Merkmalpunkte an vorab vorbereiteten Ausgangsmerkmalpunktpositionen positioniert, eine Merkmalbetragserfassungseinheit, die einen Merkmalbetrag des positionierten Merkmalpunktes erfasst, eine Regressions-Berechnungseinheit, die durch Ausführen einer Regressionsberechnung in Bezug auf den Merkmalbetrag einen Abweichungsbetrag einer wahren Merkmalpunktposition in Bezug auf die Merkmalpunktposition berechnet, eine Repositionierungseinheit, die die Merkmalpunkte auf Grundlage des Abweichungsbetrag repositioniert. Die Merkmalsmengenerlangungseinheit erfasst Merkmalspunkte, die in der Merkmalspunktpositionierungseinheit angeordnet sind, und die Merkmalanzahl der Merkmalspunkte, die in der Repositionierungseinheit neu angeordnet sind. Die Regressionsberechnungseinheit berechnet den Abweichungsbetrag durch Transformation der Merkmalsmengen in eine matrixaufgelöste Regressionsmatrix. Die Repositionierungseinheit gibt die Positionen der repositionierten Merkmalspunkte aus, indem sie die mehrfache Erfassung einer Merkmalsmenge durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsgrades durch die Regressionsberechnungseinheit und die Neuanordnung der Merkmalspunkte wiederholt.
Ein Merkmalspunktpositionsschätzverfahren gemäß einer Ausführungsform der vorliegenden Offenbarung enthält einen Objekterkennungsschritt, der einen Subjektbereich aus einem Subjektabbildung erkennt, einen Merkmalspunktpositionierungsschritt, der in Bezug auf den Subjektbereich Merkmalspunkte an zuvor vorbereiteten anfänglichen Merkmalspunktpositionen positioniert, einen Merkmalsmengenerlangungsschritt, der einen Merkmalswert des positionierten Merkmalspunktes erfasst, einen Regressionsberechnungsschritt, der durch Ausführen einer Regressionsberechnung in Bezug auf den Merkmalswert einen Abweichungsbetrag einer wahren Merkmalspunktposition in Bezug auf die Merkmalspunktposition berechnet, einen Repositionierungsschritt, der die Merkmalspunkte auf Grundlage des Abweichungsbetrags repositioniert. Der Schritt zur Erfassung der Merkmalsmengen erfasst Merkmalspunkte, die in der Merkmalspunktpositionierungseinheit angeordnet sind, und die Anzahl der Merkmalspunkte, die in der Repositionierungseinheit neu angeordnet sind. Der Schritt der Regressionsberechnung berechnet den Abweichungsbetrag durch Transformation der Merkmalsmengen in eine matrixaufgelöste Regressionsmatrix. Der Repositionierungsschritt gibt die Positionen der repositionierten Merkmalspunkte aus, indem er die mehrfache Erfassung einer Merkmalsmenge durch den Merkmalsmengenerlangungsschritt, die Berechnung des Abweichungsgrades durch den Regressionsberechnungsschritt und die Neuanordnung der Merkmalspunkte wiederholt.
Da in der Merkmalspunktpositionsschätzvorrichtung und dergleichen die für die Regressionsberechnung verwendete Regressionsmatrix in der Merkmalspunktpositionsschätzverarbeitung, in der die Merkmalsmengenerlangung und die Regressionsberechnung wiederholt werden, matrixunterteilt ist, kann der Speicherverbrauchsbetrag und der Berechnungsbetrag reduziert werden.
Figurenliste
Die oben genannten und andere Aspekte, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen ersichtlich. In den Zeichnungen:

1 ist ein Blockdiagramm, das eine Konfiguration einer Merkmalspunktpositionsschätzvorrichtung in einer Ausführungsform darstellt.
2 ist ein Diagramm zur Erklärung der Matrixzersetzung einer Regressionsmatrix W in der Ausführungsform.
3 ist ein Diagramm zur Erläuterung eines Prozesses der Zerlegung der Regressionsmatrix W in einer anfänglichen Ausführungsform in eine Basismatrix M mit einer Basiszahl k und einer Koeffizientenmatrix C.
4 ist ein Diagramm zur Erklärung eines Prozesses der Zerlegung einer Regressionsmatrix W in einer zweiten Ausführungsform in eine Basismatrix M mit einer Basiszahl k und einer Koeffizientenmatrix C.
5 ist ein Flussdiagramm eines Algorithmus, der in der Divisionsmethode in der zweiten Ausführungsform implementiert ist.
6 ist ein Diagramm zur Erklärung der Matrixzersetzung einer Regressionsmatrix W in einer dritten Ausführungsform.
7 ist ein Diagramm zur Erklärung von Merkmalspunkten, die für die Regressionsberechnung in einer sechsten Ausführungsform verwendet werden.
8 ist ein Diagramm, das eine erste iterative Regression in der sechsten Ausführungsform zeigt.
9 ist ein Diagramm, das eine zweite iterative Regressionsberechnung in der sechsten Ausführungsform zeigt.
10 ist ein Diagramm, das eine dritte iterative Regressionsberechnung in der sechsten Ausführungsform darstellt.
11 ist ein Diagramm zum Erklären eines Prozesses (einzelnes Wörterbuch) einer Subjekterkennungseinheit in einer siebten Ausführungsform und eines Prozesses (mehrere Wörterbücher) der Subjekterkennungseinheit in der siebten Ausführungsform.
12 ist ein Diagramm zur Erklärung der Gesichtsbereichsdetektion in einem konventionellen SDM.
13 ist ein Diagramm zur Erläuterung der Positionierung von durchschnittlichen Organpunkten im konventionellen SDM.
14 ist ein Diagramm, das eine Merkmalsmengenextraktion im konventionellen SDM veranschaulicht.
15 ist ein Diagramm zur Erklärung der Berechnung eines Differenzvektors durch Regression im konventionellen SDM.
16 ist eine Ansicht zur Erklärung der Neuanordnung von Organpunkten im konventionellen SDM.
17 ist ein Diagramm zur Erklärung der Merkmalsmengenextraktion im konventionellen SDM.
18 ist ein Diagramm zur Erklärung der Berechnung eines Differenzvektors durch Regression im konventionellen SDM.
19 ist eine Ansicht zur Erklärung der Repositionierung von Organpunkten im konventionellen SDM.
20 ist ein Diagramm, das eine Mehrzahl von Organpunkten darstellt, die durch das herkömmliche SDM erhalten werden.

DETAILLIERTE BESCHREIBUNG
Im Folgenden wird eine Mehrzahl von Ausführungsformen mit Bezug auf die Zeichnungen beschrieben. Die nachfolgend beschriebenen Ausführungsformen sind nur Beispiele, und die Ausführungsformen sind nicht auf die nachfolgend beschriebenen spezifischen Konfigurationen beschränkt. Um die technische Idee der vorliegenden Offenbarung zu verkörpern, kann eine spezifische Konfiguration gemäß der Ausführungsform entsprechend angepasst werden.
1 ist ein Blockdiagramm, das eine Konfiguration einer Merkmalspunktpositionsschätzvorrichtung 1 in einer Ausführungsform darstellt. Wie es in 1 gezeigt wird, enthält die Merkmalspunktpositionsschätzvorrichtung 1 eine Subjekterkennungseinheit 11, eine Merkmalspunktpositionierungseinheit 12, eine Merkmalsmengenerfassungseinheit 13, eine Regressionsberechnungseinheit 14, eine Matrixspeichereinheit 15, eine Repositionierungseinheit 16. Die Merkmalspunktpositionsschätzvorrichtung 1 kann von einem Computer mit einer CPU, einem ROM, einem RAM, einer Zusatzspeichervorrichtung, einer Ein-/Ausgabeschnittstelle usw. realisiert werden, in dem ein Merkmalspunktpositionsschätzprogramm ausgeführt wird. Es ist zu beachten, dass das Merkmalspunktpositionsschätzsystem mit den gleichen Funktionen wie die der Merkmalspunktpositionsschätzungsvorrichtung 1 konfiguriert werden kann, indem die Komponenten der Merkmalspunktpositionsschätzungsvorrichtung 1 verteilt angeordnet und miteinander kommuniziert werden.
In der Merkmalspunktpositionsschätzvorrichtung 1 gemäß der vorliegenden Ausführungsform wird die Merkmalspunktposition von SDM geschätzt, die die Merkmalsmengenerlangung und die lineare Regression viermal wiederholt (wiederholt), wobei die Anzahl der Iterationen jedoch nicht auf das Vierfache begrenzt ist und mehr oder weniger betragen kann.
Eine Abbildung (Subjektabbildung), die von der Position des Merkmalspunktes zu schätzen ist, wird in die Subjekterkennungseinheit 11 eingegeben. Die Subjekterkennungseinheit 11 erkennt einen Subjektbereich aus dem Subjektabbildung auf die gleiche Weise wie in Schritt 1 des oben beschriebenen konventionellen SDM. Für diese Erkennung des Subjektbereichs kann eine beliebige Methode verwendet werden. So ist es beispielsweise möglich, bei der Gesichtserkennung eine Methode auf Basis von Viola-Jones oder eine Methode auf Basis von SPADE zu verwenden.
Auf die gleiche Weise wie im vorstehend beschriebenen Schritt 2 des konventionellen SDM wird der Merkmalspunkt der Merkmalspositionierungseinheit 12 Positionen an einer durchschnittlichen Merkmalspunktposition, die im Voraus als anfängliche Merkmalspunktposition in Bezug auf den von der Subjekterkennungseinheit 11 erfassten Subjektbereich vorbereitet wurde (Der so positionierte Merkmalspunkt wird auch als „durchschnittlicher Merkmalspunkt“ bezeichnet). Die durchschnittliche Merkmalspunktposition wird im Voraus ermittelt, indem für eine große Anzahl von Subjektabbildungen korrekte Antwortdaten von Merkmalspunkten angegeben und deren Durchschnitt ermittelt werden. Hier wird davon ausgegangen, dass L durchschnittliche Organpunkte ermittelt werden. Es ist zu beachten, dass die anfängliche Merkmalspunktposition nicht unbedingt als die Position des durchschnittlichen Merkmalspunktes bestimmt wird, sondern durch jedes andere beliebige Verfahren vorgegeben werden kann.
Auf die gleiche Weise wie in Schritt 3 des vorstehend beschriebenen konventionellen SDM extrahiert die Merkmal-Betragserfassungseinheit 13 aus einer Peripherie der Merkmal-Punkte (z.B. ein kleiner Bereich eines 32 × 32 Pixels, der auf den Merkmal-Punkt zentriert ist) für die im Einzelbild des Subjektbereichs (das Subjektbereichsbild) angeordneten L Merkmal-Punkte einen D-dimensionalen Merkmal-Betrag. Hier kann der Merkmal-Betrag beliebig sein, z.B. kann HOG (Histogramme des orientierten Gradienten) Merkmal-Betrag verwendet werden. Anschließend erzeugt die Merkmalsmengenerlangungseinheit 13 einen Merkmalvektor xi der LD-Dimension, der durch die Integration der Merkmalsmenge aller Merkmalspunkte erhalten wird (i ist die iterative Verarbeitungsnummer von SDM).
Insbesondere extrahiert die Merkmalsmengenerlangungseinheit 13 den Merkmalsmenge aus dem Einzelbild des Subjektbereichs, in dem der durchschnittliche Merkmalspunkt von der Subjekterfassungseinheit 11 positioniert wird, und erzeugt den Merkmalvektor xi. Darüber hinaus wird bei der Eingabe des Motivbereichs-Bildes, in dem die Merkmalspunkte aus der Repositioniereinheit 16 repositioniert werden, die Merkmalsmenge extrahiert und jedes Mal auf die gleiche Weise wie oben beschrieben ein Merkmalsvektor xi erzeugt.
Die Regressionsberechnungseinheit 14 erhält den Differenzvektor yi durch Transformation des Merkmalsvektors xi mit der matrixzersetzten Regressionsmatrix Wi. Die Regressionsmatrix Wi ist eine Transformationsmatrix zum Umwandeln des Merkmalsvektors xi in den Vektor yi, und in der Regressionsmatrix Wi wird der Merkmalsvektor xi eingegeben und ein Vektor yi des Betrags der Abweichung der Position des wahren Merkmalspunktes relativ zum durchschnittlichen Merkmalspunkt ausgegeben. Für eine große Anzahl von Subjektabbildungen wird es durch maschinelles Lernen mit der linearen Regressionstechnik gewonnen.
Die Regressionsberechnungseinheit 14 der vorliegenden Ausführungsform zerlegt die wie vorstehend beschrieben erhaltene Regressionsmatrix Wi in eine Basismatrix Mi und eine Koeffizientenmatrix Ci und verwendet sie. Zu diesem Zweck enthält die Regressionsberechnungseinheit 14, wie es in 1 gezeigt wird, eine Basismatrix-Multiplikationseinheit 141 und eine Koeffizientenmatrix-Multiplikationseinheit 142. Die Basismatrix-Multiplikationseinheit 141 führt die Multiplikation (nimmt ein Produkt) des Merkmalsvektors xi und der Basismatrix Mi durch. Die Koeffizientenmatrix-Multiplikationseinheit 142 führt die Multiplikation (nimmt ein Produkt) des Produkts Mxi des Merkmalsvektors xi und der Basismatrix Mi und der Koeffizientenmatrix Ci durch.
Auf diese Weise zerlegt die Regressionsberechnungseinheit 14 der vorliegenden Ausführungsform, wie es in 2 gezeigt wird, die Regressionsmatrix Wi in zwei Matrizen und berechnet das Produkt mit dem Merkmalsvektor xi. Wie vorstehend beschrieben, werden im SDM die Positionen einer Mehrzahl von Merkmalspunkten im Einzelbild des Subjektbereichs geschätzt, aber unter der Mehrzahl der auf diese Weise geschätzten Merkmalspunkte befinden sich viele Merkmalspunkte, die nahe beieinander liegen. Wenn die Positionen der Merkmalspunkte nahe beieinander liegen, ähnelt jeder Spaltenvektor wi der Regressionsmatrix Wi einander. Wenn die Regressionsmatrix Wi solche Eigenschaften aufweist, besteht die Eigenschaft, dass bei der Zerlegung in die Basismatrix und die Koeffizientenmatrix eine Approximation mit einer kleineren Anzahl von Basiszahlen erreicht werden kann.
Da die Regressionsmatrix in zwei kleine Matrizen zerlegt wird, wird der Speicherverbrauch reduziert und die Komplexität der Berechnung reduziert. Das heißt, für die Berechnung des Produkts aus Regressionsmatrix (Spalte 2L Reihe LD) und Merkmalsvektor (Dimension LD) sind konventionell (2L × LD) Berechnungen erforderlich, während es, wie es in 2 gezeigt wird, ausreicht, (K × LD + 2L × k) Zeiten zu berechnen, wenn die Regressionsmatrix W in die Basismatrix M mit der Basisnummer k und der Koeffizientenmatrix C zerlegt wird. Im Falle von L = 194, D = 288 und einer reellen Zahl mit doppelter Genauigkeit (8 Bytes) wurden beispielsweise etwa 165 M Bytes Speicher für eine Regressionsmatrix W verbraucht, aber bei der Zerlegung, wie es in 2, (0,05 × k) gezeigt wird, reichen M Bytes Speicherverbrauch aus.
Die Matrixspeichereinheit 15 speichert die Basismatrix Mi und die Koeffizientenmatrix Ci, die durch Zerlegung der Regressionsmatrix Wi erhalten wird. i ist die Zahl der iterativen Verarbeitung und i ist 1 bis 4 in der vorliegenden Ausführungsform. Die Zerlegungsmethode der Regressionsmatrix Wi wird später beschrieben.
Im Falle von i = 1 korrigiert die Repositionierungseinheit 16 die Position des von der durchschnittlichen Merkmalspunktpositionierungseinheit 12 angeordneten durchschnittlichen Merkmalspunktes mit dem von der Regressionsrecheneinheit 14 erhaltenen Differenzvektor y1 und repositioniert dadurch den Merkmalspunkt. Wenn i 2 oder mehr ist, positioniert die Repositionierungseinheit 16 die Merkmalspunkte neu, indem sie die Position des zu diesem Zeitpunkt erhaltenen Merkmalspunktes mit dem von der Regressionsberechnungseinheit 14 erhaltenen Differenzvektor yi korrigiert.
Die von der Repositioniereinheit 16 repositionierten Merkmalspunkte werden zur iterativen Verarbeitung an die Merkmalsmengenerlangungseinheit 13 ausgegeben. Die Merkmalsmengenerlangungseinheit 13 extrahiert die Merkmalsmenge aus dem repositionierten Merkmalspunkt, um den Merkmalvektor x2 zu erhalten. Die Regressionsberechnungseinheit 14 führt die Regressionsberechnung durch, um den Differenzvektor y2 zu erhalten. Die Repositioniereinheit 16 positioniert die Merkmalspunkte unter Verwendung des Differenzvektors y2 neu, wodurch repositionierte Merkmalspunkte erhalten werden. Wie vorstehend beschrieben, wird die Merkmalsmengenextraktion und die Repositionierung durch die Regression (die Verarbeitung der Merkmalsmengenerlangungseinheit 13, der Regressionsberechnungseinheit 14 und der Repositionierungseinheit 16) wiederholt und i erhöht. Wenn i gleich 4 ist, wird die eingeplante Nummer der iterativen Verarbeitung beendet. Anschließend gibt die Repositioniereinheit 16 die Positionsinformationen (Merkmalspunktkoordinaten) jedes zu diesem Zeitpunkt positionierten Merkmalspunktes aus.
Im Folgenden werden einige Ausführungsformen der Zerlegung der Regressionsmatrix W und der Regressionsberechnung in der Regressionsberechnungseinheit 14 beschrieben. Die Zerlegung der Regressionsmatrix wird in der Regel vorher von einer Vorrichtung (im Folgenden „Matrixzerlegungsvorrichtung“ genannt) durchgeführt, die sich von der Merkmalspunktpositionsschätzvorrichtung 1 unterscheidet. Die Basismatrix M und die daraus resultierende Koeffizientenmatrix C werden in der Matrixspeichereinheit 15 der Merkmalspunktpositionsschätzvorrichtung 1 gespeichert.
(Erste Ausführungsform)
3 ist ein Diagramm zur Erläuterung des Prozesses der Zerlegung der Regressionsmatrix W in die Basismatrix M mit der Basiszahl k und der Koeffizientenmatrix C gemäß der anfänglichen Ausführungsform. In diesem Beispiel zerlegt die Matrixzerlegungsvorrichtung die Regressionsmatrix W in zwei reale Matrizen. Genauer gesagt, zerlegt die Matrixzersetzungsvorrichtung die Regressionsmatrix W in reale Basismatrizen einer orthogonalen Basis und reale Koeffizientenmatrizen durch Singulärwertzerlegung.
Wenn die Positionen der Merkmalspunkte nahe beieinander liegen, neigt die Regressionsmatrix W dazu, niedrig eingestuft zu werden, und wenn die Regressionsmatrix W niedrig eingestuft ist, ist eine Zerlegung in eine kleine Matrix (kleine Basiszahl k) zu erwarten. Wie vorstehend beschrieben, ist es möglich, den Berechnungsbetrag und den Speicherverbrauch durch Reduzierung der Basiszahl k zu reduzieren.
(Zweite Ausführungsform)
4 ist ein Diagramm zur Erläuterung des Prozesses der Zerlegung der Regressionsmatrix W in die Basismatrix M mit der Basiszahl k und der Koeffizientenmatrix C gemäß der zweiten Ausführungsform. In diesem Beispiel zerlegt die Matrixzerlegungsvorrichtung die Regressionsmatrix W in eine ganzzahlige Basismatrix M und eine Realzahlkoeffizientenmatrix C. Insbesondere zerlegt die Matrixzerlegungsvorrichtung die Regressionsmatrix W in eine binäre oder ternäre Basismatrix M und eine Realzahlkoeffizientenmatrix C. Bei Verwendung der Basismatrix M und der Koeffizientenmatrix C ist die für den Merkmalspunkt extrahierte Merkmalsmenge in der Merkmalsmengenerlangungseinheit 13 der Merkmalspunktpositionsschätzvorrichtung 1 ebenfalls binär.
Da die Gleitkommaoperation in der Operation Mx des Produkts der Basismatrix M und des Merkmalsvektors x durch Setzen des Merkmalsvektors x als ganze Zahl nicht auftritt, kann die Regressionsberechnung mit hoher Geschwindigkeit durchgeführt werden. Insbesondere wenn die Basismatrix M binär ist, ist es nur notwendig, das exklusive OR (XOR) zu nehmen und die Anzahl der Bits zu zählen. Wenn die Basismatrix M ternäre ist, ist es nur notwendig, das exklusive OR (XOR) und ein logisches Produkt (AND) zu nehmen und die Anzahl der Bits zu zählen. Daher ist es möglich, die Regressionsberechnung mit einer sehr hohen Geschwindigkeit durchzuführen.
Im Folgenden wird ein Verfahren zur Zerlegung in die binäre Basismatrix und die Reelle-Zahlen-Koeffizientenmatrix durch die Matrixzerlegungsvorrichtung der vorliegenden Ausführungsform näher beschrieben.
(Erste Zersetzungstechnik)
Als erste Zerlegungstechnik wird eine datenunabhängige Zerlegungstechnik beschrieben. In der anfänglichen Zerlegungstechnik zerfällt die Matrixzerlegungsvorrichtung durch Lösen einer Kostenfunktion g1, die im folgenden Ausdruck gezeigt wird ist und den Zerlegungsfehler ausdrückt. $g_{1} (C, M) = {‖ W - CM ‖}_{F}^{2}$
Die Basismatrix M ist jedoch binär. M ∈ {-1, 1}^DL×k
Insbesondere löst die Matrixzersetzungsvorrichtung die Kostenfunktion g1 durch folgende Schritte.

(1) Die Basismatrix M und die Koeffizientenmatrix C werden zufällig initialisiert.
(2) Durch Fixierung von Elementen der Basismatrix M und Optimierung von Elementen der Koeffizientenmatrix C nach dem Verfahren der kleinsten Quadrate werden die Elemente der Koeffizientenmatrix C aktualisiert, um die Kostenfunktion g1 zu minimieren.
(3) Durch die Festlegung der Elemente der Koeffizientenmatrix C werden die Elemente der Basismatrix M bei der Vollsuche aktualisiert, um die Kostenfunktion g1 zu minimieren.
(4) Die Schritte (2) und (3) werden bis zur Konvergenz wiederholt. Wenn beispielsweise die Kostenfunktion g1 eine vorgegebene Konvergenzbedingung erfüllt (z.B. ist der Abnahmebetrag gleich oder kleiner als ein bestimmter Wert), wird bestimmt, dass die Konvergenz stattgefunden hat.
(5) Die in den Schritten (1) bis (4) erhaltenen Lösungen werden als Kandidaten gehalten.
(6) Durch Wiederholung der Schritte (1) bis (5) werden die Kandidatenbasismatrix M und die Kandidatenkoeffizientenmatrix C mit der kleinsten Kostenfunktion g1 als Endergebnis übernommen. Obwohl es nicht notwendig ist, die Schritte (1) bis (5) zu wiederholen, ist es möglich, das Problem der Anfangswertabhängigkeit durch mehrmaliges Wiederholen zu vermeiden.

Anschließend wird die Update-Verarbeitung der Basismatrix M in Schritt (3) beschrieben. Das Element des Zeilenvektors in der j-ten Zeile der Basismatrix M hängt nur von dem Element in der j-ten Zeile der Regressionsmatrix W ab. Da also der Wert jedes Zeilenvektors der Basismatrix M unabhängig von anderen Zeilen optimiert werden kann, kann die Basismatrix M eine umfassende Suche (Vollsuche) für jede Zeile durchführen. Bei der binären Zerlegung gibt es, wie in der vorliegenden Ausführungsform, nur 2^k (zwei hoch k) Arten von Zeilenvektoren in der j-ten Reihe der Basismatrix M (auch bei der ternären Zerlegung gibt es nur 3^k (drei hoch k) Arten von Zeilenvektoren). Daher werden alle Zeilenvektoren umfassend überprüft und der Zeilenvektor, der die Kostenfunktion g1 minimiert, übernommen. Dies gilt für alle Zeilenvektoren in der Basismatrix M, um die Elemente der Basismatrix M zu aktualisieren.
(Zweite Zerlegungstechnik)
Als zweite Zerlegungstechnik wird eine datenunabhängige Zerlegungstechnik beschrieben, um die Koeffizientenmatrix C spärlich zu machen. In der zweiten Zerlegungstechnik zerfällt die Matrixzerlegungsvorrichtung durch Lösen der im folgenden Ausdruck gezeigten Kostenfunktion g2, die den Zerlegungsfehler ausdrückt. $g_{2} (C, M) = {‖ W - CM ‖}_{F}^{2} + λ {| C |}_{1}$
Die Basismatrix M ist jedoch binär, und M ∈ {-1, 1}^DL×k. Außerdem ist |C|1 die L1-Norm der Elemente der Koeffizientenmatrix C und λ ist ihr Koeffizient.
Die Matrixzersetzungsvorrichtung löst die Kostenfunktion g2 durch die folgenden Schritte.

(1) Die Basismatrix M und die Koeffizientenmatrix C werden zufällig initialisiert.
(2) Durch die Fixierung der Elemente der Basismatrix M und der Elemente der Koeffizientenmatrix C wird durch das Näherungsgradientenverfahren optimiert.
(3) Durch die Festlegung der Elemente der Koeffizientenmatrix C werden die Elemente der Basismatrix M bei der Vollsuche aktualisiert, um die Kostenfunktion g2 zu minimieren.
(4) Die Schritte (2) und (3) werden bis zur Konvergenz wiederholt. Wenn beispielsweise die Kostenfunktion g2 eine vorgegebene Konvergenzbedingung erfüllt (z.B. ist der Abnahmebetrag gleich oder kleiner als ein bestimmter Wert), wird bestimmt, dass die Konvergenz stattgefunden hat.
(5) Die in den Schritten (1) bis (4) erhaltenen Lösungen werden als Kandidaten gehalten.
(6) Durch Wiederholung der Schritte (1) bis (5) werden die Kandidaten-Basismatrix M und die Kandidaten-Koeffizientenmatrix C mit der kleinsten Kostenfunktion g2 als Endergebnisse übernommen. Obwohl es nicht notwendig ist, die Schritte (1) bis (5) zu wiederholen, ist es möglich, das Problem der Anfangswertabhängigkeit durch mehrmaliges Wiederholen zu vermeiden.

Nach der zweiten Zersetzungstechnik kann die Koeffizientenmatrix C spärlich gemacht werden. Durch die Verkleinerung der Koeffizientenmatrix C ist es möglich, bei der Berechnung des Produkts CM den auf das Nullelement der Koeffizientenmatrix C bezogenen Teil wegzulassen, und es ist möglich, das innere Produkt mit einer höheren Geschwindigkeit zu berechnen.
(Dritte Zerlegungstechnik)
Als nächstes wird eine dritte Zerlegungstechnik beschrieben. In der anfänglichen Zerlegungstechnik wird ein Zerlegungsfehler (bezieht sich auf Formel 3) als Kostenfunktion g1 definiert und dieser Zerlegungsfehler minimiert. ${‖ W - CM ‖}_{F}^{2}$
Die Regressionsmatrix W wird jedoch an das Produkt aus der Basismatrix M und der Koeffizientenmatrix C angenähert. Es ist das Produkt W^Tx des Merkmalsvektors x und der Regressionsmatrix W, das danach tatsächlich approximiert wird.
Daher wird in der dritten Zerlegungstechnik vorher die S-Zahl der Sample-Merkmal-Vektoren x gesammelt, deren Summe P C R ^DL×S ist. Dann definieren wir den Zerlegungsfehler wie folgt und minimieren ihn. ${‖ W^{T} X - {(CM)}^{T} X ‖}_{F}^{2}$
Das heißt, in der dritten Zerlegungstechnik zerfällt die Matrixzerlegungsvorrichtung durch Lösen der Kostenfunktion g3 des folgenden Ausdrucks. $g_{3} (C, M) = {‖ W^{T} X - {(CM)}^{T} X ‖}_{F}^{2}$
Gemäß der Kostenfunktion g3 wird durch die Zerlegung der Regressionsmatrix W nach der Verteilung der Ist-Daten die Approximationsgenauigkeit bei der Zerlegung verbessert.
Diese ungefähre Zerlegung kann durch sequentielles Bestimmen der Basisvektoren mj, die die Basismatrix M bilden, durchgeführt werden. Das Verfahren der dritten Zerlegungstechnik ist wie folgt. (1) Die Basismatrix M und die Koeffizientenmatrix C werden durch die erste oder zweite Zerlegungstechnik erhalten und als Anfangswerte verwendet. (2) Durch die Festlegung der Elemente der Basismatrix M werden die Elemente der Koeffizientenmatrix C nach dem Näherungsgradientenverfahren optimiert. (3) Durch die Festlegung der Elemente der Koeffizientenmatrix C und die Optimierung der Elemente der Basismatrix M werden die Elemente der Basismatrix M aktualisiert. Der Prozess der Aktualisierung der Basismatrix M wird später beschrieben. (4) Die Schritte (2) und (3) werden bis zur Konvergenz wiederholt und halten die Basismatrix M und die Koeffizientenmatrix C mit der Kostenfunktion g3 minimiert werden als Kandidaten gehalten. (5) Durch Wiederholung der Schritte (1) bis (4) werden die Basismatrix M und die Koeffizientenmatrix C mit der kleinsten Kostenfunktion g3 als Endergebnis übernommen. Da die Basismatrix M und die Koeffizientenmatrix C durch die erste oder zweite Zerlegungstechnik erneut optimiert werden, wird im Schritt (1) der Anfangswert geändert. Obwohl es nicht notwendig ist, Schritt (5) zu wiederholen, ist es möglich, das Problem der Anfangswertabhängigkeit zu vermeiden, indem man sie mehrmals wiederholt.
Anschließend wird die Update-Verarbeitung der Basismatrix M in Schritt (3) beschrieben. Bei der datenabhängigen Zerlegung ist der Wert des Zeilenvektors der Basismatrix M nicht mehr unabhängig von anderen Zeilen und hängt von ihnen ab. Da die Elemente der Basismatrix M binär oder ternär sind, nämlich diskrete Werte, ist die Optimierung der Basismatrix M ein kombinatorisches Optimierungsproblem. Daher können Algorithmen wie Greedy-Algorithmus, Tabu-Suche, Simuliertes Glühen, etc. zur Optimierung z.B. der Basismatrix M eingesetzt werden. Da in Schritt (1) gute Anfangswerte erzielt werden, können diese Algorithmen auch den Zerlegungsfehler zufriedenstellend minimieren.
Wenn beispielsweise der gierige Algorithmus verwendet wird, wird die Basismatrix M durch die folgenden Schritte optimiert. (3-1) T-Elemente werden zufällig aus den Elementen der Basismatrix M ausgewählt. (3-2) 2^T-Kombinationen (3^T-Kombinationen im Falle einer später zu beschreibenden dreimaligen Zerlegung) werden getestet und eine Kombination mit der Kostenfunktion g3 minimiert übernommen. (3-3) Wiederholen Sie Schritt (3-1) und Schritt (3-2), bis sie zusammenlaufen.
(Vierte Zerlegungstechnik)
Die vierte Zerlegungstechnik ist eine Kombination aus der zweiten Zerlegungstechnik und der dritten Zerlegungstechnik. Insbesondere wird die Zerlegung durch Lösen der Kostenfunktion g4 der folgenden Gleichung durchgeführt. $g_{4} (C, M) = {‖ W^{T} X - {(CM)}^{T} X ‖}_{F}^{2} + λ {| C |}_{1}$
Gemäß dieser Kostenfunktion g4 wird durch die Zerlegung der Regressionsmatrix W nach der Verteilung der Ist-Daten die Approximationsgenauigkeit in der Zerlegung verbessert und die Koeffizientenmatrix C kann dünner gemacht werden. Das heißt, es ist möglich, sowohl Verdienste der zweiten Zerlegungstechnik als auch Verdienste der dritten Zerlegungstechnik zu erlangen. Das spezifische Zerlegungsverfahren ist das gleiche wie bei der dritten Zerlegungstechnik.
Bei der Zerlegung der zweiten Ausführungsform, da die Regressionsmatrizen W gemeinsam auf einmal zerlegt werden, wird es schwierig, sich zu zerlegen, wenn die Anzahl k der Basis steigt. Daher kann die Reelle-Zahlen-Matrix in der vorliegenden Ausführungsform durch den folgenden Algorithmus sequentiell zerlegt werden.
5 ist ein Flussdiagramm eines Algorithmus, der in der vorliegenden Ausführungsform in der Divisionsmethode implementiert ist, In der folgenden Erklärung wird das Verfahren der Zerlegung der Regressionsmatrix W in eine Basismatrix M mit k Basen und einer Koeffizientenmatrix C nach dem in der anfänglichen oder zweiten Ausführungsform beschriebenen Zerlegungsverfahren durch die folgende Gleichung ausgedrückt. $[C, M] = decompose (W, k)$
Zunächst erfasst die Matrixzersetzungsvorrichtung eine zu zerlegende Regressionsmatrix W (Schritt S51). Anschließend ordnet die Matrixzersetzungsvorrichtung den Index j (j = 1 bis N) 1 zu und ersetzt die Regressionsmatrix W durch die Restmatrix R (Schritt S52). Die Restmatrix R ist die Differenz zwischen der Summe der inneren Produkte der Basismatrix Mj und der Koeffizientenmatrix Cj, die bisher durch die sequentielle Zerlegung zerlegt werden, und der Regressionsmatrix W.
Anschließend zerlegt die Matrixzerlegungsvorrichtung die Restmatrix R in die Basismatrix M und die Koeffizientenmatrix C durch die Technik der anfänglichen oder zweiten Ausführungsform (Schritt S53). Zu diesem Zeitpunkt ist die Anzahl der Basis kj. Die Anzahl der Basen (kj = k1, k2,...., K_N) wird vorab in der Matrixzersetzungsvorrichtung gespeichert. Wenn MjCj erhalten wird, stellt die Matrixzersetzungsvorrichtung die Differenz zwischen der ursprünglichen Restmatrix R und MjCj als neue Restmatrix R ein (Schritt S54), erhöht den Index j (Schritt S55). Die Matrixzersetzungsvorrichtung bestimmt, ob der Index j größer als N ist, d.h. ob die sequentielle Zerlegung der N Stufen beendet ist (Schritt S56).
Wenn der Index j gleich oder kleiner als N (NO in Schritt S56) ist, kehrt die Matrixzersetzungsvorrichtung zu Schritt S53 zurück und zerlegt erneut die neue Restmatrix R, die in Schritt S54 erhalten wurde, mit einem neuen j, das in Schritt S55 erhöht wurde. Durch Wiederholung des obigen Prozesses wird der Prozess beendet, wenn der Index j größer als N wird (JA in Schritt S56). Wie vorstehend beschrieben, wird die Anzahl der Basen (kj = k1, k2,...., KN) der N Stufen im Voraus vorbereitet, und sie können die gleiche Anzahl oder unterschiedliche Zahlen voneinander sein. Weiterhin kann die Anzahl der Basen k beispielsweise etwa 8 betragen.
Nach der vorliegenden Ausführungsform kann je mehr die Anzahl der Basen k der Zersetzung erhöht wird, desto näher an der ursprünglichen Genauigkeit herangeführt werden.
(Dritte Ausführungsform)
6 ist ein Diagramm zur Erklärung der Matrixzersetzung einer Regressionsmatrix W in der dritten Ausführungsform, In der vorliegenden Ausführungsform, wie es in 6 gezeigt wird, werden Vektoren in der j-ten Spalte der Regressionsmatrix W separat zerlegt und gesammelt. Durch diese Art der Zerlegung jedes Vektors ist es möglich, die Berechnungskosten der Zerlegung zu unterdrücken. Einzelne Vektoren können nach dem in der zweiten Ausführungsform beschriebenen Verfahren zerlegt werden.
In der folgenden Beschreibung wird der Spaltenvektor in der j-ten Spalte der Regressionsmatrix W als wj und der Spaltenvektor in der j-ten Spalte der Koeffizientenmatrix C als cj bezeichnet. In der vorliegenden Ausführungsform wird die Regressionsmatrix W, die durch Anordnen einer Mehrzahl von Realzahlvektoren wj erhalten wird, in eine Summe aus dem Produkt einer Mehrzahl von Basismatrizen Mj und einer Matrix zerlegt, die durch Anordnen einer Mehrzahl von Koeffizientenvektoren cj diagonal, wie es in 6 gezeigt wird, erhalten wird. In 6 wird 0 (Null) in den schraffierten Teil der Matrix eingegeben.
(Vierte Ausführungsform)
Diese Ausführungsform wird auf einen Fall angewendet, in den Subjektabbildungen, die für Merkmalspunktpositionen zu schätzen sind, als eine Mehrzahl von aufeinanderfolgenden Einzelbildern erhalten werden. In der Zwischenstufe des Prozesses der Wiederholung der Merkmalsmengenextraktion und der Regressionsberechnung im vorherigen Einzelbild setzt die Merkmalsmengenerlangungseinheit 13 der vorliegenden Ausführungsform die in der Repositionierungseinheit 16 erhaltene Merkmalspunktposition als Anfangsposition, um den Merkmalsmenge zu extrahieren und die Regressionsberechnung zu starten.
Die vorliegende Ausführungsform kann effektiv angewendet werden, insbesondere wenn der Wechsel des Bildes zwischen dem vorherigen Einzelbild und dem aktuellen Einzelbild klein ist, und nach dieser Ausführungsform ist es möglich, die Anzahl der Iterationen der Merkmalsmengenextraktion und der Regressionsberechnung zu reduzieren und den Berechnungsbetrag bis zur Konvergenz zu reduzieren.
(Fünfte Ausführungsform)
Zusätzlich zur Konfiguration der Merkmalspunkt-Schätzvorrichtung der obigen Ausführungsform weist die Merkmalspunktpositionsschätzvorrichtung gemäß der vorliegenden Ausführungsform weiterhin eine Auswertungseinheit (nicht gezeigt wird) auf, die eine Bewertung (Wahrscheinlichkeit) zum Bestimmen, ob die Schätzung der Merkmalspunktposition erfolgreich ist, berechnet. Durch Wiederholung der Extraktion der Merkmalsmenge durch die Merkmalsmengenerlangungseinheit 13 und der Wiederholung der Regressionsberechnung durch die Regressionsberechnungseinheit 14 wird die Organpunktposition erhalten.
Die Auswertungseinheit extrahiert die Merkmalsmenge aus L' Merkmalspunkten, die aus den erhaltenen Merkmalspunktpositionen ausgewählt wurden, und erhält einen Vektor x' in der Dimension L'D. Basierend auf dem Vektor x' wird eine Bewertung durch Anwendung der linearen Transformation von s = w^Tx' erhalten. In diesem Fall kann (A) die Bewertung für jeden Merkmalspunkt (L'= 1) addiert werden, (B) alle Merkmalspunkte werden als eine Gruppe betrachtet und eine Bewertung kann dem Ganzen gegeben werden (L' = L'), oder (C) die Merkmalspunkte (Organpunkte) können für jeden Teil des Gesichts (z.B. Augen, Nase, Mund) gruppiert werden, und für jede Gruppe können Bewertungen angegeben werden.
Insbesondere im Falle von (B) und (C) ist es möglich, die robuste Zuverlässigkeit zu schätzen, indem man die Zuverlässigkeit des Teils beurteilt, der durch die gruppierte Bewertung geschätzt wird, anstatt jedem Punkt eine Bewertung zuzuweisen. Wenn beispielsweise die Position eines Organpunkts als Merkmalspunkt aus dem Gesicht einer Person geschätzt wird, wenn eine Person eine Maske trägt, werden Merkmalspunkte in einem Mundabschnitt als anfängliche Merkmalspunktposition angeordnet, und die Extraktion der Merkmalsmenge und die Iteration der Regressionsberechnung werden durchgeführt. In diesem Fall erhält man im Allgemeinen eine niedrige Bewertung im Maskenabschnitt. In diesem Maskenteil kann es jedoch einen Fall geben, in dem es aufgrund von Falten oder dergleichen der Maske zufällig einen Merkmalspunkt mit einer hohen Bewertung gibt. Selbst in einem solchen Fall, wenn es sich um ein gruppiertes Punktesystem handelt, kann eine niedrige Bewertung für eine Gruppe von Maskenteilen erreicht werden. Wenn die gruppierte Bewertung niedrig ist, kann man davon ausgehen, dass alle untersuchten Organpunktkoordinaten wenig zuverlässig sind.
Das Gewicht w in der linearen Transformation für die Score-Berechnung hat z.B. lineares SVM und dergleichen und bereitet positive Daten und negative Daten so auf, dass sie im Voraus gelernt werden können. So werden beispielsweise ein Merkmalsmenge (positive Daten), der von einem Merkmalspunkt (Organpunkt) erhalten wird, der an eine Fläche von Lerndaten angepasst ist, und ein Merkmalsmenge (negative Daten), der zufällig einen Merkmalspunkt (Organpunkt) an ein Nicht-Gesichtsabbildung anpasst, von SVM gelernt. Mit dieser Konfiguration ist es möglich zu beurteilen, ob die Schätzung der Position des Merkmalspunktes durch Auswertung der Bewertung fehlgeschlagen ist oder nicht.
(Sechste Ausführungsform)
In der vorliegenden Ausführungsform priorisiert die Regressionsberechnungseinheit 14 die Merkmalspunkte, die der Regressionsberechnung unterzogen werden sollen, und beispielsweise wird in der anfänglichen Regressionsberechnung nur der Merkmalsmenge mit der höchsten Priorität verwendet. Zum zweiten Mal wird der Merkmalsmenge mit der mittleren Prioritätsstufe und zum dritten Mal der Merkmalsmenge mit den Merkmalen der niedrigeren Prioritätsstufe verwendet. Auf diese Weise wird es in Etappen unterteilt. Wenn man beispielsweise die Position eines Organpunkts als Merkmalspunkt aus dem Gesicht einer Person schätzt, ist das Konzept der Prioritätszuweisung eine Ordnung, die nicht leicht durch Gesichtsorientierung, Gesichtsausdruck, Trageobjekt, individuelle Differenz beeinflusst wird. Die Prioritäten werden in der Reihenfolge der Nase, des inneren Augenwinkels, des äußeren Augenwinkels, des Mundendes usw. reduziert.
7 ist ein Diagramm zur Erläuterung der Merkmalspunkte, die in der Regressionsberechnung gemäß der vorliegenden Ausführungsform verwendet werden. 8 ist ein Diagramm, das die Regressionsberechnung der anfänglichen Iteration darstellt. 9 ist ein Diagramm, das die Regressionsberechnung der zweiten Iteration darstellt. 10 ist ein Diagramm, das die Regressionsberechnung der dritten Iteration darstellt. Wie es in 7 gezeigt wird, sind in diesem Beispiel sechzehn Merkmalspunkte angeordnet, aber nur sechs Punkte (auf dem Foto links in 7 schraffierte Merkmalspunkte) werden in der anfänglichen Iteration verwendet. Das heißt, in der anfänglichen Iteration führt die Regressionsberechnungseinheit 14 die Regressionsberechnung einer in 8 gezeigten Formel (y₁ = W₁ ^Tx₁) durch, indem sie nur die Merkmalspunkte (6 Punkte) von Nase und Innenecken der Augen mit hoher Priorität verwendet. Dadurch wird der Abweichungsbetrag für alle Punkte (16 Punkte) berechnet und die Neuanordnung kann für alle Punkte durchgeführt werden.
Bei der zweiten Iteration führt die Regressionsberechnungseinheit 14 die Regressionsberechnung einer Formel (y₂ = W₂ ^Tx₂) für neun Merkmalspunkte durch, indem sie zusätzlich drei Punkte hinzufügt, wie es in 9 gezeigt wird. Wie vorstehend beschrieben, werden 9 Merkmalspunkte in die Eingabe eingegeben, der Abweichungsbetrag für 16 Punkte berechnet und die Koordinaten von 16 Punkten geschätzt. Mit anderen Worten, die Anzahl der Merkmalspunkte, die sich auf Input und Output beziehen, ist unterschiedlich, und mit fortschreitender Iteration wird die Anzahl der zu schätzenden Merkmalspunkte erhöht. In der dritten Iteration, wie es in 10 gezeigt wird, führt die Regressionsberechnungseinheit 14 eine Regressionsberechnung einer Formel (y₃ = W₃ ^Tx₃) für alle 16 Merkmalspunkte durch.
Wie vorstehend beschrieben, kann gemäß der vorliegenden Ausführungsform bei der Iteration der Regressionsberechnung durch Erhöhung der Anzahl der zu schätzenden Merkmalspunkte auf die zweite Hälfte der Betrag und die Anzahl der Regressionsberechnungen reduziert und die Kalkulationskosten reduziert werden. Darüber hinaus kann in der Anfangsphase der Wiederholung der Durchsatz reduziert werden, indem nur Merkmale von Organpunkten verwendet werden, die mit hoher Robustheit erkannt werden können.
(Siebte Ausführungsform)
Anstatt den Merkmalsmenge aus dem Subjektbereich zu extrahieren, leitet die Merkmalsmengenerlangungseinheit 13 der siebten Ausführungsform den Merkmalsmenge um, der verwendet wird, wenn die Subjekterfassungseinheit 11 den Subjektbereich so erkennt, wie er ist. In diesem Fall erkennt die Subjekterkennungseinheit 11 einen Subjektbereich aus dem Subjektabbildung, indem sie einen binären HOG-Merkmal-Betrag (Binär-HOG) aus der Subjektabbildung extrahiert und eine Identifikationsverarbeitung durchführt.
Insbesondere erzeugt die Subjekterkennungseinheit 11 ein Pyramidenbild, das durch Reduzieren der Subjektabbildung um eine Mehrzahl von Vergrößerungsstufen erhalten wird, unterteilt das Einzelbild in jeder Stufe des Pyramidenbildes in Blöcke mit einer Größe von jeweils 8 × 8 Pixeln. Danach wird der HOG-Merkmal-Betrag aus jedem Block extrahiert und der Merkmal-Betrag, der jedem Block gegeben wird, in einen binären Vektor umgewandelt.
Bei der Diskriminierungsverarbeitung erkennt die Subjekterkennungseinheit 11 einen Gesichtsbereich, indem sie beispielsweise ein lineares SVM mit einem Dictionary für jedes Bühnenbild ausführt. Anschließend schneidet die Subjekterkennungseinheit 11 die für die Erkennung verwendete Kenngröße aus dem Einzelbild der Stufe, in der die Gesichtsfläche erkannt wird, aus und gibt sie an die Merkmalsmengenerfassungseinheit 13 aus. Beim Erhalten der Merkmalsmengen jedes Merkmalspunktes verwendet die Merkmalsmengenerlangungseinheit 13 die von der Subjekterfassungseinheit 11 erfassten Merkmalsmenge.
Die Merkmalsmengenerlangungseinheit 13 der obigen Ausführungsform kann so konfiguriert werden, dass ein Block (z.B. ein kleiner Flächenblock von 32 × 32 Pixeln, der auf jedem Merkmalspunkt als Mittelpunkt zentriert ist) jedes angeordneten (neu angeordneten) Merkmalspunktes eingestellt und der Merkmalswert daraus extrahiert wird. Da die Subjekterkennungseinheit 11 die extrahierte Merkmalsmenge zur Erkennung des Subjektbereichs verwendet, wird diese Merkmalsmenge in der vorliegenden Änderung nicht unbedingt aus dem Block mit dem als Referenz angeordneten Merkmalspunkt extrahiert.
Bei der vorliegenden Ausführungsform ist jedoch unter den Merkmalsmengen jedes Blocks, die von der Subjekterkennungseinheit 11 extrahiert werden, die Merkmalsmenge des Blocks, zu dem der platzierte Merkmalspunkt gehört, die Merkmalsmenge des Merkmalspunktes. Wie vorstehend beschrieben, wird in der vorliegenden Ausführungsform die Genauigkeit unter dem Gesichtspunkt der Merkmalsmengenextraktion verringert, aber die Position des Merkmalspunktes kann mit ausreichender Genauigkeit geschätzt werden, indem eine ausreichende iterative Verarbeitung im SDM durchgeführt wird. Andererseits kann in der vorliegenden Ausführungsform, da es für die Merkmalsmengenerlangungseinheit 13 nicht notwendig ist, den Merkmalsmenge zu berechnen, die Rechenzeit der Merkmalsmengenextraktion verkürzt und die Positionsschätzung von Merkmalspunkten beschleunigt werden.
11 ist ein Diagramm zur Erläuterung des Prozesses der Subjekterkennungseinheit 11. Wenn die Subjekterkennungseinheit 11 den Subjektbereich aus dem Pyramidenbild erkennt, wie im linken Teil von 11 gezeigt wird, kann die Identifikationsverarbeitung für jedes Stufenbild des Pyramidenbildes mit einem Wörterbuch durchgeführt werden, wie im rechten Teil von 11 gezeigt wird, ein Pyramidenwörterbuch aus einer Mehrzahl von Wörterbüchern unterschiedlicher Größe kann erstellt werden, und ein grobes Pyramidenbild, in dem das Pyramidenbild im linken Teil von 11 ausgedünnt wird, kann erzeugt werden und der Identifikationsprozess kann durchgeführt werden.
In der Merkmalspunkt-Positionsschätzverarbeitung der Wiederholung der Merkmalsmengenerlangung und der Regressionsberechnung, da die für die Regressionsberechnung verwendete Regressionsmatrix matrixpartitioniert ist, kann der Speicherverbrauch und der Berechnungsbetrag reduziert werden, und sie ist als Merkmalspunkt-Schätzvorrichtung oder dergleichen zum Schätzen der Position des Merkmalspunktes im Einzelbild nützlich.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016110736 [0001]

Claims

Merkmalspunktpositionsschätzvorrichtung, die aufweist: eine Subjekterfassungseinheit (11), die konfiguriert ist, um einen Subjektbereich von einer Subjektabbildung zu erfassen, eine Merkmalspunktpositionierungseinheit (12), die konfiguriert ist, um einen Merkmalspunkt an einer anfänglichen Merkmalspunktposition zu positionieren, die im Voraus für den Subjektbereich vorbereitet wurde, eine Merkmalsmengenerlangungseinheit (13), die konfiguriert ist, um eine Merkmalsmenge des angeordneten Merkmalspunktes zu erfassen, eine Regressionsberechnungseinheit (14), die konfiguriert ist, um einen Abweichungsbetrag einer Position eines wahren Merkmalspunktes in Bezug auf die Position des Merkmalspunktes durch ein Durchführen einer Regressionsberechnung des Merkmalswertes zu berechnen, und eine Repositionierungseinheit (16), die konfiguriert ist, um die Merkmalspunkte auf Grundlage des Abweichungsbetrags zu repositionieren, wobei die Merkmalsmengenerlangungseinheit einen bei der Merkmalspunktpositionierungseinheit angeordneten Merkmalspunkt und eine Merkmalsmenge eines bei der Repositionierungseinheit repositionierten Merkmalspunktes erlangt, die Regressionsberechnungseinheit den Abweichungsbetrag durch ein Umwandeln der Merkmalsmenge in eine matrixaufgelösten Regressionsmatrix berechnet und die Repositionierungseinheit eine Erlangung der Merkmalsmengen durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsbetrags durch die Regressionsberechnungseinheit und die Repositionierung der Merkmalspunkte mehrfach wiederholt und eine Position des repositionierten Merkmalspunktes ausgibt.
Merkmalspunktpositionsschätzvorrichtung nach Anspruch 1, wobei die Regressionsmatrix in eine Basismatrix, die eine Reelle-Zahlen-Matrix ist, und eine Koeffizientenmatrix, die eine Reelle-Zahlen-Matrix ist, zerlegt wird.
Merkmalspunktpositionsschätzvorrichtung nach Anspruch 2, wobei die Regressionsmatrix durch Singulärwertzerlegung in die Basismatrix und die Koeffizientenmatrix zerlegt wird.
Merkmalspunktpositionsschätzvorrichtung nach Anspruch 1, wobei die Regressionsmatrix in eine Basismatrix, die eine ganzzahlige Matrix ist, und eine Koeffizientenmatrix, die eine Reelle-Zahlen-Matrix ist, zerlegt wird.
Merkmalspunktpositionsschätzvorrichtung nach Anspruch 4, wobei die Basismatrix eine binäre Matrix oder eine ternäre Matrix ist.
Merkmalspunktpositionsschätzvorrichtung nach Anspruch 4, wobei in der Regressionsmatrix jeder Spaltenvektor einzeln zerlegt wird.
Merkmalspunktpositionsschätzvorrichtung nach Anspruch 4, wobei die Regressionsmatrizen kollektiv und matrixzerlegt sind.
Merkmalspunktpositionsschätzvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Merkmalspunktpositionsschätzvorrichtung eine Position eines Merkmalspunktes in Bezug auf Subjektabbildungen einer Mehrzahl von aufeinanderfolgenden Bildern schätzt, und bei einem Prozess eines mehrmaligen Wiederholens der Erfassung der Merkmalsmenge durch die Merkmalsmengenerlangungseinheit, der Berechnung des Abweichungsbetrags durch die Regressionsberechnungseinheit und der Repositionierung der Merkmalspunkte die Merkmalspunktpositionierungseinheit Merkmalspunkte im vorherigen Einzelbild so anordnet, dass die Positionen der repositionierten Merkmalspunkte als die anfängliche Merkmalspunktposition, die vor dem aktuellen Einzelbild vorbereitet wurde, lokalisiert sind.
Merkmalspunktpositionsschätzvorrichtung nach einem der Ansprüche 1 bis 8, die außerdem aufweist: eine Auswertungseinheit, die konfiguriert ist, um eine Bewertung des Merkmalspunktes durch ein lineares Transformieren der Merkmalsmenge des in der Repositionierungseinheit neu angeordneten Merkmalspunktes zu erhalten.
Merkmalspunktpositionsschätzvorrichtung nach Anspruch 9, wobei die Auswertungseinheit die Mehrzahl von Merkmalspunkten gruppiert, die durch die Repositionierungseinheit repositioniert werden, und die Bewertung für jede Gruppe erhält.
Merkmalspunktpositionsschätzvorrichtung nach einem der Ansprüche 1 bis 10, wobei die Regressionsberechnungseinheit die Regressionsberechnung nur für einige der Merkmalspunkte mit hoher Priorität aus der Mehrzahl von Merkmalspunkten durchführt, die Erfassung der Merkmalsmengen durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsgrades durch die Regressionsberechnungseinheit und die Repositionierung des Merkmalspunktes mehrfach wiederholt, die Anzahl der Merkmalspunkte, für die die Regressionsberechnung durchgeführt wird, nach der Priorität erhöht und die Regressionsberechnung für alle Merkmalspunkte durchführt.
Merkmalspunktpositionsschätzvorrichtung nach einem der Ansprüche 1 bis 11, wobei die Subjekterkennungseinheit den Subjektbereich durch ein Extrahieren der Merkmalsmenge aus der Mehrzahl von Blöcken der Subjektabbildung und ein Durchführen einer Identifikationsverarbeitung erkennt und die Merkmalsmengenerlangungseinheit die durch die Subjekterkennungseinheit extrahierte Merkmalsmenge als eine Merkmalsmenge des Merkmalspunktes erfasst.
Merkmalspunktpositionsschätzvorrichtung nach Anspruch 12, wobei die Merkmalsmengenerlangungseinheit eine Merkmalsmenge des Blocks, zu dem der Merkmalspunkt gehört, als Merkmalsmenge des Merkmalspunktes erlangt.
Merkmalspunktpositionsschätzungssystem, das aufweist: eine Subjekterfassungseinheit (11), die konfiguriert ist, um einen Subjektbereich von einer Subjektabbildung zu erfassen, eine Merkmalspunktpositionierungseinheit (12), die konfiguriert ist, um einen Merkmalspunkt an einer anfänglichen Merkmalspunktposition zu positionieren, die im Voraus für den Subjektbereich vorbereitet wurde, eine Merkmalsmengenerlangungseinheit (13), die konfiguriert ist, um eine Merkmalsmenge des angeordneten Merkmalspunktes zu erlangen, eine Regressionsberechnungseinheit (14), die konfiguriert ist, um einen Abweichungsbetrag einer Position eines wahren Merkmalspunktes in Bezug auf die Position des Merkmalspunktes durch ein Durchführen einer Regressionsberechnung des Merkmalswertes zu berechnen, und eine Repositionierungseinheit (16), die konfiguriert ist, um die Merkmalspunkte auf Grundlage des Abweichungsbetrags zu repositionieren, wobei die Merkmalsmengenerlangungseinheit einen bei der Merkmalspunktpositionierungseinheit angeordneten Merkmalspunkt und eine Merkmalsmenge eines bei der Repositionierungseinheit repositionierten Merkmalspunktes erlangt, die Regressionsberechnungseinheit den Abweichungsbetrag durch ein Umwandeln der Merkmalsmenge in eine matrixaufgelösten Regressionsmatrix berechnet und die Repositionierungseinheit eine Erlangung der Merkmalsmengen durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsbetrags durch die Regressionsberechnungseinheit und die Repositionierung der Merkmalspunkte mehrfach wiederholt und eine Position des repositionierten Merkmalspunktes ausgibt.
Ein Merkmalspunktpositionsschätzprogramm, das durch einen Computer ausgeführt wird und verursacht, dass der Computer so funktioniert, wie er auf einem Computer ausgeführt wird, eine Subjekterfassungseinheit (11), die konfiguriert ist, um einen Subjektbereich von einer Subjektabbildung zu erfassen, eine Merkmalspunktpositionierungseinheit (12), die konfiguriert ist, um einen Merkmalspunkt an einer anfänglichen Merkmalspunktposition zu positionieren, die im Voraus für den Subjektbereich vorbereitet wurde, eine Merkmalsmengenerlangungseinheit (13), die konfiguriert ist, um einen Merkmalsmenge des angeordneten Merkmalspunktes zu erlangen, eine Regressionsberechnungseinheit (14), die konfiguriert ist, um einen Abweichungsbetrag einer Position eines wahren Merkmalspunktes in Bezug auf die Position des Merkmalspunktes durch ein Durchführen einer Regressionsberechnung des Merkmalswertes zu berechnen, und eine Repositionierungseinheit (16), die konfiguriert ist, um die Merkmalspunkte auf Grundlage des Abweichungsbetrags zu repositionieren, wobei die Merkmalsmengenerlangungseinheit einen bei der Merkmalspunktpositionierungseinheit angeordneten Merkmalspunkt und eine Merkmalsmenge eines bei der Repositionierungseinheit repositionierten Merkmalspunktes erlangt, die Regressionsberechnungseinheit den Abweichungsbetrag durch ein Umwandeln der Merkmalsmenge in eine matrixaufgelösten Regressionsmatrix berechnet und die Repositionierungseinheit eine Erlangung der Merkmalsmengen durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsbetrags durch die Regressionsberechnungseinheit und die Repositionierung der Merkmalspunkte mehrfach wiederholt und eine Position des repositionierten Merkmalspunktes ausgibt.
Merkmalspunktpositionsschätzverfahren, das aufweist: einen Schritt zum Erkennen eines Objekts, um einen Subjektbereich von einer Subjektabbildung zu erkennen, einen Merkmalspunkt-Positionierungsschritt zum Positionieren eines Merkmalspunktes an einer anfänglichen Merkmalspunktposition, die im Voraus für den Subjektbereich vorbereitet wurde, einen Merkmalsmengenerlangungsschritt zum Erlangen einer Merkmalsmenge des angeordneten Merkmalspunktes, einen Regressionsberechnungsschritt zum Berechnen eines Abweichungsbetrags einer Position eines wahren Merkmalspunktes in Bezug auf die Position des Merkmalspunktes durch ein Durchführen einer Regressionsberechnung des Merkmalswertes, und einen Repositionierungsschritt zum Repositionieren der Merkmalspunkte auf Grundlage des Abweichungsbetrags, wobei der Merkmalsmengenerlangungsschritt einen bei der Merkmalspunktpositionierungseinheit angeordneten Merkmalspunkt und eine Merkmalsmenge eines bei der Repositionierungseinheit repositionierten Merkmalspunktes erwirbt, der Schritt der Regressionsberechnung den Abweichungsbetrag durch ein Umwandeln der Merkmalsmenge in eine matrixaufgelösten Regressionsmatrix berechnet, und die Repositionierungseinheit eine Erlangung der Merkmalsmengen durch die Merkmalsmengenerlangungseinheit, die Berechnung des Abweichungsbetrags durch die Regressionsberechnungseinheit und die Repositionierung der Merkmalspunkte mehrfach wiederholt und eine Position des repositionierten Merkmalspunktes ausgibt.