DE102008000758B4 - Vorrichtung zum Erkennen eines Objekts in einer Abbildung - Google Patents

Abstract

Eine Objekt-Erkennungsvorrichtung legt jeden von Schlüsselpunkten, der aus einer typischen Abbildung extrahiert wird, und einen von Schlüsselpunkten, der aus einer Eingabeabbildung extrahiert wird, die zueinander ähnliche skaleninvariante Merkmale aufweisen, als einen typischen Entsprechungspunkt und einen Objektentsprechungspunkt fest, die miteinander übereinstimmen, und erzeugt einen Positionsvektor, der von einem typischen Referenzpunkt der typischen Abbildung zu jedem typischen Schlüsselpunkt gerichtet ist. Die Vorrichtung bestimmt eine Position eines Objektreferenzpunkts in der Eingabeabbildung aus einer Position von jedem Objektentsprechungspunkt und dem Vektor des typischen Entsprechungspunkts, der mit dem Objektentsprechungspunkt übereinstimmt. Wenn die Positionen des Objektreferenzpunkts konzentriert sind, beurteilt die Vorrichtung, dass ein Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung mit der typischen Abbildung übereinstimmt, und erkennt die Vorrichtung das Bild als ein Objekt, das durch die typische Abbildung angezeigt wird.

Description

• HINTERGRUND DER ERFINDUNG
• Gebiet der Erfindung
• Die vorliegende Erfindung betrifft eine Objekt-Erkennungsvorrichtung, welche ein Objektbild, das in einer Eingabeabbildung vorhanden ist, als ein Objekt erkennt, das durch eine typische Abbildung angezeigt ist, wenn das Objektbild mit der typischen Abbildung übereinstimmt.
• Beschreibung des Standes der Technik
• Verschiedene Verfahren zum Erkennen eines Bilds einer Eingabeabbildung, die mit einer gespeicherten typischen Abbildung übereinstimmt, sind vorgeschlagen worden. Zum Beispiel werden Schlüsselpunkte aus einer Eingabeabbildung extrahiert, wird ein Abbildungsmerkmal an jedem Schlüsselpunkt berechnet und wird jedes berechnete Merkmal mit Abbildungsmerkmalen an Schlüsselpunkten verglichen, die aus einer typischen Abbildung extrahiert werden. Als Reaktion auf diesen Vergleich wird es beurteilt, ob eine Objektübereinstimmung mit der typischen Abbildung in der Eingabeabbildung vorhanden ist.
• Dieses Verfahren eines Vergleichens von Merkmalen von Schlüsselpunkten in einer Eingabeabbildung mit Merkmalen von Schlüsselpunkten in einer typischen Abbildung ist in sowohl der japanischen Patentoffenlegungsschrift JP 2006-65399 A als auch in „Distinctive Image Features from Scale-Invariant Keypoints“, David G. Lowe, International Journal of Computer Vision, 2004 offenbart worden. Insbesondere werden Merkmale als invariant bezüglich einer Abbildungsskalierung, das heißt einer Abbildungsvergrößerung und -verkleinerung, und einer Drehung festgelegt. Deshalb kann auch dann, wenn sich eine Abmessung oder eine Position einer Drehung eines Objektbilds, das in einer Eingabeabbildung vorhanden ist, von einer typischen Abbildung eines Objekts unterscheidet, das Objektbild als das Objekt erkannt werden.
• Bei diesem Vergleichsverfahren wird eine Abbildungsglättung unter Verwendung der Gauß-Funktion für eine Eingabeabbildung durchgeführt. Genauer gesagt wird eine Mehrzahl von jeweiligen Skalen bzw. Maßstäben der Gauß-Funktion entsprechenden geglätteten Abbildungen der Eingabeabbildung berechnet. Ein DoG- bzw. Gaußdifferenz- bzw. Sombrerofilter wird an den geglätteten Abbildungen angewendet, die den unterschiedlichen Skalen entsprechen, um eine Mehrzahl von DoG-Abbildungen zu erzielen, und Extremwerte werden aus den DoG-Abbildungen erfasst. Ein Punkt, das heißt ein Bildelement, von jedem Extremwert wird als ein Kandidat für einen Schlüsselpunkt (hier im weiteren Verlauf als Schlüsselpunktkandidat bezeichnet) festgelegt. Die Skala von jeder DoG-Abbildung, die mindestens einen Extremwert aufweist, wird später verwendet, um ein Merkmal an dem Punkt des Extremwerts zu berechnen. Auf die gleiche Weise wird die Eingabeabbildung mit jedem der Verkleinerungsverhältnisse verkleinert oder minimiert, um verkleinerte Abbildungen zu erzielen, werden andere DoG-Abbildungen aus jeder der verkleinerten Abbildungen berechnet und werden andere Schlüsselpunktkandidaten der Eingabeabbildung aus den anderen DoG-Abbildungen erfasst.
• Bei diesem Erfassen der Schlüsselpunktkandidaten gibt es eine Wahrscheinlichkeit, dass einige der Schlüsselpunktkandidaten ein Eröffnungsproblem verursachen. Um dieses Problem zu lösen, werden Schlüsselpunkte, die niedrigere Kontraste aufweisen, und Schlüsselpunkte, die sich an Rändern befinden, aus den Schlüsselpunktkandidaten beseitigt, um stabile Schlüsselpunkte aus der Eingabeabbildung zu extrahieren.
• Danach wird ein Abbildungsmerkmal für jeden extrahierten Schlüsselpunkt berechnet. Das Abbildungsmerkmal von jedem Schlüsselpunkt enthält ein Merkmalselement, das bezüglich einer Abbildungsskalierung invariant ist, eine Skaleninformation, die für das Berechnen des skaleninvarianten Merkmals erforderlich ist, und eine Information, das heißt eine Drehungsinformation, die eine Drehung einer Abbildung in einem bestimmten Bereich an dem Schlüsselpunkt anzeigt. Der davor bestimmte Bereich wird in Übereinstimmung mit der Skaleninformation bestimmt. Wie es im Detail in den Druckschriften beschrieben ist, ist das skaleninvariante Merkmal bezüglich einer Abbildungsskalierung, das heißt einer Abbildungsvergrößerung und -verkleinerung, und einer Drehung invariant. Deshalb kann auch dann, wenn ein Objektbild, das mit einer typischen Abbildung übereinstimmt, in einer Eingabeabbildung in irgendeiner Größe oder Drehposition vorhanden ist, das Objektbild als das Objekt erkannt werden.
• Bei dem Übereinstimmungsvorgang wird ein skaleninvariantes Merkmal an jedem Schlüsselpunkt der typischen Abbildung mit skaleninvarianten Merkmalen von allen Schlüsselpunkten in der Eingabeabbildung verglichen. Wenn Merkmale von einigen Schlüsselpunkten in der Eingabeabbildung die gleichen oder ähnliche wie jeweilige Merkmale von Schlüsselpunkten in der typischen Abbildung sind, kann es beurteilt werden, dass eine Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist.
• Zum Beispiel ist die Anzahl von Schlüsselpunkten, die in der typischen Abbildung vorhanden ist, gleich 100 und werden Schlüsselpunkten, die gleiche oder ähnliche Merkmale wie jeweilige Merkmale der Schlüsselpunkte der typischen Abbildung aufweisen, aus einer Eingabeabbildung extrahiert. Wenn die Anzahl von Schlüsselpunkten, die aus der Eingabeabbildung extrahiert werden, gleich 90 oder mehr ist, ist ein Bild eines Objekts, das mit der typischen Abbildung übereinstimmt, mit einer hohen Wahrscheinlichkeit in der Eingabeabbildung vorhanden. Deshalb kann das Objektbild als das Objekt erkannt werden. Im Gegensatz dazu ist, wenn die Anzahl von Schlüsselpunkten, die aus der Eingabeabbildung extrahiert werden, gleich 10 oder weniger ist, ein Bild eines Objekts, das mit der typischen Abbildung übereinstimmt, mit einer niedrigen Wahrscheinlichkeit in der Eingabeabbildung vorhanden. Deshalb wird ein Objekt erkannt, das durch die typische Abbildung angezeigt wird.
• Jedoch ist es auch dann, wenn ein Bild eines Objekts, das mit einer typischen Abbildung übereinstimmt, tatsächlich in einer Eingabeabbildung vorhanden ist, manchmal schwierig, ausreichend Schlüsselpunkte des Objekts aus der Eingabeabbildung zu extrahieren. In diesem Fall wird es, da die Anzahl von Schlüsselpunkten des Objekts, die aus der Eingabeabbildung extrahiert werden, klein wird, manchmal falsch beurteilt, dass kein Objekt, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist.
• Zum Beispiel wird in einem Fall des Auftretens eines Verdeckens ein Bild eines bemerkten Objekts, das mit einer typischen Abbildung übereinstimmt, hinter einem Bild eines anderen Objekts in einer eingegebenen Abbildung versteckt, so dass das bemerkte Objekt teilweise in der Eingabeabbildung gezeigt ist. In diesem Fall können, obgleich das Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, Schlüsselpunkte des bemerkten Objekts nicht ausreichend aus der Eingabeabbildung extrahiert werden. Als Ergebnis wird die Anzahl von Schlüsselpunkten des bemerkten Objekts, die aus der Eingabeabbildung extrahiert werden, klein.
• Weiterhin können, wenn ein Objektbild einer äußerst kleinen Abmessung in einer Eingabeabbildung gezeigt ist, Schlüsselpunkte eines Objekts nicht ausreichend aus der Eingabeabbildung extrahiert werden. Das heißt, wenn das Objektbild, das in einer Eingabeabbildung gezeigt ist, weitestgehend die gleiche Abmessung wie die einer typischen Abbildung eines Objekts aufweist, wird die Anzahl von Schlüsselpunkten des Objekts, die aus der Eingabeabbildung extrahiert wird, weitestgehend gleich der Anzahl von Schlüsselpunkten der typischen Abbildung. Im Gegensatz dazu ist, wenn das Objektbild eine äußerst kleine Abmessung im Vergleich zu der typischen Abbildung aufweist, eine Auflösung in dem Objektbild sehr niedrig. Deshalb wird die Anzahl von Schlüsselpunkten des Objekts, die aus der Eingabeabbildung extrahiert werden, sehr klein.
• Wie es zuvor beschrieben worden ist, wird bei der Objekterkennung, die die skaleninvarianten Merkmale der Schlüsselpunkte verwendet, ein Objektbild, das mit einer typischen Abbildung in einer Eingabeabbildung übereinstimmt, unberücksichtigt einer Abbildungsskalierung, das heißt einer Abbildungsvergrößerung und -verkleinerung, oder einer Drehung vorzugsweise als ein Objekt erkannt, das die typische Abbildung aufweist,. Jedoch werden, wenn ein Objektbild, das mit einer typischen Abbildung übereinstimmt, in einem bestimmten Zustand, wie zum Beispiel einem, Verdecken, einer äußerst kleinen Abmessung oder dergleichen, in einer Eingabeabbildung festgelegt wird, eine kleinere Anzahl von Schlüsselpunkten, die die gleichen oder ähnliche Merkmale wie die jeweiligen Merkmale von Schlüsselpunkten von typischen Abbildungen aufweisen, aus der Eingabeabbildung extrahiert. Deshalb wird es manchmal falsch beurteilt, dass kein Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist.
• Mit der WO 92/002000 A1 ist eine Objekt-Erkennungsvorrichtung bekannt, die aufweist:
1. a) eine Einheit zum Extrahieren eines typischen Merkmalspunkts, die eine Mehrzahl von typischen Merkmalspunkten aus einer typischen Abbildung extrahiert;
2. b) eine Einheit zum Berechnen eines ersten Merkmals, die ein Merkmal von jedem typischen Merkmal aus Abbildungsdaten der typischen Abbildung berechnet;
3. c) eine Einheit zum Extrahieren eines Objektmerkmalspunkts, die eine Mehrzahl von Objektmerkmalspunkten aus einer Eingabeabbildung extrahiert;
4. d) eine Einheit zum Berechnen eines zweiten Merkmals, die ein Merkmal von jedem Objektmerkmalspunkt aus Abbildungsdaten der Eingabeabbildung berechnet;
5. e) eine Entsprechungspunkt-Festlegeeinheit, die Ähnlichkeiten zwischen dem Merkmal von einem typischen Merkmalspunkt und den Merkmalen der Objektmerkmalspunkte zu jedem typischen Merkmalspunkt berechnet, auf der Grundlage der Ähnlichkeiten beurteilt, ob die Merkmale von beiden eines typischen Merkmalspunkts und eines Objektmerkmalspunkts in jedem Paar zueinander ähnlich sind oder nicht, und einen typischen Merkmalspunkt und einen Objektmerkmalspunkt in jedem Paar, das die zueinander ähnlichen Merkmale aufweist, als einen typischen Entsprechungspunkt und einen Objektentsprechungspunkt festlegt, die miteinander übereinstimmen;
6. f) eine Informations-Erzeugungseinheit, die eine Positionsinformation erzeugt, die Positionen der typischen Merkmalspunkte in der typischen Abbildung anzeigt;
7. g) eine Beurteilungseinheit, die auf der Grundlage der Positionsinformation der typischen Entsprechungspunkte beurteilt, ob eine Positionsbeziehung zwischen oder unter den Objektentsprechungspunkten im Wesentlichen ähnlich zu einer Positionsbeziehung zwischen oder unter den typischen Entsprechungspunkten ist oder nicht; und
8. h) eine Erkennungseinheit, die ein Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung als ein Objekt erkennt, das durch die typische Abbildung angezeigt wird, wenn die Beurteilungseinheit beurteilt, dass die Positionsbeziehungen im Wesentlichen zueinander gleich sind.
• Weiterer relevanter Stand der Technik ist bekannt aus der US 2005/0213818 A1 , der EP 1914680 A1 , der DE 10045360 A1 und der US 6215914 B1 .
• KURZFASSUNG DER ERFINDUNG
• Aufgabe der vorliegenden Erfindung ist es, eine aus der Druckschrift WO 92/002000 A1 bekannte Objekt-Erkennungsvorrichtung weiterzuentwickeln.
• Die Lösung der Aufgabe erfolgt durch die Merkmale der neuen unabhängigen Ansprüche 1 und 4.
• Weitere vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.
• Entsprechend der vorliegenden Erfindung wird eine Objekt-Erkennungsvorrichtung geschaffen, welche zuverlässig ein Bild eines Objekts, das mit einer typischen Abbildung übereinstimmt, in einer Eingabeabbildung auch dann als das Objekt erkennt, wenn Schlüsselpunkte des Objekts unzureichend aus der Eingabeabbildung extrahiert werden.
• Gemäß einem ersten Aspekt der vorliegenden Erfindung wird die Aufgabe durch das Schaffen einer Objekt-Erkennungsvorrichtung gelöst, die eine Einheit, die eine Mehrzahl von typischen Merkmalspunkten aus einer typischen Abbildung extrahiert, eine Einheit, die ein Merkmal an jedem typischen Merkmalspunkt aus Abbildungsdaten der typischen Abbildung berechnet, eine Einheit, die eine Mehrzahl von Objektmerkmalspunkten aus einer Eingabeabbildung extrahiert, eine Einheit, die ein Merkmal von jedem Objektmerkmalspunkt aus Eingabedaten der Eingabeabbildung berechnet, eine Entsprechungspunkt-Festlegeeinheit, eine Informations-Erzeugungseinheit, eine Beurteilungseinheit und eine Erkennungseinheit aufweist. Die Festlegeeinheit berechnet Ähnlichkeiten zwischen dem Merkmal eines typischen Merkmalspunkts und den Merkmalen der Objektmerkmalspunkte für jeden typischen Merkmalspunkt, beurteilt auf der Grundlage der Ähnlichkeiten, ob die Merkmale an sowohl einem typischen Merkmalspunkt als auch einem Objektmerkmalspunkt von jedem Paar zueinander ähnlich sind, und legt einen typischen Merkmalspunkt und einen Objektmerkmalspunkt in jedem Paar, das die Merkmale aufweist, die zueinander ähnlich sind, als einen typischen Entsprechungspunkt und einen Objektentsprechungspunkt fest, die miteinander übereinstimmen. Die Erzeugungseinheit erzeugt eine Positionsinformation, die Positionen der typischen Merkmalspunkte in der typischen Abbildung anzeigt. Die Beurteilungseinheit beurteilt auf der Grundlage der Positionsinformation der typischen Entsprechungspunkte, ob eine Positionsbeziehung zwischen oder unter den Objektentsprechungspunkten im Wesentlichen ähnlich zu einer Positionsbeziehung zwischen oder unter den typischen Entsprechungspunkten ist oder nicht. Die Erkennungseinheit erkennt ein Objektbild, das die Objektentsprechungspunke in der Eingabeabbildung aufweist, als ein Objekt, das durch die typische Abbildung angezeigt wird, während die Beurteilungseinheit beurteilt, dass die Positionsbeziehungen im Wesentlichen zueinander gleich sind.
• Bei diesem Aufbau der Vorrichtung werden, wenn ein Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, die Beziehungen auch dann zueinander ähnlich, wenn eine Skalendifferenz oder eine Drehungsdifferenz zwischen den Abbildungen vorhanden ist. In der vorliegenden Erfindung erkennt, wenn die Beurteilungseinheit auf der Grundlage der Positionsinformation der typischen Entsprechungspunkte beurteilt wird, dass die Positionsbeziehungen zueinander ähnlich sind, die Erkennungseinheit ein Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung als ein Objekt, das durch die typische Abbildung angezeigt wird.
• Im Stand der Technik wird es, wenn die Anzahl von Schlüsselpunkten, das heißt Merkmalspunkten, einer Eingabeabbildung, die mit Schlüsselpunkten einer typischen Abbildung übereinstimmen, groß ist, beurteilt, dass ein Objektbild, das mit einer typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist. Deshalb sind, um zuverlässig ein Objektbild zu erkennen, das mit einer typischen Abbildung übereinstimmt, viele Schlüsselpunkte der Eingabeabbildung, die mit Schlüsselpunkten der typischen Abbildung übereinstimmen, erforderlich. Im Gegensatz dazu wird in der vorliegenden Erfindung eine Ähnlichkeit zwischen den Positionsbeziehungen beurteilt. Demgemäß kann die Vorrichtung auch dann, wenn die Objektentsprechungspunkte unzureichend aus der Eingabeabbildung extrahiert werden, die Vorrichtung zuverlässig ein Objektbild, das die Objektentsprechungspunkte in der Eingabeabbildung aufweist, als ein Objekt erkennen, das durch die typische Abbildung angezeigt wird.
• Gemäß einem zweiten Aspekt der vorliegenden Erfindung beurteilt die Beurteilungseinheit, ob ein Verhältnis der Anzahl von Objektentsprechungspunkten zu der Anzahl von typischen Merkmalspunkten höher als ein vorbestimmter Wert ist oder nicht, und erkennt die Erkennungseinheit ein Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung als ein Objekt, das durch die typische Abbildung angezeigt wird, wenn die Beurteilungseinheit beurteilt, dass das Verhältnis höher als der vorbestimmte Wert ist.
• Bei diesem Aufbau der Vorrichtung kann die Vorrichtung auf die gleiche Weise wie in dem ersten Aspekt der vorliegenden Erfindung zuverlässig ein Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung als ein Objekt erkennen, das durch die typische Abbildung angezeigt wird.
• Figurenliste
• Die vorliegende Erfindung wird nachstehend anhand von Ausführungsbeispielen unter Bezugnahme auf die beiliegende Zeichnung näher erläutert.
• Es zeigt:
• 1 ein Blockschaltbild einer Verkehrszeichen-Erkennungsvorrichtung, die eine Objekt-Erkennungsvorrichtung gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung darstellt;
• 2 ein Flussdiagramm eines Abbildungs-Erkennungsverfahrens, das in der in 1 gezeigten Vorrichtung durchgeführt wird;
• 3 ein Flussdiagramm eines Verfahrens zum Extrahieren von Schlüsselpunkten aus jeder von Abbildungen;
• 4 eine beispielhafte Ansicht des Erzeugens von DoG-Abbildungen und des Erfassens von Schlüsselpunktkandidaten aus den DoG-Abbildungen in dem in 3 gezeigten Verfahren;
• 5 ein Flussdiagramm eines Verfahrens zum Berechnen von Merkmalen an jeweiligen Objektschlüsselpunkten;
• 6A eine beispielhafte Ansicht des Bestimmens einer repräsentativen Gradientenausrichtung von einem Schlüsselpunkt von dem in 5 gezeigten Verfahren;
• 6B eine beispielhafte Ansicht einer Drehung eines Bereichs um einen Schlüsselpunkt durch die repräsentative Gradientenausrichtung in dem in 5 gezeigten Verfahren;
• 6C eine beispielhafte Ansicht des Berechnens eines skaleninvarianten Merkmals an einem Schlüsselpunkt in dem in 5 gezeigten Verfahren;
• 7 ein Flussdiagramm eines Verfahrens zum Berechnen von Merkmalen von jeweiligen Schlüsselpunkten in einer typischen Abbildung gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung;
• 8 eine beispielhafte Ansicht eines Positionsvektors, der von einem typischen Referenzpunkt zu drei Schlüsselpunkten in einer typischen Abbildung gerichtet ist;
• 9 ein Flussdiagramm eines Entsprechungspunkt-Festlegeverfahrens;
• 10 eine beispielhafte Ansicht zum Vergleichen eines skaleninvarianten Merkmals von einem typischen Schlüsselpunkt mit skaleninvarianten Merkmalen von Objektschlüsselpunkten;
• 11 ein Flussdiagramm eines Objekt-Beurteilungs- und -Erkennungsverfahrens gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung;
• 12 ein Flussdiagramm eines Objektreferenzpunktpositions-Speicherverfahrens in dem in 11 gezeigten Verfahren;
• 13 eine beispielhafte Ansicht des Berechnens einer Position eines Objektreferenzpunkts in dem in 12 gezeigten Verfahren;
• 14A eine beispielhafte Ansicht von Positionen des Objektreferenzpunkts, die in einem schmalen Bereich konzentriert sind;
• 14B eine beispielhafte Ansicht von Positionen des Objektreferenzpunkts, die in einem breiten Bereich gestreut sind;
• 15 eine beispielhafte Ansicht von Positionen des Objektreferenzpunkts in kleinen Bereichen einer Koordinatenebene in der Eingabeabbildung;
• 16 ein Flussdiagramm eines Objektreferenzpunktpositions-Speicherverfahrens gemäß einer Ausgestaltung des ersten Ausführungsbeispiels der vorliegenden Erfindung;
• 17 eine beispielhafte Ansicht von drei kleinen Bereichen, die festgelegt sind, um eine Gruppe von Positionen oder eine Position eines Objektreferenzpunkts in jedem kleinen Bereich in dem in 16 gezeigten Verfahren festzulegen;
• 18 ein Flussdiagramm eines typischen Abbildungsmerkmals-Berechnungsverfahrens für eine typische Abbildung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung;
• 19 eine beispielhafte Ansicht eines Positionsvektors zwischen zwei typischen Schlüsselpunkten in jedem Paar in dem in 18 gezeigten Verfahren;
• 20 ein Flussdiagramm eines Objekt-Beurteilungs- und -Erkennungsverfahrens gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung;
• 21 eine erläuternde Ansicht eines Ausbildens eines typischen Dreiecks und eines Objektdreiecks, die einander entsprechen;
• 22A einen Vergleich eines typischen Dreiecks, das durch eine erste Kombination von drei typischen Entsprechungspunkten bestimmt wird, mit einem Objektdreieck, das dem typischen Dreieck entspricht;
• 22B einen Vergleich eines typischen Dreieckes, das durch eine zweite Kombination von drei typischen Entsprechungspunkten bestimmt wird, mit einem Objektdreieck, das dem typischen Dreieck entspricht;
• 22C einen Vergleich eines typischen Dreiecks, das durch eine dritte Kombination von drei typischen Entsprechungspunkten bestimmt wird, mit einem Objektdreieck, das dem typischen Dreieck entspricht; und
• 23 ein Flussdiagramm eines Ähnlichkeits-Berechnungsverfahrens in dem in 20 gezeigten Verfahren.
• DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
• Ausführungsbeispiele der vorliegenden Erfindung werden nun unter Bezugnahme auf die beiliegende Zeichnung beschrieben, in welcher ähnliche Bezugszeichen ähnlichen Teile, Bestandteile oder Elemente durchgängig durch die Beschreibung bezeichnen, außer es ist anders angegeben.
• Erstes Ausführungsbeispiel
• 1 zeigt ein Blockschaltbild einer Verkehrszeichen-Erkennungsvorrichtung, die eine Objekt-Erkennungsvorrichtung gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung darstellt. Eine Verkehrszeichen-Erkennungsvorrichtung 1, die in 1 gezeigt ist, ist in ein Kraftfahrzeug eingebaut.
• Die Vorrichtung 1 fotografiert eine Ansicht von einer Windschutzscheibe des Fahrzeugs, um eine Eingabeabbildung eines vorbestimmten Bereichs zu erzielen, die sich in einer Vorwärtsrichtung des Fahrzeugs befindet, und beurteilt, ob ein Bild eines Objekts, das mit einer typischen Abbildung übereinstimmt, wie zum Beispiel eines Verkehrszeichens oder dergleichen, gezeigt ist oder in der Eingabeabbildung vorhanden ist oder nicht. Wenn die Vorrichtung 1 das Objektbild erkennt, das mit der typischen Abbildung übereinstimmt, unterrichtet die Vorrichtung 1 einen Fahrer, dass das Objekt in einer Vorwärtsrichtung des Fahrzeugs vorhanden ist.
• Wie es in 1 gezeigt ist, weist die Vorrichtung 1 eine Farbbildkamera 10, eine Navigations-ECU bzw. elektronische Steuereinheit 20 und eine Ausgabeeinheit 30 auf. Die Kamera 10 ist in der Nähe eines inneren Rückspiegels angeordnet, um eine Abbildung eines Bereichs zu erzeugen, der in einer Vorwärtsrichtung eines Fahrzeugs zu sehen ist. Die Kamera 10 weist eine Linse 11 und ein Bildaufnahmeelement 12 auf. Das Element 12 empfängt eine Abbildungsinformation über die Linse 11 und gibt ein Abbildungssignal, zum Beispiel Bildelementsignale für Bildelemente, wobei jedes Bildelementsignal ein Rot-, Grün- oder Blausignal anzeigt, das die Abbildungsinformation anzeigt, zu der ECU 20 aus. Die Vorrichtung 1 kann anstelle der Kamera 10 eine Kamera aufweisen, die eine Monochromabbildung erzeugt.
• Die ECU 20 weist einen Steuermechanismus auf, um ein Navigationssystem (nicht gezeigt) zu steuern. Weiterhin weist die ECU 20 eine Abbildungs-Verarbeitungseinheit 21 zum Erkennen von Objekten, wie zum Beispiel Verkehrszeichen und dergleichen, auf der Grundlage von Abbildungsdaten eines Abbildungssignals auf. Die ECU 20 empfängt das Abbildungssignal, das eine Eingabeabbildung anzeigt. Eine typische Abbildung von jedem Verkehrszeichen ist im Voraus in der Einheit 21 gespeichert. Die Einheit 21 beurteilt auf der Grundlage der typischen Abbildungen, ob ein Objektbild, das mit mindestens einer der typischen Abbildungen übereinstimmt, in der Eingabeabbildung vorhanden ist oder nicht. Die Einheit 21 gibt ein Beurteilungsergebnis zu der Ausgabeeinheit 30 aus.
• Die Einheit 21 weist einen Block 22 zum Extrahieren eines typischen Schlüsselpunkts, einen Block 23 zum Berechnen eines typischen Merkmals, einen Informations-Erzeugungsblock 24, einen Objektschlüsselpunkt-Extraktionsblock 25, einen Objektmerkmal-Berechnungsblock 26, einen Entsprechungspunkt-Festlegeblock 27 und einen Objektzeichen-Beurteilungs- und -Erkennungsblock 28 auf.
• Der Extraktionsblock 22 extrahiert eine Mehrzahl von typischen Schlüsselpunkten, das heißt typischen Merkmalspunkten, aus jeder einer Mehrzahl von typischen Abbildungen. Der Berechnungsblock 23 berechnet einen skaleninvariantes Merkmal an jedem typischen Schlüsselpunkt aus Abbildungsdaten der entsprechenden typischen Abbildung. Der Erzeugungsblock 24 erzeugt eine Positionsinformation, die eine Position von einem typischen Schlüsselpunkt in der entsprechenden typischen Abbildung anzeigt, für jeden typischen Schlüsselpunkt.
• Der Extraktionsblock 25 extrahiert eine Mehrzahl von Objektschlüsselpunkten, das heißt Objektmerkmalspunkten, aus der Eingabeabbildung. Der Berechnungsblock 26 berechnet ein skaleninvariantes Merkmal an jedem Objektschlüsselpunkt aus Abbildungsdaten der Eingabeabbildung.
• Der Festlegeblock 27 berechnet Ähnlichkeiten zwischen den Merkmalen von einem typischen Schlüsselpunkt und den Merkmalen der Objektschlüsselpunkte für jeden typischen Schlüsselpunkt, beurteilt auf der Grundlage der Ähnlichkeiten, ob die Merkmale von einem typischen Schlüsselpunkt und ein Objektschlüsselpunkt in jedem Paar zueinander ähnlich sind oder nicht und legt einen typischen Schlüsselpunkt und einen Objektschlüsselpunkt in jedem Paar, die die Merkmale aufweisen, die zueinander ähnlich sind, als einen typischen Entsprechungspunkt und einen Objektentsprechungspunkt fest, die miteinander übereinstimmen.
• Der Beurteilungs- und -Erkennungsblock 28 beurteilt auf der Grundlage der Positionsinformation der typischen Entsprechungspunkte, ob eine Positionsbeziehung zwischen oder unter den Objektentsprechungspunkten im Wesentlichen ähnlich zu einer Positionsbeziehung zwischen oder unter den typischen Entsprechungspunkten ist. Wenn die Positionsbeziehungen im Wesentlichen ähnlich zueinander sind, erkennt der Block 28 ein Objektbild, das die Objektentsprechungspunkte aufweist, als ein Objekt, das durch die entsprechende typische Abbildung angezeigt wird. Ein Erkennungsergebnis des Blocks 28 wird zu der Ausgabeeinheit 30 ausgegeben.
• Der Block 22 kann typische Schlüsselpunkte aus den typischen Abbildungen zu jeder Zeit extrahieren, zu der der Block 22 die Objektschlüsselpunkte aus der Eingabeabbildung extrahiert. In diesem Ausführungsbeispiel der vorliegenden Erfindung werden, wenn jede typische Abbildung im Voraus in die Einheit 21 gespeichert ist, die typischen Schlüsselpunkte der typischen Abbildung extrahiert und in einer Datenbank (nicht gezeigt) für einen typischen Schlüsselpunkt gespeichert. Der Block 23 kann die Merkmale der typischen Schlüsselpunkte zu jeder Zeit berechnen, zu der der Block 26 die Merkmale der Objektschlüsselpunkte berechnet. In diesem Ausführungsbeispiel der vorliegenden Erfindung wird, wenn jeder typische Schlüsselpunkt extrahiert wird, das Merkmal des typischen Schlüsselpunkts berechnet und in einer Datenbank (nicht gezeigt) für ein typisches Merkmal gespeichert. Das heißt, wenn jede typische Abbildung in die Einheit 21 gespeichert ist, werden die typischen Schlüsselpunkte der typischen Abbildung extrahiert und gespeichert und werden die Merkmale der typischen Schlüsselpunkte berechnet und gespeichert. Deshalb extrahiert zu jeder Zeit, zu der die Einheit 21 eine Eingabeabbildung empfängt, um eine Entscheidung bezüglich des Vorhandenseins von einem Objekt in der Eingabeabbildung durchzuführen, die Einheit 21 lediglich die Objektschlüsselpunkte der Eingabeabbildung und berechnet lediglich die Merkmale der Objektschlüsselpunkte.
• Die Blöcke 22 bis 28 der Einheit 21 können aus jeweiligen Hardwarebestandteilen bestehen, die zueinander unterschiedlich sind, oder können durch eine zentrale Verarbeitungseinheit realisiert sein, welche ein Softwareprogramm ausführt, um die Funktionen der Blöcke 22 bis 28 durchzuführen.
• Die Einheit 30 weist eine Anzeige 31, einen Lautsprecher 32 und einen Indikator 33 auf. Die Anzeige 31 zeigt ein Ergebnis der Abbildungserkennung, die in der Einheit 21 durchgeführt wird, zusätzlich zu einer Kartenabbildung und einer Information an, die in dem Navigationssystem erzeugt wird. Zum Beispiel wird, wenn die Einheit 21 ein Verkehrszeichen erkennt, das in der Eingabeabbildung vorhanden ist, eine Abbildung des Verkehrszeichens in der Anzeige 31 angezeigt. Der Lautsprecher 32 gibt eine Audioleitung, die ein Ergebnis der Abbildungserkennung in der Verarbeitungseinheit 21 anzeigt, sowie eine Audioleitung aus, die in dem Navigationssystem erzeugt wird. Zum Beispiel gibt, wenn die Einheit ein Zeichen eines Fußgängerübergangs erkennt, das in der Eingabeabbildung vorhanden ist, der Lautsprecher 32 eine synthetisierte Sprache von „ein Fußgängerüberweg ist in der Vorwärtsrichtung vorhanden“ aus. Der Indikator 33 unterrichtet einen Fahrer visuell über das Vorhandensein eines erkannten Verkehrszeichens. Zum Beispiel bringt, wenn die Einheit 21 mindestens ein gespeichertes Verkehrszeichen erkennt, der Indikator 33 eine bestimmte LED bzw. Lichtabgabediode zum Leuchten, die jedem erkannten Verkehrszeichen entspricht.
• Als Nächstes wird nun ein Abbildungs-Erkennungsverfahren, das in der Einheit 21 der ECU 20 durchgeführt wird, nachstehend unter Bezugnahme auf 2 beschrieben. 2 zeigt ein Flussdiagramm, das ein Abbildungs-Erkennungsverfahren zeigt, das in der Verarbeitungseinheit 21 durchgeführt wird.
• Wie es in 2 gezeigt ist, empfängt die Einheit 21 in einem Schritt S100 eine Eingabeabbildung von der Kamera 10. Genauer gesagt empfängt die Einheit 21 eine dynamische Abbildung von der Kamera 10. Die dynamische Abbildung weist mehrere 10 von statischen Abbildungen pro Sekunde auf. Die Einheit 21 empfängt jede statische Abbildung als eine Eingabeabbildung. Deshalb führt die Einheit 21 ein Abbildungs-Erkennungsverfahren, das in 2 gezeigt ist, für jede statische Abbildung durch. Die Einheit 21 kann das Verfahren zu jeder vorbestimmten Zeitdauer durchführen.
• In Schritt S200 führt der Block 25 ein Schlüsselpunkt-Extraktionsverfahren durch. Dieses Verfahren ist im Detail in der Nichtpatentliteratur beschrieben, so dass das Verfahren kurz beschrieben wird. In dem Schlüsselpunkt-Extraktionsverfahren werden Objektschlüsselpunkte aus einer Eingabeabbildung extrahiert, die Bildelementdaten für jedes von Bildelementen aufweist. 3 zeigt ein Flussdiagramm, das das Schlüsselpunkt-Extraktionsverfahren zeigt, und 4 zeigt eine beispielhafte Ansicht, die das Erzeugen von DoG-Abbildungen und das Erfassen von Schlüsselpunktkandidaten aus den DoG-Abbildungen in dem Schlüsselpunkt-Extraktionsverfahren zeigt.
• Wie es in 3 gezeigt ist, bereitet der Block 25, wenn das Schlüsselpunkt-Extraktionsverfahren initialisiert wird, in Schritt S210 eine Gauß-geglättete Abbildung in mehreren Auflösungen bzw. Maßstäben aus Abbildungsdaten einer Eingabeabbildung vor. Genauer gesagt wird eine Eingabeabbildung I(x, y) in einer Abmessung mit einem Verkleinerungsverhältnis oder mit jedem von Verkleinerungsverhältnissen verkleinert, um eine Mehrzahl von verkleinerten Eingabeabbildungen zu erzielen, die Auflösungen aufweisen, die sich von der Auflösung der Eingabeabbildung unterscheiden. Dann wird eine Gauß-geglättete Abbildung L(x, y, σ) gemäß Gleichungen (1), (2) aus der Faltung der Gauß-Funktion G(x, y, σ) erzeugt, die mit einer variabel geglätteten Skala σ mit jeder der Eingabeabbildungen I(x, y) festgelegt ist. $$L\left(x,y,\sigma \right)=G\left(x,y,\sigma \right)*(l\left(x,y\right)$$

  

  $$G\left(x,y,\sigma \right)=\frac{1}{2\pi {\sigma }^2}\text{exp}\left\{\frac{-\left(x^2+y^2\right)}{2{\sigma }^2}\right\}$$

  
• Die Skale σ ist an jeder einer Mehrzahl von Werten σi (i = 1, 2, -) festgelegt und die Abbildung L(x, y, σ) wird für jeden Wert der Skale σ erzielt. Hierbei bezeichnet (x, y) Koordinaten von jedem Bildelement einer Abbildung in einem zweidimensionalen Koordinatensystem.
• Dann wird in Schritt S2220, wie es auf der linken Seite in 4 gezeigt ist, eine Differenz zwischen den geglätteten Abbildungen L(x, y, σi+1) und L(x, y, σi), die zwei benachbarten Skalen entsprechen, gemäß einer Gleichung (3) berechnet, um eine DoG- bzw. Gaußdifferenz- bzw. Sombreroabbildung Di(x, y, σ) zu erzeugen. $$D\left(x,y,\sigma \right)=L\left(x,y,{\sigma }_{i+1}\right)-(L\left(x,y,{\sigma }_i\right)$$

  
• Die DoG-Abbildung wird für jedes Paar von Abbildungen L(x, y, σi+1) und L(x, y, σi) erzielt. Eine Mehrzahl von Kandidaten für einen Schlüsselpunkt wird aus den DoG-Abbildungen erfasst, die unterschiedlichen Skalen für jede der Eingabeabbildungen entsprechen.
• Genauer gesagt wird ein DoG-Filterverfahren, das heißt ein Differentialverfahren, für die geglätteten Abbildungen angewendet, die den unterschiedlichen Skalen entsprechen, um einen Satz von DoG-Abbildungen für jede Eingabeabbildung zu erzielen. Zum Beispiel ist das Erzeugen eines Satzes von vier DoG-Abbildungen aus fünf geglätteten Abbildungen, die den jeweiligen Skalen entsprechen, für jede Eingabeabbildung in 4 gezeigt. Wie es auf der rechten Seite in 4 gezeigt ist, ist jedes Bildelement in der DoG-Abbildung Di (x, y, σ) als ein bemerktes Bildelement, (das mit X markiert ist), das an sechsundzwanzig verglichene Bildelemente (die mit • markiert sind) angrenzt, festgelegt. Die verglichenen Bildelemente werden aus neun Bildelementen in einem 3X3-Bildelementbereich der DoG-Abbildung Di-1(x, y, σ), acht Bildelementen in dem 3X3-Bildelementbereich der DoG-Abbildung Di(x, y, σ) und neun Bildelementen in dem 3X3-Bildelementbereich der DoG-Abbildung Di+1(x, y, σ) ausgebildet. Der Block 25 beurteilt, ob Daten des bemerkten Bildelements ein Extremwert, das heißt maximal oder minimal, unter Daten der bemerkten und verglichenen Bildelemente sind oder nicht. In einem Fall der bejahenden Beurteilung legt der Block 25 das bemerkte Bildelement als einen Kandidaten für einen Objektschlüsselpunkt fest. Wenn der Schlüsselpunktkandidat formal als ein Objektschlüsselpunkt festgelegt ist, wird der Skalenwert σi der DoG-Abbildung Di, die den Objektschlüsselpunkt aufweist, verwendet, um ein Abbildungsmerkmal des Objektschlüsselpunkts zu berechnen.
• In Schritt S230 beurteilt der Block 25, ob mindestens ein Schlüsselpunktkandidat in den DoG-Abbildungen festgelegt ist oder nicht, die aus den Eingabeabbildungen erzeugt werden. Wenn in Schritt S220 kein Schlüsselpunktkandidat festgelegt ist, ist das Schlüsselpunkt-Extraktionsverfahren in Schritt S220 beendet. Im Gegensatz dazu schreitet das Verfahren zu Schritt S240 fort, wenn die DoG-Abbildungen mindestens einen Schlüsselpunktkandidaten aufweisen.
• In Schritt S240 beurteilt der Block 25, ob jeder der Schlüsselpunktkandidaten an einer Ecke in der entsprechenden DoG-Abbildung angeordnet ist oder nicht. Ein Schlüsselpunktkandidat, der an einer Ecke angeordnet ist, bedeutet, dass der Schlüsselpunktkandidat nicht auf einer Kante angeordnet ist. Im Gegensatz dazu ist ein Schlüsselpunktkandidat, der nicht an einer Ecke angeordnet ist, mit einer hohen Wahrscheinlichkeit an einer Kante angeordnet. Einige der Schlüsselpunktkandidaten, die in Schritt S220 festgelegt werden, verursachen mit einer hohen Wahrscheinlichkeit ein Eröffnungsproblem. In diesem Ausführungsbeispiel der vorliegenden Erfindung wird ein Schlüsselpunktkandidat, der mit einer hohen Wahrscheinlichkeit auf einer Kante angeordnet ist, nicht als ein Objektschlüsselpunkt angewendet, so dass lediglich ein Schlüsselpunktkandidat, der ein stabiles Merkmal aufweist, als ein wahrer Objektschlüsselpunkt angewendet wird.
• Genauer gesagt wird in Schritt S240 das Verschmälern der Schlüsselpunktkandidaten zu Objektschlüsselpunkten mittels eines Verfahrens durchgeführt, das ähnlich einem Harris-Eckerfassungsverfahren ist. Das heißt, eine zweidimensionale Hesse-Matrix H wird erzielt, die durch eine Gleichung (4) ausgedrückt ist. $$H=\left[\begin{array}{cc}{D}_{xx}& D_{xy}\\ D_{xy}& D_{yy}\end{array}\right]$$

  

  wobei $$\text{Dxx}=\text{d}\left[\text{i-1}\right]\left[\text{j}\right]-\text{2xd}\left[\text{i}\right]\left[\text{j}\right]+\text{d}\left[\text{i+1}\right]\left[\text{j}\right],$$

  

  $$\text{Dyy}=\text{d}\left[\text{i}\right]\left[\text{j-1}\right]-\text{2xd}\left[\text{i}\right]\left[\text{j}\right]+\text{d}\left[\text{i}\right]\left[\text{j+1}\right],$$

  

  $$\text{Dxy}=\left\{\left(\text{d}\left[\text{i+1}\right]\left[\text{j+1}\right]-\text{d}\left[\text{i+1}\right]\left[\text{j-1}\right]-\text{d}\left[\text{i-1}\right]\left[\text{j+1}\right]-\text{d}\left[\text{i-1}\right]\left[\text{j-1}\right]\right)\right\}/\mathrm{4,}$$

  

  erfüllt sind. Jeder Eintrag d [i][y] bezeichnet Bildelementdaten von einem Bildelement, das an Koordinaten [i][y] angeordnet ist.
• Dann wird ein Schlüsselpunktkandidat, der eine Gleichung (5) erfüllt, als ein offizieller Objektschlüsselpunkt angewendet. $$\frac{Tr\left(H\right)\times Tr\left(H\right)}{Det\left(H\right)}<Th$$

  

  wobei $$\text{Tr}\left(\text{H}\right)=\text{Dxx+Dyy}\text{,}$$

  

  und $$\text{Det}\left(\text{H}\right)=\text{Dxx}\times \text{Dyy}-\text{Dxy}\times \text{Dxy}$$

  

  erfüllt sind. Das heißt, eine Summe Tr(H) von diagonalen Einträgen Txx und Tyy der Hesse-Matrix wird berechnet und ein Determinant Det(H) der Hesse-Matrix wird berechnet. Wenn ein Verhältnis von Tr(H) x Tr(H) zu Det(H) in einem Schlüsselpunktkandidat kleiner als ein vorbestimmter Schwellwert Th ist, beurteilt der Block 25, dass der Schlüsselpunktkandidat an einer Ecke in der entsprechenden DoG-Abbildung angeordnet ist. Deshalb wird in Schritt S250 der Schlüsselpunktkandidat offiziell als ein Objektschlüsselpunkt extrahiert und schreitet das Verfahren zu Schritt S260 fort. Im Gegensatz dazu springt in einem Fall der negativen Beurteilung in Schritt S240 das Verfahren zu Schritt S260.
• In Schritt S260 beurteilt der Block 25, ob alle der Schlüsselpunktkandidaten, die in Schritt S220 festgelegt werden, in Schritten S240 und S250 oder in Schritt S240 verarbeitet worden sind. In einem Fall der negativen Beurteilung werden Schritte S2450 bis S260 erneut durchgeführt. Das heißt, bis das Verschmälern von allen Schlüsselpunktkandidaten zu Objektschlüsselpunkten beendet ist, werden Schritte S240 bis S260 wiederholt durchgeführt. Deshalb werden in dem Merkmals-Extraktionsverfahren Objektschlüsselpunkte aus allen Schlüsselpunktkandidaten ausgewählt, die in den DoG-Abbildungen Ti festgelegt sind. Das heißt, alle Objektschlüsselpunkte werden im Wesentlichen aus der Eingabeabbildung extrahiert, die nicht verkleinert worden ist.
• Auf die gleiche Weise wie das Schlüsselpunkt-Extraktionsverfahren, das in FIG: 3 und 4 gezeigt ist, werden typische Schlüsselpunkte aus jeder typischen Abbildung extrahiert und in der Datenbank für einen typischen Schlüsselpunkt gespeichert.
• Es wird zurück auf 2 verwiesen. Nach dem Schlüsselpunkt-Extraktionsverfahren führt der Block 26 ein Merkmal-Berechnungsverfahren in Schritt S300 aus. Das heißt, ein Merkmal an jedem Objektschlüsselpunkt wird berechnet. Dieses Verfahren ist im Detail in der Nichtpatentliteratur beschrieben, so dass das Verfahren kurz beschrieben wird.
• 5 zeigt ein Flussdiagramm, das das Merkmals-Berechnungsverfahren für die Objektschlüsselpunkte zeigt. 6A zeigt das Bestimmen einer repräsentativen Gradientenausrichtung von einem Schlüsselpunkt, 6B zeigt eine Drehung eines Bereichs um den Schlüsselpunkt durch die repräsentative Gradientenausrichtung und 6C zeigt das Berechnen eines skaleninvarianten Merkmals, das den Schlüsselpunkt kennzeichnet.
• Wie es in 5 gezeigt ist, berechnet der Block 26, wenn das Merkmal-Berechnungsverfahren initialisiert wird, in Schritt S310 eine Gradientenamplitude einer Helligkeit und eine Gradientenausrichtung einer Helligkeit an jedem der Bildelemente, die in der Nähe eines Schlüsselpunkts angeordnet sind, um ein Ausrichtungshistogramm zu erzeugen, das die Gradientenamplituden einer Helligkeit und die Gradientenausrichtung einer Helligkeit an den Bildelementen anzeigt. Genauer gesagt werden, wie es in 6A gezeigt ist, eine Gradientenamplitude m(x, y) einer Helligkeit und eine Gradientenausrichtung θ(x, y) einer Helligkeit in einem Bildelement aus Abbildungsdaten der geglätteten gemäß Gleichungen (6), (7) und (8) für alle von benachbarten Bildelementen, das heißt Abtastpunkten innerhalb eines Referenzbereichs, der durch einen Kreis in 6A angezeigt ist, um einen Schlüsselpunkt berechnet. $$m\left(x,y\right)=\sqrt{f_x{\left(x,y\right)}^2+f_y{\left(x,y\right)}^2}$$

  

  $$\theta \left(x,y\right)={\text{tan}}^{-1}\frac{f_y\left(x,y\right)}{f_x\left(x,y\right)}$$

  

  $$\begin{array}{l}{\text{f}}_{\text{x}}\left(\text{x}\text{,y}\right)=\text{L}\left(\text{x+1}\text{,y}\right)-\text{L}\left(\text{x-1}\text{,y}\right)\hfill \\ {\text{f}}_{\text{y}}\left(\text{x}\text{,y}\right)=\text{L}\left(\text{x}\text{,y+1}\right)-\text{L}\left(\text{x}\text{,y-1}\right)\hfill \end{array}\}$$

  
• Die Abmessung des Referenzbereichs wird auf der Grundlage der Skala σi der DoG-Abbildung Ti bestimmt, die den Schlüsselpunkt aufweist, und die geglätteten in der Gleichung (8) werden an der Skala σi festgelegt.
• Dann wird ein Ausrichtungshistogramm aus den Gradientenamplituden m(x, y) und den Gradientenausrichtungenθ (x, y) der benachbarten Bildelemente ausgebildet. Das Ausrichtungshistogramm weist 36 Behälter auf, die den Bereich von 360 Grad von Ausrichtungen abdecken. Um dieses Histogramm zu erzeugen, werden benachbarte Bildelemente, die die gleiche Gradientenausrichtung aufweisen, zu dem entsprechenden Behälter hinzugefügt, während sie mit den Gradientenamplituden der jeweiligen Bildelemente gewichtet werden. Das heißt, die Länge für jeden Behälter wird auf eine Summe von Gradientenamplituden festgelegt, die eine Gradientenausrichtung aufweisen, die dem Behälter entspricht. Eine Gradientenausrichtung eines bestimmten Behälters, der eine höchste Spitze oder maximale Länge aus denjenigen der Behältern aufweist, wird als eine repräsentative Gradientenausrichtung des Schlüsselpunkts festgelegt. In diesem Ausführungsbeispiel wird lediglich eine Gradientenausrichtung, die dem Behälter entspricht, der die höchste Spitze aufweist, jedem Schlüsselpunkt als eine repräsentative Gradientenausrichtung zugewiesen. Jedoch kann eine Mehrzahl von Gradientenausrichtungen, die Behältern entsprechen, die jeweilige Spitzen aufweisen, die innerhalb 80% der höchsten Spitze sind, als eine Gruppe von repräsentativen Gradientenausrichtungen für jeden Schlüsselpunkt festgelegt werden.
• In Schritt S320 werden Pegel der Gradientenausrichtungen an den benachbarten Bildelementen normalisiert. Genauer gesagt wird, wie es in 6B gezeigt ist, der Referenzbereich um den Schlüsselpunkt um die repräsentative Gradientenausrichtung des Schlüsselpunkts gedreht. Anders ausgedrückt wird die repräsentative Gradientenausrichtung von der Gradientenausrichtung von benachbarten Bildelementen in dem Referenzbereich subtrahiert. Bei diesem Normalisieren der Gradientenausrichtungen der benachbarten Bildelemente kann ein Abbildungsmerkmal des Schlüsselpunkts, das invariant bezüglich einer Abbildungsdrehung eines Objekts, zum Beispiel eines Verkehrszeichens, ist, das in der Eingabeabbildung vorhanden ist, erzielt werden.
• In Schritt S330 wird ein skaleninvariantes Merkmal des Schlüsselpunkts berechnet, das invariant bezüglich einer Abbildungsskalierung ist. Genauer gesagt wird, wie es in 6C gezeigt ist, ein Gaußsches Kreisfenster verwendet, um eine Gewichtung zu der Amplitude von jedem benachbarten Bildelement derart zuzuweisen, dass ein Gewichtungsfaktor für ein Bildelement erhöht wird, wenn ein Abstand zwischen dem Bildelement und der Mitte des Gaußschen Fensters verglichen wird. Die Abmessung des Gaußschen Fensters wird auf der Grundlage der Skala σi der DoG-Abbildung Ti bestimmt, die den Schlüsselpunkt aufweist. In diesem Fall ist zum Beispiel, wenn die Abmessung einer ersten Abbildung zweimal so groß wie die einer zweiten Abbildung ist, die Abmessung des Fensters für die erste Abbildung zweimal so groß wie die Abmessung des Fensters für die zweite Abbildung. Deshalb werden die gleichen Bildelemente in dem Fenster unberücksichtigt der Skala σ angeordnet, so dass ein Merkmal erzielt werden kann, dass invariant bezüglich einer Abbildungsskalierung ist. Dann wird der Referenzbereich in 16 (4X4) Bildelement-Unterbereiche geteilt und wird ein Ausrichtungshistogramm aus Helligkeitsgradientenamplituden und Helligkeitsgradientenausrichtungen von benachbarten Bildelementen für jeden Unterbereich ausgebildet. Jedes Ausrichtungshistogramm weist acht Behälter auf, die einen Bereich von 360 Grad von Ausrichtungen abdecken. Die sechzehn Histogramme werden als ein skaleninvariantes Merkmal des Schlüsselpunkts festgelegt. Dieses skaleninvariante Merkmal ist ein 128-(8 Behälter × 16 Histogramme)-dimensionaler Vektor.
• In Schritt S340 beurteilt der Block 26, ob skaleninvariante Merkmale von allen Schlüsselpunkten, die von dem Block 25 in Schritt S200 extrahiert worden sind, berechnet worden sind oder nicht. Bis das Berechnen von skaleninvarianten Merkmalen von allen Schlüsselpunkten beendet ist, wird ein skaleninvariantes Merkmal in Schritten S310 bis S330 für jeden Schlüsselpunkt berechnet. Deshalb werden skaleninvariante Merkmale von allen Objektschlüsselpunkten in dem Merkmals-Extraktionsverfahren berechnet.
• Abbildungsmerkmale von jeweiligen typischen Schlüsselpunkten werden im Voraus für jede typische Abbildung berechnet und in einer Datenbank gespeichert. Das Merkmal von jedem typischen Schlüsselpunkt ist ein 128-dimensionaler Vektor von Ausrichtungshistogrammen, die auf die gleiche Weise wie das skaleninvariante Merkmal von einem Objektschlüsselpunkt aus der entsprechenden typischen Abbildung abgeleitet werden. Weiterhin weist das Merkmal von jedem typischen Schlüsselpunkt eine Positionsinformation auf, die eine Position des Schlüsselpunkts in der typischen Abbildung anzeigt. Das Berechnen von Merkmalen der typischen Schlüsselpunkte ist unter Bezugnahme auf 7 beschrieben.
• 7 zeigt ein Flussdiagramm, das ein Verfahren zum Berechnen eines typischen Abbildungsmerkmals zeigt. Wie es in 7 gezeigt ist, wird, wenn der Block 24 dieses Verfahren initialisiert, in Schritt S351 ein typischer Referenzpunkt an einer Stelle eines beliebigen Bildelements in einer typischen Abbildung festgelegt. Dann wird in Schritten S352, S353 und S354 ein skaleninvariantes Merkmal von einem typischen Schlüsselpunkt in der typischen Abbildung auf die gleiche Weise wie in dem Verfahren zum Berechnen eines Objektmerkmals (Schritte S310 bis S330) für die Eingabeabbildung berechnet.
• 8 zeigt eine erläuternde Darstellung, die einen Positionsvektor zeigt, der von dem typischen Referenzpunkt zu jedem von drei Schlüsselpunkten in einer typischen Abbildung gerichtet ist. Wie es in 8 gezeigt ist, ist zum Beispiel ein Positionsvektor von dem typischen Referenzpunkt (der durch einen weißen Kreis gezeigt ist) zu jedem von drei typischen Schlüsselpunkten (durch schwarze Kreise gezeigt) in einer typischen Abbildung gerichtet.
• In Schritt S355 berechnet der Block 23 Differenzen Δx (= x' - x) und Δy (= y' - y) zwischen Koordinaten (x', y') des typischen Referenzpunkts und Koordinaten (x, y) des typischen Schlüsselpunkts und legt der Block 23 einen Positionsvektor (Δx, Δy) des typischen Schlüsselpunkts als eine Positionsinformation fest. Der Positionsvektor ist von dem typischen Referenzpunkt zu dem typischen Schlüsselpunkt gerichtet, um eine Positionsdifferenz zwischen dem typischen Referenzpunkt und dem typischen Schlüsselpunkt anzuzeigen.
• In Schritt S356 werden das skaleninvariante Merkmal, das in Schritt S354 berechnet wird, und der Positionsvektor als ein kombiniertes Merkmal des typischen Schlüsselpunkts festgelegt und in einer Datenbank registriert oder gespeichert.
• In Schritt S357 beurteilt die Einheit 21, ob die kombinierten Merkmale von allen typischen Schlüsselpunkten berechnet worden sind oder nicht. Bis das Berechnen von kombinierten Merkmalen von allen typischen Schlüsselpunkten beendet ist, wird ein kombiniertes Merkmal von einem anderen typischen Schlüsselpunkt erneut in Schritten S352 bis S356 berechnet. Deshalb werden kombinierte Merkmale von allen typischen Schlüsselpunkten in einer typischen Abbildung in diesem Verfahren berechnet. Auf die gleiche Weise werden kombinierte Merkmale von allen typischen Schlüsselpunkten für jede der anderen typischen Abbildungen berechnet.
• Es wird zurück zu 2 verwiesen. Nachdem das Merkmals-Berechnungsverfahren in Schritt S300 beendet ist, führt der Block 27 ein Verfahren zum Festlegen eines Entsprechungspunkts in Schritt S400 durch, um einen typischen Schlüsselpunkt und einen Objektschlüsselpunkt, die jeweiligen skaleninvariante Merkmale aufweisen, die ähnlich zueinander sind, als eine Kombination eines typischen Entsprechungspunkts und eines Objektentsprechungspunkts festzulegen, die miteinander übereinstimmen. Bei diesem Verfahren wird jedes der skaleninvarianten Merkmale der typischen Schlüsselpunkte mit den skaleninvarianten Merkmalen der Objektschlüsselpunkte verglichen, die in dem Block 26 für jede typische Abbildung berechnet worden sind. Wenn ein invariantes Merkmal von einem typischen Schlüsselpunkt in einer typischen Abbildung das gleiche oder ähnlich zu einem skaleninvarianten Merkmal von einem Objektschlüsselpunkt in der Eingabeabbildung ist, werden der typische Schlüsselpunkt und der Objektschlüsselpunkt als ein Kombination von Entsprechungspunkten festgelegt, die miteinander übereinstimmen. Dieses Verfahren ist im Detail in der Nichtpatentliteratur beschrieben, so dass das Verfahrne kurz beschrieben wird.
• 9 zeigt ein Flussdiagramm, das das Entsprechungspunkt-Festlegeverfahren zeigt. 10 zeigt eine erläuternde Ansicht, die einen Vergleich des skaleninvarianten Merkmals von einem typischen Schlüsselpunkt mit einem skaleninvarianten Merkmal von jedem Objektschlüsselpunkt zeigt.
• Wie es in 9 gezeigt ist, wird, wenn der Block 27 das Entsprechungspunkt-Festlegeverfahren in Schritt S400 initialisiert, in Schritt S410 eine Ähnlichkeit zwischen dem skaleninvarianten Merkmal von einem typischen Schlüsselpunkt von einer typischen Abbildung und dem skaleninvarianten Merkmal von jedem Objektschlüsselpunkt der Eingabeabbildung berechnet. Zum Beispiel wird, wie es in 10 gezeigt ist, das skaleninvariante Merkmal von einem typischen Schlüsselpunkt eines Zeichens eines Fußgängerüberwegs, das eine typische Abbildung darstellt, mit dem skaleninvarianten Merkmal von jedem Objektschlüsselpunkt der Eingabeabbildung verglichen und wird eine Ähnlichkeit zwischen den Merkmalen berechnet.
• Genauer gesagt wird es angenommen, dass M typische Schlüsselpunkte aus einer typischen Abbildung extrahiert werden, während N Objektschlüsselpunkte aus der Eingabeabbildung extrahiert werden. Ein skaleninvariantes Merkmal S_temp ^m des m-ten (1 ≤ m ≤ M) typischen Schlüsselpunkts wird gemäß Gleichung (9) ausgedrückt und ein skaleninvariantes Merkmal W_input ⁿ des n-ten (1 ≤ n ≤ N) Objektschlüsselpunkts wird gemäß einer Gleichung (19) ausgedrückt. $$S_{temp}^m=\left(s_1^m,s_2^m,K,s_{128}^m\right)$$

  

  $$W_{input}^n=\left(w_1^n,w_2^n,K,w_{128}^n\right)$$

  
• Eine Ähnlichkeit n' zwischen dem Merkmal S_temp ^m des m-ten typischen Schlüsselpunkts und dem Merkmal W_input ⁿ von jedem Objektschlüsselpunkt wird gemäß einer Gleichung (11) berechnet. $$n\text{'}={\text{arg}}_{n=N}\text{min}\left({\displaystyle \sum _i^{128}\sqrt{{\left(S_i^m-w_i^n\right)}^2}}\right)$$

  
• Das heißt, Ähnlichkeiten zwischen dem Merkmal eines bemerkten typischen Schlüsselpunkts und dem Merkmal von allen Objektschlüsselpunkten können berechnet werden und ein Satz des bemerkten typischen Schlüsselpunkts und eines Objektschlüsselpunkts, der den höchsten Pegel einer Ähnlichkeit aufweist, das heißt ein typischer Schlüsselpunkt und ein Objektschlüsselpunkt, die die Merkmale aufweisen, die am ähnlichsten zueinander sind, und ein anderer Satz des bemerkten typischen Schlüsselpunkts und eines die den zweithöchsten Pegel einer Ähnlichkeit aufweisen, das heißt ein typischer Schlüsselpunkt und ein Objektschlüsselpunkt, die die zweitähnlichsten Merkmale zueinander aufweisen, können bestimmt werden.
• In Schritt S420 wird der höchste Pegel einer Ähnlichkeit mit dem zweithöchsten Pegel einer Ähnlichkeit verglichen. In Schritt S430 beurteilt der Block 27, ob eine Differenz zwischen dem höchsten Pegel einer Ähnlichkeit und dem zweithöchsten Pegel einer Ähnlichkeit mehr als ein vorbestimmter Pegel ist. Wenn die Differenz mehr als der vorbestimmte Pegel ist, beurteilt der Block 27, dass das Merkmal des der den höchsten Pegel einer Ähnlichkeit an dem bemerkten typischen Schlüsselpunkt aufweist, ähnlich zu dem Merkmal des bemerkten typischen Schlüsselpunkts ist. Deshalb legt der Block 27 in Schritt S440 den bemerkten typischen Schlüsselpunkt und den Objektschlüsselpunkt, der den höchsten Pegel einer Ähnlichkeit aufweist, als eine Kombination eines typischen Entsprechungspunkts und eines Objektentsprechungspunkts fest, die miteinander übereinstimmen. Im Gegensatz dazu beurteilt der Block 27 in einem Fall der negativen Beurteilung, dass kein Objektschlüsselpunkt eine Beziehung zu dem bemerkten typischen Schlüsselpunkt aufweist, und das Verfahren springt zu Schritt S450.
• In Schritt S450 beurteilt der Block 27, ob jedes der skaleninvarianten Merkmale von allen typischen Schlüsselpunkten in den typischen Abbildungen mit den skaleninvarianten Merkmalen von allen Objektschlüsselpunkten verglichen worden ist. In dem Fall der negativen Beurteilung wird das Verfahren zum Festlegen eines Entsprechungspunkts erneut in Schritten S410 bis S440 durchgeführt. Im Gegensatz dazu ist in einem Fall der bejahenden Beurteilung das Verfahren zum Festlegen eines Entsprechungspunkts in Schritt S500 beendet.
• Es wird zurück auf 2 verwiesen. In Schritt S500 führt der Block 28 ein Objekt-Beurteilungs- und -Erkennungsverfahren durch. In diesem Verfahren beurteilt der Block 28 auf der Grundlage von allen Kombinationen von Entsprechungspunkten, ob mindestens ein Objekt, das mit einer typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist oder nicht. 11 zeigt ein Flussdiagramm, das das Objekt-Beurteilungs- und -Erkennungsverfahren zeigt, 12 zeigt ein Flussdiagramm, das ein Verfahren zum Speichern einer Referenzpunktposition in dem Objekt-Beurteilungs- und -Erkennungsverfahren zeigt und 13 zeigt eine erläuternde Ansicht, die ein Verfahren zum Berechnen einer Position eines Objektreferenzpunkts in der Eingabeabbildung zeigt.
• Wie es in 11 gezeigt ist, beurteilt der Block 28 in Schritt S510, ob mindestens ein Objektentsprechungspunkt in der Eingabeabbildung vorhanden ist oder nicht. In dem Fall der bejahenden Beurteilung führt der Block 28 in Schritt S520 ein Referenzpunktpositions-Speicherverfahren durch. Unter der Annahme, dass ein Objekt, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, ist ein Objektreferenzpunkt, der dem typischen Referenzpunkt der typischen Abbildung entspricht, in der eingegebenen Abbildung vorhanden. In diesem Verfahren wird eine Position des Objektreferenzpunkts für jeden Objektentsprechungspunkt berechnet.
• Genauer gesagt erfasst, wie es in 12 gezeigt ist, der Block 28 in Schritt S521 eine Position des Objektentsprechungspunkts, der noch nicht für das Referenzpunktpositions-Speicherverfahren verwendet worden ist, in einer Koordinatenebene der Eingabeabbildung. Dann berechnet der Block 28 eine Position eines Objektreferenzpunkts in einer Koordinatenebene der Eingabeabbildung aus der erfassten Position des Objektentsprechungspunkts und dem Positionsvektor des typischen Entsprechungspunkts, der mit dem Objektentsprechungspunkt übereinstimmt.
• Zum Beispiel wird, wie es in 13 gezeigt ist, ein Abstand D1 zwischen dem typischen Referenzpunkt und einem typischen Entsprechungspunkt in einer typischen Abbildung gemäß einer Gleichung (12) berechnet. $$D1=\sqrt{\mathrm{\Delta }{x}^2+\mathrm{\Delta }{y}^2}$$

  
• Δx und Δy sind Elemente des Positionsvektors des typischen Entsprechungspunkts. Hierbei enthält das Merkmal von jedem typischen Entsprechungspunkt den Positionsvektor (Δx, Δy), eine Skale σ_temp der typischen Abbildung und eine Drehungsinformation θ_temp, die die repräsentative Gradientenausrichtung des typischen Entsprechungspunkts darstellt. Das Merkmal von jedem Objektentsprechungspunkt enthält Koordinaten (ain, bin) des Punkts in der Eingabeabbildung, eine Skala σin der Eingabeabbildung und eine Drehungsinformation θin, die die repräsentative Gradientenausrichtung des Objektentsprechungspunkts darstellt. Unter Verwendung der Skalen σin und Skala σtemp wird ein Abstand D2 in der Eingabeabbildung zwischen einem Objektreferenzpunkt, der dem typischen Referenzpunkt entspricht, und dem Objektentsprechungspunkt, der mit dem typischen Entsprechungspunkt übereinstimmt, gemäß einer Gleichung (13) berechnet. $$D_2=\frac{{\sigma }_{in}}{{\sigma }_{temp}}\times \sqrt{\mathrm{\Delta }{x}^2+\mathrm{\Delta }{y}^2}$$

  
• Ein Ausdruck σin/σtemp kompensiert eine Skalendifferenz zwischen den Abbildungen für den Abstand D2. Weiterhin wird, da es eine Drehungsdifferenz θtemp- θin zwischen den Gradientenausrichtungen der Entsprechungspunkte gibt, der Objektreferenzpunkt um den Objektentsprechungspunkt um die Drehungsdifferenz θtemp - θin gedreht. In diesem Fall wird ein Position (X, Y) des Objektreferenzpunkts in einer Koordinatenebene der Eingabeabbildung gemäß Gleichungen (14), (15) und (16) berechnet. $$X=a_{in}+\frac{{\sigma }_{in}}{{\sigma }_{temp}}\times \sqrt{\mathrm{\Delta }{x}^2+\mathrm{\Delta }{x}^2}\times \text{cos}\left(\theta +{\theta }_{temp}-{\theta }_{in}\right)$$

  

  $$Y=b_{in}-\frac{{\sigma }_{in}}{{\sigma }_{temp}}-\sqrt{\mathrm{\Delta }{x}^2+\mathrm{\Delta }{x}^2}\times \text{sin}\left(\theta +{\theta }_{temp}-{\theta }_{in}\right)$$

  

  $$\theta =\text{arctan}\left(\frac{\mathrm{\Delta }y}{\mathrm{\Delta }x}\right)$$

  
• Das Symbol θ in der Gleichung (16) zeigt die Ausrichtung des Positionsvektors des typischen Entsprechungspunkts an. Deshalb wird die Position (X, Y) des Objektreferenzpunkts aus dem Positionsvektor des typischen Entsprechungspunkts bestimmt, während die Skalendifferenz und die Drehungsdifferenz zwischen den Abbildungen berücksichtigt werden.
• In Schritt S522 speichert der Block 28 in einer Datenbank die Position (X, Y) des Objektreferenzpunkts, um eine Stimme abzugeben.
• Es wird zurück auf 11 verwiesen. In Schritt S530 beurteilt der Block 28, ob das Referenzpunktpositions-Speicherverfahren für alle Objektentsprechungspunkte beendet worden ist oder nicht. In dem Fall der negativen Beurteilung wird das Verfahren in Schritt S520 erneut durchgeführt. Wenn das Verfahren für alle der Objektentsprechungspunkte beendet ist, sind die Positionen des Objektreferenzpunkts erzielt worden.
• In Schritt S540 beurteilt der Block 28, ob die Positionen des Objektreferenzpunkts in einem schmalen Bereich an einem Pegel einer Konzentration (oder einer Konzentrationsamplitude) höher als ein vorbestimmter Konzentrationswert sind oder nicht.
• Wenn ein Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, wird eine Positionsbeziehung zwischen den Objektentsprechungspunkten ähnlich zu einer Positionsbeziehung zwischen den typischen Entsprechungspunkten. Diese Ähnlichkeit wird auch dann erzielt, wenn es eine Skalendifferenz oder eine Drehungsdifferenz zwischen dem Objektbild und der typischen Abbildung gibt.
• Deshalb werden die Positionen des Objektreferenzpunkts in einem schmalen Bereich der Koordinatenebene konzentriert. Im Gegensatz dazu ist, wenn kein Objektbild, das mit einer typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, eine Positionsbeziehung zwischen den Objektentsprechungspunkten unterschiedlich zu einer Positionsbeziehung zwischen den typischen Entsprechungspunkten. Deshalb werden die Positionen des Objektreferenzpunkts in einem breiten Bereich der Koordinatenebene gestreut.
• 14A zeigt eine erläuternde Ansicht, die die Positionen des Objektreferenzpunkts zeigt, die in einem schmalen Bereich konzentriert sind, während 14B eine erläuternde Ansicht zeigt, die die Positionen des Objektreferenzpunkts zeigt, die in einem breiten Bereich gestreut sind. Zum Beispiel kann, wenn die Positionen des Objektreferenzpunkts, die in 14A gezeigt sind, erzielt werden, ein Objektbild, das mit der typischen Abbildung übereinstimmt, mit einer hohen Wahrscheinlichkeit in der Eingabeabbildung vorhanden sein. Im Gegensatz dazu ist, wenn die Positionen des Objektreferenzpunkts, die in 14B gezeigt sind, erzielt werden, ein Objektbild, das mit der typischen Abbildung übereinstimmt, kaum in der Eingabeabbildung vorhanden.
• Es wird zurück auf 11 verwiesen. In einem Fall der bejahenden Beurteilung in Schritt S540 schreitet das Verfahren zu Schritt S550 fort. 15 zeigt eine erläuternde Ansicht, die die Positionen des Objektreferenzpunkts in einer Mehrzahl von schmalen Bereichen zeigt, die durch Teilen der Koordinatenebene der Eingabeabbildung festgelegt werden. Zum Beispiel führt, wie es in 15 gezeigt ist, wenn die Positionen des Objektreferenzpunkts in einem schmalen Bereich an einem Pegel einer Konzentration konzentriert sind, der höher als ein vorbestimmter Konzentrationswert ist, der Block 28 die bejahende Beurteilung in Schritt S540 durch.
• In Schritt S550 beurteilt der Block 28, ob ein Skalenverhältnis σin/σtemp zwischen der Eingabeabbildung und der typischen Abbildung in einem vorbestimmten Bereich angeordnet ist oder nicht. In einem Fall der bejahenden Beurteilung entscheidet der Block 28 in einem Schritt S560, ob die Drehungsdifferenz θtemp - θin zwischen der Eingabeabbildung und der typischen Abbildung in einem vorbestimmten Bereich angeordnet ist oder nicht. In einem Fall der bejahenden Beurteilung entscheidet der Block 28 in Schritt S570, dass ein Objektbild, das die Objektentsprechungspunkte in der Eingabeabbildung aufweist, mit der typischen Abbildung übereinstimmt, so dass der Block 28 das Objektbild, das in der Eingabeabbildung vorhanden ist, als ein Objekt erkennt, das durch die typische Abbildung angezeigt wird. Dann ist das Objekt-Beurteilungs- und -Erkennungsverfahren beendet.
• Im Gegensatz dazu entscheidet der Block 28 in einem Fall der negativen Beurteilung in Schritt S510, S540, S550 oder S560 der Block 28, dass ein Objektbild, das die Objektentsprechungspunkte in der Eingabeabbildung aufweist, nicht mit der typischen Abbildung übereinstimmt. Das heißt, der Block 28 erkennt kein Objekt, das durch die typische Abbildung angezeigt wird. Dieses Objekt-Beurteilungs- und -Erkennungsverfahren wird für jede der typischen Abbildungen durchgeführt. Wenn dieses Verfahren beendet ist, ist das Abbildungs-Erkennungsverfahren (siehe 2) beendet.
• Wie es zuvor beschrieben worden ist, extrahiert in der Zeichen-Erkennungsvorrichtung 1, die die Objekt-Erkennungsvorrichtung darstellt, der Block 22 im Voraus eine Mehrzahl von typischen Schlüsselpunkten aus einer typischen Abbildung. Der Block 23 legt einen typischen Referenzpunkt in der typischen Abbildung fest und berechnet einen Positionsvektor, der eine Positionsdifferenz zwischen dem typischen Referenzpunkt und jedem typischen Punkt anzeigt, zusätzlich zu einem skaleninvarianten Merkmal an jedem typischen Schlüsselpunkt. Wenn die Abbildungs-Verarbeitungseinheit 21 eine Eingabeabbildung empfängt, extrahiert der Block 25 eine Mehrzahl von Objektschlüsselpunkten aus der Eingabeabbildung und berechnet der Block 26 ein skaleninvariantes Merkmal an jedem Objektschlüsselpunkt. Der Block 27 vergleicht das Merkmal von jedem typischen Schlüsselpunkt mit den Merkmalen der Objektschlüsselpunkte und legt jedes Paar von einem typischen Schlüsselpunkt und einem Objektschlüsselpunkt, die die jeweiligen Merkmale aufweisen, die zueinander ähnlich sind, als eine Kombination eines typischen Entsprechungspunkts und eines Objektentsprechungspunkts fest. Der Block 28 bestimmt eine Position eines Objektreferenzpunkts, der dem typischen Referenzpunkt entspricht, aus der Position von einem Objektentsprechungspunkt und dem Positionsvektor des typischen Entsprechungspunkts, der mit dem Entsprechungspunkt übereinstimmt, für jeden Objektentsprechungspunkt. Wenn die Positionen des Objektreferenzpunkts in einem schmalen Bereich angeordnet sind, erkennt der Block 28, dass eine Positionsbeziehung zwischen den Objektentsprechungspunkten, die aus der Eingabeabbildung extrahiert werden, im Wesentlichen ähnlich zu einer Positionsbeziehung zwischen den typischen Entsprechungspunkten ist, die aus der typischen Abbildung extrahiert werden, und beurteilt der Block 28, dass ein Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist. Deshalb erkennt der Block 28 das Objektbild als ein Objekt, das durch die typische Abbildung angezeigt wird.
• Im Stand der Technik wird es, wenn die Anzahl von Schlüsselpunkten in einer Eingabeabbildung, die mit Schlüsselpunkten in einer typischen Abbildung übereinstimmen, groß ist, beurteilt, dass ein Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist. Deshalb sind, um zuverlässig ein Objekt, das durch die typische Abbildung angezeigt wird, zu erkennen, viele Schlüsselpunkte der Eingabeabbildung notwendig, die mit Schlüsselpunkten der typischen Abbildung übereinstimmen. Im Gegensatz dazu kann in diesem Ausführungsbeispiel der vorliegenden Erfindung auch dann, wenn die Anzahl von Objektentsprechungspunkten, die aus der Eingabeabbildung extrahiert werden, klein ist, die Vorrichtung 1 zuverlässig eine Positionsbeziehung zwischen den Objektentsprechungspunkten bestimmen und kann die Vorrichtung 1 zuverlässig beurteilen, ob eine Positionsbeziehung zwischen den Objektentsprechungspunkten im Wesentlichen ähnlich zu einer Positionsbeziehung zwischen den typischen Entsprechungspunkten ist, die mit den Objektentsprechungspunkten übereinstimmen. Das heißt, auch dann, wenn die Anzahl von Objektentsprechungspunkten klein ist, werden Positionen des Objektentsprechungspunkts ausreichend in einem kleinen Bereich konzentriert, wenn ein Objektbild, das mit einer von typischen Abbildungen übereinstimmt, in der Eingabeabbildung vorhanden ist. Demgemäß kann die Vorrichtung das Vorhandensein eines Objekts, das durch die typische Abbildung angezeigt wird, in der Eingabeabbildung beurteilen und kann die Vorrichtung zuverlässig das Objektbild als das Objekt erkennen.
• Weiterhin ist das Merkmal von jedem Objektschlüsselpunkt bezüglich einer Abbildungsskalierung, das heißt einer Vergrößerung und Verkleinerung, und einer Drehung invariant. Demgemäß kann die Vorrichtung zuverlässig das Objekt unberücksichtigt der Skala oder Drehung des Objekts in der Eingabeabbildung erkennen.
• In dem ersten Ausführungsbeispiel der vorliegenden Erfindung wird ein Positionsvektor von jedem typischen Schlüsselpunkt, der eine Positionsdifferenz zwischen dem typischen Referenzpunkt und dem typischen Schlüsselpunkt anzeigt, als eine Positionsinformation des typischen Schlüsselpunkts festgelegt und zu dem skaleninvarianten Merkmal des typischen Schlüsselpunkts (siehe 7) hinzugefügt, um indirekt eine Position des typischen Schlüsselpunkts in der typischen Abbildung anzuzeigen und eine Positionsbeziehung zwischen den typischen Entsprechungspunkten zu bestimmen. Jedoch sollte die vorliegende Erfindung nicht auf den Positionsvektor des typischen Schlüsselpunkts beschränkt werden, sondern es kann eine Information, die direkt oder indirekt eine Position von jedem typischen Schlüsselpunkt in der typischen Abbildung anzeigt, nützlich für die Vorrichtung 1 verwendet werden.
• Weiterhin wird die Beurteilung (Schritt S540 in 11), ob die Positionen des Referenzpunkts in einem schmalen Bereich konzentriert sind oder nicht, für jede der typischen Abbildungen unter Verwendung des festen vorbestimmten Konzentrationswerts durchgeführt. Jedoch kann ein vorbestimmter Konzentrationswert für jede typische Abbildung veränderlich festgelegt werden. Zum Beispiel kann ein vorbestimmter Konzentrationswert gemäß der Anzahl von typischen Schlüsselpunkten festgelegt werden. Das heißt, wenn die Anzahl von typischen Schlüsselpunkten erhöht wird, kann der vorbestimmte Konzentrationswert erhöht werden.
• Ausgestaltung
• In dem ersten Ausführungsbeispiel der vorliegenden Erfindung teilt die Vorrichtung 1 vor dem Referenzpunktpositions-Speicherverfahren in Schritt S530 (siehe 11) die Koordinatenebene der Eingabeabbildung regelmäßig und fest in eine Mehrzahl von kleinen Bereichen (siehe 15) unberücksichtigt von Positionen des Objektreferenzpunkts. Jedoch kann eine Mehrzahl von kleinen Bereichen in Verbindung mit Positionen des Objektreferenzpunkts während des Objektreferenzpunktpositions-Speicherverfahrens festgelegt werden.
• 16 zeigt ein Flussdiagramm, das ein Objektreferenzpunktpositions-Speicherverfahren gemäß einer Ausgestaltung des ersten Ausführungsbeispiels der vorliegenden Erfindung zeigt. 17 zeigt eine erläuternde Ansicht, die drei kleine Bereiche zeigt, die festgelegt werden, um eine Gruppe von Positionen oder eine Position eines Objektreferenzpunkts in jedem kleinen Bereich anzuordnen.
• In dieser Ausgestaltung der vorliegenden Erfindung berechnet, wie es in 16 gezeigt ist, wenn das Referenzpunktpositions-Speicherverfahren initialisiert wird, der Block 28 in Schritt S610 eine erste Position (X, Y) des Objektreferenzpunkts aus einer Position eines ersten Objektentsprechungspunkts und dem Positionsvektor des typischen Entsprechungspunkts, der mit dem ersten Objektentsprechungspunkt übereinstimmt, gemäß den Gleichungen (14) und (15) und speichert die erste Position. In Schritt S620 wird ein erster kleiner Bereich P1, der um die erste Position zentriert ist, in der Koordinatenebene der Eingabeabbildung festgelegt. In Schritt S630 wird eine nächste Position des Objektreferenzpunkts gespeichert. In Schritt S640 beurteilt der Block 28, ob die nächste Position, die kürzlich gespeichert worden ist, außerhalb von einem von zuvor festgelegten kleinen Bereichen, die den Bereich P1 beinhalten, angeordnet ist oder nicht. Wenn die nächste Position außerhalb des zuvor festgelegten schmalen Bereichs angeordnet ist, wird in Schritt S650 ein neuer kleiner Beriech, der um die nächste Position zentriert ist, festgelegt. Im Gegensatz dazu wird in einem Fall, dass es eine negative Beurteilung gibt, kein kleiner Bereich neu festgelegt und springt das Verfahren zu Schritt S660.
• Zum Beispiel ist, wie es in 17 gezeigt ist, die zweite Position des Objektreferenzpunkts außerhalb des ersten kleinen Bereichs P1 angeordnet, so dass ein zweiter kleiner Bereich P2, der um die zweite Position zentriert ist, festgelegt wird. Drei andere Positionen des Objektreferenzpunkts sind in dem Bereich P2 angeordnet, so dass kein kleiner Bereich neu für die anderen drei Positionen festgelegt wird. Weiterhin ist eine weitere Position des Objektreferenzpunkts außerhalb der ersten und zweiten kleinen Bereiche P1 und P2 angeordnet, so dass ein dritter kleiner Bereich P3, der um die Position zentriert ist, festgelegt ist.
• Es wird zurück auf 16 verwiesen. In Schritt S660 beurteilt der Block 28, ob Positionen des Objektreferenzpunkts, der aus allen Objektentsprechungspunkten berechnet wird, gespeichert worden sind oder nicht. In einem Fall der negativen Beurteilung kehrt das Verfahren zu Schritt S630 zurück. Im Gegensatz dazu beurteilt der Block 28 in einem Fall der bejahenden Beurteilung in Schritt S670, ob die Anzahl von Positionen des Objektreferenzpunkts in einem der kleinen Bereiche ein vorbestimmtes Verhältnis zu der Anzahl von allen Objektentsprechungspunkten der Eingabeabbildung überschreitet oder nicht. In einem Fall der bejahenden Beurteilung werden die gleichen Beurteilungsverfahren wie diejenigen in Schritten S550 und S560, die in 11 gezeigt sind, in Schritten S680 durchgeführt. In einem Fall der bejahenden Beurteilung in Schritt S680 wird das gleiche Verfahren wie das in Schritt S570, der in 11 gezeigt ist, in Schritt S690 durchgeführt. Im Gegensatz dazu wird in einem Fall der negativen Beurteilung in Schritt S680 das gleiche Verfahren wie das in Schritt S580, der in 11 gezeigt ist, in Schritt S695 durchgeführt.
• Deshalb kann die Vorrichtung 1 das Objektbild als ein Objekt erkennen, das durch die typische Abbildung angezeigt wird, wenn das Objektbild in der Eingabeabbildung vorhanden ist.
• Zweites Ausführungsbeispiel
• In diesem Ausführungsbeispiel wird kein Referenzpunkt in der typischen Abbildung festgelegt, sondern legt der Block 24 die typischen Positionsvektoren, die relative Positionen von jedem typischen Merkmalspunkt zu den anderen typischen Merkmalspunkten anzeigen, als die Positionsinformation des typischen Merkmalspunkts fest und berechnet der Block 28 Objektpositionsvektoren, die relative Positionen von jedem Objektentsprechungspunkt zu den andern Objektentsprechungspunkten anzeigen. Der Block 28 bestimmt die Positionsbeziehung zwischen den typischen Entsprechungspunkten aus den typischen Positionsvektoren der typischen Entsprechungspunkte und bestimmt die Positionsbeziehung zwischen den Objektentsprechungspunkten aus den Objektpositionsvektoren der Objektentsprechungspunkte. Dann beurteilt der Block 28, ob die Beziehungen im Wesentlichen zueinander ähnlich sind oder nicht. Wenn ein Objektbild, das mit einer typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, werden die Beziehungen zueinander ähnlich. Diese Ähnlichkeit wird auch dann erzielt, wenn es eine Skalendifferenz oder eine Drehungsdifferenz zwischen dem Objektbild und der typischen Abbildung gibt. Wenn der Block 28 beurteilt, dass die Beziehungen im Wesentlichen zueinander ähnlich sind, erkennt der Block 28 ein Objektbild, das die Objektentsprechungspunkte aufweist, als ein Objekt, das durch die typische Abbildung angezeigt wird.
• Zum Beispiel wählt der Block 28 drei der typischen Entsprechungspunkte aus und legt ein typisches Dreieck fest, das durch die drei typischen Entsprechungspunkte bestimmt wird. Der Block 28 legt ebenso ein Objektdreieck fest, das durch drei Objektentsprechungspunkte bestimmt wird, die mit den drei typischen Entsprechungspunkten übereinstimmen. Die Positionsbeziehung zwischen den typischen Entsprechungspunkten ist durch eine Figur des typischen Dreiecks dargestellt und die Positionsbeziehung zwischen den Objektentsprechungspunkten ist durch eine Figur des Objektdreiecks dargestellt. Dann beurteilt der Block 28 auf der Grundlage der typischen Positionsvektoren der drei typischen Entsprechungspunkte und der Objektpositionsvektoren der drei Entsprechungspunkte, ob das Objektdreieck im Wesentlichen ähnlich zu dem typischen Dreieck ist oder nicht. Wenn das Objektdreieck im Wesentlichen ähnlich zu dem typischen Dreieck ist, erkennt der Block 28 ein Objektbild, das das Objektdreieck aufweist, in der Eingabeabbildung als ein Objekt, das durch die typische Abbildung angezeigt wird.
• 18 zeigt ein Flussdiagramm, das ein Verfahren zum Berechnen eines typischen Merkmals für eine typische Abbildung gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung zeigt. Wie es in 18 gezeigt ist, berechnet der Block 23, wenn die Blöcke 23 und 24 ein Verfahren zum Berechnen eines typischen Merkmals initialisieren, ein skaleninvariantes Merkmal von einem typischen Schlüsselpunkt in einer typischen Abbildung in Schritten S710, S720 und S730 auf die gleiche Weise wie in Schritten S 352 bis S354 des Verfahrens, das in 7 gezeigt ist. Dann berechnet der Block 24 in Schritt S740 Differenzen Δx und Δy zwischen Koordinaten (x, y) des einen typischen Schlüsselpunktskoordinaten (x', y') von einem der anderen typischen Schlüsselpunkte in der typischen Abbildung, um einen Positionsvektor (Δx, Δy) des typischen Schlüsselpunkts zu erzielen. In Schritt S750 beurteilt der Block 24, ob die Positionsvektoren des typischen Schlüsselpunkts zu allen anderen typischen Schlüsselpunkten erzielt worden sind oder nicht. In einem Fall einer negativen Beurteilung wird ein anderer Positionsvektor des typischen Schlüsselpunkts in Schritt S740 berechnet. Deshalb werden alle Positionsvektoren des typischen Schlüsselpunkts schließlich als eine Positionsinformation des typischen Schlüsselpunkts erzielt.
• 19 zeigt eine erläuternde Ansicht, die einen Positionsvektor zwischen zwei typischen Schlüsselpunkten von jedem Paar zwischen drei typischen Schlüsselpunkten von einer typischen Abbildung anzeigt. Wie es in 19 gezeigt ist, werden drei typische Schlüsselpunkte A, B und C zum Beispiel aus einer typischen Abbildung extrahiert. Ein Positionsvektor von einem typischen Schlüsselpunkt zu den anderen typischen Schlüsselpunkten ist für jeden typischen Schlüsselpunkt festgelegt. Das heißt, ein Positionsvektor von dem typischen Schlüsselpunkt A zu dem typischen Schlüsselpunkt B und ein Positionsvektor von dem typischen Schlüsselpunkt A zu dem typischen Schlüsselpunkt C werden für den typischen Schlüsselpunkt A festgelegt. Ein Positionsvektor von dem typischen Schlüsselpunkt B zu dem typischen Schlüsselpunkt A und ein Positionsvektor von dem typischen Schlüsselpunkt B zu dem typischen Schlüsselpunkt C werden für den typischen Schlüsselpunkt B festgelegt. Ein Positionsvektor von dem typischen Schlüsselpunkt C zu dem typischen Schlüsselpunkt A und ein Positionsvektor von dem typischen Schlüsselpunkt C zu dem typischen Schlüsselpunkt B werden für den typischen Schlüsselpunkt C festgelegt.
• Es wird zurück auf 18 verwiesen. In Schritt S760 werden das skaleninvariante Merkmal und die Positionsvektoren des typischen Schlüsselpunkts als ein kombiniertes Merkmal des typischen Schlüsselpunkts in einer Datenbank gespeichert. In Schritt S770 beurteilt der Block 28, ob kombinierte Merkmale von allen typischen Schlüsselpunkten in der typischen Abbildung berechnet werden oder nicht. In einem Fall der negativen Beurteilung wird ein kombiniertes Merkmal von einem anderen typischen Schlüsselpunkt in Schritten S710 bis S760 berechnet. Deshalb werden kombinierte Merkmale von allen typischen Schlüsselpunkten schließlich berechnet und gespeichert. Dieses Verfahren wird für jede der anderen typischen Abbildungen auf die gleiche Weise durchgeführt.
• Danach initialisiert der Block 28 ein Objekt-Beurteilungs- und -Erkennungsverfahren. 20 zeigt ein Flussdiagramm eines Objekt-Beurteilungs- und -Erkennungsverfahrens gemäß dem zweiten Ausführungsbeispiel der vorliegenden Erfindung.
• Wie es in 20 gezeigt ist, beurteilt der Block 28 In Schritt S810, ob mindestens ein Objektentsprechungspunkt in der Eingabeabbildung vorhanden ist oder nicht. In einem Fall der bejahenden Beurteilung führt der Block 28 in Schritt S820 ein Ähnlichkeits-Berechnungsverfahren durch.
• 21 zeigt eine erläuternde Ansicht, die das Ausbilden eines typischen Dreiecks und eines Objektdreiecks zeigt, die einander entsprechen. FIG: 22A zeigt einen Vergleich eines Dreiecks, das durch eine erste Kombination von drei typischen Entsprechungspunkten bestimmt wird, mit einem Dreieck, das durch eine erste Kombination von drei Objektentsprechungspunkten bestimmt wird, 22B zeigt einen Vergleich eines Dreiecks, das durch eine zweite Kombination von drei typischen Entsprechungspunkten bestimmt wird, mit einem Dreieck, das durch eine zweite Kombination von drei Objektentsprechungspunkten bestimmt wird, und 22C zeigt einen Vergleich eines Dreiecks, das durch eine dritte Kombination von drei typischen Entsprechungspunkten bestimmt wird, mit einem Dreieck, das durch eine dritte Kombination von drei Objektentsprechungspunkten bestimmt wird.
• Wie es in 21 gezeigt ist, wird in dem Ähnlichkeits-Berechnungsverfahren ein typisches Dreieck durch drei typische Entsprechungspunkte bestimmt, die beliebig aus einer typischen Abbildung ausgewählt werden, und wird ein Objektdreieck in der Eingabeabbildung durch drei Objektentsprechungspunkte bestimmt, die mit den drei typischen Objektentsprechungspunkten übereinstimmen. Eine Ähnlichkeit zwischen den Dreiecken wird auf der Grundlage der Positionsentsprechungspunkte berechnet. Die Anzahl von Dreiecken, die in jeder Abbildung bestimmt wird, wird mit der Anzahl von Entsprechungspunkten in der Eingabeabbildung erhöht. Zum Beispiel werden, wenn die Eingabeabbildung die Entsprechungspunkte aufweist, vier Objektdreiecke und vier typische Dreiecke bestimmt. In FIG. 22A bis 22C sind drei der vier Dreiecke als ein Beispiel gezeigt. Die Ähnlichkeit wird für jedes Objektdreieck berechnet.
• Dieses Ähnlichkeits-Berechnungsverfahren wird im Detail unter Bezugnahme auf 23 beschrieben. 23 zeigt ein Flussdiagramm des Ähnlichkeits-Berechnungsverfahrens.
• Wie es in 23 gezeigt ist, werden in Schritt S821 drei typischen Entsprechungspunkte, die ein typisches Dreieck bestimmen, beliebig aus einer typischen Abbildung ausgewählt. In Schritt S822 werden drei Positionsvektoren A, B und C der drei Entsprechungspunkte aus Positionen der drei typischen Entsprechungspunkte in der typischen Abbildung festgelegt. Die Vektoren sind gemäß einer Gleichung (17) gegeben. $$\begin{array}{l}\overline{A}=\left(\mathrm{\Delta }{\text{x}}_{\text{tempA}}\text{,}\mathrm{\Delta }{\text{y}}_{\text{tempA}}\right)\hfill \\ \overline{B}=\left(\mathrm{\Delta }{\text{x}}_{\text{tempB}}\text{,}\mathrm{\Delta }{\text{y}}_{\text{tempB}}\right)\hfill \\ \overline{C}=\left(\mathrm{\Delta }{\text{x}}_{\text{tempC}}\text{,}\mathrm{\Delta }{\text{y}}_{\text{tempC}}\right)\hfill \end{array}\}$$

  
• Zum Beispiel bezeichnet, wenn drei typische Entsprechungspunkte A, B und C ausgewählt werden, der Vektor A eine Positionsdifferenz zwischen den Punkten A und B, um eine relative Position des Punkts zu dem Punkt B anzuzeigen, bezeichnet der Vektor B eine Positionsdifferenz zwischen den Punkten B und C, um eine relative Position des Punkts B zu dem Punkt C anzuzeigen, und bezeichnet der Vektor C eine Positionsdifferenz zwischen den Punkten C und A, um eine relative Positionsdifferenz des Punkts C zu dem Punkt A anzuzeigen.
• In Schritt S823 werden drei Objektentsprechungspunkte, die mit den typischen Entsprechungspunkten übereinstimmen, aus der Eingabeabbildung ausgewählt, um eine Kombination von typischen Objektdreiecken zu bestimmen. In Schritt S824 werden drei Positionsvektoren A', B' und C' der drei Objektentsprechungspunkte, die das Objektdreieck bestimmen, aus den Positionen der drei Objektentsprechungspunkte berechnet. Die Vektoren sind gemäß einer Gleichung (18) gegeben. $$\begin{array}{l}\overline{A}\text{'}=\left(\mathrm{\Delta }{\text{x}}_{\text{inA'}}\text{,}\mathrm{\Delta }{\text{y}}_{\text{inA'}}\right)\hfill \\ \overline{B}\text{'}=\left(\mathrm{\Delta }{\text{x}}_{\text{inB'}}\text{,}\mathrm{\Delta }{\text{y}}_{\text{inB'}}\right)\hfill \\ \overline{C}\text{'}=\left(\mathrm{\Delta }{\text{x}}_{\text{inC'}}\text{,}\mathrm{\Delta }{\text{y}}_{\text{inC'}}\right)\hfill \end{array}\}$$

  
• Der Vektor A' bezeichnet eine Positionsdifferenz zwischen zwei Objektentsprechungspunkten A' und B', die mit zwei typischen Entsprechungspunkten übereinstimmen, aus welchen der Vektor A bestimmet wird, und zeigt eine relative Position des Punkts A' zu dem Punkt B' an. Der Vektor B' bezeichnet eine Positionsdifferenz zwischen zwei Objektentsprechungspunkten B' und C', die mit zwei typischen Entsprechungspunkten übereinstimmen, aus welchen der Vektor B bestimmt wird, und zeigt eine relative Position des Punkts B' zu dem Punkt C' an. Der Vektor C' bezeichnet eine Positionsdifferenz zwischen zwei Objektentsprechungspunkten C' und A', die mit zwei typischen Entsprechungspunkten übereinstimmen, aus welchen der Vektor C bestimmt wird, und zeigt eine relative Position des Punkts C' zu dem Punkt A' an.
• In Schritt S825 wird eine Ähnlichkeit Sim zwischen den typischen Dreiecken, die durch die typischen Entsprechungspunkte bestimmt werden, und dem Objektdreieck, das durch die Objektentsprechungspunkte bestimmt wird, aus Elementen der Vektoren berechnet. Die Ähnlichkeit Sim ist gemäß einer Gleichung (19) gegeben. $$Sim=\left|\frac{\Vert \overline{A}\text{'}\Vert }{\Vert \overline{A}\Vert }-\frac{\Vert \overline{B}\text{'}\Vert }{\Vert \overline{B}\Vert }\right|+\left|\frac{\Vert \overline{B}\text{'}\Vert }{\Vert \overline{B}\Vert }-\frac{\Vert \overline{C}\text{'}\Vert }{\Vert \overline{C}\Vert }\right|+\left|\frac{\Vert \overline{C}\text{'}\Vert }{\Vert \overline{C}\Vert }-\frac{\Vert \overline{A}\text{'}\Vert }{\Vert \overline{A}\Vert }\right|$$

  
• Jedes Dreieck weist drei Seiten auf, die denjenigen des anderen Dreiecks entsprechen, und die entsprechenden Seiten in jedem Satz weisen ein Längenverhältnis auf. Die Ähnlichkeit Sim wird durch Zusammenaddieren einer absoluten Differenz zwischen den ersten und zweiten Längenverhältnissen, einer absoluten Differenz zwischen den zweiten und dritten Längenverhältnissen und einer absoluten Differenz zwischen den dritten und ersten Längenverhältnissen berechnet. Deshalb wird, wenn sich ein Dreieck einer ähnlichen Figur des anderen Dreiecks annähert, ein Wert der Ähnlichkeit Sim verringert und wird ein Pegel einer Ähnlichkeit zwischen den Dreiecken erhöht. Wenn die Dreiecke vollständig zueinander ähnlich sind, wird die Ähnlichkeit Sim gleich null.
• Die Ähnlichkeit Sim ist äquivalent zu einer Ähnlichkeit zwischen einer Beziehung zwischen relativen Positionen der drei Objektentsprechungspunkte zueinander und einer Beziehung zwischen relativen Positionen der drei typischen Entsprechungspunkte zueinander.
• In Schritt S826 beurteilt der Block 28, ob Ähnlichkeiten für alle Kombinationen von typischen und Objektdreiecken berechnet worden sind oder nicht. In einem Fall der negativen Beurteilung wird eine Ähnlichkeit in einer anderen Kombination in Schritten S821 bis S825 berechnet. Wenn Ähnlichkeiten für alle Kombinationen berechnet worden sind, ist das Ähnlichkeits-Berechnungsverfahren beendet.
• Es wird zurück auf 20 verwiesen. In Schritt S830 beurteilt der Block 28 auf der Grundlage der Ähnlichkeiten Sim, ob die typischen Dreiecke und Objektdreiecke mindestens einer Kombination im Wesentlichen zueinander ähnlich sind oder nicht. Anders ausgedrückt beurteilt der Block 28, ob ein Wert der Ähnlichkeit Sim in mindestens einer Kombination niedriger als ein vorbestimmter Wert ist oder nicht. Wenn ein Objektbild, das mit einer typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, werden die Dreiecke ähnlich zueinander. Die Ähnlichkeit der Dreiecke wird auch dann erzielt, wenn es eine Skalendifferenz oder eine Drehungsdifferenz zwischen dem Objektbild und der typischen Abbildung gibt.
• Wenn die Dreiecke in einer Kombination im Wesentlichen zueinander ähnlich sind, führt der Block 28 in Schritt S840 eine Beurteilung bezüglich eines Skalenverhältnisses auf die gleiche Weise wie die in Schritt S550 (siehe 11) durch. In einem Fall der bejahenden Beurteilung führt der Block 28 in Schritt S850 eine Beurteilung bezüglich einer Drehungsdifferenz θtemp - θin auf die gleiche Weise wie in Schritt S560 (siehe FIG: 11) durch. In einem Fall der bejahenden Beurteilung beurteilt der Block 28 in Schritt S860, dass ein Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung mit der typischen Abbildung übereinstimmt. Dann erkennt der Block 28 das Objektbild als ein Objekt, das durch die typische Abbildung angezeigt wird. Deshalb ist das Objekt-Beurteilungs- und -Erkennungsverfahren beendet. Im Gegensatz dazu beurteilt der Block 28 in einem Fall der negativen Beurteilung in Schritt S810, S830, S840 oder Schritt S850 in Schritt S870, dass kein Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist. Deshalb erkennt der Block 28 kein Objekt, das durch die typische Abbildung angezeigt wird. Das Objekt-Beurteilungs- und -Erkennungsverfahren wird für jede der anderen typischen Abbildungen auf die gleiche Weise wiederholt und das Objekt-Erkennungsverfahren ist beendet.
• Wie es zuvor beschrieben worden ist, werden in der Vorrichtung 1 gemäß diesem Ausführungsbeispiel der vorliegenden Erfindung, alle Kombinationen von typischen Dreiecken und Objektdreiecken festgelegt und wird eine Ähnlichkeit zwischen den typischen Dreiecken und Objektdreiecken in jeder Kombination aus Positionsvektoren von drei typischen Entsprechungspunkten die das typische Dreieck bestimmen, und Positionsvektoren von drei Objektentsprechungspunkten berechnet, die mit den typischen Entsprechungspunkten übereinstimmen. Wenn die Ähnlichkeit zwischen den typischen Dreiecken und Objektdreiecken in einer Kombination anzeigt, dass die Dreiecke im Wesentlichen zueinander ähnlich sind, beurteilt die Vorrichtung 1, dass ein Objektbild, das mit der typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist.
• Demgemäß kann die Vorrichtung 1 auch dann, wenn Schlüsselpunkte eines Objektbilds, die mit der typischen Abbildung übereinstimmen, unzureichend aus einer Eingabeabbildung extrahiert werden, zuverlässig das Objektbild als ein Objekt erkennen, das durch die typische Abbildung angezeigt wird.
• Ausgestaltungen
• In diesem Ausführungsbeispiel der vorliegenden Erfindung wird ein Objektbild, das mit einer typischen Abbildung übereinstimmt, als ein Objekt, das durch die typische Abbildung angezeigt wird, auf der Grundlage einer Ähnlichkeit zwischen typischen Dreiecken und Objektdreiecken erkannt und stellt diese Ähnlichkeit eine Ähnlichkeit zwischen einer Beziehung zwischen Relativpositionen der drei Objektentsprechungspunkte, die das Objektdreieck bestimmen, und einer Ähnlichkeit zwischen einer Beziehung zwischen Relativpositionen der drei typischen Entsprechungspunkte dar, die das typische Dreieck bestimmen. Deshalb kann die Vorrichtung 1, wenn mindestens drei Objektentsprechungspunkte erzielt werden, das Objekt erkennen. Jedoch kann auch dann, wenn die Anzahl der Objektentsprechungspunkte, die erforderlich sind, um ein Objekt zu erkennen, erhöht ist, ein Objekt, das durch eine typische Abbildung angezeigt wird, auf der Grundlage einer Ähnlichkeit zwischen typischen Polygonfiguren und Objektpolygonfiguren erkannt werden.
• In den ersten und zweiten Ausführungsbeispielen der vorliegenden Erfindung wird das Objekt-Beurteilungs- und -Erkennungsverfahren unberücksichtigt der Anzahl von typischen Entsprechungspunkten oder der Anzahl von Objektentsprechungspunkten durchgeführt. Jedoch ist, wenn die Anzahl von Objektentsprechungspunkten verglichen mit der Anzahl von typischen Schlüsselpunkten ausreichend groß ist, ein Objektbild, das mit einer typischen Abbildung übereinstimmt, mit einer hohen Wahrscheinlichkeit in der Eingabeabbildung vorhanden. Im Gegensatz dazu gibt es, wenn die Anzahl von Objektentsprechungspunkten verglichen mit der Anzahl von typischen Schlüsselpunkten klein ist, eine Wahrscheinlichkeit, das ein großer Teil des Objekts, das mit einer typischen Abbildung übereinstimmt, aufgrund eines Verdeckens hinter einem anderen Objekt versteckt ist. Deshalb ist die Wahrscheinlichkeit, das ein Objektbild, das mit einer typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, nicht null, sondern ist das Objektbild in der Eingabeabbildung mit einer niedrigen Wahrscheinlichkeit vorhanden. Aus diesem Grund kann der Block 28, wenn ein Verhältnis der Anzahl von Objektentsprechungspunkten zu der Anzahl von typischen Schlüsselpunkten höher als ein vorbestimmter Wert ist, beurteilen, dass ein Objektbild, das mit einer typischen Abbildung übereinstimmt, in der Eingabeabbildung vorhanden ist, um das Objektbild als ein Objekt zu erkennen, das durch die typische Abbildung angezeigt wird. Zum Beispiel ist, wenn die Anzahl von Objektentsprechungspunkten 80% der Anzahl von typischen Schlüsselpunkten überschreitet, ein Objektbild, das mit einer typischen Abbildung übereinstimmt, mit einer sehr hohen Wahrscheinlichkeit in der Eingabeabbildung vorhanden.
• Weiterhin werden in dem Entsprechungspunkt-Festlegeverfahren (siehe 9) des ersten Ausführungsbeispiels der vorliegenden Erfindung, wenn eine Differenz zwischen dem höchsten Pegel einer Ähnlichkeit und dem zweithöchsten Pegel einer Ähnlichkeit mehr als ein vorbestimmte Pegel ist, ein typischer Schlüsselpunkt und ein Objektschlüsselpunkt, die den höchsten Pegel einer Ähnlichkeit aufweisen, als eine Kombination eines typischen Entsprechungspunkts und eines Objektentsprechungspunkts festgelegt, die miteinander übereinstimmen. Jedoch können ein typischer Schlüsselpunkt und ein Objektschlüsselpunkt, die die höchste Ähnlichkeit zwischen Ähnlichkeiten zwischen den typischen Schlüsselpunkten und den Objektschlüsselpunkten aufweisen, immer als eine Kombination eines typischen Entsprechungspunkts und eines Objektentsprechungspunkts, die miteinander übereinstimmen, für jeden typischen Schlüsselpunkt festgelegt werden. Weiterhin können ein typischer Schlüsselpunkt und ein Objektschlüsselpunkt, die die höchste Ähnlichkeit zwischen Ähnlichkeiten zwischen den typischen Schlüsselpunkten und dem Objektschlüsselpunkt aufweisen, als eine Kombination eines typischen Entsprechungspunkts und eines Entsprechungspunkts, die miteinander übereinstimmen, für jeden Objektschlüsselpunkt festgelegt werden.
• In den ersten und zweiten Ausführungsbeispielen der vorliegenden Erfindung wird die Zeichen-Erkennungsvorrichtung 1, die in ein Fahrzeug eingebaut ist, für eine Objekt-Erkennungsvorrichtung gemäß der vorliegenden Erfindung angewendet. Jedoch kann irgendeine Erkennungsvorrichtung als eine Objekt-Erkennungsvorrichtung unter der Bedingung angewendet werden, dass die Vorrichtung das Extrahieren von Schlüsselpunkten aus der typischen Abbildung und der Eingabeabbildung und das Berechnen von Merkmalen der Schlüsselpunkte durchführt und imstande ist, zu erkennen, wenn ein Objektbild der Eingabeabbildung mit der typischen Abbildung übereinstimmt.
• In dieser Beschreibung wird der Ausdruck „eine Positionsbeziehung zwischen Objektentsprechungspunkten ist ähnlich zu einer Positionsbeziehung zwischen typischen Entsprechungspunkten“ verwendet. Dieser Ausdruck bedeutet, dass, wenn eine Objektpolygonfigur, die durch Verbinden der Objektentsprechungspunkte miteinander erzielt wird, angemessen in der Eingabeabbildung vergrößert oder verkleinert wird, die Objektpolygonfigur, die angemessen vergrößert oder verkleinert ist, kongruent zu einer typischen Polygonfigur werden kann, die durch Verbinden der typischen Entsprechungspunkte miteinander erzielt wird. Anders ausgedrückt bedeutet der Ausdruck, dass die Objektpolygonfigur ähnlich zu der typischen Polygonfigur ist.

Claims (4)

1. Objekt-Erkennungsvorrichtung, die aufweist: eine Einheit zum Extrahieren eines typischen Merkmalspunkts, die eine Mehrzahl von typischen Merkmalspunkten aus einer typischen Abbildung extrahiert; eine Einheit zum Berechnen eines ersten Merkmals, die ein Merkmal von jedem typischen Merkmal aus Abbildungsdaten der typischen Abbildung berechnet; eine Einheit zum Extrahieren eines Objektmerkmalspunkts, die eine Mehrzahl von Objektmerkmalspunkten aus einer Eingabeabbildung extrahiert; eine Einheit zum Berechnen eines zweiten Merkmals, die ein Merkmal von jedem Objektmerkmalspunkt aus Abbildungsdaten der Eingabeabbildung berechnet; eine Entsprechungspunkt-Festlegeeinheit, die Ähnlichkeiten zwischen dem Merkmal von einem typischen Merkmalspunkt und den Merkmalen der Objektmerkmalspunkte zu jedem typischen Merkmalspunkt berechnet, auf der Grundlage der Ähnlichkeiten beurteilt, ob die Merkmale von beiden eines typischen Merkmalspunkts und eines Objektmerkmalspunkts in jedem Paar zueinander ähnlich sind oder nicht, und einen typischen Merkmalspunkt und einen Objektmerkmalspunkt in jedem Paar, das die zueinander ähnlichen Merkmale aufweist, als einen typischen Entsprechungspunkt und einen Objektentsprechungspunkt festlegt, die miteinander übereinstimmen; eine Informations-Erzeugungseinheit, die eine Positionsinformation erzeugt, die Positionen der typischen Merkmalspunkte in der typischen Abbildung anzeigt; eine Beurteilungseinheit, die auf der Grundlage der Positionsinformation der typischen Entsprechungspunkte beurteilt, ob eine Positionsbeziehung zwischen oder unter den Objektentsprechungspunkten im Wesentlichen ähnlich zu einer Positionsbeziehung zwischen oder unter den typischen Entsprechungspunkten ist oder nicht; und eine Erkennungseinheit, die ein Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung als ein Objekt erkennt, das durch die typische Abbildung angezeigt wird, wenn die Beurteilungseinheit beurteilt, dass die Positionsbeziehungen im Wesentlichen zueinander gleich sind; wobei die Informations-Erzeugungseinheit dazu ausgelegt ist, die typischen Positionsvektoren, die relative Positionen von einem typischen Merkmal zu dem anderen von Merkmalspunkten in der typischen Abbildung anzeigen, als die Positionsinformation des typischen Merkmalspunkts für jeden typischen Merkmalspunkt in der typischen Abbildung festzulegen; und die Beurteilungseinheit dazu ausgelegt ist, Objektpositionsvektoren, die relative Positionen von jedem Objektentsprechungspunkt zu den anderen Objektentsprechungspunkten in der Eingabeabbildung anzeigen, zu berechnen, eine erste Positionsbeziehung zwischen den typischen Entsprechungspunkten aus den typischen Positionsvektoren der typischen Entsprechungspunkte zu bestimmen, eine zweite Positionsbeziehung zwischen den Objektentsprechungspunkten aus den Objektpositionsvektoren der Objektentsprechungspunkte in der Eingabeabbildung zu bestimmen, und zu beurteilen, ob die erste und zweite Positionsbeziehung im Wesentlichen zueinander ähnlich sind oder nicht; und die Erkennungseinheit dazu ausgelegt ist, das Objekt als Reaktion auf die Beurteilung der Beurteilungseinheit zu erkennen.
2. Vorrichtung nach Anspruch 1, wobei die Beurteilungseinheit dazu ausgelegt ist, drei der typischen Entsprechungspunkte auszuwählen, ein typisches Dreieck, das durch die drei typischen Entsprechungspunkte bestimmt ist, festzulegen, ein Objektdreieck, das durch drei Objektentsprechungspunkte bestimmt ist, die mit den drei typischen Objektentsprechungspunkten übereinstimmen, festzulegen, auf der Grundlage der typischen Positionsvektoren der drei typischen Entsprechungspunkte der Objektpositionsvektoren der drei Objektentsprechungspunkte zu beurteilen, ob das Objektdreieck im Wesentlichen ähnlich zu dem typischen Dreieck ist oder nicht, und die Erkennungseinheit dazu ausgelegt ist, das Objekt zu erkennen, wenn das Objektdreieck im Wesentlichen ähnlich zu dem typischen Dreieck ist.
3. Vorrichtung nach Anspruch 1, wobei das Objektbild der Eingabeabbildung eine Skala oder eine Drehung aufweist, die zu der der typischen Abbildung unterschiedlich sind.
4. Objekt-Erkennungsvorrichtung, die aufweist: eine Einheit zum Extrahieren eines typischen Merkmalspunkts, die eine Mehrzahl von typischen Merkmalspunkten aus einer typischen Abbildung extrahiert; eine Einheit zum Berechnen eines ersten Merkmals, die ein Merkmal von jedem typischen Merkmalspunkt aus Abbildungsdaten der typischen Abbildung berechnet; eine Objektmerkmalspunkt-Extraktionseinheit, die eine Mehrzahl von Objektmerkmalspunkten aus einer Eingabeabbildung extrahiert; eine Einheit zum Berechnen eines zweiten Merkmals, die ein Merkmal von jedem Objektmerkmalspunkt aus Abbildungsdaten der Eingabeabbildung berechnet; eine Entsprechungspunkt-Festlegeeinheit, die Ähnlichkeiten zwischen den Merkmalen von einem typischen Merkmalspunkt und den Merkmalen der Objektmerkmalspunkte für jeden typischen Merkmalspunkt berechnet, auf der Grundlage der Ähnlichkeiten beurteilt, ob die Merkmale von beiden des einen typischen Merkmalspunkts und des einen Objektmerkmalspunkts in jedem Paar zueinander ähnlich sind oder nicht, und einen typischen Merkmalspunkt und einen Objektmerkmalspunkt in jedem Paar, die die zueinander ähnlichen Merkmale aufweisen, als einen typischen Entsprechungspunkt und einen Objektentsprechungspunkt festlegt, die miteinander übereinstimmen; eine Beurteilungseinheit, die beurteilt, ob ein Verhältnis der Anzahl von Objektentsprechungspunkten zu der Anzahl von typischen Merkmalspunkten höher als ein vorbestimmter Wert ist oder nicht; und eine Erkennungseinheit, die ein Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung als ein Objekt erkennt, das durch die typische Abbildung angezeigt wird, wenn die Beurteilungseinheit beurteilt, dass das Verhältnis der Anzahl von Objektentsprechungspunkten zu der Anzahl von typischen Merkmalspunkten höher als der vorbestimmte Wert ist; und eine Informations-Erzeugungseinheit, die eine Positionsinformation erzeugt, die Positionen der typischen Merkmalspunkte in der typischen Abbildung anzeigt; wobei die Beurteilungseinheit auf der Grundlage der Positionsinformation der typischen Entsprechungspunkte beurteilt, ob eine Positionsbeziehung zwischen oder unter den Objektentsprechungspunkten im Wesentlichen ähnlich zu einer Positionsbeziehung zwischen oder unter den typischen Entsprechungspunkten ist oder nicht, wenn beurteilt wird, dass das Verhältnis der Anzahl von Objektentsprechungspunkten zu der Anzahl von typischen Merkmalspunkten gleich oder kleiner als der vorbestimmter Wert ist; die Erkennungseinheit das Objektbild, das die Objektentsprechungspunkte aufweist, in der Eingabeabbildung als ein Objekt erkennt, das durch die typische Abbildung angezeigt wird, wenn die Beurteilungseinheit beurteilt, dass die Positionsbeziehungen im Wesentlichen zueinander gleich sind; die Informations-Erzeugungseinheit dazu ausgelegt ist, die typischen Positionsvektoren, die relative Positionen von einem typischen Merkmal zu dem anderen von Merkmalspunkten in der typischen Abbildung anzeigen, als die Positionsinformation des typischen Merkmalspunkts für jeden typischen Merkmalspunkt in der typischen Abbildung festzulegen; und die Beurteilungseinheit dazu ausgelegt ist, Objektpositionsvektoren, die relative Positionen von jedem Objektentsprechungspunkt zu den anderen Objektentsprechungspunkten in der Eingabeabbildung anzeigen, zu berechnen, eine erste Positionsbeziehung zwischen den typischen Entsprechungspunkten aus den typischen Positionsvektoren der typischen Entsprechungspunkte zu bestimmen, eine zweite Positionsbeziehung zwischen den Objektentsprechungspunkten aus den Objektpositionsvektoren der Objektentsprechungspunkte in der Eingabeabbildung zu bestimmen, und zu beurteilen, ob die erste und zweite Positionsbeziehung im Wesentlichen zueinander ähnlich sind oder nicht; und die Erkennungseinheit dazu ausgelegt ist, das Objekt als Reaktion auf die Beurteilung der Beurteilungseinheit zu erkennen.

Images