DE102017223559B4

DE102017223559B4 - Vorrichtung zum fokussieren einer kamera und steuerverfahren für diese

Info

Publication number: DE102017223559B4
Application number: DE102017223559.4A
Authority: DE
Inventors: Shin-Wook Kim
Original assignee: Mando Hella Electronics Corp
Current assignee: HL Klemove Corp
Priority date: 2017-09-12
Filing date: 2017-12-21
Publication date: 2021-06-24
Anticipated expiration: 2037-12-22
Also published as: KR101909022B1; US10129456B1; DE102017223559A1

Abstract

Vorrichtung zum Fokussieren einer Kamera, die automatisch eine Fokussierung durch Bewegen einer Fokussierlinse mittels eines Fokussierlinsen-Antriebsmotors (40) einstellt, wobei die Vorrichtung aufweist:eine Bilderwerbsvorrichtung (10), die zum Erhalten eines Vollbilds konfiguriert ist;eine neuromorphe Hardware (30) enthaltend eine Vielzahl von durch einen parallelen Bus verbundenen Neuronen, wobei die Neuronen Kantenmustervektoren, die durch Vektorisieren vorher gelernter Kantenmuster, durch die Kanten eines Bilds spezifizierbar sind, erzeugt wurden; undeine Steuervorrichtung (20), die konfiguriert ist zum Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung (10) eingegebenen Vollbilds, zum Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern, zum Erzeugen von Eingabevektoren durch Vektorisieren von von jedem der Fenster erhaltenen Bilddaten durch Gleiten der Fenster, zum Eingeben jedes der erzeugten Eingabevektoren in die neuromorphe Hardware (30), zum Auswählen von Neuronen, die jeweils einen Kantenmustervektor haben, der jedem der Eingangsvektoren am ähnlichsten ist, aus der Vielzahl von Neuronen,zum Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingabevektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen, zum Berechnen eines Fokussierparameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte, zum Vergleichen des Fokussierparameterwerts eines gegenwärtigen Vollbilds und eines Fokussierparameterwerts eines früheren Vollbilds, zum Bestimmen einer Bewegungsrichtung der Fokussierlinse derart, dass eine Fokussierung mit Bezug auf die Vollbilder gemäß einem Vergleichsergebnis zunimmt, und zum Bewegen der Fokussierlinse durch den Fokussierlinsen-Antriebsmotor (40) auf der Grundlage der bestimmten Bewegungsrichtung.

Description

HINTERGRUND
Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Vorrichtung und ein Verfahren zum Fokussieren einer Kamera, und insbesondere auf eine Vorrichtung und ein Verfahren zum automatischen Fokussieren einer Kamera.
Beschreibung des Standes der Technik
Im Allgemeinen beeinflusst ein Abstand zwischen einer Kamera und einem Gegenstand eine Fokussierung der Kamera. Das heißt, wenn der Abstand von dem Subjekt vergrößert oder verkleinert wird, bewegt sich eine Kameralinse angemessen hin und her, um in einer optimalen Position in der Weise zu sein, dass ein Bild genau fokussiert ist.
Herkömmlich wird eine Kante eines durch eine Linse erworbenen Bilds erfasst und eine optische Fokussierposition wird durch Antreiben einer Fokussierlinse, um nach einem Punkt zu suchen, an dem ein entsprechender Kantenwert einen maximalen Wert erreicht, gefunden. Das heißt, die Fokuslinse wiederholt das Antreiben in Hin- und Herrichtung Schritt für Schritt durch einen Schrittmotor und erhält einen Kantenwert bei jedem Schritt, und die Suche wird wiederholt, bis der Kantenwert einen maximalen Wert erreicht.
Jedoch ist in dem Fall eines sich schnell bewegenden Gegenstands oder einer in einem sich schnell bewegenden Objekt wie einem Fahrzeug oder einem Flugzeug befestigten Kamera ein schnelles Auffinden einer Fokussierposition von höchster Wichtigkeit, und während dieses Prozesses können ein übermäßiger Rechenaufwand oder eine Zeitverzögerung für die Fokussiereinstellung auftreten.
Die Veröffentlichung DE 10 2016 118 192 A1 offenbart eine Fokuserfassungsvorrichtung, ein Prädiktionsverfahren und ein zugehöriges Speichermedium. Gemäß der Veröffentlichung DE 10 2016 118 192 A1 erfasst eine CPU einen Bildversetzungsausmaß unter Verwendung eines von einem Bildsensor beschafften Signals und wandelt das Bildversetzungsausmaß in ein Defokussierausmaß unter Verwendung eines Umwandlungsfaktors um. Die CPU sagt eine zukünftige Bildebenen-Position eines bewegten Objekts beruhend auf dem Defokussierausmaß, einer Zeit bezüglich einer Fokuserfassung und einer Position einer Linse voraus. Die CPU korrigiert den Umwandlungsfaktor unter Verwendung der Bildebenen-Position des bewegten Objekts und/oder der Zeit bezüglich der Fokuserfassung und/oder der Linsenposition. Die CPU sagt die zukünftige Bildebenen-Position des bewegten Objekts unter Verwendung des korrigierten Umwandlungsfaktors voraus.
Die Veröffentlichung US 2017/054896 A1 beschreibt eine Bildgebungsvorrichtung, die eine kontinuierliche Bildgebung durchführt. Die Bildgebungsvorrichtung umfasst eine Fokussierungsfassungseinheit, die eine Fokussierungserkennung durchführt und einen Betrag einer Defokussierung in jeder von mehreren Bildgebungsvorgängen berechnet; eine Positionserfassungseinheit, die eine Bildebenenposition entsprechend einer Objektposition unter Verwendung des Defokussierungsbetrags erfasst; eine Schätzeinheit, die eine nächste Bildebenenposition unter Verwendung einer Vielzahl von Datenpaaren bezüglich der Bildebenenposition und eines Zeitpunkts schätzt, zu dem der Betrag der Defokussierung erfasst wurde; und eine Umkehr-Bestimmungseinheit, die bestimmt, ob ein Subjekt ein Umkehr-Subjekt ist, das ein Subjekt ist, das sich in Richtung der Abbildungsvorrichtung bewegt, die Bewegungsrichtung ändert und sich dann von der Abbildungsvorrichtung wegbewegt. Die Anzahl der für die Schätzung verwendeten Datenpaare nimmt basierend auf einem Verhältnis der höchsten Geschwindigkeit der Bildebene in vergangenen Szenen zu einer aktuellen Geschwindigkeit der Bildebene ab.
Die Veröffentlichung US 2015/358549 A1 beschreibt ein Verfahren, das von einem elektronischen Gerät ausgeführt wird, zum Einstellen mindestens eines Bilderfassungsparameters in einem Vorschaumodus. Das Verfahren kann das Erfassen eines Vorschaubildes einer Szene mit mindestens einem Textobjekt basierend auf einem Satz von Bilderfassungsparametern umfassen. Das Verfahren kann auch mehrere Textbereiche in dem Vorschaubild identifizieren. Aus der Vielzahl von Textbereichen kann ein Zielfokusbereich ausgewählt werden. Basierend auf dem Zielfokusbereich kann der mindestens eine Bilderfassungsparameter angepasst werden.
KURZFASSUNG
Es ist eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum Fokussieren einer Kamera anzugeben, die eine neuromorphe Hardware verwenden, um den zum Berechnen von Kanten eines Bilds benötigten Rechenaufwand zu verringern.
Zusätzliche Aspekte der vorliegenden Erfindung sind teilweise in der folgenden Beschreibung wiedergegeben und ergeben sich teilweise als offensichtlich aus der Beschreibung, oder sie können durch Ausüben der vorliegenden Erfindung erfahren werden.
Gemäß der vorliegenden Erfindung enthält eine Vorrichtung zum Fokussieren einer Kamera, die automatisch eine Fokussierung durch Bewegen einer Fokussierlinse mittels eines Fokussierlinsen-Antriebsmotors einstellt: eine Bilderwerbsvorrichtung, die konfiguriert ist zum Erhalten eines Vollbilds; eine neuromorphe Hardware enthaltend eine Vielzahl von Neuronen, die durch einen parallelen Bus verbunden sind, wobei die Neuronen Kantenmustervektoren speichern, die durch Vektorisieren vorher gelernter Kantenmuster erzeugt wurden, die in der Lage sind, Kanten eines Bilds zu spezifizieren; und eine Steuervorrichtung, die konfiguriert ist zum Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung eingegebenen Vollbilds, zum Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern, zum Erzeugen von Eingangsvektoren durch Vektorisieren von Bilddaten, die anhand jedes der Fenster erworben wurden, durch Gleiten der Fenster, zum Eingeben jedes der erzeugten Eingangsvektoren in die neuromorphe Hardware, zum Auswählen von Neuronen, jeweils mit einem Kantenmustervektor, der jedem der Eingangsvektoren von der Vielzahl von Neuronen am ähnlichsten ist, zum Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingangsvektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen, zum Berechnen eines Fokussierparameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte, zum Vergleichen des Fokussierparameterwerts eines gegenwärtigen Vollbilds und eines Fokussierparameterwerts eines vorhergehenden Vollbilds, zum Bestimmen einer Bewegungsrichtung der Fokussierlinse derart, dass eine Fokussierung mit Bezug auf die Vollbilder gemäß einem Vergleichsergebnis zunimmt, und zum Bewegen der Fokussierlinse durch den Fokussierlinsen-Antriebsmotor auf der Grundlage der bestimmten Bewegungsrichtung.
Die Steuervorrichtung kann die Anzahl von Kantenmustern des Vollbilds und einen Durchschnitt der relativen Abstandswerte auf der Grundlage der empfangenen Kantenmuster-Typenwerte und relativer Abstandswerte berechnen, und kann den Fokussierparameterwert des Vollbilds auf der Grundlage der berechneten Anzahl von Kantenmustern und des Durchschnittswerts berechnen.
Die Steuervorrichtung kann den Fokussierparameterwert (F) durch die folgenden Gleichungen 1 und 2 berechnen: $F_{m} = N_{F} + μ \frac{1}{D_{F}}$
$D_{F} = \frac{1}{N_{F}} \sum_{i = 1}^{N_{F}} d i s t_{i}$
wobei F_m einen Fokussierparameter-Berechnungswert eines m^th-Vollbilds darstellt, N_F die Anzahl von durch die neuromorphe Hardware als Kanten erkannten Fenster darstellt, D_F einen Durchschnitt von Abstandswerten der als Kanten erkannten Fenster darstellt, dist_i einen Abstandswert eines Fensters, das als eine Kante erkannt wurde, darstellt, und u einen Koeffizienten zum Erfassen eines Verhältnisses zwischen zwei Parametern mit unterschiedlichen physischen Charakteristiken darstellt.
In der Vielzahl von Neuronen der neuromorphen Hardware gespeicherte Bildkantenmustervektoren können eines von vertikalen, horizontalen, 45-Grad-diagonalen und 135-Grad-diagonalen Kantenmustern sein.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist ein Verfahren zum Steuern einer Vorrichtung zum Fokussieren einer Kamera, die eine Bilderwerbsvorrichtung, die zum Erwerben eines Vollbilds konfiguriert ist, eine neuromorphe Hardware, die zum Enthalten einer Vielzahl von durch einen parallelen Bus verbundenen Neuronen konfiguriert ist, wobei die Neuronen Kantenmustervektoren speichern, die durch Vektorisieren vorher gelernter Kantenmuster, die zum Spezifizieren von Kanten eines Bilds in der Lage sind, erzeugt wurden, einen Fokussierlinsen-Antriebsmotor, der zum Bewegen einer Fokuslinse konfiguriert ist, und eine Steuervorrichtung enthält, vorgesehen, das enthält: Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung eingegebenen Vollbilds; Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern; Erzeugen von Eingabevektoren durch Vektorisieren von Bilddaten, die von jedem der Fenster erhalten wurden durch Gleiten der Fenster; Eingeben jedes der erzeugten Eingabevektoren in die neuromorphe Hardware; Auswählen von Neuronen, von denen jedes einen Kantenmustervektor hat, der jedem der Eingabevektoren von der Vielzahl von Neuronen am ähnlichsten ist; Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingabevektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen; Berechnen eines Fokussierparameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte; Vergleichen des Fokussierparameterwerts eines gegenwärtigen Vollbilds und eines Fokussierparameterwerts eines vorhergehenden Vollbilds; Bestimmen einer Bewegungsrichtung der Fokussierlinse, so dass die Fokussierung mit Bezug auf die Vollbilder gemäß dem Vergleichsergebnis zunimmt; und Bewegen der Fokussierlinse durch den Fokussierlinsen-Antriebsmotor auf der Grundlage der bestimmten Bewegungsrichtung.
Die Berechnung des Fokussierparameterwerts kann die Berechnung der Anzahl von Kantenmustern des Vollbilds und eines Durchschnitts der relativen Abstandswerte auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte enthalten, und der berechnete Fokussierparameterwert des Vollbilds kann zunehmen, wenn die berechnete Anzahl von Kantenmustern zunimmt und der Durchschnitt abnimmt.
Figurenliste
Diese und/oder andere Aspekte der vorliegenden Offenbarung werden ersichtlich und leichter verständlich anhand der folgenden Beschreibung der Ausführungsbeispiele, die in Verbindung mit den begleitenden Zeichnungen gegeben wird, von denen:

1 ein Steuerblockschaltbild ist, das eine Vorrichtung zum Fokussieren einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert;
2 ein Diagramm zum Beschreiben einer Gleitreihenfolge von Fenstern mit Bezug auf einen interessierenden Bereich (ROI) eines Eingangsbilds in der Vorrichtung zum Fokussieren einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung ist; und
3 ein Diagramm zum Beschreiben eines Erkennungsergebnisses jedes Fensters durch neuromorphe Hardware in der Vorrichtung zum Fokussiereneiner Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung ist.

DETAILLIERTE BESCHREIBUNG
Nachfolgend werden Ausführungsbeispiele der vorliegenden Offenbarung im Einzelnen mit Bezug auf die begleitenden Zeichnungen beschrieben. Die hier dargestellten Ausführungsbeispiele sind beispielhaft wiedergegeben, um dem Fachmann zu ermöglichen, den Bereich der vorliegenden Erfindung vollständig zu verstehen. Die vorliegende Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt und kann in vielen alternativen Formen verkörpert sein. Einzelheiten, die nicht relevant sind, sind in den Zeichnungen weggelassen, um die Klarheit und die Prägnanz zu erhöhen. Breiten, Längen und Dicken von Komponenten in den Zeichnungen können aus Gründen der Zweckmäßigkeit der Beschreibung übertrieben dargestellt sein. Gleiche Zahlen beziehen sich in der gesamten detaillierten Beschreibung und in den Zeichnungen auf gleiche Elemente.
Eine Autofokussierungs(AF)-Funktion ist eine wesentliche Funktion zum Aufrechterhalten einer optimalen Fokussierung in einer Plattform, auf der sich ein Subjekt bewegt und einen Abstand von einer Kamera ändert oder die Kamera sich bewegt.
Herkömmlich wurde die Autofokussierung implementiert durch Messen eines Kantenwerts eines bestimmten Bereichs, der in einem Bild bezeichnet wurde, und Bewegen einer Fokussierlinse in einer Richtung, in der der Kantenwert zunimmt. Alternativ wurde ein Verfahren zur Implementierung der Autofokussierung verwendet, indem ein Bild eines bestimmten Bereichs in eine Frequenzdomäne umgewandelt und eine Fokussierlinse in einer Richtung, in der die Frequenzdomäne zunimmt, bewegt wurde.
Jedoch hat in jüngerer Zeit die Auflösung eines Kamerabilds stark zugenommen auf 4K oder mehr, und in dem Fall einer Kamera, die in einer Fahrzeug- oder einer Flugzeugplattform befestigt ist, ist ein großer Rechenaufwand erforderlich, um die Autofokussierungsfunktion zu implementieren, da sich ein Subjekt oder die Kamera schnell bewegt. Dies kann eine Zunahme von Komponentenpreisen und eine Verlängerung der Entwicklungszeit bewirken.
Daher wird bei einem Ausführungsbeispiel der vorliegenden Offenbarung ein Kantenwert, der durch eine herkömmliche Bildverarbeitungs-Algorithmusoperation erhalten wurde, durch einen Kantenformmuster-Lern- und Erkennungsprozess mittels neuromorpher Hardware ersetzt, wodurch ermöglicht wird, die Autofokussierung zu beschleunigen, ohne dass eine Berechnung erforderlich ist.
Zusätzlich wird durch Einführen eines Konzepts eines Fokussierparameters entsprechend einem Kantenwert ein gegenwärtiger Fokussierzustand durch eine einfache Operation unter Verwendung der Anzahl von Mustern, die als Kanten erkannt werden, und eines relativen Abstandswerts in der neuromorphen Hardware definiert, und eine optimale Fokussierposition wird gesucht durch Vergleichen von Werten auf der Grundlage des gegenwärtigen Fokussierzustands.
1 ist ein Steuerblockschaltbild, das eine Vorrichtung zum Fokussieren einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert.
Gemäß 1 enthält eine Vorrichtung zum Fokussieren einer Kamera eine Bilderwerbsvorrichtung 10, eine Steuervorrichtung 20, eine neuromorphe Hardware 30, die eine neuromorphe Hardware ist, und einen Fokussierlinsen-Antriebsmotor 40.
Die Bilderwerbsvorrichtung 10 enthält einen Bildsensor, der zum Erwerben von Vollbildern konfiguriert ist. Durch eine optische Linse kondensiertes Licht wird auf eine Oberfläche des Bildsensors fokussiert. Der Bildsensor wandelt kondensierte Lichtenergie in ein elektrisches Signal um und erzeugt ein digitales Bild in der Form von Pixeln. Das durch den Bildsensor erzeugte Bildsignal wird zu der Steuervorrichtung 20 gesendet.
Die Steuervorrichtung 20 führt die Gesamtsteuerung der Vorrichtung Fokussieren einer Kamera durch.
Die Steuervorrichtung 20 kann einen Vektorgenerator 21, eine Fokussierungsberechnungsvorrichtung 22 und eine Motorsteuervorrichtung 23 enthalten.
2 ist ein Diagramm zum Beschreiben einer Gleitreihenfolge von Fenstern mit Bezug auf einen interessierenden Bereich (ROI) eines Eingangsbilds in die Vorrichtung zum Fokussiereneiner Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
Gemäß 2 setzt der Vektorgenerator 21 einen ROI bei Bilddaten, die ein von der Bilderwerbsvorrichtung 10 erzeugtes Eingangsbild sind, segmentiert einen mittleren Bereich des gesetzten ROI in kleinere Fenster und wandelt einen Pixelwert jedes entsprechenden Fensters in eine Vektorform um, indem die Fenster gemäß einer Reihenfolge des Gleitens gleiten. In diesem Fall kann die Anzahl von Gleitschritten in einer X-Richtung und in einer Y-Richtung variabel eingestellt werden. Zusätzlich werden Stücke von Bilddaten, die in Einheiten von kleineren Fenstern erhalten werden, jeweils in eine einreihige Vektorform umgewandelt und kontinuierlich zu der neuromorphen Hardware 30 gesendet. Wenn beispielsweise angenommen wird, dass ein 16x16-Fenster das Gleiten mit Bezug auf den gesamten ROI wiederholt, hat ein Eingangsvektor eine Größe von 1 x 256. Stücke von Bilddaten für den gesamten ROI werden zu der neuromorphen Hardware 30 gesendet, während der Eingabevektor das Gleiten wiederholt.
Gemäß 1 kann die neuromorphe Hardware 30 eine Neuroneneinheit 31, eine Erkennungsvorrichtung 32 und eine Lernvorrichtung 33 enthalten. Tausende von als Hardware implementierte Neuronen sind durch einen parallelen Bus verbunden, um die Neuroneneinheit zu bilden. Zusätzlich bilden die Lernvorrichtung 33, die zum Lernen eines Musters konfiguriert ist, und die Erkennungsvorrichtung 32, die zum Erkennen des Musters konfiguriert ist, das Innere der neuromorphen Hardware.
Musterinformationen über einen Kantenbereich, die vorher gelernt wurden, werden in der Lernvorrichtung 33 gespeichert. Kantenmustervektoren, die in der Lernvorrichtung 33 gespeichert sind, können verschiedene Kantenmustervektoren gemäß Winkeländerungen in vertikaler, horizontaler und diagonaler Richtung sein. Derartige verschiedene Kantenmuster können vorher erhalten und in der Lernvorrichtung 33 gespeichert sein. Beispielsweise kann die Lernvorrichtung 33 vertikale, horizontale, 45-Grad-diagonale und 35-Grad-diagonale Musterkanten in einer Vektorform speichern. In diesem Fall sind die Kantenmuster so gespeichert, dass die Typen hiervon voneinander unterschieden werden können.
Die Lernvorrichtung 33 kann die gespeicherten Kantenmustervektoren verwenden, um Kantenmuster durch Laden der Kantenmuster in lokale Speicher einer Vielzahl von in der Neuroneneinheit 31 enthaltenen Neuronen erkennen.
Der in Einheiten von Fenstern umgewandelte und durch den Vektorgenerator 21 der Steuervorrichtung 20 gesendete Eingabevektor wird in die Neuroneneinheit 31 eingegeben. Der Eingabevektor wird durch einen internen parallelen Bus der neuromorphen Hardware gleichzeitig zu allen die Neuroneneinheit 31 bildenden Neuronen gesendet. Jedes der Neuronen berechnet einen Abstand (dist) zwischen einem in dem Speicher des Neurons gespeicherten Kantenmustervektor und dem Eingabevektor und gibt einen Aktivierungssignalwert und einen berechneten Abstandswert aus, wenn der berechnete Abstandswert innerhalb eines Einflussfelds des entsprechenden Neurons ist. Das Aktivierungssignal ist ein Signal, das anzeigt, dass ein Abstand zwischen dem in dem entsprechenden Neuron gespeicherten Kantenmustervektor und dem Eingabevektor innerhalb des Einflussfelds des Neurons ist.
Die Erkennungsvorrichtung 32 sammelt die Aktivierungssignale und die Abstandswerte, die von den jeweiligen Neuronen der Neuroneneinheit 31 empfangen wurden, und wählt ein Neuron mit dem geringsten relativen Abstand zu dem Eingabevektor aus allen Neuronen auf der Grundlage eines „Gewinner nimmt alles (WTA)“-Verfahrens aus.
In diesem Fall gibt das ausgewählte Neuron einen Kathegorie(CAT)-Wert, der einen Mustertyp, den das ausgewählte Neuron hat, anzeigt, und einen Abstandswert (dist) aus. Das heißt, wenn der Eingabevektor, der ein Teilbereich des Eingangsbilds ist, in die neuromorphe Hardware 30 eingegeben wird, wird eine Ähnlichkeitssuche bei verschiedenen Typen von Kantenmustern, die die Neuronen besitzen, durchgeführt, um ein Kantenmuster zu finden, das einem eingegebenen Wert am ähnlichsten ist, und ein CAT-Wert und ein Abstandswert (dist) eines Kantenmusters mit der größten Ähnlichkeit werden ausgegeben, wenn es vorhanden ist.
3 ist ein Diagramm zum Beschreiben eines Erkennungsergebnisses jedes Fensters durch die neuromorphe Hardware in der Vorrichtung zum Fokussieren einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
Gemäß 3 erkennt die neuromorphe Hardware 30 einen empfangenen Eingabefenstervektor, und wenn ein ähnliches Kantenmuster in einem Neuron der Neuroneneinheit 31 vorhanden ist, gibt die neuromorphe Hardware 30 einen Typen- und relativen Abstandswert (dist) des Kantenmusters aus. Wenn eines von einem vertikalen, horizontalen, 45-Grad-diagonalen und 135-Grad-diagonalen Kantenmuster in den Neuronen gespeichert ist, wird ein Typenwert (CAT-Wert) des entsprechenden Kantenmusters ausgegeben.
Wenn die neuromorphe Hardware 30 gemäß 1 die Erkennung des gesamten ROI beendet, berechnet die Fokussierungsberechnungsvorrichtung 22 der Steuervorrichtung 20 einen Fokussierparameterwert durch eine Operation bei empfangenen Musterkategorie(CAT)-Werten und Abstandswerten (dist).
Ein Fokussierparameterwert F wird durch die folgenden Gleichungen 1 und 2 berechnet. $F_{m} = N_{F} + μ \frac{1}{D_{F}}$
$D_{F} = \frac{1}{N_{F}} \sum_{i = 1}^{N_{F}} d i s t_{i}$
Hier stellt F_m einen Fokussierparameter-Berechnungswert eines m-ten Vollbilds dar, N_F stellt die Anzahl von von der neuromorphen Hardware als Kanten erkannten Fenster dar, D_F stellt einen Durchschnitt der Abstandswerte der als Kanten erfassten Fenster dar, dist_i stellt einen Abstandswert eines als eine Kante erfassten Fensters dar, und u stellt einen Koeffizienten zum Einstellen eines Verhältnisses zwischen zwei Parametern mit unterschiedlichen physischen Charakteristiken dar.
Der Fokussierparameterwert F wird berechnet durch Kombinieren von N, das die Anzahl von in dem entsprechenden ROI erfassten Kantenmustern ist, und dem D-Wert, der ein Durchschnitt von relativen Abständen (dist) zwischen dem gelernten (gespeicherten) Kantenmuster und einer Kantenkomponente eines Eingangsbilds ist.
Je größer die Anzahl von in einem Bild erfassten Kantenkomponenten ist, desto besser ist die Fokussierung. Umgekehrt ist, je kleiner der relative Abstand zwischen der gelernten Kante und einer Kantenkomponente des Eingangsbilds ist, desto besser die Fokussierung. Daher sind ein N-Parameter und ein D-Parameter in einem umgekehrten Verhältnis zueinander.
Wenn die Fokussierungsberechnungsvorrichtung 22 einen Fokussierparameterwert für das gegenwärtige Vollbild berechnet, sendet die Fokussierungsberechnungsvorrichtung 22 das Berechnungsergebnis zu der Motorsteuervorrichtung 23.
Die Motorsteuervorrichtung 23 vergleicht den Fokussierparameterwert des von der Fokussierungsberechnungsvorrichtung 22 empfangenen gegenwärtigen Vollbilds mit einem Fokussierparameterwert eines früheren Vollbilds.
Die Motorsteuervorrichtung 23 bestimmt gemäß einem Vergleichsergebnis, ob der Fokussierwert zunimmt oder abnimmt, und bestimmt eine Bewegungsrichtung der Fokussierlinse. Das heißt, die Motorsteuervorrichtung 23 bestimmt gemäß dem Vergleichsergebnis ob die Fokussierung zunimmt oder abnimmt, und bestimmt die Bewegungsrichtung der Brennpunktlinse zur Bewegung der Brennpunktlinse in einer Richtung, in der die Fokussierung zunimmt.
Die Motorsteuervorrichtung 23 erzeugt Motorantriebsinformationen zum Bewegen der Fokussierlinse in der bestimmten Bewegungsrichtung und sendet die Motorantriebsinformationen zu dem Fokussierlinsen-Antriebsmotor 40. Die Motorantriebsinformationen können eine Drehrichtung, die Anzahl von Bewegungsschritten und einen Drehgeschwindigkeitstakt des Fokussierlinsen-Antriebsmotors enthalten.
Der Fokussierlinsen-Antriebsmotor 40 kann einen Schrittmotor enthalten, der zum Bewegen der Fokussierlinse konfiguriert ist.
Der Fokussierlinsen-Antriebsmotor 40 bewegt die Fokussierlinse in der bestimmten Bewegungsrichtung durch Drehen gemäß den von der Motorsteuervorrichtung 23 empfangenen Motorantriebsinformationen.
Wie aus der vorstehenden Beschreibung ersichtlich ist, ist es gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung möglich, eine Autofokussierungsfunktion ohne das Erfordernis einer komplizierten Berechnung zu implementieren. Herkömmlich musste ein Kantenberechnungsvorgang für den gesamten ROI durch eine Matrixoperation bei allen Vollbildern entsprechend wiederholten Motorschrittänderungen durchgeführt werden. In diesem Fall wird, wenn eine Auflösung des Bilds zunimmt oder Mehrfokussierungsbereiche gebildet werden, der Rechenaufwand drastisch zu, was ein Hauptgrund für die Schwierigkeiten bei einer Echtzeitverarbeitung ist.
Zusätzlich kann gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung nicht nur eine Kantenoperation durch eine Mustervergleichsfunktion unter Verwendung der neuromorphen Hardware ersetzt werden, sondern es kann auch ein Fokussierparameter durch eine einfache Operation berechnet werden, so dass ein Fokussierzustand intuitiv zwischen Vollbildern verglichen werden kann.
Daher ist es durch Antreiben eines Motors durch Hardwarebeschleunigung für eine Kantenoperation und Vergleichen von einfachen Fokussierparameterwerten möglich, eine Autofokussierungsfunktion ohne Verwendung eines Hochleistungs-/kostenaufwendigen Prozessors bei einer Anwendung zu implementieren, bei der eine große Bildauflösung verwendet wird, oder eine schnelle Autofokussierungsfunktion erforderlich ist.
Gemäß den Ausführungsbeispielen der vorliegenden Offenbarung ist es möglich, den bei der Berechnung von Kanten eines Bilds aufgebrachten Rechenaufwand drastisch zu reduzieren, indem neuromorphe Hardware verwendet wird, und die Kosten der Systemimplementierung zu verringern.
Obgleich wenige Ausführungsbeispiele der vorliegenden Offenbarung gezeigt und beschrieben wurden, ist für den Fachmann offensichtlich, dass Änderungen bei diesen Ausführungsbeispielen vorgenommen werden können, ohne die Prinzipien der vorliegenden Offenbarung, deren Bereich in den Ansprüchen und ihren Äquivalenten definiert ist, zu verlassen.

Claims

Vorrichtung zum Fokussieren einer Kamera, die automatisch eine Fokussierung durch Bewegen einer Fokussierlinse mittels eines Fokussierlinsen-Antriebsmotors (40) einstellt, wobei die Vorrichtung aufweist: eine Bilderwerbsvorrichtung (10), die zum Erhalten eines Vollbilds konfiguriert ist; eine neuromorphe Hardware (30) enthaltend eine Vielzahl von durch einen parallelen Bus verbundenen Neuronen, wobei die Neuronen Kantenmustervektoren, die durch Vektorisieren vorher gelernter Kantenmuster, durch die Kanten eines Bilds spezifizierbar sind, erzeugt wurden; und eine Steuervorrichtung (20), die konfiguriert ist zum Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung (10) eingegebenen Vollbilds, zum Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern, zum Erzeugen von Eingabevektoren durch Vektorisieren von von jedem der Fenster erhaltenen Bilddaten durch Gleiten der Fenster, zum Eingeben jedes der erzeugten Eingabevektoren in die neuromorphe Hardware (30), zum Auswählen von Neuronen, die jeweils einen Kantenmustervektor haben, der jedem der Eingangsvektoren am ähnlichsten ist, aus der Vielzahl von Neuronen, zum Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingabevektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen, zum Berechnen eines Fokussierparameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte, zum Vergleichen des Fokussierparameterwerts eines gegenwärtigen Vollbilds und eines Fokussierparameterwerts eines früheren Vollbilds, zum Bestimmen einer Bewegungsrichtung der Fokussierlinse derart, dass eine Fokussierung mit Bezug auf die Vollbilder gemäß einem Vergleichsergebnis zunimmt, und zum Bewegen der Fokussierlinse durch den Fokussierlinsen-Antriebsmotor (40) auf der Grundlage der bestimmten Bewegungsrichtung.
Vorrichtung nach Anspruch 1, bei der die Steuervorrichtung (20) die Anzahl von Kantenmustern des Vollbilds und einen Durchschnitt der relativen Abstandswerte auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte berechnet und den Fokussierparameterwert des Vollbilds auf der Grundlage der berechneten Anzahl von Kantenmustern und des berechneten Durchschnittswerts berechnet.
Vorrichtung nach einem der Ansprüche 1 oder 2, bei der die Steuervorrichtung (20) den Fokussierparameterwert (F) durch die folgenden Gleichungen 1 und 2 berechnet: $F_{m} = N_{F} + μ \frac{1}{D_{F}}$
$D_{F} = \frac{1}{N_{F}} \sum_{i = 1}^{N_{F}} d i s t_{i}$
worin F_m einen Fokussierparameter-Berechnungswert eines m-ten Vollbilds darstellt, N_F die Anzahl von von der neuromorphen Hardware als Kanten erfassten Fenstern darstellt, D_F einen Durchschnitt von Abstandswerten der als Kanten erkannten Fenster darstellt, dist_i einen Abstandswert eines als eine Kante erkannten Fensters darstellt, und µ einen Koeffizienten zum Einstellen eines Verhältnisses zwischen zwei Parametern mit unterschiedlichen physischen Charakteristiken darstellt.
Vorrichtung nach einem der Ansprüche 1 bis 3, bei der Bildkanten-Mustervektoren, die in der Vielzahl von Neuronen der neuromorphen Hardware (30) gespeichert sind, eines von vertikalen, horizontalen, 45-Grad-diagonalen und 135-Grad-diagonalen Kantenmustern sind.
Verfahren zum Steuern einer Vorrichtung zum Fokussieren einer Kamera, die eine Bilderwerbsvorrichtung (10), die zum Erwerben eines Vollbilds konfiguriert ist, eine neuromorphe Hardware (30), die zum Enthalten einer Vielzahl durch einen parallelen Bus verbundener Neuronen konfiguriert ist, wobei die Neuronen durch Vektorisieren vorher gelernter Kantenmuster, durch die Kanten eines Bilds spezifizierbar sind, erzeugte Kantenmustervektoren, speichern, einen Fokussierlinsen-Antriebsmotor (40), der zum Bewegen einer Fokussierlinse konfiguriert ist, und eine Steuervorrichtung (20) enthält, wobei das Verfahren aufweist: Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung (10) eingegebenen Vollbilds; Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern; Erzeugen von Eingabevektoren durch Vektorisieren von von jedem der Fenster erhaltenen Bilddaten durch Gleiten der Fenster; Eingeben jedes der erzeugten Eingabevektoren in die neuromorphe Hardware (30); Auswählen von Neuronen, die jeweils einen Kantenmustervektor haben, der jedem der Eingabevektoren am ähnlichsten ist, aus der Vielzahl von Neuronen; Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingabevektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen; Berechnen eines Fokussierparameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der empfangenen relativen Abstandswerte; Vergleichen des Fokussierparameterwerts eines gegenwärtigen Vollbilds mit einem Fokussierparameterwert eines vorhergehenden Vollbilds; Bestimmen einer Bewegungsrichtung der Fokussierlinse derart, dass eine Fokussierung mit Bezug auf die Vollbilder zunimmt, gemäß einem Vergleichsergebnis; und Bewegen der Fokussierlinse durch den Fokussierlinsen-Antriebsmotor (40) auf der Grundlage der bestimmten Bewegungsrichtung.
Verfahren nach Anspruch 5, bei dem das Berechnen des Fokussierparameterwerts das Berechnen der Anzahl von Kantenmustern des Vollbilds und eines Durchschnitts der relativen Abstandswerte auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte enthält, und der berechnete Fokussierparameterwert des Vollbilds zunimmt, wenn die berechnete Anzahl von Kantenmustern zunimmt und der Durchschnitt abnimmt.