DE102017223559A1

DE102017223559A1 - Vorrichtung zum einstellen des brennpunkts einer kamera und steuerverfahren für diese

Info

Publication number: DE102017223559A1
Application number: DE102017223559.4A
Authority: DE
Inventors: Shin-Wook Kim
Original assignee: Mando Hella Electronics Corp
Current assignee: HL Klemove Corp
Priority date: 2017-09-12
Filing date: 2017-12-21
Publication date: 2019-03-14
Anticipated expiration: 2037-12-22
Also published as: KR101909022B1; DE102017223559B4; US10129456B1

Abstract

Es werden eine Vorrichtung und ein Verfahren zum Einstellen des Brennpunkts einer Kamera offenbart. Die Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung enthält eine Bilderwerbsvorrichtung, die konfiguriert ist zum Erhalten eines Vollbilds; eine neuromorphe Hardware enthaltend eine Vielzahl von Neuronen, die durch einen parallelen Bus verbunden sind, wobei die Neuronen Kantenmustervektoren, die durch Vektorisieren vorher gelernter Kantenmuster, die in der Lage sind, Kanten eines Bilds zu spezifizieren, erzeugt wurden, speichern; und eine Steuervorrichtung, die konfiguriert ist zum Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung eingegebenen Vollbilds, zum Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern, zum Erzeugen von Eingabevektoren durch Vektorisieren von von jedem der Fenster erhaltenen Bilddaten durch Gleiten der Fenster, zum Eingeben jedes der erzeugten Eingabevektoren in die neuromorphe Hardware, zum Auswählen von Neuronen, die jeweils einen Kantenmustervektor haben, der jedem der Eingabevektoren am ähnlichsten ist, aus der Vielzahl von Neuronen, zum Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingabevektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen, zum Berechnen eines Brennpunkt-Parameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte, zum Vergleichen des Brennpunkt-Parameterwerts eines gegenwärtigen Vollbilds und eines Brennpunkt-Parameterwerts eines früheren Vollbilds, zum Bestimmen einer Bewegungsrichtung der Brennpunktlinse derart, dass ein Brennpunkt mit Bezug auf die Vollbilder zunimmt gemäß einem Vergleichsergebnis, und zum Bewegen der Brennpunktlinse durch den Brennpunktlinsen-Antriebsmotor auf der Grundlage der bestimmten Bewegungsrichtung.

Description

QUERVERWEIS AUF BEZOGENE ANMELDUNG
Diese Anmeldung beansprucht den Nutzen der koreanischen Patentanmeldung Nr. 2017-0116349 , die am 12. September 2017 beim Koreanischen Amt für Geistiges Eigentum eingereicht wurde und deren Offenbarung hier einbezogen wird.
HINTERGRUND
Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Vorrichtung und ein Verfahren zum Einstellen des Brennpunkts einer Kamera, und insbesondere auf eine Vorrichtung und ein Verfahren zum automatischen Einstellen des Brennpunkts einer Kamera.
Beschreibung des Standes der Technik
Im Allgemeinen beeinflusst ein Abstand zwischen einer Kamera und einem Gegenstand einen Brennpunkt der Kamera. Das heißt, wenn der Abstand von dem Subjekt vergrößert oder verkleinert wird, bewegt sich eine Kameralinse angemessen hin und her, um in einer optimalen Position in der Weise zu sein, dass ein Bild genau in den Brennpunkt gebracht ist.
Herkömmlich wird eine Kante eines durch eine Linse erworbenen Bilds erfasst und eine optische Brennpunktposition wird durch Antreiben einer Brennpunktlinse, um nach einem Punkt zu suchen, an dem ein entsprechender Kantenwert einen maximalen Wert erreicht, gefunden. Das heißt, die Fokuslinse wiederholt das Antreiben in Hin- und Herrichtung Schritt für Schritt durch einen Schrittmotor und erhält einen Kantenwert bei jedem Schritt, und die Suche wird wiederholt, bis der Kantenwert einen maximalen Wert erreicht.
Jedoch ist in dem Fall eines sich schnell bewegenden Gegenstands oder einer in einem sich schnell bewegenden Objekt wie einem Fahrzeug oder einem Flugzeug befestigten Kamera ein schnelles Auffinden einer Brennpunktposition von höchster Wichtigkeit, und während dieses Prozesses können ein übermäßiger Rechenaufwand oder eine Zeitverzögerung für die Brennpunkteinstellung auftreten.
KURZFASSUNG
Es ist ein Aspekt der vorliegenden Offenbarung, eine Vorrichtung und ein Verfahren zum Einstellen des Brennpunkts einer Kamera anzugeben, die eine neuromorphe Hardware verwenden, um den zum Berechnen von Kanten eines Bilds benötigten Rechenaufwand zu verringern.
Zusätzliche Aspekte der vorliegenden Offenbarung sind teilweise in der folgenden Beschreibung wiedergegeben und ergeben sich teilweise als offensichtlich aus der Beschreibung, oder sie können durch Ausüben der vorliegenden Offenbarung erfahren werden.
Gemäß einem Aspekt der vorliegenden Offenbarung enthält eine Vorrichtung zum Einstellen des Brennpunkts einer Kamera, die automatisch einen Brennpunkt durch Bewegen einer Fokuslinse mittels eines Fokuslinsen-Antriebsmotors einstellt: eine Bilderwerbsvorrichtung, die konfiguriert ist zum Erhalten eines Vollbilds; eine neuromorphe Hardware enthaltend eine Vielzahl von Neuronen, die durch einen parallelen Bus verbunden sind, wobei die Neuronen Kantenmustervektoren speichern, die durch Vektorisieren vorher gelernter Kantenmuster erzeugt wurden, die in der Lage sind, Kanten eines Bilds zu spezifizieren; und eine Steuervorrichtung, die konfiguriert ist zum Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung eingegebenen Vollbilds, zum Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern, zum Erzeugen von Eingangsvektoren durch Vektorisieren von Bilddaten, die anhand jedes der Fenster erworben wurden, durch Gleiten der Fenster, zum Eingeben jedes der erzeugten Eingangsvektoren in die neuromorphe Hardware, zum Auswählen von Neuronen, jeweils mit einem Kantenmustervektor, der jedem der Eingangsvektoren von der Vielzahl von Neuronen am ähnlichsten ist, zum Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingangsvektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen, zum Berechnen eines Brennpunkt-Parameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte, zum Vergleichen des Brennpunkt-Parameterwerts eines gegenwärtigen Vollbilds und eines Brennpunkt-Parameterwerts eines vorhergehenden Vollbilds, zum Bestimmen einer Bewegungsrichtung der Brennpunktlinse derart, dass ein Brennpunkt mit Bezug auf die Vollbilder gemäß einem Vergleichsergebnis zunimmt, und zum Bewegen der Brennpunktlinse durch den Brennpunktlinsen-Antriebsmotor auf der Grundlage der bestimmten Bewegungsrichtung.
Die Steuervorrichtung kann die Anzahl von Kantenmustern des Vollbilds und einen Durchschnitt der relativen Abstandswerte auf der Grundlage der empfangenen Kantenmuster-Typenwerte und relativer Abstandswerte berechnen, und kann den Brennpunkt-Parameterwert des Vollbilds auf der Grundlage der berechneten Anzahl von Kantenmustern und des Durchschnittswerts berechnen.
Die Steuervorrichtung kann den Brennpunkt-Parameterwert (F) durch die folgenden Gleichungen 1 und 2 berechnen: $F_{m} = N_{F} + μ \frac{1}{D_{F}}$
$D_{F} = \frac{1}{N_{F}} \sum_{i = 1}^{N_{F}} d i s t_{i}$
wobei F_m einen Brennpunktparameter-Berechnungswert eines m^th-Vollbilds darstellt, N_F die Anzahl von durch die neuromorphe Hardware als Kanten erkannten Fenster darstellt, D_F einen Durchschnitt von Abstandswerten der als Kanten erkannten Fenster darstellt, dist, einen Abstandswert eines Fensters, das als eine Kante erkannt wurde, darstellt, und u einen Koeffizienten zum Erfassen eines Verhältnisses zwischen zwei Parametern mit unterschiedlichen physischen Charakteristiken darstellt.
In der Vielzahl von Neuronen der neuromorphen Hardware gespeicherte Bildkantenmustervektoren können eines von vertikalen, horizontalen, 45-Grad-diagonalen und 135-Grad-diagonalen Kantenmustern sein.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist ein Verfahren zum Steuern einer Vorrichtung zum Einstellen des Brennpunkts einer Kamera, die eine Bilderwerbsvorrichtung, die zum Erwerben eines Vollbilds konfiguriert ist, eine neuromorphe Hardware, die zum Enthalten einer Vielzahl von durch einen parallelen Bus verbundenen Neuronen konfiguriert ist, wobei die Neuronen Kantenmustervektoren speichern, die durch Vektorisieren vorher gelernter Kantenmuster, die zum Spezifizieren von Kanten eines Bilds in der Lage sind, erzeugt wurden, einen Brennpunktlinsen-Antriebsmotor, der zum Bewegen einer Fokuslinse konfiguriert ist, und eine Steuervorrichtung enthält, vorgesehen, das enthält: Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung eingegebenen Vollbilds; Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern; Erzeugen von Eingabevektoren durch Vektorisieren von Bilddaten, die von jedem der Fenster erhalten wurden durch Gleiten der Fenster; Eingeben jedes der erzeugten Eingabevektoren in die neuromorphe Hardware; Auswählen von Neuronen, von denen jedes einen Kantenmustervektor hat, der jedem der Eingabevektoren von der Vielzahl von Neuronen am ähnlichsten ist; Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingabevektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen; Berechnen eines Brennpunkt-Parameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte; Vergleichen des Brennpunkt-Parameterwerts eines gegenwärtigen Vollbilds und eines Brennpunkt-Parameterwerts eines vorhergehenden Vollbilds; Bestimmen einer Bewegungsrichtung der Brennpunktlinse, so dass der Brennpunkt mit Bezug auf die Vollbilder gemäß dem Vergleichsergebnis zunimmt; und Bewegen der Brennpunktlinse durch den Brennpunktlinsen-Antriebsmotor auf der Grundlage der bestimmten Bewegungsrichtung.
Die Berechnung des Brennpunkt-Parameterwerts kann die Berechnung der Anzahl von Kantenmustern des Vollbilds und eines Durchschnitts der relativen Abstandswerte auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte enthalten, und der berechnete Brennpunkt-Parameterwert des Vollbilds kann zunehmen, wenn die berechnete Anzahl von Kantenmustern zunimmt und der Durchschnitt abnimmt.
Figurenliste
Diese und/oder andere Aspekte der vorliegenden Offenbarung werden ersichtlich und leichter verständlich anhand der folgenden Beschreibung der Ausführungsbeispiele, die in Verbindung mit den begleitenden Zeichnungen gegeben wird, von denen:

1 ein Steuerblockschaltbild ist, das eine Vorrichtung zum Einstellen des Brennpunkts einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert;
2 ein Diagramm zum Beschreiben einer Gleitreihenfolge von Fenstern mit Bezug auf einen interessierenden Bereich (ROI) eines Eingangsbilds in der Vorrichtung zum Einstellen des Brennpunkts einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung ist; und
3 ein Diagramm zum Beschreiben eines Erkennungsergebnisses jedes Fensters durch neuromorphe Hardware in der Vorrichtung zum Einstellen des Brennpunkts einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung ist.

DETAILLIERTE BESCHREIBUNG
Nachfolgend werden Ausführungsbeispiele der vorliegenden Offenbarung im Einzelnen mit Bezug auf die begleitenden Zeichnungen beschrieben. Die hier dargestellten Ausführungsbeispiele sind beispielhaft wiedergegeben, um dem Fachmann zu ermöglichen, den Bereich der vorliegenden Erfindung vollständig zu verstehen. Die vorliegende Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt und kann in vielen alternativen Formen verkörpert sein. Einzelheiten, die nicht relevant sind, sind in den Zeichnungen weggelassen, um die Klarheit und die Prägnanz zu erhöhen. Breiten, Längen und Dicken von Komponenten in den Zeichnungen können aus Gründen der Zweckmäßigkeit der Beschreibung übertrieben dargestellt sein. Gleiche Zahlen beziehen sich in der gesamten detaillierten Beschreibung und in den Zeichnungen auf gleiche Elemente.
Eine Autofokussierungs(AF)-Funktion ist eine wesentliche Funktion zum Aufrechterhalten eines optimalen Brennpunkts in einer Plattform, auf der sich ein Subjekt bewegt und einen Abstand von einer Kamera ändert oder die Kamera sich bewegt.
Herkömmlich wurde die Autofokussierung implementiert durch Messen eines Kantenwerts eines bestimmten Bereichs, der in einem Bild bezeichnet wurde, und Bewegen einer Brennpunktlinse in einer Richtung, in der der Kantenwert zunimmt. Alternativ wurde ein Verfahren zur Implementierung der Autofokussierung verwendet, indem ein Bild eines bestimmten Bereichs in eine Frequenzdomäne umgewandelt und eine Brennpunktlinse in einer Richtung, in der die Frequenzdomäne zunimmt, bewegt wurde.
Jedoch hat in jüngerer Zeit die Auflösung eines Kamerabilds stark zugenommen auf 4K oder mehr, und in dem Fall einer Kamera, die in einer Fahrzeug- oder einer Flugzeugplattform befestigt ist, ist ein großer Rechenaufwand erforderlich, um die Autofokussierungsfunktion zu implementieren, da sich ein Subjekt oder die Kamera schnell bewegt. Dies kann eine Zunahme von Komponentenpreisen und eine Verlängerung der Entwicklungszeit bewirken.
Daher wird bei einem Ausführungsbeispiel der vorliegenden Offenbarung ein Kantenwert, der durch eine herkömmliche Bildverarbeitungs-Algorithmusoperation erhalten wurde, durch einen Kantenformmuster-Lern- und Erkennungsprozess mittels neuromorpher Hardware ersetzt, wodurch ermöglicht wird, die Autofokussierung zu beschleunigen, ohne dass eine Berechnung erforderlich ist.
Zusätzlich wird durch Einführen eines Konzepts eines Brennpunktparameters entsprechend einem Kantenwert ein gegenwärtiger Brennpunktzustand durch eine einfache Operation unter Verwendung der Anzahl von Mustern, die als Kanten erkannt werden, und eines relativen Abstandswerts in der neuromorphen Hardware definiert, und eine optimale Brennpunktposition wird gesucht durch Vergleichen von Werten auf der Grundlage des gegenwärtigen Brennpunktzustands.
1 ist ein Steuerblockschaltbild, das eine Vorrichtung zum Einstellen des Brennpunkts einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung illustriert.
Gemäß 1 enthält eine Vorrichtung zum Einstellen des Brennpunkts einer Kamera eine Bilderwerbsvorrichtung 10, eine Steuervorrichtung 20, eine neuromorphe Hardware 30, die eine neuromorphe Hardware ist, und einen Brennpunktlinsen-Antriebsmotor 40.
Die Bilderwerbsvorrichtung 10 enthält einen Bildsensor, der zum Erwerben von Vollbildern konfiguriert ist. Durch eine optische Linse kondensiertes Licht wird auf eine Oberfläche des Bildsensors fokussiert. Der Bildsensor wandelt kondensierte Lichtenergie in ein elektrisches Signal um und erzeugt ein digitales Bild in der Form von Pixeln. Das durch den Bildsensor erzeugte Bildsignal wird zu der Steuervorrichtung 20 gesendet.
Die Steuervorrichtung 20 führt die Gesamtsteuerung der Vorrichtung zum Einstellen des Brennpunkts einer Kamera durch.
Die Steuervorrichtung 20 kann einen Vektorgenerator 21, eine Brennpunkt-Berechnungsvorrichtung 22 und eine Motorsteuervorrichtung 23 enthalten.
2 ist ein Diagramm zum Beschreiben einer Gleitreihenfolge von Fenstern mit Bezug auf einen interessierenden Bereich (ROI) eines Eingangsbilds in die Vorrichtung zum Einstellen des Brennpunkts einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
Gemäß 2 setzt der Vektorgenerator 21 einen ROI bei Bilddaten, die ein von der Bilderwerbsvorrichtung 10 erzeugtes Eingangsbild sind, segmentiert einen mittleren Bereich des gesetzten ROI in kleinere Fenster und wandelt einen Pixelwert jedes entsprechenden Fensters in eine Vektorform um, indem die Fenster gemäß einer Reihenfolge des Gleitens gleiten. In diesem Fall kann die Anzahl von Gleitschritten in einer X-Richtung und in einer Y-Richtung variabel eingestellt werden. Zusätzlich werden Stücke von Bilddaten, die in Einheiten von kleineren Fenstern erhalten werden, jeweils in eine einreihige Vektorform umgewandelt und kontinuierlich zu der neuromorphen Hardware 30 gesendet. Wenn beispielsweise angenommen wird, dass ein 16x16-Fenster das Gleiten mit Bezug auf den gesamten ROI wiederholt, hat ein Eingangsvektor eine Größe von 1 x 256. Stücke von Bilddaten für den gesamten ROI werden zu der neuromorphen Hardware 30 gesendet, während der Eingabevektor das Gleiten wiederholt.
Gemäß 1 kann die neuromorphe Hardware 30 eine Neuroneneinheit 31, eine Erkennungsvorrichtung 32 und eine Lernvorrichtung 33 enthalten. Tausende von als Hardware implementierte Neuronen sind durch einen parallelen Bus verbunden, um die Neuroneneinheit zu bilden. Zusätzlich bilden die Lernvorrichtung 33, die zum Lernen eines Musters konfiguriert ist, und die Erkennungsvorrichtung 32, die zum Erkennen des Musters konfiguriert ist, das Innere der neuromorphen Hardware.
Musterinformationen über einen Kantenbereich, die vorher gelernt wurden, werden in der Lernvorrichtung 33 gespeichert. Kantenmustervektoren, die in der Lernvorrichtung 33 gespeichert sind, können verschiedene Kantenmustervektoren gemäß Winkeländerungen in vertikaler, horizontaler und diagonaler Richtung sein. Derartige verschiedene Kantenmuster können vorher erhalten und in der Lernvorrichtung 33 gespeichert sein. Beispielsweise kann die Lernvorrichtung 33 vertikale, horizontale, 45-Grad-diagonale und 35-Grad-diagonale Musterkanten in einer Vektorform speichern. In diesem Fall sind die Kantenmuster so gespeichert, dass die Typen hiervon voneinander unterschieden werden können.
Die Lernvorrichtung 33 kann die gespeicherten Kantenmustervektoren verwenden, um Kantenmuster durch Laden der Kantenmuster in lokale Speicher einer Vielzahl von in der Neuroneneinheit 31 enthaltenen Neuronen erkennen.
Der in Einheiten von Fenstern umgewandelte und durch den Vektorgenerator 21 der Steuervorrichtung 20 gesendete Eingabevektor wird in die Neuroneneinheit 31 eingegeben. Der Eingabevektor wird durch einen internen parallelen Bus der neuromorphen Hardware gleichzeitig zu allen die Neuroneneinheit 31 bildenden Neuronen gesendet. Jedes der Neuronen berechnet einen Abstand (dist) zwischen einem in dem Speicher des Neurons gespeicherten Kantenmustervektor und dem Eingabevektor und gibt einen Aktivierungssignalwert und einen berechneten Abstandswert aus, wenn der berechnete Abstandswert innerhalb eines Einflussfelds des entsprechenden Neurons ist. Das Aktivierungssignal ist ein Signal, das anzeigt, dass ein Abstand zwischen dem in dem entsprechenden Neuron gespeicherten Kantenmustervektor und dem Eingabevektor innerhalb des Einflussfelds des Neurons ist.
Die Erkennungsvorrichtung 32 sammelt die Aktivierungssignale und die Abstandswerte, die von den jeweiligen Neuronen der Neuroneneinheit 31 empfangen wurden, und wählt ein Neuron mit dem geringsten relativen Abstand zu dem Eingabevektor aus allen Neuronen auf der Grundlage eines „Gewinner nimmt alles (WTA)“-Verfahrens aus.
In diesem Fall gibt das ausgewählte Neuron einen Kathegorie(CAT)-Wert, der einen Mustertyp, den das ausgewählte Neuron hat, anzeigt, und einen Abstandswert (dist) aus. Das heißt, wenn der Eingabevektor, der ein Teilbereich des Eingangsbilds ist, in die neuromorphe Hardware 30 eingegeben wird, wird eine Ähnlichkeitssuche bei verschiedenen Typen von Kantenmustern, die die Neuronen besitzen, durchgeführt, um ein Kantenmuster zu finden, das einem eingegebenen Wert am ähnlichsten ist, und ein CAT-Wert und ein Abstandswert (dist) eines Kantenmusters mit der größten Ähnlichkeit werden ausgegeben, wenn es vorhanden ist.
3 ist ein Diagramm zum Beschreiben eines Erkennungsergebnisses jedes Fensters durch die neuromorphe Hardware in der Vorrichtung zum Einstellen des Brennpunkts einer Kamera nach einem Ausführungsbeispiel der vorliegenden Offenbarung.
Gemäß 3 erkennt die neuromorphe Hardware 30 einen empfangenen Eingabefenstervektor, und wenn ein ähnliches Kantenmuster in einem Neuron der Neuroneneinheit 31 vorhanden ist, gibt die neuromorphe Hardware 30 einen Typen- und relativen Abstandswert (dist) des Kantenmusters aus. Wenn eines von einem vertikalen, horizontalen, 45-Grad-diagonalen und 135-Grad-diagonalen Kantenmuster in den Neuronen gespeichert ist, wird ein Typenwert (CAT-Wert) des entsprechenden Kantenmusters ausgegeben.
Wenn die neuromorphe Hardware 30 gemäß 1 die Erkennung des gesamten ROI beendet, berechnet die Brennpunkt-Berechnungsvorrichtung 22 der Steuervorrichtung 20 einen Brennpunkt-Parameterwert durch eine Operation bei empfangenen Musterkategorie(CAT)-Werten und Abstandswerten (dist).
Ein Brennpunkt-Parameterwert F wird durch die folgenden Gleichungen 1 und 2 berechnet. $F_{m} = N_{F} + μ \frac{1}{D_{F}}$
$D_{F} = \frac{1}{N_{F}} \sum_{i = 1}^{N_{F}} d i s t_{i}$
Hier stellt F_m einen Brennpunktparameter-Berechnungswert eines m-ten Vollbilds dar, N_F stellt die Anzahl von von der neuromorphen Hardware als Kanten erkannten Fenster dar, D_F stellt einen Durchschnitt der Abstandswerte der als Kanten erfassten Fenster dar, dist_i stellt einen Abstandswert eines als eine Kante erfassten Fensters dar, und u stellt einen Koeffizienten zum Einstellen eines Verhältnisses zwischen zwei Parametern mit unterschiedlichen physischen Charakteristiken dar.
Der Brennpunkt-Parameterwert F wird berechnet durch Kombinieren von N, das die Anzahl von in dem entsprechenden ROI erfassten Kantenmustern ist, und dem D-Wert, der ein Durchschnitt von relativen Abständen (dist) zwischen dem gelernten (gespeicherten) Kantenmuster und einer Kantenkomponente eines Eingangsbilds ist.
Je größer die Anzahl von in einem Bild erfassten Kantenkomponenten ist, desto besser ist der Brennpunkt. Umgekehrt ist, je kleiner der relative Abstand zwischen der gelernten Kante und einer Kantenkomponente des Eingangsbilds ist, desto besser der Brennpunkt. Daher sind ein N-Parameter und ein D-Parameter in einem umgekehrten Verhältnis zueinander.
Wenn die Brennpunkt-Berechnungsvorrichtung 22 einen Brennpunkt-Parameterwert für das gegenwärtige Vollbild berechnet, sendet die Brennpunkt-Berechnungsvorrichtung 22 das Berechnungsergebnis zu der Motorsteuervorrichtung 23.
Die Motorsteuervorrichtung 23 vergleicht den Brennpunkt-Parameterwert des von der Brennpunkt-Berechnungsvorrichtung 22 empfangenen gegenwärtigen Vollbilds mit einem Brennpunkt-Parameterwert eines früheren Vollbilds.
Die Motorsteuervorrichtung 23 bestimmt gemäß einem Vergleichsergebnis, ob der Brennpunktwert zunimmt oder abnimmt, und bestimmt eine Bewegungsrichtung der Brennpunktlinse. Das heißt, die Motorsteuervorrichtung 23 bestimmt gemäß dem Vergleichsergebnis ob der Brennpunkt zunimmt oder abnimmt, und bestimmt die Bewegungsrichtung der Brennpunktlinse zur Bewegung der Brennpunktlinse in einer Richtung, in der der Brennpunkt zunimmt.
Die Motorsteuervorrichtung 23 erzeugt Motorantriebsinformationen zum Bewegen der Brennpunktlinse in der bestimmten Bewegungsrichtung und sendet die Motorantriebsinformationen zu dem Brennpunktlinsen-Antriebsmotor 40. Die Motorantriebsinformationen können eine Drehrichtung, die Anzahl von Bewegungsschritten und einen Drehgeschwindigkeitstakt des Brennpunktlinsen-Antriebsmotors enthalten.
Der Brennpunktlinsen-Antriebsmotor 40 kann einen Schrittmotor enthalten, der zum Bewegen der Brennpunktlinse konfiguriert ist.
Der Brennpunktlinsen-Antriebsmotor 40 bewegt die Brennpunktlinse in der bestimmten Bewegungsrichtung durch Drehen gemäß den von der Motorsteuervorrichtung 23 empfangenen Motorantriebsinformationen.
Wie aus der vorstehenden Beschreibung ersichtlich ist, ist es gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung möglich, eine Autofokussierungsfunktion ohne das Erfordernis einer komplizierten Berechnung zu implementieren. Herkömmlich musste ein Kantenberechnungsvorgang für den gesamten ROI durch eine Matrixoperation bei allen Vollbildern entsprechend wiederholten Motorschrittänderungen durchgeführt werden. In diesem Fall wird, wenn eine Auflösung des Bilds zunimmt oder Mehrfokussierungsbereiche gebildet werden, der Rechenaufwand drastisch zu, was ein Hauptgrund für die Schwierigkeiten bei einer Echtzeitverarbeitung ist.
Zusätzlich kann gemäß einem Ausführungsbeispiel der vorliegenden Offenbarung nicht nur eine Kantenoperation durch eine Mustervergleichsfunktion unter Verwendung der neuromorphen Hardware ersetzt werden, sondern es kann auch ein Brennpunktparameter durch eine einfache Operation berechnet werden, so dass ein Brennpunktzustand intuitiv zwischen Vollbildern verglichen werden kann.
Daher ist es durch Antreiben eines Motors durch Hardwarebeschleunigung für eine Kantenoperation und Vergleichen von einfachen Brennpunkt-Parameterwerten möglich, eine Autofokussierungsfunktion ohne Verwendung eines Hochleistungs-/kostenaufwendigen Prozessors bei einer Anwendung zu implementieren, bei der eine große Bildauflösung verwendet wird, oder eine schnelle Autofokussierungsfunktion erforderlich ist.
Gemäß den Ausführungsbeispielen der vorliegenden Offenbarung ist es möglich, den bei der Berechnung von Kanten eines Bilds aufgebrachten Rechenaufwand drastisch zu reduzieren, indem neuromorphe Hardware verwendet wird, und die Kosten der Systemimplementierung zu verringern.
Obgleich wenige Ausführungsbeispiele der vorliegenden Offenbarung gezeigt und beschrieben wurden, ist für den Fachmann offensichtlich, dass Änderungen bei diesen Ausführungsbeispielen vorgenommen werden können, ohne die Prinzipien und den Geist der vorliegenden Offenbarung, deren Bereich in den Ansprüchen und ihren Äquivalenten definiert ist, zu verlassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 20170116349 [0001]

Claims

Vorrichtung zum Einstellen des Brennpunkts einer Kamera, die automatisch einen Brennpunkt durch Bewegen einer Brennpunktlinse mittels eines Brennpunktlinsen-Antriebsmotors (40) einstellt, welche Vorrichtung aufweist: eine Bilderwerbsvorrichtung (10), die zum Erhalten eines Vollbilds konfiguriert ist; eine neuromorphe Hardware (30) enthaltend eine Vielzahl von durch einen parallelen Bus verbundenen Neuronen, wobei die Neuronen Kantenmustervektoren, die durch Vektorisieren vorher gelernter Kantenmuster, durch die Kanten eines Bilds spezifizierbar sind, erzeugt wurden; und eine Steuervorrichtung (20), die konfiguriert ist zum Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung (10) eingegebenen Vollbilds, zum Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern, zum Erzeugen von Eingabevektoren durch Vektorisieren von von jedem der Fenster erhaltenen Bilddaten durch Gleiten der Fenster, zum Eingeben jedes der erzeugten Eingabevektoren in die neuromorphe Hardware (30), zum Auswählen von Neuronen, die jeweils einen Kantenmustervektor haben, der jedem der Eingangsvektoren am ähnlichsten ist, aus der Vielzahl von Neuronen, zum Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingabevektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen, zum Berechnen eines Brennpunkt-Parameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte, zum Vergleichen des Brennpunkt-Parameterwerts eines gegenwärtigen Vollbilds und eines Brennpunkt-Parameterwerts eines früheren Vollbilds, zum Bestimmen einer Bewegungsrichtung der Brennpunktlinse derart, dass ein Brennpunkt mit Bezug auf die Vollbilder gemäß einem Vergleichsergebnis zunimmt, und zum Bewegen der Brennpunktlinse durch den Brennpunktlinsen-Antriebsmotor (40) auf der Grundlage der bestimmten Bewegungsrichtung.
Vorrichtung nach Anspruch 1, bei der die Steuervorrichtung (20) die Anzahl von Kantenmustern des Vollbilds und einen Durchschnitt der relativen Abstandswerte auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte berechnet und den Brennpunkt-Parameterwert des Vollbilds auf der Grundlage der berechneten Anzahl von Kantenmustern und des berechneten Durchschnittswerts berechnet.
Vorrichtung nach einem der Ansprüche 1 oder 2, bei der die Steuervorrichtung (20) den Brennpunkt-Parameterwert (F) durch die folgenden Gleichungen 1 und 2 berechnet: $F_{m} = N_{F} + μ \frac{1}{D_{F}}$
$D_{F} = \frac{1}{N_{F}} \sum_{i = 1}^{N_{F}} d i s t_{i}$
worin F_m einen Brennpunktparameter-Berechnungswert eines m-ten Vollbilds darstellt, N_F die Anzahl von von der neuromorphen Hardware als Kanten erfassten Fenstern darstellt, D_F einen Durchschnitt von Abstandswerten der als Kanten erkannten Fenster darstellt, dist_i einen Abstandswert eines als eine Kante erkannten Fensters darstellt, und µ einen Koeffizienten zum Einstellen eines Verhältnisses zwischen zwei Parametern mit unterschiedlichen physischen Charakteristiken darstellt.
Vorrichtung nach einem der Ansprüche 1 bis 3, bei der Bildkanten-Mustervektoren, die in der Vielzahl von Neuronen der neuromorphen Hardware (30) gespeichert sind, eines von vertikalen, horizontalen, 45-Grad-diagonalen und 135-Grad-diagonalen Kantenmustern sind.
Verfahren zum Steuern einer Vorrichtung zum Einstellen des Brennpunkts einer Kamera, die eine Bilderwerbsvorrichtung (10), die zum Erwerben eines Vollbilds konfiguriert ist, eine neuromorphe Hardware (30), die zum Enthalten einer Vielzahl durch einen parallelen Bus verbundener Neuronen konfiguriert ist, wobei die Neuronen durch Vektorisieren vorher gelernter Kantenmuster, durch die Kanten eines Bilds spezifizierbar sind, erzeugte Kantenmustervektoren, speichern, einen Brennpunktlinsen-Antriebsmotor (40), der zum Bewegen einer Brennpunktlinse konfiguriert ist, und eine Steuervorrichtung (20) enthält, welches Verfahren aufweist: Setzen eines spezifischen Bereichs als einen interessierenden Bereich (ROI) auf der Grundlage einer Mitte des von der Bilderwerbsvorrichtung (10) eingegebenen Vollbilds; Segmentieren des gesetzten ROI in Einheiten von vorbestimmten Fenstern; Erzeugen von Eingabevektoren durch Vektorisieren von von jedem der Fenster erhaltenen Bilddaten durch Gleiten der Fenster; Eingeben jedes der erzeugten Eingabevektoren in die neuromorphe Hardware (30); Auswählen von Neuronen, die jeweils einen Kantenmustervektor haben, der jedem der Eingabevektoren am ähnlichsten ist, aus der Vielzahl von Neuronen; Empfangen eines Kantenmuster-Typenwerts und eines relativen Abstandswerts zwischen dem Eingabevektor und einem entsprechenden Kantenmuster von jedem der ausgewählten Neuronen; Berechnen eines Brennpunkt-Parameterwerts des Vollbilds auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der empfangenen relativen Abstandswerte; Vergleichen des Brennpunkt-Parameterwerts eines gegenwärtigen Vollbilds mit einem Brennpunkt-Parameterwert eines vorhergehenden Vollbilds; Bestimmen einer Bewegungsrichtung der Brennpunktlinse derart, dass ein Brennpunkt mit Bezug auf die Vollbilder zunimmt, gemäß einem Vergleichsergebnis; und Bewegen der Brennpunktlinse durch den Brennpunktlinsen-Antriebsmotor (40) auf der Grundlage der bestimmten Bewegungsrichtung.
Verfahren nach Anspruch 5, bei dem das Berechnen des Brennpunkt-Parameterwerts das Berechnen der Anzahl von Kantenmustern des Vollbilds und eines Durchschnitts der relativen Abstandswerte auf der Grundlage der empfangenen Kantenmuster-Typenwerte und der relativen Abstandswerte enthält, und der berechnete Brennpunkt-Parameterwert des Vollbilds zunimmt, wenn die berechnete Anzahl von Kantenmustern zunimmt und der Durchschnitt abnimmt.