DE112019004125T5

DE112019004125T5 - Bildverarbeitungsgerät, bildverarbeitungsverfahren und programm

Info

Publication number: DE112019004125T5
Application number: DE112019004125.8T
Authority: DE
Inventors: Suguro Aoki; Takuto MOTOYAMA; Masahiko Toyoshi; Yuki Yamamoto
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-08-16
Filing date: 2019-07-23
Publication date: 2021-06-17
Also published as: US20210295563A1; CN112567427A; WO2020036044A1

Abstract

Wenn Objkekterkennung des Verarbeitungsbereichs in einem Bild durchgeführt wird, das von einer Bildaufnahmeeinheit 20-1 erhalten wird, identifiziert eine Erkennungsverarbeitungseinheit 35 Bildeigenschaften des Verarbeitungsbereichs auf der Basis einer Eigenschaftskarte, die Bildeigenschaften des Bilds angibt, das von der Bilderfassungseinheit 20-1 erhalten wurde, und verwendet einen Erkenner gemäß der Bildeigenschaften des Verarbeitungsbereichs. Die Eigenschaftskarte ist eine Karte auf der Basis der optischen Eigenschaften der Abbildungslinse, die in der Bildaufnahmeeinheit verwendet wird und in der Eigenschaftsinformationsdatenspeichereinheit 31 gespeichert ist. Die Abbildungslinse 21 weist in allen Richtungen oder einer vorbestimmten Richtung einen weiteren Blickwinkel als eine Standardlinse auf und weist gemäß der Position auf der Linse verschiedene optische Eigenschaften auf. Die Erkennungsverarbeitungseinheit 35 führt Objekterkennung unter Verwendung eines Erkenners, gemäß der Auflösung oder Schiefe zum Beispiel des Verarbeitungsbereichs auf. Infolgedessen wird es möglich, Objekterkennung mit einem hohen Genauigkeitsgrad durchzuführen.

Description

[Technisches Gebiet]
Die vorliegende Technologie bezieht sich auf eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm und ermöglicht akkurate Subjekterkennung.
[Stand der Technik]
Für gewöhnlich wird in einem Fall, in dem sowohl ein Fernbereich als auch ein Nahbereich unter Verwendung einer Weitwinkellinse aufgenommen werden, ein Teil mit verzeichneter Bildqualität in manchen Fällen in einem Bild aufgrund einer Änderungsrate eines Einfallswinkels pro Bildhöhe erzeugt. Dementsprechend ist, in PTL 1, eine Vergrößerung eines Mittelbereichs, in dem der Einfallswinkel kleiner als ein Wendepunkteinfallswinkel ist, eingestellt, größer als jene eines peripheren Bereichs zu sein, in dem der Einfallswinkel größer als
der Wendepunkteinfallswinkel ist. Dies erhöht eine Erfassungsdistanz des Mittelbereichs, während eine Erfassungsdistanz des peripheren Bereichs verringert wird, der eine weite Spanne aufweist. Ferner, um ein Zielobjekt zu erkennen, wird die Auflösung mindestens eines des Mittelbereichs oder des peripheren Bereichs hoch eingestellt, während die Auflösung eines dem Wendepunkt entsprechenden Bereich, der dem Wendepunkteinfallswinkel entspricht, als ein verschwommener Bereich, niedriger als die des Mittelbereichs und des peripheren Bereichs eingestellt ist.
[Zitierungsliste]
[Patentliteratur]
[PTL 1]
Japanische Patentoffenlegung Nr. 2016-207030
[Beschreibung]
[Technisches Problem]
Im Übrigen gibt es eine Möglichkeit, dass Nichteinheitlichkeit der Auflösung in einem Bild die Arbeitsleistung der Subjekterkennung mindert. Zum Beispiel, falls das Subjekt in dem dem Wendepunkt entsprechenden Bereich von PTL 1 aufgewiesen ist, gibt es eine Möglichkeit, dass das Subjekt nicht genau erkannt werden könnte.
Deshalb ist es ein Ziel der vorliegenden Technologie, eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Programm bereitzustellen, die die Subjekterkennung genau durchführen können.
[Lösung des Problems]
Ein erster Aspekt der vorliegenden Technologie liegt in einer Bildverarbeitungsvorrichtung, die einen Erkennungsverarbeitungsabschnitt aufweist, der dazu ausgebildet ist, Subjekterkennung in einem Verarbeitungsbereich in einem Bild durchzuführen, das von einem Abbildungsabschnitt erhalten wird, indem ein Erkenner entsprechend einer Bildeigenschaft des Verarbeitungsbereichs verwendet wird.
In der vorliegenden Technologie wird zum Zeitpunkt vom Durchführen der Subjekterkennung in dem Verarbeitungsbereich in dem Bild, das von dem Abbildungsabschnitt erhalten wird, die Bildeigenschaft des Verarbeitungsbereichs auf der Basis einer Eigenschaftskarte bestimmt, die eine Bildeigenschaft des Bilds angibt, das von dem Abbildungsabschnitt erhalten wird, und der Erkenner, der der Bildeigenschaft des Verarbeitungsbereichs entspricht, wird verwendet. Die Eigenschaftskarte weist eine Karte auf, die auf einer optischen Eigenschaft einer Abbildungslinse basiert, die in dem Abbildungsabschnitt verwendet wird. Die Abbildungslinse weist einen weiteren Blinkwinkel in allen Richtungen oder in einer vorbestimmten Richtung auf, als eine Standardlinse und die optische Eigenschaft der Abbildungslinse unterscheidet sich abhängig von einer Position auf der Linse. Ein Erkenner, der zum Beispiel Auflösung oder Schiefe des Verarbeitungsbereichs entspricht, wird verwendet, um die Subjekterkennung in dem Verarbeitungsbereich durchzuführen. Ferner kann in einem Fall, wo Vorlagenabgleich unter Verwendung des Erkenners durchgeführt wird, zum Beispiel eine Größe und eine Menge von Bewegung einer Vorlage gemäß der optischen Eigenschaft der Abbildungslinse angepasst werden.
Ferner kann eine Abbildungslinse entsprechend einer Abbildungsszene ausgewählt werden. Die Erkenner, die dazu ausgebildet sind, die Subjekterkennung in dem Verarbeitungsbereich in dem Bild durchzuführen, das unter Verwendung der ausgewählten Abbildungslinse erhalten wird, werden gemäß der Bildeigenschaft des Verarbeitungsbereichs umgeschaltet, der unter Verwendung der Eigenschaftskarte, basierend auf einer optischen Eigenschaft der ausgewählten Abbildungslinse bestimmt wird. Die Abbildungsszene wird auf der Basis mindestens beliebigen von Bildinformationen, die von dem Abbildungsabschnitt beschafft sind, Betriebsinformationen eines mobilen Objekts, das den Abbildungsabschnitt aufweist, oder Umgebungsinformationen, die eine Umgebung angeben, in der der Abbildungsabschnitt verwendet wird, bestimmt.
Ferner wird die Bildeigenschaft des Verarbeitungsbereichs unter Verwendung der Eigenschaftskarte bestimmt, die auf einem Filteranordnungszustand eines Bildsensors basiert, der in dem Abbildungsabschnitt verwendet wird, und ein Erkenner, entsprechend Anordnung eines Filters, das dem Verarbeitungsbereich entspricht, wird verwendet, um die Subjekterkennung in dem Verarbeitungsbereich durchzuführen. Der Filteranordnungszustand weist einen Anordnungszustand eines Farbfilters auf und weist zum Beispiel einen Zustand auf, in dem in einem Mittelteil ein Abbildungsbereich in dem Bildsensor das Farbfilter nicht angeordnet ist oder ein Filter, das dazu ausgebildet ist, nur eine vorgegebene Farbe durchzulassen, angeordnet ist. Ferner kann der Filteranordnungszustand einen Anordnungszustand eines Infrarotabpassfilters aufweisen. Zum Beispiel weist der Filteranordnungszustand einen Zustand auf, in dem das Infrarotabpassfilter nur in dem Mittelteil des Abbildungsbereichs in dem Bildsensor angeordnet ist.
Ein zweiter Aspekt der vorliegenden Technologie liegt in einem Bildverarbeitungsverfahren, das aufweist, durch einen Erkennungsverarbeitungsabschnitt Subjekterkennung in einem Verarbeitungsbereich in einem Bild durchzuführen, das von einem Abbildungsabschnitt erhalten wird, indem ein Erkenner entsprechend einer Bildeigenschaft des Verarbeitungsbereichs verwendet wird.
Ein dritter Aspekt der vorliegenden Technologie liegt in einem Programm zum Veranlassen eines Computers, Erkennungsverarbeitung durchzuführen und das Programm veranlasst den Computer, einen Prozess zum Erfassen einer Bildeigenschaft eines Verarbeitungsbereichs in einem Bild, das von einem Abbildungsabschnitt erhalten wird, und einen Prozess zum Veranlassen von Subjekterkennung, der in dem Verarbeitungsbereich unter Verwendung eines Erkenners entsprechend der erfassten Bildeigenschaft durchgeführt wird, durchzuführen.
Es wird angemerkt, dass das Programm gemäß der vorliegenden Technologie zum Beispiel ein Programm ist, das von einem Datenspeichermedium oder einem Kommunikationsmedium bereitgestellt werden kann, das unterschiedliche Programmcodes in einer computerlesbaren Form an einen Allzweckcomputer bereitstellt, der diese unterschiedlichen Programmcodes ausführen kann. Beispiele dieses Datenspeichermediums weisen einen optischen Datenträger, einen magnetischen Datenträger, einen Halbleiterspeicher und dergleichen auf. Beispiele des Kommunikationsmediums weisen ein Netzwerk auf. Indem solch ein Programm in der computerlesbaren Form bereitgestellt wird, wird Verarbeitung entsprechend dem Programm auf dem Computer durchgeführt.
[Vorteilhafter Effekt der Erfindung]
Gemäß der vorliegenden Technologie wird ein Erkenner entsprechend einer Bildeigenschaft eines Verarbeitungsbereichs in einem Bild, das von einem Abbildungsabschnitt erhalten wird, verwendet, um Subjekterkennung in dem Verarbeitungsbereich durchzuführen. Deshalb kann die Subjekterkennung akkurat durchgeführt werden. Es wird angemerkt, dass die in der vorliegenden Beschreibung beschriebenen Effekte bloß Beispiele sind und nicht begrenzend sind. Ferner können zusätzliche Effekte bereitgestellt werden.
Figurenliste

[1] 1 ist ein Diagramm, das Linsen, die zum Zeitpunkt von Abbildung verwendet werden, und optische Eigenschaften der Linsen beispielhaft zeigt.
[2] 2 ist ein Diagramm, das eine Konfiguration einer ersten Ausführungsform beispielhaft zeigt.
[3] 3 ist ein Ablaufdiagramm, das einen Betrieb der ersten Ausführungsform beispielhaft zeigt.
[4] 4 ist ein Diagramm zum Beschreiben des Betriebs der ersten Ausführungsform.
[5] 5 ist ein Diagramm, das eine Konfiguration einer zweiten Ausführungsform beispielhaft zeigt.
[6] 6 ist ein Ablaufdiagramm, das einen Betrieb der zweiten Ausführungsform beispielhaft zeigt.
[7] 7 ist ein Diagramm zum Beschreiben des Betriebs der zweiten Ausführungsform.
[8] 8 ist ein Diagramm, das eine Konfiguration einer dritten Ausführungsform beispielhaft zeigt.
[9] 9 ist ein Diagramm, das eine Abbildungsoberfläche eines Bildsensors beispielhaft zeigt.
[10] 10 ist ein Ablaufdiagramm, das einen Betrieb der dritten Ausführungsform beispielhaft zeigt.
[11] 11 ist ein Diagramm, das die Abbildungsoberfläche des Bildsensors beispielhaft zeigt.
[12] 12 ist ein Blockdiagramm, das ein Beispiel einer schematischen funktionalen Konfiguration eines Fahrzeugsteuerungssystems veranschaulicht.

[Beschreibung der Ausführungsformen]
Modi zum Umsetzen der vorliegenden Technologie werden unten beschrieben. Es wird angemerkt, dass die Beschreibung in der folgenden Reihenfolge abgegeben wird.

1. Erste Ausführungsform
- 1-1. Konfiguration erster Ausführungsform
- 1-2. Betrieb erster Ausführungsform
2. Zweite Ausführungsform
- 2-1. Konfiguration zweiter Ausführungsform
- 2-2. Betrieb zweiter Ausführungsform
3. Dritte Ausführungsform
- 3-1. Konfiguration dritter Ausführungsform
- 3-2. Betrieb dritter Ausführungsform
4. Modifikationen
5. Anwendungsbeispiele

<Erste Ausführungsform>
Um ein Bild zu beschaffen, in dem ein Subjekt in einer weiten Spanne aufgenommen wird, verwendet ein Abbildungssystem eine Weitwinkellinse (z.B. eine Fischaugenlinse) mit einem weiteren Blickwinkel in allen Richtungen als eine herkömmlich verwendete Standardlinse mit weniger Verzerrung. Ferner wird in manchen Fällen auch eine zylindrische Linse verwendet, um ein aufgenommenes Bild mit einem weiten Blickwinkel in einer bestimmten Richtung (z.B. eine horizontale Richtung) aufzunehmen.
1 ist ein Diagramm, das Linsen, die zum Zeitpunkt von Abbildung verwendet werden, und optische Eigenschaften der Linsen beispielhaft zeigt. (a) von 1 zeigt beispielhaft eine Auflösungskarte einer Standardlinse. (b) von 1 zeigt beispielhaft eine Auflösungskarte einer Weitwinkellinse. (c) von 1 zeigt beispielhaft eine Auflösungskarte einer zylindrischen Linse. Es wird angemerkt, dass, wie in den Auflösungskarten angegeben, Bereiche mit hoher Leuchtkraft hohe Auflösung aufweisen, während Bereiche mit niedriger Leuchtkraft niedrige Auflösung aufweisen. Ferner sind Schiefenkarten der Standardlinse und der Weitwinkellinse und eine Schiefenkarte der zylindrischen Linse für eine horizontale Richtung H ähnlich den jeweiligen Auflösungskarten und die Schiefe steigt, wenn die Leuchtkraft sinkt. Ferner ist eine Schiefenkarte der zylindrischen Linse für eine vertikale Richtung V ähnlich der Schiefenkarte der Standardlinse.
Mit der Standardlinse, wie in (a) von 1 veranschaulicht, ist die Auflösung hoch und die Schiefe ist in dem gesamten Bereich niedrig. Zum Beispiel, wie in (d) von 1 veranschaulicht, wenn ein gitterförmiges Subjekt aufgenommen wird, kann ein Bild mit hoher Auflösung und keiner Verzeichnung beschafft werden.
Mit der Weitwinkellinse, wie in (b) von 1 veranschaulicht, sinkt die Auflösung und die Schiefe steigt bei Stellen, die weiter von der Mitte des Bilds entfernt sind. Dementsprechend, wie in (e) von 1 veranschaulicht, wenn das gitterförmige Subjekt aufgenommen wird, nimmt zum Beispiel die Auflösung ab und die Schiefe steigt an Stellen, die weiter von der Mitte des Bilds entfernt sind.
Mit der zylindrischen Linse, wie in (c) von 1 veranschaulicht, ist zum Beispiel die Auflösung in der vertikalen Richtung konstant und die Schiefe darin ist klein, während die Auflösung in der horizontalen Richtung abnimmt und die Schiefe darin an Stellen zunimmt, die weiter von der Mitte des Bilds entfernt sind. Deshalb, wie in (f) von 1 veranschaulicht, wenn das gitterförmige Subjekt aufgenommen wird, sind die Auflösung und die Schiefe in der vertikalen Richtung konstant, während die Auflösung in der horizontalen Richtung abnimmt und die Schiefe darin an Stellen zunimmt, die weiter von der Mitte des Bilds entfernt sind.
Auf diese Weise lässt die Abbildungslinse mit einem weiteren Blickwinkel als die Standardlinse zu verwenden, die Auflösung und die Schiefe abhängig von der Position in dem Bild variieren. Deshalb, gemäß einer ersten Ausführungsform, um Subjekterkennung akkurat durchzuführen, wird ein Erkenner entsprechend einer Bildeigenschaft eines Erkennungsbereichs in einer Eigenschaftskarte, basierend auf einer optischen Eigenschaft der Abbildungslinse, für jeden Erkennungsbereich in einem Bild verwendet, das von einem Abbildungsabschnitt erhalten wird.
<Konfiguration erster Ausführungsform>
2 zeigt beispielhaft eine Konfiguration der ersten Ausführungsform. Ein Abbildungssystem 10 weist einen Abbildungsabschnitt 20-1 und einen Bildverarbeitungsabschnitt 30-1 auf.
Eine Abbildungslinse 21 des Abbildungsabschnitts 20-1 verwendet eine Abbildungslinse, zum Beispiel eine Fischaugenlinse oder eine zylindrische Linse, mit einem weiteren Blickwinkel als die Standardlinse. Die Abbildungslinse 21 bildet ein optisches Subjektbild mit einem weiteren Blickwinkel als die Standardlinse auf einer Abbildungsoberfläche eines Bildsensors 22 des Abbildungsabschnitts 20-1.
Der Bildsensor 22 weist zum Beispiel einen CMOS-(komplementärer Metalloxidhalbleiter (Complementary Metal Oxide Semiconductor)) Bildsensor oder ein CCD-(ladungsgekoppeltes Bauelement (Charge Coupled Device)) Bild auf. Der Bildsensor 22 erzeugt Bildsignale entsprechend dem optischen Subjektsensor und gibt die Bildsignale an den Bildverarbeitungsabschnitt 30-1 aus.
Der Bildverarbeitungsabschnitt 30-1 führt Subjekterkennung auf der Basis der Bildsignale durch, die von dem Abbildungsabschnitt 20-1 erzeugt werden. Der Bildverarbeitungsabschnitt 30-1 weist einen Eigenschaftsinformationsdatenspeicherabschnitt 31 und einen Erkennungsverarbeitungsabschnitt 35 auf.
Der Eigenschaftsinformationsdatenspeicherabschnitt 31 speichert, als Eigenschaftsinformationen, eine Eigenschaftskarte, basierend auf einer optischen Eigenschaft, die für die Abbildungslinse 21 relevant ist, die in dem Abbildungsabschnitt 20-1 verwendet wird. Eine Auflösungskarte, eine Schiefenkarte oder dergleichen der Abbildungslinse wird zum Beispiel als die Eigenschaftsinformationen (Eigenschaftskarte) verwendet. Der Eigenschaftsinformationsdatenspeicherabschnitt 31 gibt die gespeicherte Eigenschaftskarte an den Erkennungsverarbeitungsabschnitt 35 aus.
Der Erkennungsverarbeitungsabschnitt 35 führt Subjekterkennung in einem Verarbeitungsbereich in einem Bild durch, das von dem Abbildungsabschnitt 20-1 erhalten wurde, unter Verwendung eines Erkenners, entsprechend einer Bildeigenschaft des Verarbeitungsbereichs. Der Erkennungsverarbeitungsabschnitt 35 weist einen Erkennerwechselabschnitt 351 und mehrere Erkenner 352-1 bis 352-n auf. Die Erkenner 352-1 bis 352-n sind gemäß der optischen Eigenschaft der Abbildungslinse 21 bereitgestellt, die in dem Abbildungsabschnitt 20-1 verwendet wird. Es sind die mehreren Erkenner bereitgestellt, die für Bilder mit verschiedenen Auflösungen geeignet sind, wie zum Beispiel ein Erkenner, der für ein Bild mit hoher Auflösung geeignet ist, und ein Erkenner, der für ein Bild mit niedriger Auflösung geeignet ist. Der Erkenner 352-1 ist zum Beispiel ein Erkenner, der Maschinenlernen oder dergleichen unter Verwendung von Lernbildern mit hoher Auflösung durchführen und ein Subjekt mit hoher Genauigkeit von einem aufgenommenen Bild mit hoher Auflösung erkennen kann. Ferner sind die Erkenner 352-2 bis 352-n Erkenner, die Maschinenlernen oder dergleichen unter Verwendung von Lernbildern mit verschiedenen Auflösungen voneinander durchführen und ein Subjekt mit hoher Genauigkeit von einem aufgenommenen Bild mit einer entsprechenden Auflösung erkennen können.
Der Erkennerwechselabschnitt 351 erfasst den Verarbeitungsbereich auf der Basis der Bildsignale, die von dem Abbildungsabschnitt 20-1 erzeugt werden. Ferner erfasst der Erkennerwechselabschnitt 351 zum Beispiel die Auflösung des Verarbeitungsbereichs auf der Basis der Position des Verarbeitungsbereichs auf dem Bild und die Auflösungskarte und wechselt den Erkenner, der zur Subjekterkennungsverarbeitung verwendet wird, zu einem Erkenner entsprechend der erfassten Auflösung. Der Erkennerwechselabschnitt 351 versorgt die Bildsignale an den eingewechselten Erkenner 352-x, um ein Subjekt in dem Verarbeitungsbereich zu erkennen und das Ergebnis der Erkennung von dem Bildverarbeitungsabschnitt 30-1 auszugeben.
Ferner können die Erkenner 352-1 bis 352-n gemäß der Schiefe der Abbildungslinse 21 bereitgestellt sein. Es sind die mehreren Erkenner bereitgestellt, die für Bilder mit verschiedener Schiefe geeignet sind, wie zum Beispiel ein Erkenner, der für ein Bild mit geringer Schiefe geeignet ist, und ein Erkenner, der für ein Bild mit hoher Schiefe geeignet ist. Der Erkennerwechselabschnitt 351 erfasst den Verarbeitungsbereich auf der Basis der Bildsignale, die von dem Abbildungsabschnitt 20-1 erzeugt sind, und wechselt den Erkenner, der für die Subjekterkennungsverarbeitung verwendet wird, zu einem Erkenner entsprechend der erfassten Schiefe. Der Erkennerwechselabschnitt 351 versorgt die Bildsignale an den eingewechselten Erkenner 352-x, um ein Subjekt in dem Verarbeitungsbereich zu erkennen und das Ergebnis der Erkennung von dem Bildverarbeitungsabschnitt 30-1 auszugeben.
Ferner, zum Beispiel in einem Fall, wo der Erkennungsverarbeitungsabschnitt 35 Abgleich unter Verwendung eines gelernten Verzeichnisses (wie eine Vorlage, die ein Subjekt zum Lernen angibt) bei Subjekterkennung verwendet, kann der Erkennungsverarbeitungsabschnitt 35 eine Größe der Vorlage anpassen, um im Stande zu sein, gleichwertige Erkennungsgenauigkeit ungeachtet von Unterschieden in Auflösung und Schiefe zu erhalten. Zum Beispiel ist ein Subjektbereich eines peripheren Teils eines Bilds kleiner als der eines Mittelteils davon. Deshalb macht der Erkennungsverarbeitungsabschnitt 35 die Größe der Vorlage in dem peripheren Teil des Bilds kleiner als die des Mittelteils. Ferner, zum Beispiel wen der Erkennungsverarbeitungsabschnitt 35 die Vorlage bewegt, um eine Position mit hoher Ähnlichkeit zu erfassen, kann der Erkennungsverarbeitungsabschnitt 35 eine Bewegungsmenge der Vorlage anpassen, um die Bewegungsmenge in dem peripheren Teil verglichen mit dem Mittelteil zu verringern.
<Betrieb erster Ausführungsform>
3 ist ein Ablaufdiagramm, das beispielhaft einen Betrieb der ersten Ausführungsform zeigt. In Schritt ST1 beschafft der Bildverarbeitungsabschnitt 30-1 Eigenschaftsinformationen entsprechend der Abbildungslinse. Der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-1 beschafft eine Eigenschaftskarte, basierend auf der optischen Eigenschaft der Abbildungslinse 21, die in dem Abbildungsabschnitt 20-1 verwendet wird, und fährt mit Schritt ST2 fort.
In Schritt ST2 wechselt der Bildverarbeitungsabschnitt 30-1 zwischen den Erkennern. Auf der Basis der in Schritt ST1 beschafften Eigenschaftsinformationen, wechselt der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-1 zu einem Erkenner, entsprechend einer Bildeigenschaft eines Verarbeitungsbereichs, in dem Erkennungsverarbeitung durchgeführt wird, und fährt mit Schritt ST3 fort.
In Schritt ST3 wechselt der Bildverarbeitungsabschnitt 30-1 die Bewegungsgröße und - menge. Wenn der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-1 Subjekterkennung unter Verwendung des Erkenners durchführt, der in Schritt ST2 eingewechselt wurde, wechselt der Bildverarbeitungsabschnitt 30-1 die Größe der Vorlage und die Bewegungsmenge in Abgleichverarbeitung gemäß der Bildeigenschaft des Verarbeitungsbereichs und fährt mit Schritt ST4 fort.
Der Bildverarbeitungsabschnitt 30-1 führt die Erkennungsverarbeitung in Schritt ST4 durch. Indem die Bildsignale verwendet werden, die von dem Abbildungsabschnitt 20-1 erzeugt werden, führt der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-1 die Erkennungsverarbeitung unter Verwendung des Erkenners durch, der in Schritt ST2 eingewechselt wurde.
Es wird angemerkt, dass der Betrieb der ersten Ausführungsform nicht auf den Betrieb begrenzt ist, der in 3 veranschaulicht ist. Zum Beispiel kann die Erkennungsverarbeitung durchgeführt werden, ohne die Verarbeitung in Schritt ST3 durchzuführen.
4 ist ein Diagramm zum Beschreiben des Betriebs der ersten Ausführungsform. (a) von 4 veranschaulicht eine Auflösungskarte der Standardlinse. Ferner zeigt als eine binäre Eigenschaftskarte, zum Beispiel (b) von 4 beispielhaft eine Auflösungskarte der Weitwinkellinse und zeigt (c) von 4 beispielhaft eine Auflösungskarte der zylindrischen Linse. Es wird angemerkt, dass in 4 ein Kartenbereich ARh ein Bereich mit hoher Auflösung ist, während ein Kartenbereich AR1 ein Bereich mit niedriger Auflösung ist.
Zum Beispiel weist der Erkennungsverarbeitungsabschnitt 35 den Erkenner 352-1 und den Erkenner 352-2 auf. Der Erkenner 352-1 führt Erkennungsverarbeitung unter Verwendung eines Verzeichnisses für hohe Auflösung auf, das unter Verwendung von Lehrerbildern mit hoher Auflösung gelernt hat. Der Erkenner 352-2 führt Erkennungsverarbeitung unter Verwendung eines Verzeichnisses für niedrige Auflösung durch, das unter Verwendung von Lehrerbildern mit niedriger Auflösung gelernt hat.
Der Erkennerwechselabschnitt 351 des Erkennungsverarbeitungsabschnitts 35 bestimmt, ob der Verarbeitungsbereich, in dem die Erkennungsverarbeitung durchgeführt wird, zu dem Kartenbereich ARh mit hoher Auflösung oder dem Kartenbereich ARl mit niedriger Auflösung gehört. In einem Fall, wo der Verarbeitungsbereich den Kartenbereich ARh und den Kartenbereich AR1 aufweist, bestimmt der Erkennerwechselabschnitt 351, ob der Verarbeitungsbereich zu dem Kartenbereich ARh oder dem Kartenbereich AR1 gehört, auf der Basis der Statistiken oder dergleichen. Zum Beispiel bestimmt der Erkennerwechselabschnitt 351, ob jedes Pixel des Verarbeitungsbereichs zu dem Kartenbereich ARh oder dem Kartenbereich AR1 gehört, und bestimmt den Kartenbereich, zu dem mehr Pixel gehören, als den Kartenbereich, zu dem der Verarbeitungsbereich gehört. Ferner kann der Erkennerwechselabschnitt 351 ein Gewicht für jedes Pixel des Verarbeitungsbereichs einstellen, wobei ein Mittelteil stärker gewichtet ist als ein peripherer Teil. Dann kann der Erkennerwechselabschnitt 351 einen kumulativen Wert des Gewichts des Kartenbereichs ARh mit einem kumulativen Wert des Gewichts des Kartenbereichs AR1 vergleichen und den Bereich bestimmen, der einen größeren kumulativen Wert als der Kartenbereich aufweist, zu dem der Verarbeitungsbereich gehört. Ferner kann der Erkennerwechselabschnitt 351 den Kartenbereich, zu dem der Verarbeitungsbereich gehört, unter Verwendung eines anderen Verfahrens bestimmen, wie zum Beispiel den Kartenbereich mit höherer Auflösung als den Kartenbereich einzustellen, zu dem der Verarbeitungsbereich gehört. In einem Fall, wo der Erkennerwechselabschnitt 351 bestimmt, dass der Verarbeitungsbereich zu dem Kartenbereich ARh gehört, wechselt der Erkennerwechselabschnitt 351 zu dem Erkenner 352-1. Deshalb ist es in einem Fall, wo der Verarbeitungsbereich ein Hochauflösungsbereich ist, möglich, ein Subjekt akkurat in dem Verarbeitungsbereich auf der Basis des Verzeichnisses für hohe Auflösung unter Verwendung der Bildsignale zu erkennen, die von dem Abbildungsabschnitt 20-1 erzeugt werden. Ferner kann in einem Fall, wo der Erkennerwechselabschnitt 351 bestimmt, dass der Verarbeitungsbereich zu dem Kartenbereich AR1 gehört, der Erkennerwechselabschnitt 351 zu dem Erkenner 352-2 wechseln. Deshalb ist es in einem Fall, wo der Verarbeitungsbereich ein Niederauflösungsbereich ist, möglich, ein Subjekt akkurat in dem Verarbeitungsbereich auf der Basis des Verzeichnisses für niedere Auflösung unter Verwendung der Bildsignale zu erkennen, die von dem Abbildungsabschnitt 20-1 erzeugt werden.
Ferner kann der Erkennerwechselabschnitt 351 des Erkennungsverarbeitungsabschnitts 35 bestimmen, ob der Verarbeitungsbereich, in dem die Erkennungsverarbeitung durchgeführt wird, zu einem Kartenbereich mit niedriger Schiefe oder einem Kartenbereich mit hoher Schiefe gehört und kann zwischen den Erkennern auf der Basis des Ergebnisses der Bestimmung wechseln. Zum Beispiel bestimmt der Erkennerwechselabschnitt 351, ob jedes Pixel des Verarbeitungsbereichs zu dem Kartenbereich mit niedriger Schiefe oder dem Kartenbereich mit hoher Schiefe gehört und bestimmt den Kartenbereich, zu dem mehr Pixel gehören, als den Kartenbereich, zu dem der Verarbeitungsbereich gehört. In einem Fall, wo der Erkennerwechselabschnitt 351 bestimmt, dass der Verarbeitungsbereich zu dem Kartenbereich mit niedriger Schiefe gehört, wechselt der Erkennerwechselabschnitt 351 zu einem Erkenner, der die Erkennungsverarbeitung unter Verwendung eines Verzeichnisses für niedrige Schiefe durchführt, das unter Verwendung von Lehrerbildern mit niedriger Schiefe gelernt hat. Deshalb, in einem Fall, wo der Verarbeitungsbereich ein Bereich mit niedriger Schiefe ist, ist es möglich, akkurat ein Subjekt in dem Verarbeitungsbereich auf der Basis des Verzeichnisses für niedrige Schiefe unter Verwendung der Bildsignale zu erkennen, die von dem Abbildungsabschnitt 20-1 erzeugt werden. Ferner wechselt in einem Fall, wo der Erkennerwechselabschnitt 351 bestimmt, dass der Verarbeitungsbereich zu dem Kartenbereich mit hoher Schiefe gehört, der Erkennerwechselabschnitt 351 zu einem Erkenner, der die Erkennungsverarbeitung unter Verwendung eines Verzeichnisses für hohe Schiefe durchführt, das unter Verwendung von Lehrerbildern mit hoher Schiefe gelernt hat. Deshalb, in einem Fall, wo der Verarbeitungsbereich ein Bereich mit hoher Schiefe ist, ist es möglich, akkurat ein Subjekt in dem Verarbeitungsbereich auf der Basis des Verzeichnisses für hohe Schiefe unter Verwendung der Bildsignale zu erkennen, die von dem Abbildungsabschnitt 20-1 erzeugt werden.
Auf diese Weise, gemäß der ersten Ausführungsform, wird die Erkennungsverarbeitung unter Verwendung eines Erkenners entsprechend einer Bildeigenschaft eines Verarbeitungsbereichs in einem Bild durchgeführt, das von dem Abbildungsabschnitt 20-1 erhalten wird, das heißt, der optischen Eigenschaft der Abbildungslinse 21, die in dem Abbildungsabschnitt 20-1 verwendet wird. Deshalb, selbst wenn die Verwendung der Weitwinkellinse oder der zylindrischen Linse mit einem weiteren Blickwinkel als die Standardlinse als die Abbildungslinse Unterschiede in Auflösung oder Schiefe in dem Bild aufgrund der optischen Eigenschaft der Abbildungslinse veranlasst, kann die Subjekterkennung unter Verwendung des Erkenners entsprechend dem Verarbeitungsbereich durchgeführt werden. Dies ermöglicht akkuratere Subjekterkennung als der Fall von Verwendung eines Erkenners, der zum Beispiel der Standardlinse entspricht, ohne zwischen den Erkennern zu wechseln.
<Zweite Ausführungsform>
In dem Fall vom Durchführen von Subjekterkennung gibt es zum Beispiel einen Fall, wo es ausreicht, ein vorausliegendes Subjekt zu erkennen, und einen Fall, wo es wünschenswert ist, nicht nur das vorausliegende Subjekt zu erkennen, sondern auch ein Subjekt in einer weiten Spanne. Jeder Fall kann gehandhabt werden, indem zwischen Abbildungslinsen gewechselt und ein Bild beschafft wird. Gemäß einer zweiten Ausführungsform wird die Subjekterkennung deshalb in einem Fall akkurat durchgeführt, wo es möglich ist, zwischen den Abbildungslinsen zu wechseln.
<Konfiguration zweiter Ausführungsform>
5 zeigt beispielhaft eine Konfiguration der zweiten Ausführungsform. Das Abbildungssystem 10 weist einen Abbildungsabschnitt 20-2 und einen Bildverarbeitungsabschnitt 30-2 auf.
Der Abbildungsabschnitt 20-2 ermöglicht es, zwischen mehreren Abbildungslinsen, zum Beispiel einer Abbildungslinse 21a und einer Abbildungslinse 21b, mit verschiedenen Blickwinkeln zu wechseln. Die Abbildungslinse 21a (21b) bildet ein optisches Subjektbild auf einer Abbildungsoberfläche eines Bildsensors 22 des Abbildungsabschnitts 20-2.
Der Bildsensor 22 weist zum Beispiel einen CMOS-(komplementärer Metalloxidhalbleiter) Bildsensor oder ein CCD- (ladungsgekoppeltes Bauelement) Bild auf. Der Bildsensor 22 erzeugt Bildsignale entsprechend dem optischen Subjektbild und gibt die Bildsignale an den Bildverarbeitungsabschnitt 30-2 aus.
Ein Linsenwechselabschnitt 23 wechselt die Linse, die zur Abbildung verwendet wird, zu der Abbildungslinse 21a oder der Abbildungslinse 21b, auf der Basis eines Linsenauswahlsignals, das von einem Linsenauswahlabschnitt 32 des weiter unten beschriebenen Bildverarbeitungsabschnitts 30-2 versorgt wird.
Der Bildverarbeitungsabschnitt 30-2 führt Subjekterkennung auf der Basis der Bildsignale durch, die von dem Abbildungsabschnitt 20-2 erzeugt werden. Der Bildverarbeitungsabschnitt 30-2 weist den Linsenauswahlabschnitt 32, einen Eigenschaftsinformationsdatenspeicherabschnitt 33, den Linsenauswahlabschnitt 32 und den Erkennungsverarbeitungsabschnitt 35 auf.
Der Linsenauswahlabschnitt 32 führt Szenenbestimmung durch und erzeugt ein Linsenauswahlsignal zum Auswählen einer Abbildungslinse mit dem Blickwinkel, der für die Szene zum Zeitpunkt der Abbildung geeignet ist. Der Linsenauswahlabschnitt 32 führt die Szenenbestimmung auf der Basis von Bildinformationen durch, zum Beispiel einem Bild, das von dem Abbildungsabschnitt 20-2 erhalten wird. Ferner kann der Linsenauswahlabschnitt 32 die Szenenbestimmung auf der Basis von Betriebsinformationen und Umgebungsinformationen von Ausrüstung durchführen, die das Abbildungssystem 10 aufweist. Der Linsenauswahlabschnitt 32 gibt das erzeugte Linsenauswahlsignal an den Linsenwechselabschnitt 23 des Abbildungsabschnitts 20-2 und den Eigenschaftsinformationsdatenspeicherabschnitt 33 des Bildverarbeitungsabschnitts 30-2 aus.
Der Eigenschafsinformationsdatenspeicherabschnitt 33 speichert, als Eigenschaftsinformationen, eine Eigenschaftskarte basierend auf einer optischen Eigenschaft, die für jede Abbildungslinse relevant ist, die in dem Abbildungsabschnitt 20-2 verwendet werden kann. Zum Beispiel, in einem Fall, wo die Abbildungslinse 21a und die Abbildungslinse 21b in dem Abbildungsabschnitt 20-2 gewechselt werden können, speichert der Eigenschaftsinformationsspeicherabschnitt 33 eine Eigenschaftskarte basierend auf einer optischen Eigenschaft der Abbildungslinse 21a und eine Eigenschaftskarte basierend auf einer optischen Eigenschaft der Abbildungslinse 21b. Eine Auflösungskarte, eine Schiefenkarte oder dergleichen wird zum Beispiel als die Eigenschaftsinformationen (Eigenschaftskarte) verwendet. Auf der Basis des Linsenauswahlsignals, das von dem Linsenauswahlabschnitt 32 versorgt wird, gibt der Eigenschaftsinformationsdatenspeicherabschnitt 33 die Eigenschaftsinformationen entsprechend der Abbildungslinse, die zum Abbilden in dem Abbildungsabschnitt 20-2 verwendet wird, an den Erkennungsverarbeitungsabschnitt 35 aus.
Der Erkennungsverarbeitungsabschnitt 35 weist einen Erkennerwechselabschnitt 351 und mehrere Erkenner 352-1 bis 352-n auf. Für jede Abbildungslinse, die in dem Abbildungsabschnitt 20-2 verwendet wird, sind die Erkenner 352-1 bis 352-n gemäß Unterschieden der optischen Eigenschaft der Abbildungslinse bereitgestellt. Es sind die mehreren Erkenner bereitgestellt, die für Bilder mit verschiedenen Auflösungen geeignet sind, wie zum Beispiel ein Erkenner, der für ein Bild mit hoher Auflösung geeignet ist, und ein Erkenner, der für ein Bild mit niedriger Auflösung geeignet ist. Der Erkennerwechselabschnitt 351 erfasst einen Verarbeitungsbereich auf der Basis der Bildsignale, die von dem Abbildungsabschnitt 20-2 erzeugt werden. Ferner erfasst der Erkennerwechselabschnitt 351 die Auflösung des Verarbeitungsbereichs auf der Basis der Position des Verarbeitungsbereichs auf dem Bild und der Auflösungskarte und wechselt den Erkenner, der für die Subjekterkennungsverarbeitung verwendet wird, zu einem Erkenner, der der erfassten Auflösung entspricht. Der Erkennerwechselabschnitt 351 versorgt die Bildsignale an den eingewechselten Erkenner 352-x, um ein Subjekt in dem Verarbeitungsbereich zu erkennen und das Ergebnis der Erkennung von dem Bildverarbeitungsabschnitt 30-2 auszugeben.
Ferner können die Erkenner 352-1 bis 352-n gemäß der Schiefe der Abbildungslinse 21 bereitgestellt werden. Es sind die mehreren Erkenner bereitgestellt, die für Bilder mit verschiedener Schiefe geeignet sind, wie zum Beispiel ein Erkenner, der für ein Bild mit geringer Schiefe geeignet ist, und ein Erkenner, der für ein Bild mit hoher Schiefe geeignet ist. Der Erkennerwechselabschnitt 351 erfasst einen Verarbeitungsbereich auf der Basis der Bildsignale, die von dem Abbildungsabschnitt 20-2 erzeugt werden, und wechselt den Erkenner, der für die Subjekterkennungsverarbeitung verwendet wird, zu einem Erkenner entsprechend der erfassten Schiefe. Der Erkennerwechselabschnitt 351 versorgt die Bildsignale an den eingewechselten Erkenner 352-x, um ein Subjekt in dem Verarbeitungsbereich zu erkennen und das Ergebnis der Erkennung von dem Bildverarbeitungsabschnitt 30-2 auszugeben.
Ferner, zum Beispiel in einem Fall, wo der Erkennungsverarbeitungsabschnitt 35 Abgleich mit einem gelernten Verzeichnis (z.B. eine Vorlage) in Subjekterkennung durchführt, kann der Erkennungsverarbeitungsabschnitt 35 die Bewegungsgröße und -menge der Vorlage anpassen, um im Stande zu sein, gleichwertige Erkennungsgenauigkeit ungeachtet von Unterschiedenen in Auflösung und Schiefe zu erhalten.
<Betrieb zweiter Ausführungsform>
6 ist ein Ablaufdiagramm, das beispielhaft einen Betrieb der zweiten Ausführungsform zeigt. In Schritt ST11 führt der Bildverarbeitungsabschnitt 30-2 Szenenbestimmung durch. Der Linsenauswahlabschnitt 32 des Bildverarbeitungsabschnitts 30-2 führt die Szenenbestimmung durch. Der Linsenauswahlabschnitt 32 bestimmt eine Abbildungsszene auf der Basis eines Bilds, das von dem Abbildungsabschnitt 20-2 erhalten wird, und eines Betriebszustands und eines Verwendungszustands der Ausrüstung, die das Abbildungssystem 10 aufweist, und fährt mit Schritt ST12 fort.
In Schritt ST12 wechselt der Bildverarbeitungsabschnitt 30-2 zwischen den Linsen. Der Linsenauswahlabschnitt 32 de Bildverarbeitungsabschnitts 30-2 erzeugt ein Linsenauswahlsignal, sodass eine Abbildungslinse mit dem Blickwinkel, der für die Abbildungsszene geeignet ist, die in Schritt ST12 bestimmt ist, in dem Abbildungsabschnitt 20-2 verwendet wird. Der Linsenauswahlabschnitt 32 gibt das erzeugte Linsenauswahlsignal an den Abbildungsabschnitt 20-2 aus und fährt mit Schritt ST13 fort.
In Schritt ST13 beschafft der Bildverarbeitungsabschnitt 30-2 Eigenschaftsinformationen entsprechend der Abbildungslinse. Der Linsenauswahlabschnitt 32 des Bildverarbeitungsabschnitts 30-2 gibt das Linsenauswahlsignal, das in Schritt ST12 erzeugt wurde, an den Eigenschaftsinformationsdatenspeicherabschnitt 33 aus und veranlasst den Eigenschaftsinformationsdatenspeicherabschnitt 33, die Eigenschaftsinformationen (Eigenschaftskarte), basierend auf einer optischen Eigenschaft der Abbildungslinse, die für Abbildung in dem Abbildungsabschnitt 20-2 verwendet wird, an den Erkennungsverarbeitungsabschnitt 35 auszugeben. Der Erkennungsverarbeitungsabschnitt 35 beschafft die Eigenschaftsinformationen, die von dem Eigenschaftsinformationsdatenspeicherabschnitt 33 versorgt werden, und fährt mit Schritt ST14 fort.
In Schritt ST14 wechselt der Bildverarbeitungsabschnitt 30-2 zwischen den Erkennern. Auf der Basis der Eigenschaftsinformationen, die in Schritt ST13 beschafft wurden, wechselt der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-2 zu einem Erkenner, entsprechend einer Bildeigenschaft eines Verarbeitungsbereichs, in dem die Erkennungsverarbeitung durchgeführt wird und fährt mit Schritt ST15 fort.
In Schritt ST15 wechselt der Bildverarbeitungsabschnitt 30-2 die Bewegungsgröße und - menge. Wenn der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-2 Subjekterkennung unter Verwendung des Erkenners durchführt, der in Schritt ST14 eingewechselt wurde, wechselt der Erkennungsverarbeitungsabschnitt 35 die Größe der Vorlage und die Bewegungsmenge in der Abgleichverarbeitung gemäß der Bildeigenschaft des Verarbeitungsbereichs und fährt mit Schritt ST16 fort.
Der Bildverarbeitungsabschnitt 30-2 führt die Erkennungsverarbeitung in Schritt ST16 durch. Indem die Bildsignale verwendet werden, die von dem Abbildungsabschnitt 20-2 erzeugt werden, führt der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-2 die Erkennungsverarbeitung unter Verwendung des Erkenners durch, der in Schritt ST14 eingewechselt wurde.
Es wird angemerkt, dass der Betrieb der zweiten Ausführungsform nicht auf den Betrieb begrenzt ist, der in 6 veranschaulicht ist. Zum Beispiel kann die Erkennungsverarbeitung durchgeführt werden, ohne die Verarbeitung in Schritt ST15 durchzuführen.
7 ist ein Diagramm zum Beschreiben des Betriebs der zweiten Ausführungsform. Es wird angemerkt, dass die Abbildungslinse 21b eine Abbildungslinse mit einem weiteren Blickwinkel als die Abbildungslinse 21a ist.
In einem Fall, wo der Linsenauswahlabschnitt 32 eine Abbildungslinse auf der Basis von Bildinformationen auswählt, bestimmt der Linsenauswahlabschnitt 32, ob die Szene zum Beispiel eine ist, wo es ein Objekt weit voraus gibt, das Vorsicht benötigt, oder wo es ein Objekt in der Umgebung gibt, das Vorsicht benötigt. In der Szene, wo es ein Objekt weit voraus gibt, das Vorsicht benötigt, wählt der Linsenauswahlabschnitt 32 die Abbildungslinse 21a aus, da ein Blickwinkel erforderlich ist, der Priorität auf die Vorderseite legt. Ferner, in der Szene, wo es ein Objekt in der Umgebung gibt, das Vorsicht benötigt, wählt der Linsenauswahlabschnitt 32 die Abbildungslinse 21b aus, da der Blickwinkel erforderlich ist, der die Umgebung aufweist.
In einem Fall, wo der Linsenauswahlabschnitt 32 eine Abbildungslinse auf der Basis von Betriebsinformationen (z.B. Informationen, die eine Bewegung eines Fahrzeugs angeben, das das Abbildungssystem aufweist) auswählt, bestimmt der Linsenauswahlabschnitt 32, ob die Szene zum Beispiel ist, wo Hochgeschwindigkeitsvorwärtsbewegung stattfindet, oder wo ein Wenden stattfindet. In der Szene, wo Hochgeschwindigkeitsvorwärtsbewegung stattfindet, wählt der Linsenauswahlabschnitt 32 die Abbildungslinse 21a aus, da der Blickwinkel erforderlich ist, der Priorität auf die Vorderseite legt. Ferner, in der Szene, wo Wenden stattfindet, wählt der Linsenauswahlabschnitt 32 die Abbildungslinse 21b aus, weil der Blickwinkel erforderlich ist, der die Umgebung aufweist.
In einem Fall, wo der Linsenauswahlabschnitt 32 eine Abbildungslinse auf der Basis von Umgebungsinformationen (z.B. Karteninformationen) auswählt, ermittelt der Linsenauswahlabschnitt 32, ob die Szene zum Beispiel auf einer Schnellstraße oder dergleichen ist, wo Vorsicht weit voraus benötigt wird, in einem städtischen Bereich oder dergleichen, wo Vorsicht in der Umgebung benötigt wird, oder in einer Kreuzung oder dergleichen, wo Vorsicht rechts und links benötigt wird. In der Szene, wo Vorsicht weit voraus benötigt wird, wählt der Linsenauswahlabschnitt 32 die Abbildungslinse 21a aus, weil der Blickwinkel erforderlich ist, der Priorität auf die Vorderseite legt. Ferner, in der Szene, wo Vorsicht in der Umgebung benötigt wird, wählt der Linsenauswahlabschnitt 32 die Abbildungslinse 21b aus, da der Blickwinkel erforderlich ist, der die Umgebung aufweist. Außerdem wählt in der Szene, wo Vorsicht rechts und links benötigt wird, der Linsenauswahlabschnitt 32 die Abbildungslinse 21b aus, weil der Blickwinkel erforderlich ist, der die Umgebung aufweist.
Es wird angemerkt, dass die Szenenbestimmung, die in 7 veranschaulicht ist, ein Beispiel ist und die Abbildungslinse auf der Basis des Szenenbestimmungsergebnisses ausgewählt werden kann, das nicht in 7 veranschaulicht ist. Ferner, obwohl 7 einen Fall veranschaulicht, wo es zwei Typen von Abbildungslinsen gibt, die gewechselt werden können, können drei oder mehr Typen von Abbildungslinsen auf der Basis des Szenenbestimmungsergebnisses gewechselt werden. Ferner kann die Abbildungslinse auf der Basis mehrerer Szenenbestimmungsergebnisse ausgewählt werden. In diesem Fall, in einem Fall, wo sich der nötige Blickwinkel unterscheidet, werden die Abbildungslinsen gemäß Zuverlässigkeit der Szenenbestimmungsergebnisse gewechselt. Zum Beispiel, in einem Fall, wo der nötige Blickwinkel sich zwischen dem Szenenbestimmungsergebnis der Betriebsinformationen und dem Szenenbestimmungsergebnis der Umgebungsinformationen unterscheidet und die Zuverlässigkeit des Szenenbestimmungsergebnisses niedrig ist, da das Fahrzeug sich langsam bewegt oder ein Lenkwinkel klein ist, wird die Abbildungslinse unter Verwendung des Szenenbestimmungsergebnisses der Umgebungsinformationen ausgewählt.
Auf diese Weise, gemäß der zweiten Ausführungsform, selbst in einem Fall, wo die Abbildungslinsen mit verschiedenen Blickwinkeln gewechselt und gemäß einer Bildeigenschaft eines Verarbeitungsbereichs in einem Bild verwendet werden, das von dem Abbildungsabschnitt 20-2 erhalten wird, das heißt, eine Abbildungsszene, wird die Erkennungsverarbeitung unter Verwendung eines Erkenners entsprechend der Bildeigenschaft des Verarbeitungsbereichs in der Eigenschaftskarte, basierend auf der optischen Eigenschaft der Abbildungslinse durchgeführt, die zum Abbilden in dem Abbildungsabschnitt 20-2 verwendet wird. Deshalb, selbst, falls Wechseln zwischen der Standardlinse und der Weitwinkellinse oder der zylindrischen Linse mit einem weiten Blickwinkel gemäß der Abbildungsszene durchgeführt wird und Unterschiede in Auflösung oder Schiefe in dem Bild aufgrund der optischen Eigenschaft der Abbildungslinse auftreten, die zum Zeitpunkt der Abbildung verwendet wird, kann die Subjekterkennung unter Verwendung des Erkenners entsprechend dem Verarbeitungsbereich durchgeführt werden. Dies ermöglicht akkuratere Subjekterkennung als in dem Fall, nicht zwischen den Erkennern zu wechseln.
<Dritte Ausführungsform>
Übrigens erzeugt in manchen Fällen die Auflösung eines Bilds, das von dem Abbildungsabschnitt erhalten wird, einen Bereich mit hoher Auflösung und einen Bereich mit niedriger Auflösung, abhängig von der Konfiguration des Bildsensors. Zum Beispiel, in einem Fall, wo kein Farbfilter in dem Bildsensor verwendet wird, ist es möglich, ein Bild mit höherer Auflösung zu beschaffen als in einem Fall, wo das Farbfilter verwendet wird. Deshalb, in einem Fall, wo der Bildsensor dazu ausgebildet ist, das Farbfilter nicht in einem Bereich anzuordnen, wo ein Bild mit hoher Auflösung benötigt wird, ist es möglich, ein Bild zu beschaffen, das einen Schwarz-Weiß-Bildbereich mit hoher Auflösung und einen Farbbildbereich mit niedriger Auflösung aufweist. Gemäß einer dritten Ausführungsform wird die Subjekterkennung deshalb akkurat durchgeführt, selbst in dem Fall, dass ein Bildsensor verwendet wird, der ein Bild beschaffen kann, dessen Eigenschaft sich abhängig von dem Bereich unterscheidet.
<Konfiguration dritter Ausführungsform>
8 zeigt beispielhaft eine Konfiguration der dritten Ausführungsform. Das Abbildungssystem 10 weist einen Abbildungsabschnitt 20-3 und einen Bildverarbeitungsabschnitt 30-3 auf.
Eine Abbildungslinse 21 des Abbildungsabschnitts 20-3 bildet ein optisches Subjektbild auf einer Abbildungsoberfläche eines Bildsensors 24 des Abbildungsabschnitts 20-3.
Der Bildsensor 24 weist zum Beispiel einen CMOS-(komplementärer Metalloxidhalbleiter (Complementary Metal Oxide Semiconductor)) Bildsensor oder ein CCD-(ladungsgekoppeltes Bauelement (Charge Coupled Device)) Bild auf. Ferner verwendet der Bildsensor 24 ein Farbfilter und ein Teil der Abbildungsoberfläche weist einen Bereich auf, in dem das Farbfilter nicht angeordnet ist. Zum Beispiel zeigt 9 beispielhaft die Abbildungsoberfläche des Bildsensors. Ein rechteckiger Kartenbereich ARnf, der in einer Mitte liegt, ist ein Bereich, in dem das Farbfilter nicht angeordnet ist und ein anderer Kartenbereich ARcf, durch Schraffierung markiert, ist ein Bereich, in dem das Farbfilter angeordnet ist. Der Bildsensor 24 erzeugt Bildsignale entsprechend dem optischen Subjektbild und gibt die Bildsignale an den Bildverarbeitungsabschnitt 30-3 aus.
Der Bildverarbeitungsabschnitt 30-3 führt Subjekterkennung auf der Basis der Bildsignale durch, die von dem Abbildungsabschnitt 20-3 erzeugt werden. Der Bildverarbeitungsabschnitt 30-3 weist einen Eigenschaftsinformationsdatenspeicherabschnitt 34 und einen Erkennungsverarbeitungsabschnitt 35 auf.
Der Eigenschaftsinformationsdatenspeicherabschnitt 34 speichert, als Eigenschaftsinformationen, eine Eigenschaftskarte, basierend auf Filteranordnung in dem Bildsensor 24 des Abbildungsabschnitts 20-3. Eine Farbpixelkarte, in der Farbpixel und Nichtfarbpixel voneinander unterschieden werden können, wird zum Beispiel als die Eigenschaftskarte verwendet. Der Eigenschaftsinformationsdatenspeicherabschnitt 34 gibt die gespeicherten Eigenschaftsinformationen an den Erkennungsverarbeitungsabschnitt 35 aus.
Der Erkennungsverarbeitungsabschnitt 35 weist einen Erkennerwechselabschnitt 351 und mehrere Erkenner 352-1 bis 352-n auf. Die Erkenner 352-1 bis 352-n sind gemäß der Filteranordnung in dem Bildsensor 24 des Abbildungsabschnitts 20-3 bereitgestellt. Es sind die mehreren Erkenner bereitgestellt, die für Bilder mit verschiedenen Auflösungen geeignet sind, wie ein Erkenner, der für ein Bild mit hoher Auflösung geeignet ist, und ein Erkenner, der für ein Bild mit niedriger Auflösung geeignet ist. Der Erkennerwechselabschnitt 351 erfasst einen Verarbeitungsbereich auf der Basis der Bildsignale, die von dem Abbildungsabschnitt 20-3 erzeugt werden. Ferner wechselt der Erkennerwechselabschnitt 351 zwischen den Erkennern, die für die Subjekterkennungsverarbeitung verwendet werden, auf der Basis der Position des Verarbeitungsbereichs auf dem Bild und den Eigenschaftsinformationen. Der Erkennerwechselabschnitt 351 versorgt die Bildsignale an den eingewechselten Erkenner 352-x, um ein Subjekt in dem Verarbeitungsbereich zu erkennen, und gibt das Ergebnis der Erkennung von dem Bildverarbeitungsabschnitt 30-3 aus.
Ferner, zum Beispiel in einem Fall, wo der Erkennungsverarbeitungsabschnitt 35 Abgleich mit einem gelernten Verzeichnis (z.B. eine Vorlage) in Subjekterkennung durchführt, kann der Verarbeitungsabschnitt 35 die Bewegungsgröße und -menge der Vorlage anpassen, um im Stande zu sein, gleichwertige Erkennungsgenauigkeit ungeachtet von Unterschieden in Auflösung und Schiefe zu erhalten.
<Betrieb dritter Ausführungsform>
10 ist ein Ablaufdiagramm, das beispielhaft einen Betrieb der dritten ausführungsform zeigt. In Schritt ST21 beschafft der Bildverarbeitungsabschnitt 30-3 Eigenschaftsinformationen entsprechend der Filteranordnung. Der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-3 beschafft die Eigenschaftsinformationen (Eigenschaftskarte), basierend auf einem Filteranordnungszustand des Bildsensors 22, der in dem Abbildungsabschnitt 20-3 verwendet wird, und fährt mit Schritt ST22 fort.
In Schritt ST22 wechselt der Bildverarbeitungsabschnitt 30-3 zwischen den Erkennern. Auf der Basis der Eigenschaftsinformationen, die in Schritt ST21 beschafft wurden, wechselt der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-3 zu einem Erkenner, entsprechend einer Bildeigenschaft eines Verarbeitungsbereichs, in dem die Erkennungsverarbeitung durchgeführt wird, und fährt mit Schritt ST23 fort.
In Schritt ST23 wechselt der Bildverarbeitungsabschnitt 30-3 die Bewegungsgröße und - menge. Wenn der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-3 Subjekterkennung unter Verwendung des Erkenners durchführt, der in Schritt ST22 eingewechselt wurde, wechselt der Bildverarbeitungsabschnitt 30-3 die Größe der Vorlage und die Bewegungsmenge in der Abgleichverarbeitung gemäß der Bildeigenschaft des Verarbeitungsbereichs und fährt mit Schritt ST24 fort.
Der Bildverarbeitungsabschnitt 30-3 führt die Erkennungsverarbeitung in Schritt ST24 durch. Indem die Bildsignale verwendet werden, die von dem Abbildungsabschnitt 20-3 erzeugt wurden, führt der Erkennungsverarbeitungsabschnitt 35 des Bildverarbeitungsabschnitts 30-3 die Erkennungsverarbeitung unter Verwendung des Erkenners durch, der in Schritt ST22 eingewechselt wurde.
Es wird angemerkt, dass der Betrieb der dritten Ausführungsform nicht auf den Betrieb begrenzt ist, der in 10 veranschaulicht ist. Zum Beispiel kann die Erkennungsverarbeitung durchgeführt werden, ohne die Verarbeitung in Schritt ST23 durchzuführen.
Als nächstes wird ein Beispiel des Betriebs der dritten Ausführungsform beschrieben. Zum Beispiel weist der Erkennungsverarbeitungsabschnitt 35 den Erkenner 352-1 und den Erkenner 352-2 auf. Der Erkenner 352-1 führt Erkennungsverarbeitung unter Verwendung eines Verzeichnisses für hohe Auflösung auf, das unter Verwendung von Lehrerbildern gelernt hat, die aufgenommen wurden ohne das Farbfilter zu verwenden. Der Erkenner 352-2 führt Erkennungsverarbeitung unter Verwendung eines Verzeichnisses für niedrige Auflösung durch, das unter Verwendung von Lehrerbildern gelernt hat, die unter Verwendung des Farbfilters aufgenommen wurden.
Der Erkennerwechselabschnitt 351 des Erkennungsverarbeitungsabschnitts 35 führt ähnliche Verarbeitung zu der der zuvor beschriebenen, ersten Ausführungsform durch, um zu bestimmen, ob der Verarbeitungsbereich, in dem die Erkennungsverarbeitung durchgeführt wird, zu dem Kartenbereich ARnf oder dem Kartenbereich ARcf gehört. Der Kartenbereich ARnf ist ein Bereich, in dem das Farbfilter nicht angeordnet ist. Der Kartenbereich ARcf ist ein Bereich, in dem das Farbfilter angeordnet ist. In einem Fall, wo der Erkennerwechselabschnitt 351 bestimmt, dass der Verarbeitungsbereich zu dem Kartenbereich ARh gehört, wechselt der Erkennerwechselabschnitt 351 zu dem Erkenner 352-1. Deshalb, in einem Fall, wo der Verarbeitungsbereich ein Hochauflösungsbereich ist, ist es möglich, ein Subjekt in dem Verarbeitungsbereich akkurat auf der Basis des Verzeichnisses für hohe Auflösung unter Verwendung der Bildsignale zu erkennen, die von dem Abbildungsabschnitt 20-3 erzeugt werden. Ferner, in einem Fall, wo der Erkennerwechselabschnitt 351 bestimmt, dass der Verarbeitungsbereich zu dem Kartenbereich ARcf gehört, wechselt der Erkennerwechselabschnitt 351 zu dem Erkenner 352-2. Deshalb, in einem Fall, wo der Verarbeitungsbereich ein Niederauflösungsbereich ist, ist es möglich, ein Subjekt in dem Verarbeitungsbereich akkurat auf der Basis des Verzeichnisses für niedrige Auflösung unter Verwendung der Bildsignale zu erkennen, die von dem Abbildungsabschnitt 20-3 erzeugt werden.
Ferner, obwohl der zuvor beschriebene Betrieb den Fall annimmt, wo der Bereich, in dem das Farbfilter angeordnet ist, und der Bereich, in dem das Farbfilter nicht angeordnet ist, bereitgestellt sind, wird ein Bereich, in dem ein IR-Filter, das infrarote Strahlen entfernt, angeordnet und kann ein Bereich, in dem das IR-Filter nicht angeordnet ist, bereitgestellt werden. 11 zeigt beispielhaft die Abbildungsoberfläche eines Bildsensors. Ein rechteckiger Kartenbereich ARir, der in einer Mitte liegt und durch diagonale Linien markiert ist, ist ein Bereich, in dem das IR-Filter angeordnet ist, und ein anderer Kartenbereich ARnr ist ein Bereich, in dem das IR-Filter nicht angeordnet ist. In einem Fall, wo der Bildsensor 24 auf diese Weise ausgebildet ist, wird der Kartenbereich ARnr, in dem das IR-Filter nicht angeordnet ist, sensibler als der Kartenbereich ARir, in dem das IR-Filter angeordnet ist. Deshalb bestimmt der Erkennerwechselabschnitt 351 des Erkennungsverarbeitungsabschnitts 35, ob der Verarbeitungsbereich, in dem die Erkennungsverarbeitung durchgeführt wird, zu dem Kartenbereich ARnr, in dem das IR-Filter nicht angeordnet ist, oder dem Kartenbereich ARir, in dem das IR-Filter angeordnet ist, gehört.
In einem Fall, wo der Erkennerwechselabschnitt 351 bestimmt, dass der Verarbeitungsbereich zu dem Kartenbereich ARnr gehört, wechselt der Erkennerwechselabschnitt 351 zu einem Erkenner, der die Erkennungsverarbeitung unter Verwendung eines Verzeichnisses für hohe Sensitivität durchführt. Deshalb, in einem Fall, wo der Verarbeitungsbereich in dem Kartenbereich ARnr liegt, ist es möglich, ein Subjekt in dem Verarbeitungsbereich akkurat auf der Basis des Verzeichnisses für hohe Sensitivität unter Verwendung der Bildsignale zu erkennen, die von dem Abbildungsabschnitt 20-3 erzeugt werden. Ferner, in einem Fall, wo der Erkennerwechselabschnitt 351 bestimmt, dass der Verarbeitungsbereich zu dem Kartenbereich ARir gehört, wechselt der Erkennerwechselabschnitt 351 zu einem Erkenner, der die Erkennungsverarbeitung unter Verwendung eines Verzeichnisses für niedrige Sensitivität durchführt. Deshalb, in einem Fall, wo der Verarbeitungsbereich in
dem Kartenbereich ir liegt, ist es möglich, ein Subjekt akkurat in dem Verarbeitungsbereich auf der Basis des Verzeichnisses für niedrige Sensitivität unter Verwendung der Bildsignale zu erkennen, die von dem Abbildungsabschnitt 20-3 erzeugt werden.
Auf diese Weise, gemäß der dritten Ausführungsform, wird die Erkennungsverarbeitung unter Verwendung eines Erkenners entsprechend einer Bildeigenschaft eines Verarbeitungsbereichs in einem Bild, das von dem Abbildungsabschnitt 20-3 erhalten wird, durchgeführt, das heißt, dem Filteranordnungszustand des Bildsensors 24, der in dem Abbildungsabschnitt 20-3 verwendet wird. Deshalb, selbst in einem Fall, wo die Filteranordnung Unterschiede in Auflösung in dem Bild veranlasst, kann
die Subjekterkennung unter Verwendung des Erkenners entsprechend dem Verarbeitungsbereich durchgeführt werden. Dies ermöglicht akkuratere Subjekterkennung als der Fall, dass nicht zwischen den Erkennern gewechselt wird.
<Modifikationen>
In der vorliegenden Technologie können die zuvor beschriebenen Ausführungsformen kombiniert werden. Zum Beispiel kann, die erste Ausführungsform und die dritte Ausführungsform zu kombinieren, eine Spanne des Blickwinkels, in dem das Farbfilter angeordnet ist, oder eine Spanne des Blickwinkels, in dem das IR-Filter nicht angeordnet ist, erweitern. Ferner können die zweite Ausführungsform und die dritte Ausführungsform auch kombiniert werden. Es wird angemerkt, dass in einem Fall, wo die Ausführungsformen kombiniert sind, möglich ist, ein Subjekt akkurater zu erkennen, indem die Erkennungsverarbeitung durchgeführt wird, indem zu einem Erkenner entsprechend einer Kombination der optischen Eigenschaft und der Filteranordnung gewechselt wird.
Ferner kann die Eigenschaftskarte in dem Abbildungsabschnitt gespeichert werden oder der Bildverarbeitungsabschnitt kann die Eigenschaftskarte erzeugen, indem von dem Abbildungsabschnitt Informationen beschafft werden, die die optische Eigenschaft der Abbildungslinse oder der Filteranordnung des Bildsensors angeben. Solch eine Konfiguration kann Änderungen in dem Abbildungsabschnitt, der Abbildungslinse oder dem Bildsensor beinhalten.
<Anwendungsbeispiele>
Die Technologie gemäß der vorliegenden Offenbarung kann auf unterschiedliche Typen von Produkten angewendet werden. Zum Beispiel kann die Technologie gemäß der vorliegenden Offenbarung als eine Vorrichtung implementiert werden, die auf einen beliebigen Typ von mobilem Objekt befestigt wird, wie einem Automobil, einem Elektrofahrzeug, einem Hybridelektrofahrzeug, einem Motorrad, einem Fahrrad, persönlicher Mobilität, einem Flugzeug, einer Drohne, einem Schiff, einem Roboter, einer Baumaschine oder einer Landwirtschaftsmaschine (Traktor).
12 ist ein Blockdiagramm, das ein Beispiel einer schematischen funktionalen Konfiguration eines Fahrzeugsteuerungssystems 100 als ein Beispiel eines Mobilobjektsteuerungssystems veranschaulicht, auf das die vorliegende Technologie angewendet werden kann.
Es wird hierin nachfolgend angemerkt, dass in einem Fall, wo ein Fahrzeug, das das Fahrzeugsteuerungssystem 100 aufweist, von andern Fahrzeugen unterschieden wird, das Fahrzeug als ein Host-Auto oder ein Host-Fahrzeug bezeichnet wird.
Das Fahrzeugsteuerungssystem 100 weist einen Eingabeabschnitt 101, einen Datenbeschaffungsabschnitt 102, einen Kommunikationsabschnitt 103, fahrzeuginnenseitige Ausrüstung 104, einen Ausgabesteuerungsabschnitt 105, einen Ausgabeabschnitt 106, einen Fahrtsteuerungsabschnitt 107, ein Fahrsystem 108, einen Körpersteuerungsabschnitt 109, ein Körpersystem 110, einen Datenspeicherabschnitt 111 und einen automatischen Fahrtsteuerungsabschnitt 112 auf. Der Eingabeabschnitt 101, der Datenbeschaffungsabschnitt 102, der Kommunikationsabschnitt 103, der Ausgabesteuerungsabschnitt 105, der Fahrtsteuerungsabschnitt 107, der Körpersteuerungsabschnitt 109, der Datenspeicherabschnitt 111 und der automatische Fahrtsteuerungsabschnitt 112 sind durch ein Kommunikationsnetzwerk 121 miteinander verbunden. Zum Beispiel weist das Kommunikationsnetzwerk 121 ein fahrzeugbefestigtes Kommunikationsnetzwerk, einen Bus und dergleichen auf, das einem optionalen Standard entsprechend kann, wie einem CAN (Steuerungsbereichsnetzwerk (Controller Area Network)), einem LIN (Lokalverbindungsnetzwerk (Local Interconnect Network)), einem LAN (Lokalnetzwerk (Local Area Network)) oder Flexray (eingetragene Marke). Es wird angemerkt, dass jeder Abschnitt des Fahrzeugsteuerungssystems 100 in manchen Fällen direkt ohne das Kommunikationsnetzwerk 121 verbunden sein kann.
Es wird hierin nachfolgend angemerkt, dass in einem Fall, wo jeder Abschnitt des Fahrzeugsteuerungssystems 100 Kommunikation durch das Kommunikationsnetzwerk 121 durchführt, die Beschreibung des Kommunikationsnetzwerks 121 ausgelassen wird. Zum Beispiel, in einem Fall, wo der Eingabeabschnitt 101 und der automatische Fahrtsteuerungsabschnitt 112 miteinander durch das Kommunikationsnetzwerk 121 kommunizieren, wird einfach beschrieben, dass der Eingabeabschnitt 101 und der automatische Fahrsteuerungsabschnitt 112 miteinander kommunizieren.
Der Eingabeabschnitt 101 weist eine Vorrichtung auf, die von einem Insassen verwendet wird, um unterschiedliche Typen von Daten, Anweisungen und dergleichen einzugeben. Zum Beispiel weist der Eingabeabschnitt 101 Betriebsgeräte auf, wie ein Berührungspaneel, einen Knopf, ein Mikrofon, einen Schalter und einen Hebel, ein Betriebsgerät, das eine Eingabe durch Sprache, Geste oder dergleichen, das ein anderes Verfahren als ein manueller Betrieb oder dergleichen ist, durchführen kann. Ferner kann zum Beispiel der Eingabeabschnitt 101 eine Fernsteuerungsvorrichtung sein, die Infrarotstrahlung oder andere Funkwellen verwendet, oder kann eine externe Verbindungsausrüstung sein, wie Mobilausrüstung oder tragbare Ausrüstung, die den Betrieb des Fahrzeugsteuerungssystems 100 unterstützt. Der Eingabeabschnitt 101 erzeugt ein Eingabesignal auf der Basis von Daten, Anweisungen und ähnlichen Eingaben durch einen Insassen und versorgt das Eingabesignal an jeden Abschnitt des Fahrzeugsteuerungssystems 100.
Der Datenbeschaffungsabschnitt 102 weist unterschiedliche Typen von Sensoren und dergleichen auf, die Daten beschaffen, die zur Verarbeitung in dem Fahrzeugsteuerungssystem 100 zu verwenden sind, und versorgt die beschaffenen Daten an jeden Abschnitt des Fahrzeugsteuerungssystems 100.
Zum Beispiel weist der Datenbeschaffungsabschnitt 102 unterschiedliche Typen von Sensoren zum Erfassen eines Zustands und dergleichen des Host-Autos auf. Insbesondere weist der Datenbeschaffungsabschnitt 102 zum Beispiel einen Gyrosensor, einen Beschleunigungssensor, eine Trägheitsmessungseinheit (IMU, Inertial Measurement Unit) und Sensoren zum Erfassen eines Betätigungsausmaßes eines Gaspedals, eines Betätigungsausmaßes eines Bremspedals, eines Lenkwinkels eines Lenkrads, einer Motorgeschwindigkeit, einer Motordrehzahl, einer Drehzahl von Rädern oder dergleichen auf.
Ferner weist zum Beispiel der Datenbeschaffungsabschnitt 102 unterschiedliche Typen von Sensoren zum Erfassen von Informationen bezüglich einer Außenseite des Host-Autos auf. Insbesondere weist der Datenbeschaffungsabschnitt 102 zum Beispiel Abbildungsvorrichtungen, wie eine ToF- (Flugzeit (Time of Flight)) Kamera, eine Stereokamera, eine monokulare Kamera, eine Infrarotkamera und andere Kameras auf. Ferner weist der Datenbeschaffungsabschnitt 102 zum Beispiel einen Umgebungssensor zum Erfassen von Wetter, meteorologischen Phänomen oder dergleichen und einen Umgebungsinformationserfassungssensor zum Erfassen von Objekten in der Umgebung des Host-Autos auf. Der Umgebungssensor weist zum Beispiel einen Regensensor, einen Nebelsensor, einen Sonnenlichtsensor, einen Schneesensor und dergleichen auf. Der Umgebungsinformationserfassungssensor weist zum Beispiel einen Ultraschallsensor, ein Radar, LiDAR (Lichterfassung und Abstandmessung, Laserabbildungserfassung und Abstandmessung), ein Sonar und dergleichen auf.
Außerdem weist zum Beispiel der Datenbeschaffungsabschnitt 102 unterschiedliche Typen von Sensoren zum Erfassen einer aktuellen Position des Host-Autos auf. Insbesondere weist der Datenbeschaffungsabschnitt 102 zum Beispiel einen GNSS-(Globales Navigationssatellitensystem) Empfänger und dergleichen auf. Der GNSS-Empfänger empfängt ein GNSS-Signal von einem GNSS-Satelliten.
Ferner weist zum Beispiel der Datenbeschaffungsabschnitt 102 unterschiedliche Typen von Sensoren zum Erfassen von fahrzeuginnenseitigen Informationen auf. Insbesondere weist der Datenbeschaffungsabschnitt 102 zum Beispiel eine Abbildungsvorrichtung, die einen Fahrer aufnimmt, einen Biosensor, der biologische Informationen bezüglich des Fahrers erfasst, ein Mikrofon, das Ton im Fahrzeuginnenraum aufnimmt, und dergleichen auf. Zum Beispiel ist der Biosensor in einer Sitzfläche, dem Lenkrad oder dergleichen bereitgestellt und erfasst biologische Informationen bezüglich eines Insassen, der auf einem Sitz sitzt, oder des Fahrers, der das Lenkrad hält.
Der Kommunikationsabschnitt 103 kommuniziert mit der fahrzeuginnenseitigen Ausrüstung 104, unterschiedlichen Typen von fahrzeugaußenseitiger Ausrüstung, einem Server, einer Basisstation und dergleichen, um Daten, die von jedem Abschnitt des Fahrzeugsteuerungssystems 100 versorgt werden, zu übertragen und empfangene Daten an jeden Abschnitt des Fahrzeugsteuerungssystems 100 zu versorgen. Es wird angemerkt, dass es keine besondere Begrenzung für ein Kommunikationsprotokoll gibt, das von dem Kommunikationsabschnitt 103 unterstützt wird und der Kommunikationsabschnitt 103 mehrere Typen von Kommunikationsprotokollen unterstützen kann.
Zum Beispiel führt der Kommunikationsabschnitt 103 drahtlose Kommunikation mit der fahrzeuginnenseitigen Ausrüstung 104 unter Verwendung eines drahtlosen LAN, Bluetooth (eingetragene Marke), NFC (Nahfeldkommunikation (Near Field Communication)), WUSB (Drahtlos-USB (Wireless USB)) oder dergleichen aus. Ferner führt zum Beispiel der Kommunikationsabschnitt 103 kabelgebundene Kommunikation mit der fahrzeuginnenseitigen Ausrüstung 104 unter Verwendung eines USB (Universal Serial Bus), einer HDMI (eingetragene Marke) (High-Definition Multimedia Interface), einem MHL (Mobile High-definition Link) oder dergleichen durch einen Verbindungsanschluss (und ein Kabel, falls notwendig) durch, was nicht veranschaulicht ist.
Außerdem kommuniziert zum Beispiel der Kommunikationsabschnitt 103 mit Ausrüstung (z.B. einem Anwendungsserver oder einem Steuerungsserver), die auf einem externen Netzwerk (z.B. das Internet, ein Cloud-Netzwerk oder ein betreiberspezifisches Netzwerk) vorhanden ist, durch eine Basisstation oder einen Zugriffspunkt. Ferner kommuniziert der Kommunikationsabschnitt 103 mit einem Anschluss (z.B. ein Anschluss eines Fußgängers oder einem Geschäft oder ein MTC- (Maschinentypkommunikation (Machine Type Communication)) Anschluss), der in einer Nähe des Host-Autos vorhanden ist, unter Verwendung einer P2P (Peer-zu-Peer) Technologie. Außerdem führt zum Beispiel der Kommunikationsabschnitt 103 V2X-Kommunikation durch, wie Kommunikation zwischen einem Fahrzeug und einem Fahrzeug (Fahrzeug-zu-Fahrzeug), Kommunikation zwischen einem Fahrzeug und Infrastruktur (Fahrzeug-zu-Infrastruktur), Kommunikation zwischen dem Host-Auto und einem Zuhause (Fahrzeug-zu-Zuhause) und Kommunikation zwischen einem Fahrzeug und einem Fußgänger (Fahrzeug-zu-Fußgänger). Ferner weist zum Beispiel der Kommunikationsabschnitt 103 einen Bakenempfangsabschnitt auf, um Funkwellen oder elektromagnetische Wellen zu empfangen, die von drahtlosen Stationen oder dergleichen übertragen werden, die auf Straßen installiert sind, und Informationen zu bezüglich aktueller Position, Verkehrsstau, Verkehrsregulierung, benötigter Zeit oder dergleichen zu beschaffen.
Die fahrzeuginnenseitige Ausrüstung 104 weist zum Beispiel mobile Ausrüstung oder tragbare Ausrüstung, die ein Insasse besitzt, Informationsausrüstung, die in das Host-Auto eingebracht wird oder daran angebracht ist, eine Navigationsvorrichtung, die eine Route zu einem gewünschten Ziel sucht, und dergleichen auf.
Der Ausgabesteuerungsabschnitt 105 steuert Ausgabe unterschiedlicher Typen von Informationen an einen Insassen oder die Außenseite des Host-Autos. Zum Beispiel erzeugt der Ausgabesteuerungsabschnitt 105 ein Ausgabesignal, das mindestens eine von visuellen Informationen (z.B. Bilddaten) oder hörbaren Informationen (z.B. Tondaten) aufweist und das Ausgabesignal an den Ausgabeabschnitt 106 versorgt, um die Ausgabe der visuellen Informationen und der hörbaren Informationen von dem Ausgabeabschnitt 106 zu steuern. Insbesondere kombiniert zum Beispiel der Ausgabesteuerungsabschnitt 105 Bilddaten, die von verschiedenen Abbildungsvorrichtungen des Datenbeschaffungsabschnitts 102 aufgenommen werden, um ein Draufsichtbild, ein Panoramabild oder dergleichen zu erzeugen und versorgt ein Ausgabesignal, das das erzeugte Bild aufweist, an den Ausgabeabschnitt 106. Ferner erzeugt zum Beispiel der Ausgabesteuerungsabschnitt 105 Tondaten, die einen Warnton, eine Warnnachricht oder dergleichen aufweisen, bezüglich Gefahr, wie einer Kollision, eines Kontakts, eines Eintritts in eine gefährliche Zone oder dergleichen, und versorgt ein Ausgabesignal, das die erzeugten Tondaten aufweist, an den Ausgabeabschnitt 106.
Der Ausgabeabschnitt 106 weist eine Vorrichtung auf, die im Stande ist, die visuellen Informationen oder die hörbaren Informationen an einen Insassen oder die Außenseite des Host-Autos auszugeben. Der Ausgabeabschnitt 106 weist zum Beispiel eine Anzeigevorrichtung, eine Instrumententafel, einen Lautsprecher, Kopfhörer, eine tragbare Vorrichtung, wie eine Brillenanzeige, die von einem Insassen getragen wird, einen Projektor, eine Lampe und dergleichen auf. Zusätzlich zu einer Vorrichtung mit einer allgemeinen Anzeige kann die Anzeigevorrichtung, die in dem Ausgabeabschnitt 106 aufgewiesen ist, zum Beispiel eine Vorrichtung wie eine Frontscheibenanzeige, eine durchsichtige Anzeige oder eine Vorrichtung mit einer AR (erweiterte Realität (Augmented Reality)) Anzeigefunktion sein, die die visuellen Informationen im Blickfeld des Fahrers anzeigt.
Der Fahrtsteuerungsabschnitt 107 steuert das Fahrsystem 108, indem er unterschiedliche Typen von Steuerungssignalen erzeugt und die Steuerungssignale an das Fahrsystem 108 versorgt. Ferner versorgt der Fahrtsteuerungsabschnitt 107 die Steuerungssignale an jeden anderen Abschnitt als das Fahrtsystem 108, wie es nötig ist, um zum Beispiel jeden Abschnitt über einen Steuerungszustand des Fahrsystems 108 zu benachrichtigen.
Das Fahrsystem 108 weist unterschiedliche Typen von Vorrichtungen auf, die sich auf das Fahrsystem des Host-Autos beziehen. Das Fahrsystem 108 weist zum Beispiel eine Antriebskrafterzeugungsvorrichtung, einen Antriebskraftübertragungsmechanismus, einen Lenkmechanismus, eine Bremsvorrichtung, ein ABS (Antiblockiersystem (Antilock Brake System)), ESC (elektronische Stabilitätskontrolle (Electronic Stability Control)), eine Servolenkvorrichtung und dergleichen auf. Die Antriebskrafterzeugungsvorrichtung erzeugt eine Antriebskraft eines Verbrennungsmotors, eines Antriebsmotors oder dergleichen. Der Antriebskraftübertragungsmechanismus überträgt die Antriebskraft an Räder. Der Lenkmechanismus passt einen Lenkwinkel an. Die Bremsvorrichtung erzeugt eine Bremskraft.
Der Körpersteuerungsabschnitt 109 steuert das Körpersystem 110, indem er unterschiedliche Typen von Steuerungssignalen erzeugt und die Steuerungssignale an das Körpersystem 110 versorgt. Ferner versorgt der Körpersteuerungsabschnitt 109 die Steuerungssignale an jeden anderen Abschnitt als das Körpersystem 110, wie es nötig ist, um jeden Abschnitt über einen Steuerungszustand des Körpersystems 110 zu benachrichtigen.
Das Körpersystem 110 weist unterschiedliche Typen von Vorrichtungen des Körpersystems auf, die in dem Fahrzeugkörper befestigt sind. Zum Beispiel weist das Körpersystem 110 ein schlüsselloses Einstiegssystem, ein smartes Schlüsselsystem, eine elektrische Fenstervorrichtung, einen elektrischen Sitz, das Lenkrad, eine Klimaanlage, unterschiedliche Typen von Lampen (z.B. Frontscheinwerfer, Heckscheinwerfer, Bremslichter, Blinker, Nebelleuchten und dergleichen) und dergleichen auf.
Der Datenspeicherabschnitt 111 weist zum Beispiel einen ROM (Nur-Lese-Speicher (Read Only Memory)), einen RAM (Direktzugriffspeicher (Random Access Memory)), ein magnetisches Datenspeichergerät, wie eine HDD (Festplatte (Hard Disc Drive)), ein Halbleiterdatenspeichergerät, ein optisches Datenspeichergerät, ein magneto-optisches Datenspeichergerät und dergleichen auf. Der Datenspeicherabschnitt 111 speichert unterschiedliche Typen von Programmen, Daten und dergleichen, die von jedem Abschnitt des Fahrzeugsteuerungssystems 100 verwendet werden. Zum Beispiel speichert der Datenspeicherabschnitt 111 Kartendaten, wie eine dreidimensionale Hochgenauigkeitskarte, wie eine dynamische Karte, eine globale Karte, die weniger akkurat als die Hochgenauigkeitskarte ist und einen weiteren Bereich abdeckt, und eine lokale Karte, die Informationen bezüglich der Umgebung des Host-Autos aufweist.
Der automatische Fahrtsteuerungsabschnitt 112 führt Steuerung bezüglich automatischer Fahrt, wie autonome Fortbewegung oder Fahrtunterstützung, durch. Insbesondere führt zum Beispiel der automatische Fahrtsteuerungsabschnitt 112 kooperative Steuerung durch, die angedacht ist, Funktionen eines ADAS (fortschrittliches Fahrerassistenzsystem (Advanced Driver Assistance System)) zu implementieren, die Kollisionsvermeidung oder Aufprallminderung für das Host-Auto, gefolgt von Fortbewegung, basierend auf einem Folgeabstand, fahrzeuggeschwindigkeitsbeibehaltende Fortbewegung, eine Kollisionswarnung des Host-Autos, eine Warnung von Abweichung des Host-Fahrzeugs von einer Fahrspur oder dergleichen aufweisen. Ferner führt zum Beispiel der automatische Treibersteuerungsabschnitt 112 kooperative Steuerung durch, die für automatisches Fahren gedacht ist, was autonome Fortbewegung erlaubt, ohne von dem Betrieb des Fahrers oder dergleichen abzuhängen. Der automatische Fahrtsteuerungsabschnitt 112 weist einen Erfassungsabschnitt 131, einen Selbstpositionsschätzungsabschnitt 132, einen Situationsanalyseabschnitt 133, einen Planungsabschnitt 134 und einen Betriebssteuerungsabschnitt 135 auf.
Der Erfassungsabschnitt 131 erfasst unterschiedliche Typen von Informationen, die nötig sind, um automatisches Fahren zu steuern. Der Erfassungsabschnitt 131 weist einen fahrzeugaußenseitigen Informationserfassungsabschnitt 141, einen fahrzeuginnenseitigen Informationserfassungsabschnitt 142 und einen Fahrzeugzustandserfassungsabschnitt 143 auf.
Der fahrzeugaußenseitige Informationserfassungsabschnitt 141 führt Verarbeitung zum Erfassen von Informationen bezüglich der Außenseite des Host-Autos auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100 durch. Zum Beispiel führt der fahrzeugaußenseitige Informationserfassungsabschnitt 141 Verarbeitung zum Erfassen, Erkennen und Verfolgen von Objekten in der Umgebung des Host-Autos und Verarbeitung zum Erfassen von Abständen zu den Objekten durch. Die zu erfassenden Objekte weisen zum Beispiel Fahrzeuge, Menschen, Hindernisse, Strukturen, Straßen, Verkehrsampeln, Verkehrszeichen, Straßenmarkierungen und dergleichen auf. Ferner führt zum Beispiel der fahrzeugaußenseitige Informationserfassungsabschnitt 141 Verarbeitung zum Erfassen einer Umwelt in der Umgebung des Host-Autos durch. Die zu erfassende, umliegende Umwelt weist zum Beispiel Wetter, Temperatur, Luftfeuchtigkeit, Helligkeit, Straßenoberflächenbedingungen oder dergleichen auf. Der fahrzeugaußenseitige Informationserfassungsabschnitt 141 versorgt Daten, die das Erfassungsverarbeitungsergebnis angeben, an den Selbstpositionsschätzungsabschnitt 132, einen Kartenanalyseabschnitt 151, einen Verkehrsregelerkennungsabschnitt 152 und einen Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133, einen Notfallvermeidungsabschnitt 171 des Betriebssteuerungsabschnitts 135 und dergleichen.
Der fahrzeuginnenseitige Informationserfassungsabschnitt 142 führt Verarbeitung zum Erfassen von fahrzeuginnenseitigen Informationen auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100 durch. Zum Beispiel führt der fahrzeuginnenseitige Informationserfassungsabschnitt 142 Verarbeitung zum Authentifizieren und Erkennen des Fahrers, Verarbeitung zum Erfassen des Zustands des Fahrers, Verarbeitung zum Erfassen eines Insassen, Verarbeitung zum Erfassen einer fahrzeuginnenseitigen Umwelt und dergleichen durch. Der Zustand des Fahrers, der zu erfassen ist, weist zum Beispiel physische Zustände, einen Erregungsgrad, einen Konzentrationsgrad, einen Ermüdungsgrad, eine Sichtlinienrichtung und dergleichen auf. Die fahrzeuginnenseitige Umwelt, die zu erfassen ist, weist zum Beispiel Temperatur, Luftfeuchtigkeit, Helligkeit, Geruch und dergleichen auf. Der fahrzeuginnenseitige Informationserfassungsabschnitt 142 versorgt Daten, die das Erfassungsverarbeitungsergebnis angeben, an den Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133, den Notfallvermeidungsabschnitt 171 des Betriebssteuerungsabschnitts 135 und dergleichen.
Der Fahrzeugzustandserfassungsabschnitt 143 führt Verarbeitung zum Erfassen des Zustands des Host-Autos auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100 durch. Der Zustand des Host-Autos, der zu erfassen ist, weist zum Beispiel eine Geschwindigkeit, eine Beschleunigung, einen Lenkwinkel, Vorhandensein/Fehlen und Inhalte von Abnormalität, einen Zustand vom Fahrbetrieb, eine Position und eine Neigung des elektrischen Sitzes, einen Zustand eines Türschlosses, einen Zustand der anderen fahrzeugbefestigten Ausrüstung und dergleichen auf. Der Fahrzeugzustandserfassungsabschnitt 143 versorgt Daten, die das Erfassungsverarbeitungsergebnis angeben, an den Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133, den Notfallvermeidungsabschnitts 171 des Betriebssteuerungsabschnitts 135 und dergleichen.
Der Selbstpositionsschätzungsabschnitt 132 führt Verarbeitung zum Schätzen einer Position, einer Ausrichtung und dergleichen des Host-Autos auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100, wie dem fahrzeugaußenseitigen Informationserfassungsabschnitt 141 und dem Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133, durch. Ferner erzeugt der Selbstpositionsschätzungsabschnitt 132 eine lokale Karte (hierin nachfolgend als eine Selbstpositionsschätzungskarte bezeichnet), die verwendet wird, um die Selbstposition zu schätzen, wenn es nötig ist. Zum Beispiel ist die Selbstpositionsschätzungskarte eine Hochgenauigkeitskarte, die eine Technik wie SLAM (Simultane Lokalisierung und Kartenerstellung (Simultaneous Localization and Mapping)) verwendet. Der Selbstpositionsschätzungsabschnitt 132 versorgt Daten, die das Schätzungsverarbeitungsergebnis angeben, an den Kartenanalyseabschnitt 151, den Verkehrsregelerkennungsabschnitt 152 und den Situationserkennungsabschnitt 153 des Situationsanalyseabschnitts 133 und dergleichen. Ferner veranlasst der Selbstpositionsschätzungsabschnitt 132 den Datenspeicherabschnitt 111, die Selbstpositionsschätzungskarte zu speichern.
Der Situationsanalyseabschnitt 133 führt Verarbeitung zum Analysieren einer Situation des Host-Autos und der Umgebung durch. Der Situationsanalyseabschnitt 133 weist den Kartenanalyseabschnitt 151, den Verkehrsregelerkennungsabschnitt 152, den Situationserkennungsabschnitt 153 und einen Situationsvorhersageabschnitt 154 auf.
Der Kartenanalyseabschnitt 151 führt Verarbeitung zum Analysieren unterschiedlicher Typen von Karten, die in dem Datenspeicherabschnitt 111 gespeichert sind, unter Verwendung von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100, wie dem Selbstpositionsschätzungsabschnitt 132 und dem fahrzeugaußenseitigen Informationserfassungsabschnitt 141, wie es nötig ist durch und erstellt eine Karte, die Informationen aufweist, die nötig sind, um automatisches Fahren zu verarbeiten. Der Kartenanalyseabschnitt 151 versorgt die erstellte Karte an den Verkehrsregelerkennungsabschnitt 152, den Situationserkennungsabschnitt 153, den Situationsvorhersageabschnitt 154, einen Routenplanungsabschnitt 161, einen Handlungsplanungsabschnitt 162 und einen Betriebsplanungsabschnitt 163 des Planungsabschnitts 134 und dergleichen.
Der Verkehrsregelerkennungsabschnitt 152 führt Verarbeitung zum Erkennen von Verkehrsregeln in der Umgebung des Host-Autos auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100, wie dem Selbstpositionsschätzungsabschnitt 132, dem fahrzeugaußenseitigen Informationserfassungsabschnitt 141 und dem Kartenanalyseabschnitt 151, durch. Durch die Erkennungsverarbeitung werden zum Beispiel eine Position und ein Zustand einer Verkehrsampel in der Umgebung des Host-Autos, Inhalte von Verkehrsregulierungen in der Umgebung des Host-Autos, eine befahrbare Straßenspur und dergleichen erkannt. Der Verkehrsregelerkennungsabschnitt 152 versorgt Daten, die das Erkennungsverarbeitungsergebnis angeben, an den Situationsvorhersageabschnitt 154 und dergleichen.
Der Situationserkennungsabschnitt 153 führt Verarbeitung zum Erkennen einer Situation bezüglich des Host-Autos auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100, wie dem Selbstpositionsschätzungsabschnitt 132, dem fahrzeugaußenseitigen Informationserfassungsabschnitt 141, dem fahrzeuginnenseitigen Informationserfassungsabschnitt 142, dem Fahrzeugzustandserfassungsabschnitt 143 und dem Kartenanalyseabschnitt 151 durch. Zum Beispiel führt der Situationserkennungsabschnitt 153 Verarbeitung zum Erkennen einer Situation des Host-Autos, einer Situation in der Umgebung des Host-Autos, einer Situation des Fahrers des Host-Autos und dergleichen durch. Ferner erzeugt der Situationserkennungsabschnitt 153 eine lokale Karte (hierin nachfolgend als eine Situationserkennungskarte bezeichnet), die verwendet wird, um die Situation in der Umgebung des Host-Autos zu erkennen, wie es nötig ist. Die Situationserkennungskarte ist zum Beispiel eine Belegungsnetzkarte.
Die Situation des Host-Autos, die zu erkennen ist, weist zum Beispiel die Position, Ausrichtung und Bewegung (z.B. Geschwindigkeit, Beschleunigung, eine Bewegungsrichtung und dergleichen) des Host-Autos, das Vorhandensein/Fehlen und Inhalte von Abnormalität und dergleichen auf. Die Situation in der Umgebung des Host-Autos, die zu erkennen ist, weist zum Beispiel Typen und Positionen stationärer Objekte in der Umgebung, Typen, Positionen und Bewegung (z.B. Geschwindigkeit, Beschleunigung, eine Bewegungsrichtung und dergleichen) von beweglichen Objekten in der Umgebung, Straßenstruktur und Straßenoberflächenbedingungen in der Umgebung, das Wetter, Temperatur, Luftfeuchtigkeit und Helligkeit in
der Umgebung und dergleichen auf. Der Zustand des Fahrers, der zu erkennen ist, weist zum Beispiel physische Bedingungen, den Erregungsgrad, den Konzentrationsgrad, den Ermüdungsgrad, Bewegung der Sichtlinie, Fahrbetrieb und dergleichen auf.
Der Situationserkennungsabschnitt 153 versorgt Daten, die das Erkennungsverarbeitungsergebnis (aufweisend die Situationserkennungskarte, wie es nötig ist) angeben, an den Selbstpositionsschätzungsabschnitt 132, den Situationsvorhersageabschnitt 154 und dergleichen. Ferner veranlasst der Situationserkennungsabschnitt 153 den Datenspeicherabschnitt 111, die Situationserkennungskarte zu speichern.
Der Situationsvorhersageabschnitt 154 führt Verarbeitung zum Vorhersagen der Situation bezüglich des Host-Autos auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100, wie dem Kartenanalyseabschnitt 151, dem Verkehrsregelerkennungsabschnitt 152 und dem Situationserkennungsabschnitt 153, durch. Zum Beispiel führt der Situationsvorhersageabschnitt 154 Verarbeitung zum Vorhersagen der Situation des Host-Autos, der Situation in der Umgebung des Host-Autos, der Situation des Fahrers und dergleichen durch.
Die Situation des Host-Autos, die vorherzusagen ist, weist zum Beispiel ein Verhalten des Host-Autos, ein Auftreten einer Abnormalität, Laufleistung und dergleichen auf. Die Situation in der Umgebung des Host-Autos, die vorherzusagen ist, weist zum Beispiel ein Verhalten von beweglichen Objekten in der Umgebung des Host-Autos, eine Änderung des Zustands einer Verkehrsampel, eine Änderung der Umgebung, wie Wetter, und dergleichen auf. Die Situation des Fahrers, die vorherzusagen ist, weist zum Beispiel ein Verhalten, physische Zustände und dergleichen des Fahrers auf.
Der Situationsvorhersageabschnitt 154 versorgt Daten, die das Vorhersageverarbeitungsergebnis angeben, gemeinsam mit Daten von dem Verkehrsregelerkennungsabschnitt 152 und dem Situationserkennungsabschnitt 153 an den Routenplanungsabschnitt 161, den Handlungsplanungsabschnitt 162 und den Betriebsplanungsabschnitt 163 des Planungsabschnitts 134 und dergleichen.
Der Routenplanungsabschnitt 161 plant eine Route zu einem Ziel auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100, wie dem Kartenanalyseabschnitt 151 und dem Situationsvorhersageabschnitt 154. Zum Beispiel stellt der Routenplanungsabschnitt 161 eine Route von der aktuellen Position zu einem vorgegebenen Ziel auf der Basis der globalen Karte ein. Ferner wechselt zum Beispiel der Routenplanungsabschnitt 161 die Route passend auf der Basis von Situationen von Verkehrsstau, Unfällen, Verkehrsregulierungen, Baustellen und dergleichen, physischen Zuständen des Fahrers und dergleichen. Der Routenplanungsabschnitt 161 versorgt Daten, die die geplante Route angeben, an den Handlungsplanungsabschnitt 162 und dergleichen.
Der Handlungsplanungsabschnitt 162 plant Handlung des Host-Autos für sichere Fortbewegung auf der Route, die von dem Routenplanungsabschnitt 161 geplant wurde, innerhalb einer geplanten Zeitdauer, auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100, wie dem Kartenanalyseabschnitt 151 und dem Situationsvorhersageabschnitt 154. Zum Beispiel erstellt der Handlungsplanungsabschnitt 162 einen Plan für einen Start, einen Stopp, eine Fortbewegungsrichtung (z.B. vorwärts, rückwärts, links abbiegen, rechts abbiegen, Richtungswechsel oder dergleichen), eine Fahrspur, eine Fortbewegungsgeschwindigkeit, Überholen und dergleichen. Der Handlungsplanungsabschnitt 162 versorgt Daten, die die geplante Handlung des Host-Autos angeben, an den Betriebsplanungsabschnitt 163 und dergleichen.
Der Betriebsplanungsabschnitt 163 plant den Betrieb des Host-Autos zum Durchführen der Handlung, die von dem Handlungsplanungsabschnitt 162 geplant wurde, auf der Basis von Daten oder Signalen von jedem Abschnitt des Fahrzeugsteuerungssystems 100, wie dem Kartenanalyseabschnitt 151 und dem Situationsvorhersageabschnitt 154. Zum Beispiel erstellt der Betriebsplanungsabschnitt 163 einen Plan für eine Beschleunigung, eine Entschleunigung, eine Fortbewegungskurvenbahn und dergleichen. Der Betriebsplanungsabschnitt 163 versorgt Daten, die den geplanten Betrieb des Host-Autos angeben, an einen Beschleunigungs-/Entschleunigungssteuerungsabschnitt 172 und einen Richtungssteuerungsabschnitt 173 des Betriebssteuerungsabschnitts 135 und dergleichen.
Der Betriebsteuerungsabschnitt 135 steuert den Betrieb des Host-Autos. Der Betriebsteuerungsabschnitt 135 weist den Notfallvermeidungsabschnitt 171, den Beschleunigungs-/Entschleunigungssteuerungsabschnitt 172 und den Richtungssteuerungsabschnitt 173 auf.
Der Notfallvermeidungsabschnitt 171 führt Verarbeitung zum Erfassen eines Notfalls, wie einer Kollision, eines Kontakts, eines Eintritts in eine gefährliche Zone, Abnormalität des Fahrers, Abnormalität des Fahrzeugs und dergleichen auf der Basis der Erfassungsergebnisse des fahrzeugaußenseitigen Informationserfassungsabschnitts 141, des fahrzeuginnenseitigen Informationserfassungsabschnitts 142 und des Fahrzeugzustandserfassungsabschnitts 143 durch. In einem Fall, wo der Notfallvermeidungsabschnitt 171 ein Auftreten eines Notfalls erfasst, plant der Notfallvermeidungsabschnitt 171 den Betrieb des Host-Autos, wie einen abrupten Stopp oder eine scharfe Kurve, um den Notfall zu vermeiden. Der Notfallvermeidungsabschnitt 171 versorgt Daten, die den geplanten Betrieb des Host-Autos angeben, an den Beschleunigungs-/Entschleunigungssteuerungsabschnitt 172, den Richtungssteuerungsabschnitt 173 und dergleichen.
Der Beschleunigungs-/Entschleunigungssteuerungsabschnitt 172 führt Beschleunigungs-/Entschleunigungssteuerung zum Durchführen des Betriebs des Host-Autos durch den Betriebsplanungsabschnitt 163 oder den Notfallvermeidungsabschnitt 171 geplant durch. Zum Beispiel berechnet der Beschleunigungs-/Entschleunigungssteuerungsabschnitt 172 einen Steuerungszielwert der Antriebskrafterzeugungsvorrichtung oder der Bremsvorrichtung zum Durchführen der geplanten Beschleunigung, Entschleunigung oder eines abrupten Stopps und versorgt einen Steuerungsbefehl, der den berechneten Steuerungszielwert angibt, an den Fahrtsteuerungsabschnitt 107.
Der Richtungssteuerungsabschnitt 173 führt Richtungssteuerung zum Durchführen des Betriebs des Host-Autos durch den Betriebsplanungsabschnitt 163 oder den Notfallvermeidungsabschnitt 171 geplant durch. Zum Beispiel berechnet der Richtungssteuerungsabschnitt 173 einen Steuerungszielwert des Lenkmechanismus zum Vornehmen der Fortbewegungskurvenbahn oder scharfen Kurve, die von dem Betriebsplanungsabschnitt 163 oder dem Notfallvermeidungsabschnitt 171 geplant ist, und versorgt einen Steuerungsbefehl, der den berechneten Steuerungszielwert angibt, an den Fahrtsteuerungsabschnitt 107.
In dem zuvor beschriebenen Fahrzeugsteuerungssystem 100 entspricht der Abbildungsabschnitt 20-1 (20-2, 20-3), der in der vorliegenden Ausführungsform beschrieben ist, dem Datenbeschaffungsabschnitt 102 und der Bildverarbeitungsabschnitt 30-1 (30-2, 30-3) entspricht dem fahrzeugaußenseitigen Informationserfassungsabschnitt 141. In einem Fall, wo der Abbildungsabschnitt 20-1 und der Bildverarbeitungsabschnitt 30-1 in dem Fahrzeugsteuerungssystem 100 bereitgestellt sind und die Weitwinkellinse oder die zylindrische Linse mit einem weiteren Blickwinkel als die Standardlinse als die Abbildungslinse verwendet wird, kann Subjekterkennung unter Verwendung eines Erkenners entsprechend der optischen Eigenschaft der Abbildungslinse durchgeführt werden. Deshalb ist es möglich, nicht nur ein Subjekt vor dem Fahrzeug sondern auch ein Subjekt in der Umgebung zu erkennen.
Ferner, in einem Fall, wo der Abbildungsabschnitt 20-2 und der Bildverarbeitungsabschnitt 30-2 in dem Fahrzeugsteuerungssystem 100 bereitgestellt sind, können die Abbildungslinsen mit verschiedenen Blickwinkeln gemäß einer Abbildungsszene auf der Basis von Betriebsinformationen oder Umgebungsinformationen des Fahrzeugs oder Bildinformationen, die von dem Abbildungsabschnitt beschafft sind, gewechselt werden und Erkennung kann unter Verwendung eines Erkenners entsprechend der optischen Eigenschaft der Abbildungslinse, die zur Abbildung verwendet wird, durchgeführt werden. Deshalb ist es möglich, ein Subjekt innerhalb des Blickwinkels, der für den Fortbewegungszustand des Fahrzeugs geeignet ist, akkurat zu erkennen.
Außerdem, in einem Fall, wo der Abbildungsabschnitt 20-3 und der Bildverarbeitungsabschnitt 30-3 in dem Fahrzeugsteuerungssystem 100 bereitgestellt sind, kann Subjekterkennung unter Verwendung eines Erkenners entsprechend der Konfiguration des Bildsensors durchgeführt werden. Zum Beispiel, selbst in einem Fall, wo es einen Bereich gibt, in dem das Farbfilter nicht in einem Mittelteil der Abbildungsoberfläche in dem Bildsensor angeordnet ist, um Subjektverarbeitung durchzuführen, die Priorität auf weit nach vorne legt, kann Erkennungsverarbeitung durchgeführt werden, indem zwischen einem Erkenner, der für einen Bereich geeignet ist, in dem das Farbfilter angeordnet ist, und einem Erkenner, der für den Bereich geeignet ist, in dem das Farbfilter nicht angeordnet ist, gewechselt wird. Deshalb, selbst in einem Fall, wo der Bildsensor dazu ausgebildet ist, ein Bild zu erhalten, das für Fortbewegungssteuerung des Fahrzeugs geeignet ist, kann Erkennungsverarbeitung akkurat unter Verwendung eines Erkenners entsprechend der Konfiguration des Bildsensors durchgeführt werden. Ferner, in einem Fall, wo der Bildsensor dazu ausgebildet ist, im Stande zu sein, ein rotes Subjekt in einem Mittelteil zu erfassen, um zum Beispiel eine Verkehrsampel oder ein Verkehrszeichen zu erkennen, kann Subjekterkennung akkurat durchgeführt werden, indem ein Erkenner verwendet wird, der zum Erkennen des roten Subjekts in dem Mittelteil geeignet ist.
Ferner, in einem Fall, wo ein Fahrzeug sich mit eingeschalteten Frontscheinwerfern fortbewegt, ist der Bereich, der das Fahrzeug umgibt, dunkel, weil die Frontscheinwerfer den Bereich nicht beleuchten. In dem Bildsensor ist das IR-Filter daher nicht in einem peripheren Bereich der Abbildungsoberfläche, der einen Mittelteil davon ausschließt, angeordnet. Den Bildsensor auf diese Weise auszubilden, kann die Sensitivität des peripheren Bereichs verbessern. In einem Fall, wo der Bildsensor auf diese Weise ausgebildet ist, ist es möglich, ein Subjekt akkurat zu erkennen, indem Erkennungsverarbeitung durchgeführt wird, während zwischen einem Erkenner, der für den Bereich geeignet ist, in dem das IR-Filter angeordnet ist, und einem Erkenner, der für den Bereich geeignet ist, in dem das IR-Filter nicht angeordnet ist, gewechselt wird.
Die Reihe der in der Beschreibung beschriebenen Prozesse kann von Hardware, Software oder einer Kombination davon durchgeführt werden. In einem Fall, wo Verarbeitung von Software durchzuführen ist, wird ein Programm, das eine Prozessabfolge aufzeichnet, in einem Speicher eines Computers gespeichert, der in dedizierte Hardware eingegliedert ist, und ausgeführt. Alternativ kann das Programm installiert und in einem Allzweckcomputer ausgeführt werden, der im Stande ist, unterschiedliche Arten von Prozessen durchzuführen.
Zum Beispiel kann das Programm im Voraus in einer Festplatte, einer SSD (Festzustandslaufwerk (Solid State Drive)) oder einem ROM (Nur-Lese-Speicher) als ein Aufzeichnungsmedium aufgezeichnet werden. Alternativ kann das Programm vorübergehend oder permanent in einem entfernbaren Aufzeichnungsmedium, wie einem flexiblen Datenträger, einer CD-ROM (Compact Disc Read Only Memory), einem MO (magneto-optischen) Datenträger, einer DVD (Digital Versatile Disc), einer BD (Blu-Ray Disc) (eingetragene Marke), einem magnetischen Datenträger oder einer Halbleiterspeicherkarte gespeichert werden. Solch ein entfernbares Aufzeichnungsmedium kann als eine, wie sie genannt wird, Package-Software bereitgestellt werden.
Ferner kann das Programm von dem entfernbaren Aufzeichnungsmedium in den Computer installiert werden oder kann drahtlos oder kabelgebunden von einer Downloadstelle über ein Netzwerk, wie ein LAN (Lokalnetzwerk) oder das Internet, an den Computer übermittelt werden. Der Computer kann das auf diese Weise übermittelte Programm empfangen und das Programm in ein Aufzeichnungsmedium, wie eine eingebaute Festplatte, installieren.
Es wird angemerkt, dass die in der vorliegenden Beschreibung beschriebenen Effekte bloß Beispiele sind und nicht auf diese Beispiele begrenzt sind. Zusätzliche Effekte, die nicht beschrieben sind, können erfahren werden. Ferner sollte die vorliegende Technologie nicht als begrenzend für die Ausführungsformen der zuvor beschriebenen Technologie angenommen werden. Die Ausführungsformen der vorliegenden Technologie offenbaren die vorliegende Technologie in der Form von Erläuterung und es ist offensichtlich, dass Fachkundige Modifikationen oder Ersetzungen der Ausführungsformen vornehmen können, ohne von dem Wesen der vorliegenden Technologie abzuweichen. Das heißt, die Ansprüche sollten berücksichtigt werden, um das Wesen der vorliegenden Technologie zu bestimmen.
Ferner kann die Bildverarbeitungsvorrichtung gemäß der vorliegenden Technologie auch die folgenden Konfigurationen aufweisen.

(1) Eine Bildverarbeitungsvorrichtung, aufweisend:
- einen Erkennungsverarbeitungsabschnitt, der dazu ausgebildet ist, Subjekterkennung in einem Verarbeitungsbereich in einem Bild, das von einem Abbildungsabschnitt erhalten wird, durchzuführen, indem ein Erkenner entsprechend einer Bildeigenschaft des Verarbeitungsbereichs verwendet wird.
(2) Die Bildverarbeitungsvorrichtung nach (2), in der der Erkennungsverarbeitungsabschnitt die Bildeigenschaft des Verarbeitungsbereichs auf der Basis einer Eigenschaftskarte bestimmt, die eine Bildeigenschaft des Bilds angibt, das von dem Abbildungsabschnitt erhalten wird.
(3) Die Bildverarbeitungsvorrichtung nach (2), in der die Eigenschaftskarte eine Karte basierend auf einer optischen Eigenschaft einer Abbildungslinse, die in dem Abbildungsabschnitt verwendet wird, aufweist, und auf der Basis der Bildeigenschaft des Verarbeitungsbereichs, der Erkennungsverarbeitungsabschnitt zwischen Erkennern wechselt, die dazu ausgebildet sind, die Subjekterkennung durchzuführen.
(4) Die Bildverarbeitungsvorrichtung nach (3), in der die Bildeigenschaft Auflösung aufweist, und der Erkennungsverarbeitungsabschnitt die Subjekterkennung unter Verwendung eines Erkenners entsprechend der Auflösung des Verarbeitungsbereichs durchführt.
(5) Die Bildverarbeitungsvorrichtung nach (3) oder (4), in der die Bildeigenschaft Schiefe aufweist, und der Erkennungsverarbeitungsabschnitt die Subjekterkennung unter Verwendung eines Erkenners entsprechend der Schiefe des Verarbeitungsbereichs durchführt.
(6) Die Bildverarbeitungsvorrichtung nach einem von (3) bis (5), in der der Erkennungsverarbeitungsabschnitt eine Vorlagengröße oder eine Bewegungsmenge einer Vorlage des Erkenners gemäß der optischen Eigenschaft der Abbildungslinse anpasst.
(7) Die Bildverarbeitungsvorrichtung nach einem von (3) bis (6), ferner aufweisend:
- einen Linsenauswahlabschnitt, der dazu ausgebildet ist, eine Abbildungslinse entsprechend einer Abbildungsszene auszuwählen; und
- einen Eigenschaftsinformationsdatenspeicherabschnitt, der dazu ausgelegt ist, an den Erkennungsverarbeitungsabschnitt die Eigenschaftskarte entsprechend der Abbildungslinse auszugeben, die von dem Linsenauswahlabschnitt ausgewählt wird,
- in der der Erkennungsverarbeitungsabschnitt auf der Basis der Eigenschaftskarte, die von dem Eigenschaftsinformationsdatenspeicherabschnitt versorgt wird, die Bildeigenschaft des Verarbeitungsbereichs in dem Bild, das von dem Abbildungsabschnitt erhalten wird, unter Verwendung der Abbildungslinse bestimmt, die von dem Linsenauswahlabschnitt ausgewählt wird.
(8) Die Bildverarbeitungsvorrichtung nach (7), in der der Linsenauswahlabschnitt die Abbildungsszene auf der Basis mindestens beliebiger von Bildinformationen, die von dem Abbildungsabschnitt beschafft werden, Betriebsinformationen eines beweglichen Objekts, das den Abbildungsabschnitt aufweist, oder Umweltinformationen, die eine Umwelt angeben, in der der Abbildungsabschnitt verwendet wird, bestimmt.
(9) Die Bildverarbeitungsvorrichtung nach einem von (3) bis (8), in der die Abbildungslinse in allen Richtungen oder in einer vorbestimmten Richtung einen weiten Blickwinkel aufweist und die optische Eigenschaft der Abbildungslinse sich abhängig von einer Position auf der Linse unterscheidet.
(10) Die Bildverarbeitungsvorrichtung nach einem von (2) bis (9), in der die Eigenschaftskarte eine Karte basierend auf einem Filteranordnungszustand eines Bildsensors aufweist, der in dem Abbildungsabschnitt verwendet wird, und auf der Basis der Bildeigenschaft des Verarbeitungsbereichs der Erkennungsverarbeitungsabschnitt zwischen Erkennern wechselt, die dazu ausgebildet sind, die Subjekterkennung durchzuführen.
(11) Die Bildverarbeitungsvorrichtung nach (10), in der der Filteranordnungszustand einen Anordnungszustand eines Farbfilters aufweist, und gemäß einer Anordnung des Farbfilters in dem Verarbeitungsbereich der Erkennungsverarbeitungsabschnitt zwischen den Erkennern wechselt, die dazu ausgebildet sind, die Subjekterkennung durchzuführen.
(12) Die Bildverarbeitungsvorrichtung nach (11), in der der Anordnungszustand des Farbfilters einen Zustand aufweist, in dem, in einem Mittelteil eines Abbildungsbereichs in dem Bildsensor, das Farbfilter nicht angeordnet ist oder ein Filter, das dazu ausgebildet ist, nur eine vorgegebene Farbe durchzulassen, angeordnet ist.
(13) Die Bildverarbeitungsvorrichtung nach (10) bis (12), in der der Filteranordnungszustand einen Anordnungszustand eines Infrarotabpassfilters angibt, und gemäß einer Anordnung des Infrarotabpassfilters in dem Verarbeitungsbereich der Erkennungsverarbeitungsabschnitt zwischen den Erkennern wechselt, die dazu ausgebildet sind, die Subjekterkennung durchzuführen.
(14) Die Bildverarbeitungsvorrichtung nach (13), in der der Anordnungszustand des Infrarotabpassfilters einen Zustand aufweist, in dem das Infrarotabpassfilter nur in einem Mittelteil eines Abbildungsbereichs in dem Bildsensor angeordnet ist.
(15) Die Bildverarbeitungsvorrichtung nach einem von (1) bis (14), ferner aufweisend:
- den Abbildungsabschnitt.

[Industrielle Anwendbarkeit]
Die Bildverarbeitungsvorrichtung, das Bildverarbeitungsverfahren und das Programm gemäß der vorliegenden Technologie führen Subjekterkennung in einem Verarbeitungsbereich in einem Bild aus, das von dem Abbildungsabschnitt erhalten wird, indem ein Erkenner entsprechend einer Bildeigenschaft des Verarbeitungsbereichs verwendet wird. Deshalb, da Subjekterkennung akkurat durchgeführt werden kann, sind die Bildverarbeitungsvorrichtung, das Bildverarbeitungsverfahren und das Programm gemäß der vorliegenden Technologie für Fälle geeignet, wo zum Beispiel ein bewegliches Objekt automatisches Fahren durchführt.
Bezugszeichenliste

10: Abbildungssystem
20-1, 20-2, 20-3: Abbildungsabschnitt
21, 21a, 21b: Abbildungslinse
22, 24: Bildsensor
23: Linsenwechselabschnitt
30-1, 30-2, 30-3: Bildverarbeitungsabschnitt
31, 33, 34: Eigenschaftsinformationsspeicherabschnitt
32: Linsenauswahlabschnitt
35: Erkennungsverarbeitungsabschnitt
351: Erkennerwechselabschnitt
352-1 bis 352-n: Erkenner

Claims

Bildverarbeitungsvorrichtung, aufweisend: einen Erkennungsverarbeitungsabschnitt, der dazu ausgebildet ist, Subjekterkennung in einem Verarbeitungsbereich in einem Bild, das von einem Abbildungsabschnitt erhalten wird, durchzuführen, indem ein Erkenner entsprechend einer Bildeigenschaft des Verarbeitungsbereichs verwendet wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der Erkennungsverarbeitungsabschnitt die Bildeigenschaft des Verarbeitungsbereichs auf einer Basis einer Eigenschaftskarte bestimmt, die eine Bildeigenschaft des Bilds angibt, das von dem Abbildungsabschnitt erhalten wird.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Eigenschaftskarte eine Karte basierend auf einer optischen Eigenschaft einer Abbildungslinse, die in dem Abbildungsabschnitt verwendet wird, aufweist, und auf einer Basis der Bildeigenschaft des Verarbeitungsbereichs, der Erkennungsverarbeitungsabschnitt zwischen Erkennern wechselt, die dazu ausgebildet sind, die Subjekterkennung durchzuführen.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Bildeigenschaft Auflösung aufweist, und der Erkennungsverarbeitungsabschnitt die Subjekterkennung unter Verwendung eines Erkenners entsprechend der Auflösung des Verarbeitungsbereichs durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Bildeigenschaft Schiefe aufweist, und der Erkennungsverarbeitungsabschnitt die Subjekterkennung unter Verwendung eines Erkenners entsprechend der Schiefe des Verarbeitungsbereichs durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei der Erkennungsverarbeitungsabschnitt eine Vorlagengröße oder eine Bewegungsmenge einer Vorlage des Erkenners gemäß der optischen Eigenschaft der Abbildungslinse anpasst.
Bildverarbeitungsvorrichtung nach Anspruch 3, ferner aufweisend: einen Linsenauswahlabschnitt, der dazu ausgebildet ist, eine Abbildungslinse entsprechend einer Abbildungsszene auszuwählen; und einen Eigenschaftsinformationsdatenspeicherabschnitt, der dazu ausgelegt ist, an den Erkennungsverarbeitungsabschnitt die Eigenschaftskarte entsprechend der Abbildungslinse auszugeben, die von dem Linsenauswahlabschnitt ausgewählt wird, wobei der Erkennungsverarbeitungsabschnitt auf einer Basis der Eigenschaftskarte, die von dem Eigenschaftsinformationsdatenspeicherabschnitt versorgt wird, die Bildeigenschaft des Verarbeitungsbereichs in dem Bild, das von dem Abbildungsabschnitt erhalten wird, unter Verwendung der Abbildungslinse bestimmt, die von dem Linsenauswahlabschnitt ausgewählt wird.
Bildverarbeitungsvorrichtung nach Anspruch 7, wobei der Linsenauswahlabschnitt die Abbildungsszene auf einer Basis mindestens beliebiger von Bildinformationen, die von dem Abbildungsabschnitt beschafft werden, Betriebsinformationen eines beweglichen Objekts, das den Abbildungsabschnitt aufweist, oder Umweltinformationen, die eine Umwelt angeben, in der der Abbildungsabschnitt verwendet wird, bestimmt.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Abbildungslinse in allen Richtungen oder in einer vorbestimmten Richtung einen weiten Blickwinkel aufweist und die optische Eigenschaft der Abbildungslinse sich abhängig von einer Position auf der Linse unterscheidet.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Eigenschaftskarte eine Karte basierend auf einem Filteranordnungszustand eines Bildsensors aufweist, der in dem Abbildungsabschnitt verwendet wird, und auf einer Basis der Bildeigenschaft des Verarbeitungsbereichs der Erkennungsverarbeitungsabschnitt zwischen Erkennern wechselt, die dazu ausgebildet sind, die Subjekterkennung durchzuführen.
Bildverarbeitungsvorrichtung nach Anspruch 10, wobei der Filteranordnungszustand einen Anordnungszustand eines Farbfilters aufweist, und gemäß einer Anordnung des Farbfilters in dem Verarbeitungsbereich der Erkennungsverarbeitungsabschnitt zwischen den Erkennern wechselt, die dazu ausgebildet sind, die Subjekterkennung durchzuführen.
Bildverarbeitungsvorrichtung nach Anspruch 11, wobei der Anordnungszustand des Farbfilters einen Zustand aufweist, in dem, in einem Mittelteil eines Abbildungsbereichs in dem Bildsensor, das Farbfilter nicht angeordnet ist oder ein Filter, das dazu ausgebildet ist, nur eine vorgegebene Farbe durchzulassen, angeordnet ist.
Bildverarbeitungsvorrichtung nach Anspruch 10, wobei der Filteranordnungszustand einen Anordnungszustand eines Infrarotabpassfilters angibt, und gemäß einer Anordnung des Infrarotabpassfilters in dem Verarbeitungsbereich der Erkennungsverarbeitungsabschnitt zwischen den Erkennern wechselt, die dazu ausgebildet sind, die Subjekterkennung durchzuführen.
Bildverarbeitungsvorrichtung nach Anspruch 13, wobei der Anordnungszustand des Infrarotabpassfilters einen Zustand aufweist, in dem das Infrarotabpassfilter nur in einem Mittelteil eines Abbildungsbereichs in dem Bildsensor angeordnet ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, ferner aufweisend: den Abbildungsabschnitt.
Bildverarbeitungsverfahren, aufweisend: Durchführen, durch einen Erkennungsverarbeitungsabschnitt, von Subjekterkennung in einem Verarbeitungsbereich in einem Bild, das von einem Abbildungsabschnitt erhalten wird, indem ein Erkenner entsprechend einer Bildeigenschaft des Verarbeitungsbereichs verwendet wird.
Programm zum Veranlassen eines Computers, Erkennungsverarbeitung durchzuführen, wobei das Programm den Computer veranlasst durchzuführen: einen Prozess zum Erfassen einer Bildeigenschaft eines Verarbeitungsbereichs in einem Bild, das von einem Abbildungsabschnitt erhalten wird; und einen Prozess zum Veranlassen von Subjekterkennung, in dem Verarbeitungsbereich unter Verwendung eines Erkenners entsprechend der erfassten Bildeigenschaft durchgeführt zu werden.