-
HINTERGRUND DER ERFINDUNG
-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Bildverarbeitungssystem, ein Bildverarbeitungsverfahren, eine Informationsverarbeitungsvorrichtung und ein Aufzeichnungsmedium.
-
Beschreibung des Standes der Technik
-
Es gibt eine Technologie zum Untersuchen der Ursache eines Verkehrsstaus und dergleichen auf der Basis eines aufgenommenen Bildes der unmittelbaren Umgebung eines Fahrzeugs.
-
Um beispielsweise die Ursache eines Verkehrsstaus zu ermitteln, erfasst zuerst ein System aufgenommene Bilder der unmittelbaren Umgebung des Fahrzeugs. Als Nächstes detektiert das System anhand der aufgenommenen Bilder ein Fahrzeug, das an der Spitze des Verkehrsstaus steht. Dann nimmt das System Bilder einer Situation vor dem Fahrzeug, das an der Spitze des Staus steht, aus mehreren Richtungen auf und bestimmt die Ursache des Verkehrsstaus anhand der aufgenommenen Bilder. Es gibt Technologien, die es Systemen erlauben, einen Verkehrsstau zu detektieren und auf diese Weise die Ursache des Verkehrsstaus zu bestimmen (zum Beispiel die japanische Patentanmeldungspublikation Nr. 2008-65529 und dergleichen).
-
KURZDARSTELLUNG DER ERFINDUNG
-
Es ist jedoch wahrscheinlich, dass von Fahrzeugen Daten, wie zum Beispiel Bilder, die mit ähnlichen Parametern aufgenommen wurden, erfasst werden, und es ist wahrscheinlich, dass Verzerrungen entstehen. Wenn ein Maschinenlernen auf der Basis der Bilder ausgeführt wird und die Daten auf diese Weise unausgewogen sind, so wird die Genauigkeit des Maschinenlernens wahrscheinlich darunter leiden. Es ist jedoch nicht möglich, die Ausgewogenheit von Daten, wie zum Beispiel Bilder, die zum Maschinenlernen oder dergleichen verwendet werden sollen, nachzuvollziehen.
-
Dementsprechend stellen Bildverarbeitungssysteme gemäß Ausführungsformen der Erfindung Technologien bereit, die es möglich machen, die Ausgewogenheit von Daten, wie zum Beispiel Bilder, die zum Maschinenlernen oder dergleichen verwendet werden sollen, nachzuvollziehen.
-
Ein Bildverarbeitungssystem gemäß einem ersten Aspekt der Erfindung umfasst: ein Fahrzeug; und eine Informationsverarbeitungsvorrichtung, wobei das Fahrzeug Folgendes umfasst: eine Bildaufnahmevorrichtung; eine erste Bild-Erfassungseinheit, die dafür ausgestaltet ist, ein erstes Bild zu erfassen, das eine unmittelbare Umgebung des Fahrzeugs zeigt, wobei das erste Bild durch die Bildaufnahmevorrichtung aufgenommen wird; und eine Positionsdatensendeeinheit, die dafür ausgestaltet ist, Positionsdaten an die Informationsverarbeitungsvorrichtung zu senden, wobei die Positionsdaten eine Position des Fahrzeugs anzeigen, wenn das erste Bild aufgenommen wird, und die Informationsverarbeitungsvorrichtung Folgendes umfasst: eine Positionsdatenempfangenseinheit, die dafür ausgestaltet ist, die Positionsdaten von der Positionsdatensendeeinheit zu empfangen; eine zweite Bild-Erfassungseinheit, die dafür ausgestaltet ist, mehrere zweite Bilder zum Maschinenlernen zu erfassen, wobei die mehreren zweiten Bilder für die Position des Fahrzeugs auf der Basis der Positionsdaten relevant sind; eine Gruppierungseinheit, die dafür ausgestaltet ist, die mehreren zweiten Bilder auf der Basis eines Parameters, der eine Bedingung zur Zeit der Bildaufnahme anzeigt, in mehrere Gruppen zu unterteilen; und eine Analyseeinheit, die dafür ausgestaltet ist, eine Ausgewogenheit unter den mehreren Gruppen zu analysieren, wobei die Ausgewogenheit eine Ausgewogenheit der Anzahl von zweiten Bildern ist, die zu den mehreren Gruppen gehören.
-
In dem oben genannten Aspekt kann das Bildverarbeitungssystem den Parameter der zweiten Bilder anhand der Positionsdaten und der zweiten Bilder bestimmen. Dann kann das Bildverarbeitungssystem die zweiten Bilder gruppieren und kann die Ausgewogenheit des Parameters analysieren. Daran lässt sich erkennen, ob es eine Verzerrung in Daten gibt, wie zum Beispiel in Bildern, die zum Maschinenlernen oder dergleichen verwendet werden sollen, das in einem anschließenden Schritt ausgeführt wird.
-
Darüber hinaus kann das Bildverarbeitungssystem im Fall einer schlechten Ausgewogenheit die Ausgewogenheit verbessern, zum Beispiel durch Hinzufügen von Bildern zum Ausbessern der schlechten Ausgewogenheit.
-
Es ist möglich, die Ausgewogenheit der Daten, wie zum Beispiel Bilder, die zum Maschinenlernen oder dergleichen verwendet werden sollen, nachzuvollziehen.
-
In dem oben genannten Aspekt umfasst die Informationsverarbeitungsvorrichtung des Weiteren Folgendes: eine Bildanforderungseinheit, die dafür ausgestaltet ist, ein drittes Bild zu dem Fahrzeug auf der Basis eines Analyseergebnisses von der Analyseeinheit anzufordern, wobei das dritte Bild ein Bild ist, das aus dem ersten Bild ausgewählt ist und durch das die Ausgewogenheit eingestellt wird; eine Bildempfangseinheit, die das dritte Bild von dem Fahrzeug empfängt; und eine Lerneinheit, die ein Lernen auf der Basis der zweiten Bilder und des dritten Bildes ausführt und eine Lerndatenbank generiert.
-
In dem oben genannten Aspekt umfasst das Fahrzeug des Weiteren Folgendes: eine Analyseergebnisempfangseinheit, die dafür ausgestaltet ist, ein Analyseergebnis von der Analyseeinheit zu empfangen; eine Auswahleinheit, die dafür ausgestaltet ist, ein drittes Bild aus dem ersten Bild auf der Basis des Analyseergebnisses auszuwählen, wobei das dritte Bild ein Bild ist, durch das die Ausgewogenheit eingestellt wird; und eine Bildsendeeinheit, die dafür ausgestaltet ist, das dritte Bild an die Informationsverarbeitungsvorrichtung zu senden, und die Informationsverarbeitungsvorrichtung des Weiteren Folgendes umfasst: eine Bildempfangseinheit, die dafür ausgestaltet ist, das dritte Bild von dem Fahrzeug zu empfangen; und eine Lerneinheit, die dafür ausgestaltet ist, ein Lernen auf der Basis der zweiten Bilder und des dritten Bildes auszuführen und eine Lerndatenbank zu generieren.
-
In dem oben genannten Aspekt umfasst das Fahrzeug des Weiteren Folgendes: eine Kartendatenerfassungseinheit, die dafür ausgestaltet ist, Kartendaten zu erfassen, die eine momentane Position des Fahrzeugs, einen Zielort und einen Weg von der momentanen Position zu dem Zielort anzeigen; und eine Führungseinheit, die dafür ausgestaltet ist, eine Führung auf einer Route, auf der das Fahrzeug fährt, anhand der Kartendaten und der Lerndatenbank auszuführen, und die Führungseinheit dafür ausgestaltet ist, eine Führung an einer Kreuzung unter Verwendung eines Orientierungspunktes auszuführen.
-
In dem oben genannten Aspekt ist der Parameter eine Position, an der das zweite Bild aufgenommen wird, eine Straße, auf der das zweite Bild aufgenommen wird, eine Zeit, zu der das zweite Bild aufgenommen wird, das Wetter, ein Fahrzeugtyp eines Fahrzeugs, welches das zweite Bild aufnimmt, ein Modell der Bildaufnahmevorrichtung, Steuerungsinformationen über das Fahrzeug, welches das zweite Bild aufnimmt, eine Verkehrsstaubedingung im Umfeld der Position, an der das zweite Bild aufgenommen wird, eine Massenansammlungsbedingung im Umfeld der Position, an der das zweite Bild aufgenommen wird, eine Platzbedingung im Umfeld der Position, an der das zweite Bild aufgenommen wird, eine Fahrzeuggeschwindigkeit des Fahrzeugs, welches das zweite Bild aufnimmt, eine Fahrspur, auf der sich das Fahrzeug, welches das zweite Bild aufnimmt, befindet, oder eine Kombination davon.
-
Ein Bildverarbeitungsverfahren gemäß einem zweiten Aspekt der Erfindung umfasst Folgendes: einen ersten Bild-Erfassungsschritt, in dem ein Fahrzeug ein erstes Bild erfasst, das eine unmittelbare Umgebung des Fahrzeugs zeigt und durch eine Bildaufnahmevorrichtung aufgenommen wird; einen Positionsdatensendeschritt, in dem das Fahrzeug Positionsdaten an eine Informationsverarbeitungsvorrichtung sendet, wobei die Positionsdaten die Position des Fahrzeugs anzeigen, wenn das erste Bild aufgenommen wird; einen Positionsdatenempfangsschritt, in dem die Informationsverarbeitungsvorrichtung die Positionsdaten empfängt, die in dem Positionsdatensendeschritt übertragen wurden; einen zweiten Bild-Erfassungsschritt, in dem die Informationsverarbeitungsvorrichtung mehrere zweite Bilder zum Maschinenlernen erfasst, wobei die mehreren zweiten Bilder für die Position des Fahrzeugs auf der Basis der Positionsdaten relevant sind; einen Gruppierungsschritt, in dem die Informationsverarbeitungsvorrichtung die mehreren zweiten Bilder auf der Basis eines Parameters, der eine Bedingung zur Zeit der Bildaufnahme anzeigt, in mehrere Gruppen unterteilt; und einen Analysierschritt, in dem die Informationsverarbeitungsvorrichtung eine Ausgewogenheit unter den mehreren Gruppen analysiert, wobei die Ausgewogenheit eine Ausgewogenheit der Anzahl von zweiten Bildern ist, die zu den mehreren Gruppen gehören.
-
Eine Informationsverarbeitungsvorrichtung gemäß einem dritten Aspekt der Erfindung umfasst Folgendes: eine Positionsdatenempfangenseinheit, die dafür ausgestaltet ist, Positionsdaten zu empfangen, wobei die Positionsdaten die Position eines Fahrzeugs anzeigen, wenn ein erstes Bild aufgenommen wird, wobei das erste Bild eine unmittelbare Umgebung des Fahrzeugs zeigt und durch eine Bildaufnahmevorrichtung aufgenommen wird, mit der das Fahrzeug ausgerüstet ist; eine Bild-Erfassungseinheit, die dafür ausgestaltet ist, mehrere zweite Bilder zum Maschinenlernen zu erfassen, wobei die mehreren zweiten Bilder für die Position des Fahrzeugs auf der Basis der Positionsdaten relevant sind; eine Gruppierungseinheit, die dafür ausgestaltet ist, die mehreren zweiten Bilder auf der Basis eines Parameters, der eine Bedingung zur Zeit der Bildaufnahme anzeigt, in mehrere Gruppen zu unterteilen; und eine Analyseeinheit, die dafür ausgestaltet ist, eine Ausgewogenheit unter den mehreren Gruppen zu analysieren, wobei die Ausgewogenheit eine Ausgewogenheit der Anzahl von zweiten Bildern ist, die zu den mehreren Gruppen gehören.
-
Ein computerlesbares nicht-transitorisches Aufzeichnungsmedium gemäß einem vierten Aspekt der Erfindung zeichnet ein Programm auf, wobei das Programm einen Computer veranlasst, Folgendes ausführen:
- i) einen Positionsdatenempfangsschritt, in dem der Computer Positionsdaten empfängt, wobei die Positionsdaten die Position eines Fahrzeugs anzeigen, wenn ein erstes Bild aufgenommen wird, wobei das erste Bild eine unmittelbare Umgebung des Fahrzeugs zeigt und durch eine Bildaufnahmevorrichtung aufgenommen wird, mit der das Fahrzeug versehen ist;
- ii) einen Bild-Erfassungsschritt, in dem der Computer mehrere zweite Bilder zum Maschinenlernen erfasst, wobei die mehreren zweiten Bilder für die Position des Fahrzeugs auf der Basis der Positionsdaten relevant sind;
- iii) einen Gruppierungsschritt, in dem der Computer die mehreren zweiten Bilder auf der Basis eines Parameters, der eine Bedingung zur Zeit der Bildaufnahme anzeigt, in mehrere Gruppen unterteilt; und
- iv) einen Analysierschritt, in dem der Computer eine Ausgewogenheit unter den mehreren Gruppen analysiert, wobei die Ausgewogenheit eine Ausgewogenheit der Anzahl von zweiten Bildern ist, die zu den mehreren Gruppen gehören.
-
Figurenliste
-
Merkmale, Vorteile und technische und industrielle Bedeutung von beispielhaften Ausführungsformen der Erfindung werden unten mit Bezug auf die beiliegenden Zeichnungen beschrieben, in denen gleiche Bezugszeichen gleiche Elemente bezeichnen und in denen Folgendes dargestellt ist:
- 1 ist ein Schaubild, das eine beispielhafte Gesamtausgestaltung und eine beispielhafte Hardware-Ausgestaltung eines Bildverarbeitungssystems gemäß einer Ausführungsform der Erfindung zeigt;
- 2 ist ein Flussdiagramm, das ein Beispiel eines Gesamtprozesses in einem Bildverarbeitungssystem gemäß einer ersten Ausführungsform der Erfindung zeigt;
- 3 ist ein Schaubild, das eine beispielhafte Ausgewogenheitsanalyse in dem Bildverarbeitungssystem gemäß der ersten Ausführungsform der Erfindung zeigt;
- 4 ist ein Schaubild, das eine beispielhafte Navigation in einem Fahrzeug zeigt;
- 5 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Maschinenlernen oder dergleichen in dem Bildverarbeitungssystem gemäß der ersten Ausführungsform der Erfindung zeigt;
- 6 ist ein Flussdiagramm, das ein Beispiel eines Gesamtprozesses in einem Bildverarbeitungssystem gemäß einer zweiten Ausführungsform der Erfindung zeigt;
- 7 ist ein Flussdiagramm, das ein Beispiel der Auswahl eines dritten Bildes in einem Bildverarbeitungssystem gemäß einer dritten Ausführungsform der Erfindung zeigt;
- 8 ist ein Schaubild, das eine beispielhafte Fahrbahn, auf der ein Fahrzeug fährt, und beispielhafte Bilder in einer Ausführungsform der Erfindung zeigt;
- 9 ist ein Flussdiagramm, das eine Modifizierung der Auswahl des dritten Bildes in dem Bildverarbeitungssystem gemäß der dritten Ausführungsform der Erfindung zeigt;
- 10 ist ein Schaubild, das ein Beispiel des Generierens eines Bildes, das ein Kandidat des dritten Bildes ist, in dem Bildverarbeitungssystem gemäß der dritten Ausführungsform der Erfindung zeigt;
- 11 ist ein Funktionsblockschaubild, das eine beispielhafte Funktionsausgestaltung des Bildverarbeitungssystems gemäß der ersten Ausführungsform der Erfindung zeigt;
- 12 ist ein Funktionsblockschaubild, das eine beispielhafte Funktionsausgestaltung des Bildverarbeitungssystems gemäß der zweiten Ausführungsform der Erfindung zeigt;
- 13 ist ein Schaubild, das ein beispielhaftes Verarbeitungsergebnis in einem Bildverarbeitungssystem gemäß einer Ausführungsform der Erfindung zeigt; und
- 14 ist ein Schaubild, das ein Vergleichsbeispiel zeigt.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
Im Weiteren werden Ausführungsformen der Erfindung mit Bezug auf die beiliegenden Zeichnungen beschrieben.
-
Erste Ausführungsform
-
Beispielhafte Gesamtausgestaltung und beispielhafte Hardware-Ausgestaltung
-
1 ist ein Schaubild, das eine beispielhafte Gesamtausgestaltung und eine beispielhafte Hardware-Ausgestaltung eines Bildverarbeitungssystems gemäß einer Ausführungsform der Erfindung zeigt. In dem veranschaulichten Beispiel umfasst ein Bildverarbeitungssystem IS eine Kamera CM, die eine beispielhafte Bildaufnahmevorrichtung ist, und einen Server SR, der eine beispielhafte Informationsverarbeitungsvorrichtung ist.
-
Wie veranschaulicht, ist die Kamera CM, die eine beispielhafte Bildaufnahmevorrichtung ist, in einem Fahrzeug CA angeordnet. Die Kamera CM fotografiert die unmittelbare Umgebung des Fahrzeugs CA und generiert ein Bild. Zum Beispiel, wie veranschaulicht, nimmt die Kamera CM ein Bild einer Situation vor dem Fahrzeug CA auf. Als Nächstes wird das durch die Kamera CM generierte Bild durch eine Bild-Erfassungsvorrichtung IM erfasst. Darüber hinaus ist das Fahrzeug CA mit einer elektronischen Steuereinheit (ECU) CT und einer Kommunikationsvorrichtung CD ausgestattet.
-
Zum Beispiel umfasst die Bild-Erfassungsvorrichtung IM eine Arithmetikvorrichtung wie zum Beispiel einen elektronischen Schaltkreis, eine elektronische Steuereinheit (ECU) oder eine zentrale Verarbeitungseinheit (CPU) und eine Steuerungsvorrichtung. Die Bild-Erfassungsvorrichtung IM umfasst des Weiteren eine Hilfsspeichervorrichtung wie zum Beispiel eine Festplatte und speichert das von der Kamera CM erfasste Bild. Darüber hinaus umfasst die Bild-Erfassungsvorrichtung IM Kommunikationsteile wie zum Beispiel eine Antenne und einen integrierten Verarbeitungsschaltkreis (Verarbeitungs-IC) und sendet das Bild über ein Netzwerk NW an eine externe Vorrichtung wie zum Beispiel den Server SR.
-
Eine ECU CT ist ein Beispiel der Arithmetikvorrichtung und der Steuerungsvorrichtung. Die ECU CT ist mit einer Speichervorrichtung wie zum Beispiel einem Speicher verbunden.
-
Die Kommunikationsvorrichtung CD führt eine Kommunikation zum Senden und Empfangen von Daten mit einer externen Vorrichtung über das Netzwerk NW aus. Zum Beispiel umfasst die Kommunikationsvorrichtung CD eine Antenne, eine Verarbeitungsschaltung und dergleichen.
-
Hier können mehrere Kameras CM und mehrere Bild-Erfassungsvorrichtungen IM vorhanden sein. Des Weiteren können mehrere Fahrzeuge CA vorhanden sein.
-
Andererseits ist der Server SR mit dem Fahrzeug CA über das Netzwerk verbunden. Zum Beispiel umfasst der Server SR eine CPU SH1, eine Speichervorrichtung SH2, eine Eingabevorrichtung SH3, eine Ausgabevorrichtung SH4 und eine Kommunikationsvorrichtung SH5.
-
Hardware-Ressourcen, die in dem Server SR enthalten sind, sind miteinander über einen Bus SH6 verbunden. Die Hardware-Ressourcen senden und empfangen Signale und Daten durch den Bus SH6.
-
Die CPU SH1 umfasst eine Arithmetikvorrichtung und eine Steuerungsvorrichtung. Die Speichervorrichtung SH2 ist eine Haupt-Speichervorrichtung wie zum Beispiel ein Speicher. Die Speichervorrichtung SH2 kann des Weiteren eine Hilfsspeichervorrichtung umfassen. Die Eingabevorrichtung SH3 ist eine Tastatur oder dergleichen und gibt eine Operation von einem Nutzer ein. Die Ausgabevorrichtung SH4 ist eine Anzeige oder dergleichen und gibt ein Verarbeitungsergebnis oder dergleichen an den Nutzer aus. Die Kommunikationsvorrichtung SH5 ist ein Verbinder, eine Antenne oder dergleichen und sendet und empfängt Daten mit einer externen Vorrichtung über das Netzwerk NW, ein Kabel oder dergleichen.
-
Der Server SR ist nicht auf die veranschaulichte Ausgestaltung beschränkt und kann zum Beispiel noch andere Vorrichtungen umfassen. Des Weiteren können mehrere Server SR vorhanden sein.
-
Beispielhafte Gesamtprozesse
-
2 ist ein Flussdiagramm, das ein Beispiel eines Gesamtprozesses in einem Bildverarbeitungssystem gemäß einer ersten Ausführungsform der Erfindung zeigt. In der Figur sind Prozesse in dem Fahrzeug CA (siehe 1) auf der linken Seite von 2 gezeigt, während Prozesse in dem Server SR (siehe 1) auf der rechten Seite von 2 gezeigt sind.
-
In Schritt SA01 nimmt das Bildverarbeitungssystem ein Bild mit der in dem Fahrzeug CA enthaltenen Bildaufnahmevorrichtung auf. Im Weiteren wird das in Schritt SA01 aufgenommene Bild als ein „Bild IMG1“ bezeichnet, das ein beispielhaftes erstes Bild ist. Zum Beispiel wird das Bild IMG1 auf der Seite des Fahrzeugs CA mit einem voreingestellten Zeitraum aufgenommen.
-
In Schritt SA02 sendet das Bildverarbeitungssystem Positionsdaten des Fahrzeugs CA an den Server SR. Zum Beispiel sind die Positionsdaten Daten von Koordinaten in einer Einheit von 10 m (Metern), was die Position des Fahrzeugs CA anzeigt, oder Daten einer Linknummer, was die Position des Fahrzeugs CA anzeigt.
-
Die Linknummer ist eine Zahl, welche die Identifizierung eines Straßenabschnitts zwischen einem Knoten und einem Knoten auf einer Straßenkarte erlaubt. Der Knoten ist ein Nodalpunkt in einem Straßennetz, und ist genauer gesagt eine Kreuzung oder dergleichen. Das heißt, wenn festgestellt wird, dass die Linknummer gefunden wurde, so kann das Bildverarbeitungssystem eine Straße, auf der das Fahrzeug CA positioniert ist, anhand zuvor eingegebener Kartendaten und dergleichen identifizieren. Genauer gesagt ist die Linknummer eine Zahl, die zum Beispiel in „http://www.drm.jp/database/expression.html“ beschrieben ist
-
Die Positionsdaten sind Textdaten oder dergleichen und haben daher ein kleineres Datenvolumen als Bilddaten oder dergleichen. Daher ist es in dem Bildverarbeitungssystem möglich, das Kommunikationsvolumen in Schritt SA02 zu reduzieren.
-
In Schritt SB01 empfängt das Bildverarbeitungssystem die Positionsdaten, die von dem Fahrzeug CA gesendet wurden. Das heißt, das Bildverarbeitungssystem empfängt nach Schritt SA02 die Positionsdaten auf der Seite des Servers SR.
-
In Schritt SA03 Cache-speichert das Bildverarbeitungssystem das erste Bild auf der Seite des Fahrzeugs CA. Das heißt, das Bildverarbeitungssystem speichert das in Schritt SA01 aufgenommene Bild IMG1 auf der Seite des Fahrzeugs CA. Es ist bevorzugt, das Bild IMG1 in Verbindung mit den Positionsdaten, einem Parameter über die Bildaufnahme der Bild IMG1 und dergleichen zu speichern.
-
In Schritt SB02 erfasst das Bildverarbeitungssystem zweite Bilder auf der Seite des Servers SR. Die zweiten Bilder sind Bilder, die zuvor eingegeben wurden, Bilder, die periodisch von dem Fahrzeug CA gesendet wurden, Kombinationen davon oder dergleichen. Das heißt, die zweiten Bilder brauchen nur Bilder zu sein, die von einer externen Vorrichtung und dergleichen kommend erfasst wurden, und für eine Eingangsroute und dergleichen gibt es keine Einschränkungen. Hier kann das zweite Bild teilweise das gleiche sein wie das erste Bild. Im Weiteren wird ein Beispiel des zweiten Bildes als ein „Bild IMG2“ bezeichnet.
-
In Schritt SB03 führt das Bildverarbeitungssystem eine Gruppierung der Bilder IMG2 aus und analysiert eine Ausgewogenheit auf der Seite des Servers SR. Zuerst wird zuvor ein Parameter, mit dem die Analyse ausgeführt, in dem Server SR eingestellt.
-
Der Parameter ist eine Bedingung, wann die Bilder IMG2 aufgenommen werden, oder dergleichen. Genauer gesagt ist der Parameter jeder Zeitpunkt, wann die Bilder IMG2 aufgenommen werden, jedes Wetter, wann die Bilder IMG2 aufgenommen werden, oder dergleichen.
-
Zum Beispiel wird der Parameter nach der Bildverarbeitung von Bild IMG2 bestimmt. Zum Beispiel kann das Bildverarbeitungssystem durch Untersuchen des Bildes IMG2 nach der Bildverarbeitung der Helligkeit oder dergleichen Wetter, Zeit oder dergleichen schätzen. Des Weiteren kann das Bildverarbeitungssystem durch optische Flussverarbeitung des Bildes IMG2 die Fahrzeuggeschwindigkeit oder dergleichen schätzen. Für die Bestimmung des Parameters können Sensordaten oder dergleichen verwendet werden. Zum Beispiel kann die Fahrzeuggeschwindigkeit anhand von Daten eines Geschwindigkeitssensors bestimmt werden. Außerdem kann der Parameter des Wetters durch Erfassen meteorologischer Daten oder dergleichen von einer externen Vorrichtung bestimmt werden. In ähnlicher Weise kann der Parameter der Zeit durch Erfassen von Zeitdaten bestimmt werden. Des Weiteren kann der Parameter einer Position, an der das Bild aufgenommen wird, oder dergleichen anhand von Positionsdaten bestimmt werden.
-
Darüber hinaus ist der Parameter jeder Fahrzeugtyp von Fahrzeugen, die mit Bildaufnahmevorrichtungen ausgestattet sind, welche die Bilder IMG2 aufnehmen, jede Anbringungsposition von Bildaufnahmevorrichtungen, welche die Bilder IMG2 aufnehmen, jedes Modell von Bildaufnahmevorrichtungen, welche die Bilder IMG2 aufnehmen, oder dergleichen. Es ist bevorzugt, den Fahrzeugtyp, die Position, das Modell oder dergleichen als den Parameter einzustellen, wenn eine Bild-Erkennungsverarbeitung in einem anschließenden Schritt ausgeführt wird.
-
Des Weiteren ist der Parameter Fahrzeugsteuerungsinformationen darüber, ob ein Scheinwerfer zu dem Zeitpunkt, wo das Bild IMG2 aufgenommen wird, oder dergleichen auf Fernlicht oder Abblendlicht eingestellt ist. Es ist bevorzugt, die Steuerungsinformationen als den Parameter einzustellen, wenn eine Bild-Erkennungsverarbeitung in einem anschließenden Schritt ausgeführt wird.
-
Außerdem ist der Parameter Daten, die eine Verkehrsstaubedingung, eine Massenansammlungsbedingung oder eine Platzbedingung im Umfeld einer Position anzeigen, an der das Bild IMG2 aufgenommen wird, eine Fahrzeuggeschwindigkeit oder dergleichen. Es ist bevorzugt, die Daten als den Parameter einzustellen, wenn Verkehrsinformationen in einem anschließenden Schritt verwendet werden. Zum Beispiel kann die Fahrzeuggeschwindigkeit eine Fahrzeuggeschwindigkeit sein, bei der die Einheit 10 km/h (Kilometer pro Stunde) ist, oder dergleichen.
-
Darüber hinaus ist der Parameter Fahrspurdaten, die eine Fahrspur anzeigen, auf der ein Fahrzeug, welches das Bild IMG2 aufnimmt, positioniert ist. Es ist bevorzugt, die Fahrspurdaten als den Parameter einzustellen, wenn Verkehrsinformationen in einem anschließenden Schritt verwendet werden oder wenn eine Bild-Erkennungsverarbeitung in einem anschließenden Schritt ausgeführt wird.
-
In Schritt SB03 setzt zuerst das Bildverarbeitungssystem Bilder IMG2, die einen identischen Parameter aufweisen, in eine einzelne Gruppe. Dann analysiert das Bildverarbeitungssystem die Ausgewogenheit in Bezug darauf, ob die Anzahl der Bilder zwischen den Gruppen ungefähr gleich ist. Zum Beispiel die Ausgewogenheit wird analysiert als folgt.
-
3 ist ein Schaubild, das eine beispielhafte Ausgewogenheitsanalyse in dem Bildverarbeitungssystem gemäß der ersten Ausführungsform der Erfindung zeigt. Zum Beispiel, wie veranschaulicht, gruppiert das Bildverarbeitungssystem die Bilder IMG2 in drei Bedingungen: „Bedingung 1“, „Bedingung 2“ und „Bedingung 3“. Nehmen wir zum Beispiel an, dass der Parameter „Wetter“ ist. Nehmen wir außerdem an, dass die „Bedingung 1“ eine Gruppe „schön“ ist, die „Bedingung 2“ eine Gruppe „bewölkt“ ist und die „Bedingung 3“ eine Gruppe „regnerisch“ ist. In der Figur bezeichnet die Abszissenachse die Bedingung, und die Ordinatenachse bezeichnet die Anzahl der Bilder. In diesem Beispiel enthalten die Bilder IMG2 viele Bilder, die zu der Gruppe der „Bedingung 1“ gehören. Genauer gesagt sind die am häufigsten erfassten Bilder Bilder, die an einem „schönen“ Tag aufgenommen wurden, und die am zweithäufigsten erfassten Bilder sind Bilder, die an einem „bewölkten“ Tag aufgenommen wurden. In dem Beispiel sind die am seltensten erfassten Bilder Bilder, die an einem „regnerischen“ Tag aufgenommen wurden. Im Folgenden wird der Fall der veranschaulichten Ausgewogenheit als ein Beispiel beschrieben.
-
In diesem Beispiel gibt es eine Verzerrung in Richtung der „Bedingung 1“, und das Bildverarbeitungssystem gibt ein Analyseergebnis einer schlechten Ausgewogenheit aus. Genauer gesagt ist auf der Basis der „Bedingung 1“ die Anzahl der Bilder der „Bedingung 2“ um eine Differenz DF1 kleiner als die Anzahl der Bilder der „Bedingung 1“. Darüber hinaus ist auf der Basis der „Bedingung 1“ die Anzahl der Bilder der „Bedingung 3“ um eine Differenz DF2 kleiner als die Anzahl der Bilder der „Bedingung 1“. Wenn hingegen keine Differenz vorhanden ist, oder wenn die Differenz maximal so groß ist wie ein zuvor festgelegter Wert, so gibt das Bildverarbeitungssystem ein Analyseergebnis einer guten Ausgewogenheit aus. Für den Fall des Analyseergebnisses einer schlechten Ausgewogenheit bestimmt das Bildverarbeitungssystem eine Einstellung der Ausgewogenheit.
-
In Schritt SB04 bestimmt das Bildverarbeitungssystem, ob die Ausgewogenheit auf der Seite des Servers SR eingestellt werden soll. Das heißt, das Bildverarbeitungssystem bestimmt anhand des Analyseergebnisses in Schritt SB03, ob die Ausgewogenheit eingestellt werden soll.
-
Als Nächstes, wenn das Bildverarbeitungssystem bestimmt, dass das Bildverarbeitungssystem die Ausgewogenheit einstellt (JA in Schritt SB04), schreitet das Bildverarbeitungssystem zu Schritt SB05 voran. Wenn hingegen das Bildverarbeitungssystem bestimmt, dass das Bildverarbeitungssystem die Ausgewogenheit nicht einstellt (NEIN in Schritt SB04), so schreitet das Bildverarbeitungssystem zu Schritt SB07 voran.
-
In Schritt SB05 fordert das Bildverarbeitungssystem ein Bild von der Seite des Servers SR zur Fahrzeugseite an. Das heißt, für den Fall des in 3 gezeigten Beispiels stellt das Bildverarbeitungssystem in Schritt SB05 die Ausgewogenheit dergestalt ein, dass die Differenz DF1 und die Differenz DF2 verringert werden. Genauer gesagt fordert das Bildverarbeitungssystem für den Fall des in 3 gezeigten Beispiels Bilder, welche die „Bedingung 2“ erfüllen, zu dem Fahrzeug CA an, um die Differenz DF1 zu reduzieren. In ähnlicher Weise fordert das Bildverarbeitungssystem Bilder, welche die „Bedingung 3“ erfüllen, zu dem Fahrzeug CA an, um die Differenz DF2 zu reduzieren.
-
In Schritt SA04 bestimmt das Bildverarbeitungssystem, ob das Bild angefordert wurde. Das heißt, wenn Schritt SB05 ausgeführt wird, so bestimmt das Bildverarbeitungssystem, dass das Bild angefordert wurde.
-
Als Nächstes, wenn das Bildverarbeitungssystem bestimmt, dass das Bild angefordert wurde (JA in Schritt SA04), schreitet das Bildverarbeitungssystem zu Schritt SA05 voran. Wenn hingegen das Bildverarbeitungssystem bestimmt, dass das Bild nicht angefordert wurde (NEIN in Schritt SA04), so beendet das Bildverarbeitungssystem den Prozess.
-
In Schritt SA05 wählt das Bildverarbeitungssystem das angeforderte Bild aus ersten Bildern aus (im Weiteren wird ein Bild, das aus ersten Bildern ausgewählt wird, als ein „drittes Bild“ bezeichnet) und sendet das ausgewählte Bild. Das heißt, für den Fall des in 3 gezeigten Beispiels wählt das Bildverarbeitungssystem Bilder, welche die „Bedingung 2“ erfüllen, und Bilder, welche die „Bedingung 3“ erfüllen, aus den Bildern IMG1 aus und sendet die ausgewählten Bilder von dem Fahrzeug CA an den Server SR als das dritte Bild.
-
In Schritt SB06 empfängt das Bildverarbeitungssystem das dritte Bild. Das heißt, das Bildverarbeitungssystem empfängt das Bild IMG1, das in Schritt SA05 gesendet wurde, auf der Seite des Servers SR.
-
In Schritt SA04, Schritt SA05, Schritt SB05 und Schritt SB06 stellt das Bildverarbeitungssystem durch eine sogenannte Push-Kommunikation die Ausgewogenheit durch Hinzufügen des dritten Bildes ein, wodurch die Differenz kompensiert werden kann.
-
In Schritt SB07 führt das Bildverarbeitungssystem Maschinenlernen oder dergleichen aus. Nehmen wir zum Beispiel den Fall an, dass eine Navigation folgendermaßen ausgeführt wird.
-
4 ist ein Schaubild, das eine beispielhafte Navigation in dem Fahrzeug zeigt.
-
Nehmen wir zum Beispiel an, dass das Fahrzeug CA zu einem Zielort fährt, wie veranschaulicht. Wie veranschaulicht, fährt das Fahrzeug CA auf einer Route, entlang der das Fahrzeugs CA an einer Kreuzung CR vor dem Fahrzeug CA abbiegt (eine Route, die durch den Pfeil in der Figur gezeigt ist), als eine Route zu dem Zielort. Das heißt, in dieser Situation führt für den Fall, dass ein sogenanntes Pkw-Navigationsgerät in dem Fahrzeug CA vorhanden ist, das Pkw-Navigationsgerät einen Fahrer, der das Fahrzeug CA lenkt, über Sprache, Bilder, eine Kombination davon oder dergleichen, dergestalt, dass das Fahrzeug CA an der Kreuzung CR abbiegt.
-
Des Weiteren kann, wenn zum Beispiel das Fahrzeug CA Kartendaten DM von einer externen Vorrichtung empfängt, oder die Kartendaten DM durch eine Eingabe von einem Aufzeichnungsmedium erfasst, das Fahrzeug CA die Position des Fahrzeugs CA, die Position der Kreuzung CR, die Tatsache, dass der Zielort in der rechten Richtung der Kreuzung CR ist, und dergleichen verstehen.
-
Im Folgenden wird die veranschaulichte Situation als ein Beispiel beschrieben. Die Situation, dass das Bildverarbeitungssystem verwendet wird, ist nicht auf die veranschaulichte Situation beschränkt, und zum Beispiel kann das Bildverarbeitungssystem auch in anderen Situationen als Kreuzungen verwendet werden.
-
Nehmen wir außerdem an, dass es wünschenswert ist, dass das Pkw-Navigationsgerät die Routenführung unter Verwendung eines Wegweisers LM, der nahe der Kreuzung CR steht, als einen Orientierungspunkt ausführt, wie veranschaulicht. In einem solchen Fall wird in dem Fahrzeug CA ein Bild einer Situation vor dem Fahrzeug CA durch die Bildaufnahmevorrichtung aufgenommen, und eine Bild-Erkennung des Wegweisers LM an dem aufgenommenen Bild wird ausgeführt. Für eine solche Bild-Erkennung ist es zum Beispiel wünschenswert, ein Maschinenlernen auf der Basis des Bildes auszuführen, das den Wegweiser LM enthält, und zwar wie folgt.
-
5 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Maschinenlernen oder dergleichen in dem Bildverarbeitungssystem gemäß der ersten Ausführungsform der Erfindung zeigt. In dem in 2 gezeigten Schritt SB07 wird zum Beispiel der in 5 gezeigten Prozess ausgeführt.
-
In Schritt SB0701 bestimmt das Bildverarbeitungssystem, ob die Ausgewogenheit von Bildern, die für das Maschinenlernen verwendet werden sollen, gut ist. Das heißt, wenn die Ausgewogenheit in Schritt SA04, Schritt SA05, Schritt SB05, Schritt SB06 und dergleichen, wie in 2 gezeigt, eingestellt wird, so ist die in 3 gezeigte Vorspannung klein, und die Bilder, die für das Maschinenlernen verwendet werden sollen, sind oft gut ausgewogen. In einem solchen Fall bestimmt das Bildverarbeitungssystem, dass die Ausgewogenheit der Bilder, die für das Maschinenlernen verwendet werden sollen, gut ist.
-
Als Nächstes, wenn das Bildverarbeitungssystem bestimmt, dass die Ausgewogenheit der Bilder, die für das Maschinenlernen verwendet werden sollen, gut ist (JA in Schritt SB0701), schreitet das Bildverarbeitungssystem zu Schritt SB0702 voran. Wenn hingegen das Bildverarbeitungssystem bestimmt, dass die Ausgewogenheit der Bilder, die für das Maschinenlernen verwendet werden sollen, nicht gut ist (NEIN in Schritt SB0701), so beendet das Bildverarbeitungssystem den in 5 gezeigten Prozess.
-
In Schritt SB0702 führt das Bildverarbeitungssystem das Lernen von Wegweisern oder dergleichen aus. Genauer gesagt führt das Bildverarbeitungssystem für den Fall der Verwendung des Wegweisers LM für die Führung, wie in 4 gezeigt, das Lernen unter Verwendung des Bildes aus, das den Wegweiser LM enthält. Dadurch kann das Bildverarbeitungssystem die Bild-Erkennung des Wegweisers LM in dem Bild ausführen.
-
In Schritt SB0703 bestimmt das Bildverarbeitungssystem, ob die Erkennungsgenauigkeit gestiegen ist. In diesem Beispiel bestimmt das Bildverarbeitungssystem, ob die Erkennungsgenauigkeit für die Bild-Erkennung des Wegweisers LM auf dem Bild gestiegen ist. Das heißt, das Bildverarbeitungssystem bestimmt anhand des Umstandes, ob die Erkennungsgenauigkeit aufgrund des Lernens in Schritt SB0702, im Vergleich zu der Erkennungsgenauigkeit vor dem Lernen gestiegen ist, ob die Erkennungsgenauigkeit gestiegen ist.
-
Als Nächstes, wenn das Bildverarbeitungssystem bestimmt, dass die Erkennungsgenauigkeit erhöht wird (JA in Schritt SB0703), schreitet das Bildverarbeitungssystem zu Schritt SB0704 voran. Wenn das Bildverarbeitungssystem hingegen bestimmt, dass die Erkennungsgenauigkeit nicht gestiegen ist (NEIN in Schritt SB0703), so beendet das Bildverarbeitungssystem den in 5 gezeigten Prozess.
-
In Schritt SB0704 aktualisiert das Bildverarbeitungssystem eine Lerndatenbank. Das heißt, das Bildverarbeitungssystem verwendet die aktualisierte Lerndatenbank in der anschließenden Pkw-Navigation und dergleichen. Die Lerndatenbank kann dafür ausgestaltet sein, durch andere eine externe Vorrichtung verwendet zu werden als das Bildverarbeitungssystem.
-
Zweite Ausführungsform
-
Die Ausgewogenheit kann auf der Seite des Fahrzeugs CA durch ein sogenanntes lokales Management anstelle der Einstellung der Ausgewogenheit durch die Push-Kommunikation in der ersten Ausführungsform eingestellt werden.
-
Im Folgenden wird der Fall, dass die Gesamtausgestaltung und die Hardware-Ausgestaltung die gleiche sind wie die in der ersten Ausführungsform, als ein Beispiel beschrieben. Daher wird auf eine wiederholte Beschreibung verzichtet. Im Folgenden konzentrieren wir uns vor allem auf die Unterschiede. Eine zweite Ausführungsform unterscheidet sich hinsichtlich des Gesamtprozesses von der ersten Ausführungsform.
-
6 ist ein Flussdiagramm, das ein Beispiel des Gesamtprozesses in einem Bildverarbeitungssystem gemäß der zweiten Ausführungsform der Erfindung zeigt. In der Figur sind identischen Prozessen wie denen in der ersten Ausführungsform identische Bezugszeichen zugewiesen, und auf ihre Beschreibung wird verzichtet.
-
In Schritt SB20 sendet das Bildverarbeitungssystem die Analyseergebnisses von dem Server SR zu dem Fahrzeug CA. Das heißt, das Bildverarbeitungssystem sendet die Daten, welche die Ausgewogenheit der in Schritt SB03 analysierten Bilder anzeigen, zu der lokalen Seite.
-
In Schritt SA20 empfängt das Bildverarbeitungssystem das Analyseergebnis auf der Seite des Fahrzeugs CA. Das heißt, das Bildverarbeitungssystem empfängt die Daten, die das Analyseergebnis anzeigen, das in Schritt SB20 gesendet wurde, auf der Seite des Fahrzeugs CA. Dadurch kann das Fahrzeug CA wissen, dass die Bilder auf der Seite des Servers SR zum Beispiel in dem in 3 gezeigten Zustand sind. Dementsprechend kann das Fahrzeug CA anhand des Analyseergebnisses den Parameter der Bilder kennen, die zu dem Server SR gesendet werden sollten, um die Ausgewogenheit zu verbessern.
-
In Schritt SA21 wählt das Bildverarbeitungssystem auf der Basis des Analyseergebnisses auf der Seite des Fahrzeugs CA das dritte Bild aus den ersten Bildern aus. Genauer gesagt wählt das Bildverarbeitungssystem auf der Seite des Fahrzeugs CA für den Fall des in 3 gezeigten Beispiels dritte Bilder, welche die „Bedingung 2“ erfüllen, und dritte Bilder, welche die „Bedingung 3“ erfüllen, aus den Bildern IMG1 aus und sendet die ausgewählten Bilder in Schritt SA05.
-
Dementsprechend kann das Bildverarbeitungssystem, wenn das ausgewählte Bild in Schritt SA21 zu dem Server SR gesendet wird, die Ausgewogenheit der Bilder IMG2 mit den in Schritt SA05 gesendeten Bildern einstellen.
-
Dritte Ausführungsform
-
Das Fahrzeug CA kann dafür ausgestaltet sein, das dritte Bild wie folgt auszuwählen.
-
Im Folgenden wird als ein Beispiel der Fall beschrieben, dass die Pkw-Navigation ein Objekt wie zum Beispiel den Wegweiser LM auf einer Straße zur Führung verwendet, wie in 4 gezeigt. Das heißt, es ist wünschenswert, dass das Fahrzeug CA ein Bild, das den Wegweiser LM enthält, an den Server SR sendet. Zum Beispiel kann das dritte Bild durch den folgenden Prozess ausgewählt werden.
-
7 ist ein Flussdiagramm, das ein Beispiel der Auswahl des dritten Bildes in dem Bildverarbeitungssystem gemäß einer dritten Ausführungsform der Erfindung zeigt. Zum Beispiel wird der in 7 gezeigte Prozess zu einem Zeitpunkt, nachdem das erste Bild Cache-gespeichert wurde und bevor das dritte Bild zu dem Server SR gesendet wird, auf der Seite des Fahrzeugs CA ausgeführt.
-
In der folgenden Beschreibung wird angenommen, dass das Bildverarbeitungssystem so eingestellt wird, dass es Bilder erfasst, die Objekte enthalten, die auf der linken Seite einer Straße, auf der das Fahrzeugs CA fährt, auftauchen. Die Einstellung ist nicht auf die linke Seite beschränkt, und eine andere Einstellung, wie zum Beispiel eine Einstellung zur rechten Seite hin, kann ebenfalls verwendet werden.
-
In Schritt S311 bestimmt das Bildverarbeitungssystem, ob eine Fahrbahn, auf der das Fahrzeugs CA fährt, drei oder mehr Fahrspuren hat. Zum Beispiel kann das Bildverarbeitungssystem die Anzahl von Fahrspuren der Fahrbahn berechnen, auf der das Fahrzeugs CA fährt, indem es zum Beispiel eine Bildverarbeitung des Bildes IMG1 zum Detektieren weißer Linien und Zählen weißer Linien, die in der Richtung orthogonal zu einer Fahrtrichtung RD vorhanden sind, ausführt.
-
Als Nächstes, wenn das Bildverarbeitungssystem bestimmt, dass die Fahrbahn, auf der das Fahrzeugs CA fährt, drei oder mehr Fahrspuren hat (JA in Schritt S311), schreitet das Bildverarbeitungssystem zu Schritt S312 voran. Wenn hingegen das Bildverarbeitungssystem bestimmt, dass die Fahrbahn, auf der das Fahrzeugs CA fährt, nicht drei oder mehr Fahrspuren hat (NEIN in Schritt S311), so beendet das Bildverarbeitungssystem den Prozess.
-
In Schritt S312 bestimmt das Bildverarbeitungssystem, ob das Fahrzeug CA auf der äußerst linken Fahrspur fährt. Zum Beispiel kann das Bildverarbeitungssystem durch die Bildverarbeitung des Bildes IMG1, der Position des Fahrzeugs CA oder dergleichen wissen, ob sich das Fahrzeug CA auf der äußerst linken Fahrspur befindet.
-
Als Nächstes, wenn das Bildverarbeitungssystem bestimmt, dass das Fahrzeug CA auf der äußerst linken Fahrspur fährt (JA in Schritt S312), schreitet das Bildverarbeitungssystem zu Schritt S313 voran. Wenn hingegen das Bildverarbeitungssystem bestimmt, dass das Fahrzeug CA nicht auf der äußerst linken Fahrspur fährt (NEIN in Schritt S312), so beendet das Bildverarbeitungssystem den Prozess.
-
In Schritt S313 wählt das Bildverarbeitungssystem ein Bild IMG1, das unter der momentanen Fahrbedingung aufgenommen wurde, als einen Kandidaten des dritten Bildes aus.
-
Zum Beispiel wird der Fall, dass das Fahrzeug CA auf der folgenden Fahrbahn fährt, als ein Beispiel beschrieben.
-
8 ist ein Schaubild, das eine beispielhafte Fahrbahn, auf der das Fahrzeug fährt, und beispielhafte Bilder in einer Ausführungsform der Erfindung zeigt. Nehmen wir an, dass das Fahrzeug CA in der Fahrtrichtung RD fährt (in der Figur in der Richtung von der Unterseite zur Oberseite), wie veranschaulicht. In diesem Beispiel hat die Fahrbahn eine linke Fahrspur LAL, eine mittlere Fahrspur LAC und eine rechte Fahrspur LAR. Dementsprechend bestimmt das Bildverarbeitungssystem in Schritt S311, wenn das Fahrzeug CA auf dieser Fahrbahn fährt, dass die Fahrbahn, auf der das Fahrzeugs CA fährt, drei oder mehr Fahrspuren hat (JA in Schritt S311).
-
Des Weiteren bestimmt das Bildverarbeitungssystem in Schritt S312, wenn das Fahrzeug CA auf der linken Fahrspur LAL fährt, dass das Fahrzeug CA auf der äußerst linken Fahrspur fährt (JA in Schritt S312).
-
Für den Fall, dass das Fahrzeug CA auf einer Fahrbahn fährt, die drei oder mehr Fahrspuren aufweist, wie veranschaulicht, enthalten nur Bilder, die aufgenommen wurden, während das Fahrzeug CA auf der linken Fahrspur LAL fährt, ein Objekt wie zum Beispiel den Wegweiser LM, der auf der linken Seite der Fahrbahn auftaucht, auf der das Fahrzeugs CA fährt. Genauer gesagt wird zum Beispiel ein Bild IMG31 als ein Bild erhalten, das aufgenommen wurde, während das Fahrzeug CA auf der linken Fahrspur LAL fährt. Des Weiteren wird zum Beispiel ein Bild IMG32 als ein Bild erhalten, das aufgenommen wurde, während das Fahrzeug CA auf der mittleren Fahrspur LAC fährt.
-
In vielen Fällen befindet sich der Wegweiser LM in dem Winkelfeld der Bildaufnahmevorrichtung auf der linken Fahrspur LAL, aber der Wegweiser LM befindet sich nicht in dem Winkelfeld der Bildaufnahmevorrichtung auf der mittleren Fahrspur LAC oder der rechten Fahrspur LAR. Daher enthält das Bild IMG31 in vielen Fällen den Wegweiser LM, und das Bild IMG32 enthält nicht den Wegweiser LM, wie veranschaulicht. Dementsprechend wählt das Bildverarbeitungssystem Bilder, die aufgenommen wurden, während das Fahrzeug CA auf der linken Fahrspur LAL fährt, wie beispielhaft durch das Bild IMG31 dargestellt, als Kandidaten des dritten Bildes aus (Schritt S313). Da nun Bilder wie zum Beispiel das Bild IMG32 nicht als das dritte Bild ausgewählt werden, werden die Bilder wie zum Beispiel das Bild IMG32 nicht an den Server SR gesendet. Daher kann das Bildverarbeitungssystem das Kommunikationsvolumen reduzieren.
-
Das heißt, das Bildverarbeitungssystem kann das Kommunikationsvolumen reduzieren, indem es das dritte Bild auf Bilder beschränkt, die aufgenommen werden, wenn sich das Fahrzeug CA an einer Position befindet, welche die Bildaufnahme eines Objekts gestattet, das für eine Bild-Erkennung durch Maschinenlernen vorgesehen ist, wie beispielhaft durch das Bild IMG31 dargestellt.
-
Anstelle des in 7 gezeigten Prozesses kann zum Beispiel der folgende Prozess verwendet werden.
-
9 ist ein Flussdiagramm, das eine Modifizierung der Auswahl des dritten Bildes in dem Bildverarbeitungssystem gemäß der dritten Ausführungsform der Erfindung zeigt. Der in 9 gezeigte Prozess unterscheidet sich von dem in 7 gezeigten Prozess dadurch, dass Schritt S321 anstelle von Schritt S313 verwendet wird. Wir konzentrieren uns im Folgenden auf den Unterschied. Identischen Prozessen werden identische Bezugszeichen zugewiesen, und auf eine Beschreibung wird verzichtet.
-
In Schritt S313 löscht das Bildverarbeitungssystem die rechte Seite des Bildes IMG1 und wählt nach dem Löschen ein Bild als einen Kandidaten des dritten Bildes aus. Genauer gesagt generiert das Bildverarbeitungssystem in Schritt S313 ein Bild wie folgt.
-
10 ist ein Schaubild, das ein Beispiel des Generierens eines Bildes, das ein Kandidat des dritten Bildes ist, in dem Bildverarbeitungssystem gemäß der dritten Ausführungsform der Erfindung zeigt. Nehmen wir zum Beispiel an, dass ein veranschaulichtes Bild IMG1 als das erste Bild aufgenommen wird und Cache-gespeichert wird. In Schritt S313 verarbeitet das Bildverarbeitungssystem das Bild IMG1, um ein Bild IMG33 oder ein Bild IMG34 zu generieren.
-
Genauer gesagt ist das Bild IMG33 ein Bild, bei dem die rechte Seite des Bildes IMG1 gelöscht wurde, wie veranschaulicht. Dadurch hat das Bild IMG33 ein kleineres Datenvolumen als das Bild IMG1.
-
Des Weiteren ist das Bild IMG34 ein Bild, bei dem die rechte Seite des Bildes IMG1 ausgefüllt ist. In diesem Fall wird bestimmt, dass Daten der rechten Seite nicht gesendet zu werden brauchen und dass daher das Bild IMG34 ein Bild ist, das mit einem kleineren Kommunikationsvolumen gesendet werden kann als das Bild IMG1.
-
In dem Maschinenlernen oder dergleichen (Schritt SB07) werden Bilder verwendet, die ein Objekt enthalten, das ein Lernziel ist. Daher sind in den Bildern Daten in einem anderen Bereich als einem Bereich, in dem das Objekt wie zum Beispiel der Wegweiser LM auftaucht, oft für das Maschinenlernen oder dergleichen nicht notwendig. Folglich, wie veranschaulicht, verarbeitet das Bildverarbeitungssystem das Bild IMG1, um den Bereich zu löschen, der nicht für das Maschinenlernen oder dergleichen des Bildes IMG1 verwendet wird, oder zu verbieten, dass der Bereich, der nicht für das Maschinenlernen oder dergleichen verwendet wird, an den Server SR gesendet wird. Dadurch kann das Bildverarbeitungssystem das Kommunikationsvolumen reduzieren.
-
Beispielhafte Funktionsausgestaltungen
-
11 ist ein Funktionsblockschaubild, das eine beispielhafte Funktionsausgestaltung des Bildverarbeitungssystems gemäß der ersten Ausführungsform der Erfindung zeigt. Zum Beispiel, wie veranschaulicht, umfasst das Bildverarbeitungssystem IS eine erste Bild-Erfassungseinheit ISF1, eine Positionsdatensendeeinheit ISF2, eine zweite Bild-Erfassungseinheit ISF3, eine Positionsdatenempfangenseinheit ISF4, eine Gruppierungseinheit ISF5 und eine Analyseeinheit ISF6. Es ist bevorzugt, dass die Funktionsausgestaltung des Bildverarbeitungssystems IS des Weiteren eine Bildanforderungseinheit ISF7, eine Bildempfangseinheit ISF8, eine Lerneinheit ISF9, eine Führungseinheit ISF10 und eine Kartendatenerfassungseinheit ISF11 umfasst, wie veranschaulicht. Im Folgenden wird die veranschaulichte Funktionsausgestaltung als ein Beispiel beschrieben.
-
Die erste Bild-Erfassungseinheit ISF1 führt einen ersten Bild-Erfassungsschritt des Erfassens des ersten Bildes, wie zum Beispiel des Bildes IMG1, aus, das die unmittelbare Umgebung des Fahrzeugs CA zeigt, die durch die Bildaufnahmevorrichtung, wie zum Beispiel die Kamera CM, aufgenommen wird. Zum Beispiel wird die erste Bild-Erfassungseinheit ISF1 durch die Bild-Erfassungsvorrichtung IM (siehe 1) oder dergleichen realisiert.
-
Die Positionsdatensendeeinheit ISF2 führt einen Positionsdatensendeschritt des Sendens von Positionsdaten POS, welche die Position des Fahrzeugs CA anzeigen, an den Server SR aus. Zum Beispiel wird die Positionsdatensendeeinheit ISF2 durch die Kommunikationsvorrichtung CD (siehe 1) oder dergleichen realisiert.
-
Die zweite Bild-Erfassungseinheit ISF3 führt einen zweiten Bild-Erfassungsschritt des Erfassens des zweiten Bildes wie zum Beispiel des Bildes IMG2 aus. Zum Beispiel wird die zweite Bild-Erfassungseinheit ISF3 durch die Kommunikationsvorrichtung SH5 (siehe 1) oder dergleichen realisiert.
-
Die Positionsdatenempfangenseinheit ISF4 führt einen Positionsdatenempfangsschritt des Erfassens der Positionsdaten POS der Positionsdatensendeeinheit ISF2 aus. Zum Beispiel wird die Positionsdatenempfangenseinheit ISF4 durch die Kommunikationsvorrichtung SH5 (siehe 1) oder dergleichen realisiert.
-
Die Gruppierungseinheit ISF5 führt einen Gruppierungsschritt des Aufteilens mehrerer zweiter Bilder in mehrere Gruppen auf der Basis des Parameters aus, der die Bedingung zum Zeitpunkt der Bildaufnahme anzeigt. Zum Beispiel wird die Gruppierungseinheit ISF5 durch die CPU SH1 (siehe 1) oder dergleichen realisiert.
-
Die Analyseeinheit ISF6 führt einen Analysierschritt des Analysierens der Ausgewogenheit zwischen den mehreren Gruppen, welche die Ausgewogenheit der Anzahl der zweiten Bilder ist, die zu den mehreren Gruppen gehören, und des Ausgebens eines Analyseergebnisses ANS aus. Zum Beispiel wird die Analyseeinheit ISF6 durch die CPU SH1 (siehe 1) oder dergleichen realisiert.
-
Die Bildanforderungseinheit ISF7 führt einen Bildanforderungsschritt aus, mit dem auf der Basis des Analyseergebnisses ANS das dritte Bild, wie zum Beispiel das Bild IMG3, das aus dem Bild IMG1 ausgewählt ist und mit dem die Ausgewogenheit eingestellt wird, an das Fahrzeug CA angefordert wird. Zum Beispiel wird die Bildanforderungseinheit ISF7 durch die Kommunikationsvorrichtung SH5 (siehe 1) oder dergleichen realisiert.
-
Die Bildempfangseinheit ISF8 führt einen Bildempfangsschritt des Empfangens des Bildes IMG3 des Fahrzeugs CA aus. Zum Beispiel wird die Bildempfangseinheit ISF8 durch die Kommunikationsvorrichtung SH5 (siehe 1) oder dergleichen realisiert.
-
Die Lerneinheit ISF9 führt einen Lernschritt aus, bei dem das Lernen auf der Basis des Bildes IMG2, des Bildes IMG3 und dergleichen ausgeführt wird und eine Lerndatenbank DB generiert wird. Zum Beispiel wird die Lerneinheit ISF9 durch die CPU SH1 (siehe 1) oder dergleichen realisiert.
-
Die Führungseinheit ISF10 führt einen Führungsschritt des Führens eines Fahrers DV entlang einer Route, auf der das Fahrzeugs CA fährt, anhand der Kartendaten DM und der Lerndatenbank DB aus. Zum Beispiel wird die Führungseinheit ISF10 durch die ECU CT (siehe 1) oder dergleichen realisiert.
-
Die Kartendatenerfassungseinheit ISF11 führt einen Kartendatenerfassungsschritt des Erfassens der Kartendaten DM aus, welche die momentane Position des Fahrzeugs CA, den Zielort und den Weg von der momentanen Position zu dem Zielort anzeigen. Zum Beispiel wird die Kartendatenerfassungseinheit ISF11 durch die Kommunikationsvorrichtung CD (siehe 1) oder dergleichen realisiert.
-
Zum Beispiel kann die Funktionsausgestaltung die folgende Funktionsausgestaltung sein.
-
12 ist ein Funktionsblockschaubild, das eine beispielhafte Funktionsausgestaltung des Bildverarbeitungssystems gemäß der zweiten Ausführungsform der Erfindung zeigt. 12 unterscheidet sich von 11 dadurch, dass das Fahrzeug CA eine Auswahleinheit ISF20, eine Bildsendeeinheit ISF21 und eine Analyseergebnisempfangseinheit ISF22 umfasst. Wir konzentrieren uns im Folgenden auf den Unterschied im Vergleich zu 11.
-
Die Auswahleinheit ISF20 führt einen Auswahlschritt des Auswählens des Bildes IMG3 aus dem Bild IMG1 auf der Basis des Analyseergebnisses ANS aus. Zum Beispiel wird die Auswahleinheit ISF20 durch die ECU CT (siehe 1) oder dergleichen realisiert.
-
Die Bildsendeeinheit ISF21 führt einen Bildsendeschritt des Sendens des Bildes IMG3 an den Server SR aus. Zum Beispiel wird die Bildsendeeinheit ISF21 durch die Kommunikationsvorrichtung CD (siehe 1) oder dergleichen realisiert.
-
Die Analyseergebnisempfangseinheit ISF22 führt einen Analyseergebnisempfangsschritt des Empfangens des Analyseergebnisses ANS aus. Zum Beispiel wird die Analyseergebnisempfangseinheit ISF22 durch die Kommunikationsvorrichtung CD (siehe 1) oder dergleichen realisiert.
-
Im Fall der oben besprochenen Ausgestaltungen kann das Bildverarbeitungssystem IS zuerst das Bild IMG2 mit der zweiten Bild-Erfassungseinheit ISF3 erfassen. Darüber hinaus kann das Bildverarbeitungssystem IS jeden Parameter der Bilder IMG2 anhand der Positionsdaten und dergleichen bestimmen.
-
Der Parameter bezeichnet die Bildaufnahmebedingung jedes der Bilder IMG2 oder dergleichen. Zum Beispiel ist der Parameter die Zeit, zu der das Bild IMG2 aufgenommen wird, das Wetter, der Fahrzeugtyp eines Fahrzeugs, welches das Bild IMG2 aufnimmt, das Modell der Kamera CM, die Steuerungsinformationen über ein Fahrzeug, welches das Bild IMG2 aufnimmt, die Verkehrsstaubedingung im Umfeld einer Position, an der das Bild IMG2 aufgenommen wird, die Massenansammlungsbedingung im Umfeld einer Position, an der das Bild IMG2 aufgenommen wird, die Platzbedingung im Umfeld einer Position, an der das Bild IMG2 aufgenommen wird, die Fahrzeuggeschwindigkeit eines Fahrzeugs, welches das Bild IMG2 aufnimmt, eine Fahrspur, auf der ein Fahrzeug, welches das Bild IMG2 aufnimmt, positioniert ist, oder eine Kombination davon. Des Weiteren werden Bilder, die einen identischen Parameter haben, in einer identischen Gruppe gruppiert. Dementsprechend kann, wenn die Analyseeinheit ISF6 den Parameter verstehen kann, die Analyseeinheit ISF6 die Ausgewogenheit wie in 3 gezeigt analysieren.
-
In dem Maschinenlernen oder dergleichen wird, wenn es eine Verzerrung in der Bedingung des Bildes gibt, die Genauigkeit des Prozesses, der die Lerndatenbank DB verwendet, die das Ergebnisses des Maschinenlernens enthält, oft verringert. Zum Beispiel wird unter Verwendung der Lerndatenbank DB ein Prozess des Generierens von Verkehrsinformationen, wie zum Beispiel einer Verkehrsstauvorhersage, einer Bild-Erkennung in der Pkw-Navigation oder dergleichen in dem Fahrzeug CA oder dergleichen ausgeführt.
-
Das Bildverarbeitungssystem IS kann die Ausgewogenheit von Bildern, die für das Maschinenlernen oder dergleichen verwendet werden sollen, anhand des Analyseergebnisses ANS verstehen. Dann kann das Bildverarbeitungssystem IS zum Beispiel die Genauigkeit des Prozesses, der die Lerndatenbank DB verwendet, anhand der Ausgewogenheit von Bildern zum Generieren der Lerndatenbank DB vorhersagen. Zum Beispiel ist es möglich, anhand des Umstandes, ob die Ausgewogenheit gut oder schlecht ist, vorhersagen, ob das Trefferverhältnis oder Detektionsverhältnis für einen Verkehrsstau, das Erkennungsverhältnis für ein zuvor festgelegtes Objekt in der Bild-Erkennung oder dergleichen hoch ist.
-
Wenn das Bildverarbeitungssystem IS die Ausgewogenheit verstehen kann, so kann das Bildverarbeitungssystem IS das Fahrzeug CA auffordern, das dritte Bild zu senden, um die Ausgewogenheit zu verbessern, wie zum Beispiel in 11 gezeigt. Des Weiteren kann das Bildverarbeitungssystem IS, wenn das Bildverarbeitungssystem IS die Ausgewogenheit verstehen kann, das Fahrzeug CA veranlassen, das dritte Bild zum Verbessern der Ausgewogenheit durch Senden des Analyseergebnisses ANS an das Fahrzeug CA zu senden.
-
Dementsprechend werden für den Fall der oben besprochenen Ausgestaltungen zum Beispiel die folgenden Auswirkungen realisiert.
-
13 ist ein Schaubild, das ein beispielhaftes Verarbeitungsergebnis in einem Bildverarbeitungssystem gemäß einer Ausführungsform der Erfindung zeigt. Die linke Seite von 13 ist ein Schaubild, das ein Analyseergebnis ANS zeigt, das die gleiche Ausgewogenheit hat wie das in 3. Wenn Bilder IMG3 gesendet werden, so werden Bilder, welche die „Bedingung 2“ erfüllen, und Bilder, welche die „Bedingung 3“ erfüllen, hingefügt. Hier ist es bevorzugt, dass das Bildverarbeitungssystem IS verbietet, dass Bilder, welche die „Bedingung 1“ erfüllen, an die Informationsverarbeitungsvorrichtung gesendet werden.
-
Infolge dessen entzerrt das Bildverarbeitungssystem IS grob die jeweiligen Bildanzahlen für die Bedingungen, wie zum Beispiel auf der rechten Seite von 13 gezeigt, und kann dadurch die Ausgewogenheit verbessern.
-
Beim beaufsichtigten Maschinenlernen oder dergleichen wird, wenn es eine Verzerrung in Daten gibt, die für das Lernen verwendet werden sollen, das heißt in sogenannten beaufsichtigten Daten, so dass die Ausgewogenheit schlecht ist, die Genauigkeit eines Prozesses in einem anschließenden Schritt oft verringert. Die Ausgewogenheit von Daten, wie zum Beispiel Bilder, wird dabei oft verringert, wenn die Ausgewogenheit nicht eingestellt wird. Zum Beispiel ist es für den Fall, dass Bilder in einer Verkehrsstaubedingung und Bilder in einer Nicht-Verkehrsstaubedingung für einen Prozess der Verkehrsstauvorhersage aufgenommen werden, wahrscheinlicher, dass Bilder in der Nicht-Verkehrsstaubedingung aufgenommen werden, da die Nicht-Verkehrsstaubedingung häufiger ist.
-
Darüber hinaus ist es in Großstadtgebieten, auf Hauptstraßen und dergleichen leicht, Bilder zu erfassen, da es viele Fahrzeuge gibt. Im Gegensatz dazu ist es in Ländern, auf allgemeinen Straßen und dergleichen schwerer, Bilder zu erfassen, als in Großstadtgebieten, auf Hauptstraßen und dergleichen. Dementsprechend wird, wenn Position, Straße oder dergleichen als die Bedingung verwendet wird, die Anzahl der Bilder, die in Großstadtgebieten, auf Hauptstraßen und dergleichen aufgenommen werden, oft so groß, dass die Ausgewogenheit schlecht wird. Des Weiteren wird, was das Klima anbelangt, in einigen Fällen die Anzahl von „regnerischen“ Tagen in Abhängigkeit von der Jahreszeit oder dergleichen groß. In einem solchen Fall werden wahrscheinlich Bilder erfasst, die in der „regnerischen“ Bedingung aufgenommen werden. Darüber hinaus werden in vielen Fällen wahrscheinlich Bilder erfasst, die während des Morgens oder am Tage aufgenommen werden, und es ist unwahrscheinlich, dass Bilder erfasst werden, die in der Nacht aufgenommen werden.
-
Folglich kann das Bildverarbeitungssystem IS durch Hinzufügen des dritten Bildes und Verbessern der Ausgewogenheit zum Beispiel ein Maschinenlernen ausführen, um einen akkuraten Prozess auszuführen. Wie auf der rechten Seite von 13 gezeigt, wird, wenn bereits ein ausreichendes Volumen an Daten aufgenommen wurde, die Erfassung von Daten verboten. Dadurch ist es möglich zu vermeiden, dass unnötige Daten erfasst werden, und daher ist es möglich, das Kommunikationsvolumen beim Datensenden zu verringern und Kommunikationskosten oder Speicherplatz, an dem die Daten gespeichert werden, zu reduzieren.
-
In den in 11 und 12 gezeigten Ausgestaltungen kann das Bildverarbeitungssystem IS korrekt Wegweiser und dergleichen detektieren und kann daher korrekt den Fahrer DV über Wegweiser und dergleichen als Orientierungspunkte bei der Führung über eine Nachricht MS oder dergleichen informieren.
-
Vergleichsbeispiel
-
14 ist ein Schaubild, das ein Vergleichsbeispiel zeigt. Zum Beispiel ist, wie veranschaulicht, zum Einstellen der Ausgewogenheit ein Verfahren zum Löschen von Daten möglich. Genauer gesagt werden für den Fall der gleichen Ausgewogenheit wie die Ausgewogenheit auf der linken Seite von 13 Bilder der „Bedingung 1“ und Bilder der „Bedingung 2“ gelöscht, so dass die Anzahl der Bilder der „Bedingung 1“ und die Anzahl der Bilder der „Bedingung 2“ die gleichen werden wie die Anzahl der Bilder der „Bedingung 3“. Wenn die Ausgewogenheit in einem solchen Verfahren eingestellt wird, so werden die gelöschten Bilder vergeudet.
-
Andere Ausführungsformen
-
Die Führungseinheit ISF10 und die Kartendatenerfassungseinheit ISF11 können auch in einem anderen Fahrzeug als einem Fahrzeug enthalten sein, das mit der Bildaufnahmevorrichtung ausgestattet ist.
-
Eine Ausführungsform gemäß der Erfindung kann durch ein Programm realisiert werden, das einen Computer, wie zum Beispiel eine Informationsverarbeitungsvorrichtung oder ein Informationsverarbeitungssystem, veranlasst, die Schritte in dem oben beschriebenen Bildverarbeitungsverfahren auszuführen. Das Programm kann verteilt sein, während es auf einem computerlesbaren Aufzeichnungsmedium gespeichert wird.
-
Darüber hinaus können als jede oben beschriebene Vorrichtung mehrere Vorrichtungen vorhanden sein. Des Weiteren können alle oder einige der Schritte in dem oben beschriebenen Bildverarbeitungsverfahren parallel, verteilt oder redundant ausgeführt werden.
-
Es sind nun bevorzugte Ausführungsformen der Erfindung beschrieben worden. Jedoch ist die Erfindung nicht auf die beschriebenen Ausführungsformen beschränkt, und verschiedene Modifizierungen oder Änderungen können innerhalb des Schutzumfangs oder des Wesens der Erfindung, wie in den Ansprüchen beschrieben, vorgenommen werden.
