-
Technisches Gebiet
-
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungssystem, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zum Korrigieren von Bilddaten, die über einen Übertragungsdraht von einer Kamera übertragen werden.
-
Stand der Technik
-
Mit der zunehmenden Verbreitung von fahrzeuginternen Kameravorrichtungen in den letzten Jahren ist die Nachfrage nach verschiedenen Erkennungsfunktionen für sicheres Fahren und automatisches Fahren gestiegen. Insbesondere sammelt eine Stereokameravorrichtung mittels eines Bildes Messungen visueller Informationen sowie gleichzeitig Abstandsinformationen zu einem Objekt. Daher erleichtert eine solche Stereokamera das detaillierte Verständnis verschiedener Objekte (wie beispielsweise einer Person, eines Autos, eines dreidimensionalen Objekts, einer Straßenoberfläche, eines Verkehrsschilds und eines Aushängeschilds) rund um das Automobil und trägt daher zu einer Verbesserung in der Sicherheit während der Fahrassistenz bei.
-
Wenn die Auflösung der in Kameras verwendeten CMOS-Bildsensoren höher wird, erzeugt der Mikrocomputer, der die Bildverarbeitung durchführt, mehr Wärme. Daher war es schwierig, einen CMOS-Bildsensor und einen Bildverarbeitungs-Mikrocomputer in demselben Gehäuse unterzubringen. Eine mögliche Konfiguration zur Lösung dieses Problems besteht darin, eine Bildprozessorplatine zu schaffen, bei der der Bildverarbeitungs-Mikrocomputer getrennt von einer Kamera vorliegt und die Kamera dazu veranlasst wird, Bilddaten über einen Übertragungsdraht zu übertragen. In einer solchen Konfiguration wird Rauschen auf dem Übertragungsdraht zu einem Problem.
-
PTL 1 offenbart beispielsweise Stand der Technik auf diesem technischen Gebiet. PTL 1 offenbart eine fahrzeuginterne Kameravorrichtung zum Reduzieren einer großen Menge an unnötigem Strahlungsrauschen, das erzeugt wird, wenn zwei Abbildungseinheiten Bilddatensignale, Taktsignale und Bildsynchronisationssignale an eine Bildverarbeitungseinheit übertragen.
-
Entgegenhaltungsliste
-
Patentdokumente
-
-
Zusammenfassung der Erfindung
-
Technisches Problem
-
Gemäß PTL 1 wird die Menge an Rauschen über einer Signalleitung durch zeitliche Verschiebung der von zwei Abbildungseinheiten übertragenen Signale reduziert, die Reduzierung eines durch äußeres Rauschen verursachten Kommunikationsfehlers wird jedoch nicht berücksichtigt.
-
Angesichts des oben beschriebenen Problems ist es eine Aufgabe der vorliegenden Erfindung, ein Bildverarbeitungssystem, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zu schaffen, die einen Kommunikationsfehler aufgrund von äußerem Rauschen auf einem Übertragungsdraht, über den Bilddaten übertragen werden, reduzieren können.
-
Lösung für das Problem
-
Beispielsweise handelt es sich bei der vorliegenden Erfindung um ein Bildverarbeitungssystem, das umfasst: eine fahrzeuginterne Kamera, die Außenweltinformationen erfasst; eine Bildverarbeitungsvorrichtung, die getrennt von der fahrzeuginternen Kamera installiert ist und die von der fahrzeuginternen Kamera erfasste Bilddaten verarbeitet; und einen Übertragungsdraht, der die fahrzeuginterne Kamera und die Bildverarbeitungsvorrichtung verbindet und Bilddaten überträgt, wobei die Bildverarbeitungsvorrichtung umfasst: ein Rauschreduktionsfilter, das Rauschen auf dem Übertragungsdraht reduziert; und einen Prozessor, und der Prozessor umfasst: eine Rauschquellen-Detektionsverarbeitungseinheit, die bestimmt, ob ein Objekt, das im Voraus als Rauschquelle für der Übertragungsdraht registriert wurde, in den Bilddaten enthalten ist; und eine Rauschreduktionsparameter-Bestimmungseinheit, die dann, wenn die Rauschquelle in den Bilddaten enthalten ist, einen Parameter des Rauschreduktionsfilters basierend auf einer Frequenz oder einem Rauschpegel der im Voraus registrierten Rauschquelle ändert.
-
Vorteilhafte Wirkungen der Erfindung
-
Gemäß der vorliegenden Erfindung ist es möglich, ein Bildverarbeitungssystem, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zu schaffen, die einen Kommunikationsfehler reduzieren können, der durch äußeres Rauschen auf dem Übertragungsdraht, über den Bilddaten übertragen werden, verursacht wird.
-
Kurzbeschreibung der Zeichnungen
-
- [1] 1 ist ein Konfigurationsblockdiagramm eines herkömmlichen Bildverarbeitungssystems, das die Grundlage einer ersten Ausführungsform bildet.
- [2] 2 ist ein Funktionskonfigurationsblockdiagramm eines Bildverarbeitungssystems gemäß der ersten Ausführungsform.
- [3] 3 ist ein Funktionskonfigurationsblockdiagramm eines Bildverarbeitungssystems gemäß einer zweiten Ausführungsform.
-
Beschreibung von Ausführungsformen
-
Einige Ausführungsformen der vorliegenden Erfindung werden nun unter Bezugnahme auf einige Zeichnungen erläutert.
-
[Erste Ausführungsform]
-
In der vorliegenden Ausführungsform wird als Beispiel ein Bildverarbeitungssystem einer fahrzeuginternen Kamera erläutert, die an Bord eines Automobils bereitgestellt ist. In der folgenden Erläuterung wird außerdem von einer Konfiguration ausgegangen, bei der von einem in der Fahrzeugkamera enthaltenen CMOS-Bildsensor erfasste Bilddaten seriell über einen Übertragungsdraht unter Verwendung einer Kommunikations-IC wie Serdes (Serialisierer/Deserialisierer) übertragen werden, die eine Schaltung zur Umsetzung serieller Daten in parallele Daten und umgekehrt ist.
-
1 ist ein Blockdiagramm, das eine konzeptionelle Konfiguration der Hardware eines herkömmlichen Bildverarbeitungssystems zeigt, das eine Grundlage für die vorliegende Ausführungsform bildet: In 1 umfasst ein Bildverarbeitungssystem 100 eine Kamera 101, eine Bildverarbeitungsvorrichtung 102 und einen Übertragungsdraht103, der die Kamera 101 und die Bildverarbeitungsvorrichtung 102 verbindet.
-
Die Kamera 101 umfasst einen CMOS-Bildsensor 1011, eine Kommunikations-IC (Tx) 1012 und einen Verbinder (Tx) 1013.
-
Die Bildverarbeitungsvorrichtung 102 umfasst einen Verbinder (Rx) 1021, eine Kommunikations-IC (Rx) 1022 und einen Mikrocomputer 1024. Der Mikrocomputer 1024 umfasst einen Prozessor, beispielsweise eine allgemeine Zentralverarbeitungseinheit (CPU), und eine Speichervorrichtung und der Prozessor liest ein Programm und Informationen zum Implementieren von Funktionen aus der Speichervorrichtung, führt eine Verarbeitung zum Erkennen eines Objekts, das in dem von der Kamera aufgenommenen Bild enthalten ist, beispielsweise durch Softwareverarbeitung aus und steuert das Fahrzeug basierend auf dem Erkennungsergebnis.
-
Bei einem nativen Kommunikationsverfahren, das Serdes verwendet, erfährt ein Signal einen Verlust und wird über einen Kommunikationspfad, der eine Platine, einen Verbinder und einen Übertragungsdraht umfasst, beeinträchtigt, so dass es schwierig ist, die Kommunikation angemessen durchzuführen. Daher ist in der bestehenden Technologie eine Funktion eines Entzerrers wie etwa eines zeitkontinuierlichen linearen Entzerrers (im Folgenden CTLE) oder eines Entscheidungsrückkopplungs-Entzerrers (im Folgenden DFE) in die Kommunikations-IC (Rx) 1022 integriert, die eine Kommunikations-IC auf der Empfangsseite ist, um die Kommunikationsqualität sicherzustellen, und diese Funktion wird beim Korrigieren einer Signalwellenform verwendet, wenn eine Verschlechterung der Wellenform vorliegt. Es ist zu beachten, dass in 1 der DFE in der Kommunikations-IC (Rx) 1022 als Rauschreduktionsfilter 104 angegeben ist.
-
Übliche Korrekturen können von dem CTLE allein durchgeführt werden. Da jedoch Rauschkomponenten von dem CTLE verstärkt werden können, wird in einer Hochgeschwindigkeitskommunikationsumgebung häufig zusätzlich zu dem CTLE ein DFE verwendet. Ein solcher DFE führt die Korrektur mittels einer Rückkopplungssteuerung durch, aber manchmal gibt es Fälle, in denen in kurzer Zeit eine große Menge äußeren Rauschens empfangen wird, z. B. wenn sich in der Nähe des Fahrzeugs ein Funkturm oder ein Drahtloskommunikationsbereich befindet oder wenn es drahtlos Kommunikation in der Nähe des Fahrzeugs erfolgt. Wenn solch äußeres Rauschen einen korrigierbaren Bereich des Entzerrers überschreitet, kann die Korrektursteuerung des Entzerrers möglicherweise nicht mit den Anforderungen Schritt halten und einen Kommunikationsfehler verursachen.
-
Daher wird in der vorliegenden Ausführungsform die Quelle des Rauschens auf der Grundlage von Außenweltinformationen ermittelt und Parameter des Rauschreduktionsfilters werden je nach Rauschquelle geändert. Auf diese Weise kann die Kommunikationsverarbeitung äußerst zuverlässig durchgeführt werden. Die vorliegende Ausführungsformwird nun im Einzelnen erläutert.
-
2 ist ein Funktionskonfigurationsblockdiagramm des Bildverarbeitungssystems gemäß der vorliegenden Ausführungsform. In 2 sind die gleichen Funktionen wie in 1 mit den gleichen Bezugszeichen mit den gleichen Bezugszeichen versehen und auf deren Beschreibung wird verzichtet. 2 unterscheidet sich von 1 darin, dass Stereokameras verwendet werden, dass es zwei Systeme gibt, die jeweils eine Kamera, einen Übertragungsdraht und ein Rauschreduktionsfilter umfassen, und dass eine Signalkorrekturverarbeitungseinheit 1025 bereitgestellt ist.
-
In 2 ist ein Bildverarbeitungssystem 100 ein Bildverarbeitungssystem, das die Detektion dreidimensionaler Objekte durch Verarbeitung von Parallaxenbildern unter Verwendung einer Stereokamera als Mittel zum Detektieren eines in der Nähe befindlichen Fahrzeugs nutzt. Es ist zu beachten, dass es beispielsweise auch möglich ist, diese Detektion nur mit einer monokularen Kamera oder beispielsweise mit einer Detektion dreidimensionaler Objekte mit einer Kombination aus einer monokularen Kamera und einem Radar durchzuführen. Darüber hinaus können auch drei oder mehr Kameras verwendet werden.
-
Die Kamera 101 und die Kamera 109 erfassen ein Stereobild. Die Bildverarbeitungsvorrichtung 102 empfängt dann die Bilddaten über die Übertragungsdrähte 103 und 110. Die erfassten Bilddaten werden über die Rauschreduktionsfilters 104 und 111 an eine Erkennungsverarbeitungseinheit 1026 gesendet und die Erkennungsverarbeitungseinheit 1026 berechnet Abstandsinformationen zu einem Objekt und führt den Erkennungsprozess des Objekts durch, indem sie das Parallaxenbild verarbeitet.
-
Die Signalkorrekturverarbeitungseinheit 1025 steuert den Umfang der von den Rauschreduktionsfiltern 104 und 111 vorgenommenen Korrekturen zum Korrigieren der erfassten Bilddaten. Mit anderen Worten werden die von den Rauschreduktionsfiltern 104 und 111 erfassten Bilddaten als Außenweltinformationen an eine Rauschquellen-Detektionsverarbeitungseinheit 105 gesendet. Die Rauschquellen-Detektionsverarbeitungseinheit 105 bestimmt, ob in den Bilddaten der Außenweltinformationen ein Objekt vorhanden ist, das als Rauschquelle fungiert, indem sie auf Außenweltinformationen und Objektbilder zurückgreift, die in der Rauschquelleninformations-Speichereinheit 108 registriert sind, die im Voraus in einem Speicherbereich 107 gespeichert wird. Wenn eines dieser Objekte vorhanden ist, erfasst die Rauschquellen-Detektionsverarbeitungseinheit 105 detaillierte Informationen über die Rauschquelle, die dem in der Rauschquelleninformations-Speichereinheit 108 registrierten Objekt entspricht, wie etwa eine Frequenz und einen Rauschpegel.
-
Beispiele für die von der Kamera erfassten Außenweltinformationen sind Bilder eines Turms, eines Blitzes, einer Mobilfunkbasisstation, eines Stromabnehmers, eines Taxis, das drahtlose Kommunikation nutzt, eines Relaisfahrzeugs, eines Militärfahrzeugs und eines Schildes, das auf die Anwesenheit von Hochspannungs-Leistungsübertragung hinweist, und die Rauschquellen-Detektionsverarbeitungseinheit 105 erfasst Informationen unter Verwendung dieser als Rauschquellen.
-
Die erfassten detaillierten Informationen über die Rauschquelle und die von der Erkennungsverarbeitungseinheit 1026 berechneten Informationen über den Abstand zu der Rauschquelle werden an eine Rauschreduktionsparameter-Bestimmungseinheit 106 gesendet. Das Rauschreduktionsfilter bestimmt den Betrag, um den das Rauschreduktionsfilter die Korrektur vornehmen soll, auf der Grundlage der so übertragenen Informationen und korrigiert einen Parameter des Rauschreduktionsfilters. Mit anderen Worten werden die Parameter des Rauschreduktionsfilters durch eine Vorwärtskopplungssteuerung korrigiert.
-
Wie es oben beschrieben ist, überprüft die Signalkorrektur-Verarbeitungseinheit 1025 das erfasste Bild und beginnt mit dem Korrigieren des Filters, wenn in dem Bild ein Objekt gefunden wird, das als Rauschquelle fungiert. Es ist zu beachten, dass diese Verarbeitung des Korrigierens des Filters nur dann durchgeführt wird, wenn die Rauschquelle in dem erfassten Bild gefunden wird. Ein durch äußeres Rauschen verursachter Kommunikationsfehler wird unterdrückt, indem die Frequenz und der Rauschpegel der Rauschquelle aus dem Bild der Außenweltinformationen identifiziert werden und ein Signal zum Ändern des Grads und des Zeitpunkts der Korrektur in dem Rauschreduktionsfilter basierend auf einem oder mehreren Informationselementen aus der Frequenz, dem Rauschpegel und den Abstandsinformationen zu der Rauschquelle übertragen wird.
-
Es ist zu beachten, dass das Rauschreduktionsfilter beispielsweise in Serdes mithilfe eines Entzerrers korrigiert wird. Serdes verfügt normalerweise über zwei Entzerrer, den CTLE und den DFE, zur Filterkorrektur. Ferner kann der Grad der Rauschkorrektur im Rauschkorrekturparameter des DFE durch Ändern der Registereinstellung eingestellt werden. Beispielsweise kann durch Umschreiben eines Bereichs des Registers, in dem der Grad der Rauschkorrektur festgelegt ist, unter Verwendung einer von Serdes bereitgestellten Schnittstelle wie einer interintegrierten Schaltung (I2C) der voreingestellte Grad der Korrektur innerhalb eines bestimmten Bereichs in Echtzeit angewendet werden.
-
Wie es oben beschrieben ist, wird gemäß der vorliegenden Ausführungsform die Rauschquelle aus dem erfassten Bild, das die Außenweltinformationen darstellt, identifiziert und der Parameter des Rauschreduktionsfilters je nach Rauschquelle geändert. Auf diese Weise wird ein Kommunikationsfehler unterdrückt und eine äußerst zuverlässige Kommunikationsverarbeitung kann erreicht werden. Dadurch ist es möglich, ein Bildverarbeitungssystem, eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zu schaffen, die den Kommunikationsfehler aufgrund von äußerem Rauschen auf dem Übertragungsdraht, über den die Bilddaten übertragen werden, reduzieren können.
-
[Zweite Ausführungsform]
-
3 ist ein Funktionskonfigurationsblockdiagramm des Bildverarbeitungssystems gemäß der vorliegenden Ausführungsform. In 3 sind die gleichen Funktionen wie in 2 mit den gleichen Bezugszeichen bezeichnet und auf deren Beschreibung wird verzichtet. 3 unterscheidet sich von 2 darin, dass Fahrzeuggeschwindigkeitsinformationen 112 als Eingabe für die Rauschreduktionsparameter-Bestimmungseinheit 106 bereitgestellt werden.
-
Wenn die Fahrzeuggeschwindigkeit hoch ist, erhöht sich die Bewegungsstrecke pro Zeiteinheit. Daher führt, wie es in 3 gezeigt ist, die Rauschreduktionsparameter-Bestimmungseinheit 106 dann, wenn die Fahrzeuggeschwindigkeit basierend auf den Fahrzeuggeschwindigkeitsinformationen höher ist, eine Verarbeitung wie beispielsweise ein Verkürzen des Intervalls zwischen den Zeitvorgaben der Korrektur in dem Rauschreduktionsfilter durch.
-
Wie es oben beschrieben ist, können gemäß der vorliegenden Ausführungsform zusätzlich zu den Wirkungen der ersten Ausführungsform die Parameter des Rauschreduktionsfilters zu einer optimaleren Korrekturzeitvorgabe des Rauschreduktionsfilters geändert werden und es kann eine zuverlässigere Kommunikationsverarbeitung durchgeführt werden.
-
Obwohl vorstehend die Ausführungsformen beschrieben wurden, ist die vorliegende Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt und es sind verschiedene Abwandlungen möglich. Beispielsweise wurde in der vorstehenden Ausführungsform die Rauschreduktion bei der Übertragung der Bilddaten beschrieben, die vorliegende Erfindung ist jedoch nicht auf Bilddaten beschränkt und kann auch auf Audiodaten angewendet werden. Darüber hinaus wurden die Ausführungsformen ausführlich beschrieben, um das Verständnis der vorliegenden Erfindung zu erleichtern, und sind nicht notwendigerweise auf diejenigen beschränkt, die alle oben beschriebenen Konfigurationen aufweisen.
-
Bezugszeichenliste
-
- 100
- Bildverarbeitungssystem
- 101, 109
- Kamera
- 102
- Bildverarbeitungsvorrichtung
- 103, 110
- Übertragungsdraht
- 104, 111
- Rauschreduktionsfilter
- 105
- Rauschquellen-Detektionsverarbeitungseinheit
- 106
- Rauschreduktionsparameter-Bestimmungseinheit
- 107
- Speicherbereich
- 108
- Rauschquelleninformations-Speichereinheit
- 112
- Fahrzeuggeschwindigkeitsinformationen
- 1011
- CMOS-Bildsensor
- 1012
- Kommunikations-IC (Tx)
- 1013
- Verbinderabschnitt (Tx)
- 1021
- Verbinderabschnitt (Rx)
- 1022
- Kommunikations-IC (Rx)
- 1024
- Mikrocomputer
- 1025
- Signalkorrektur-Verarbeitungseinheit
- 1026
- Erkennungsverarbeitungseinheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-