DE10307607A1 - Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge - Google Patents

Abstract

Moderne Kraftfahrzeuge werden zunehmend mit Assistenz- und Sicherheitssystemen ausgestattet. Insbesondere Bildverarbeitungssysteme, welche Kamerabilddaten der Umgebung oder des Innenraums eines Fahrzeuges verarbeiten, erlangen hierbei zunehmende Bedeutung, wobei die verarbeiteten Bilddaten dem Fahrzeugführer oder fahrzeuginternen Systemen vollständig oder in Ausschnitten zur Verfügung gestellt. Es wird vorgeschlagen, dass das Bildverarbeitungsmodul und die Anzeigeeinheit durch einen Kleinstcomputer (5), insbesondere einen Palmtop oder Personal Digital Assistent (PDA) oder ein Mobiltelefon, gebildet werden. Der Kleinstcomputer ist hierbei so gestaltet, dass er sich im Fahrgastraum des Kraftfahrzeuges, an einer für wenigstens einen der Fahrgäste einsehbaren Stelle, lösbar anbringen lässt. Die Integration des Bildungsverarbeitungsmoduls (3) im Fahrzeuginnenraum (1) stellt sicher, dass dieses keinen so starken Temperaturschwankungen beziehungsweise Extremtemperaturen ausgesetzt wird. Auch wird durch die Installation des Kleinstcomputers (5) im Innenraum des Kraftfahrzeuges auch der Aufwand, das Bildverarbeitungsmodul vor eindringender Feuchtigkeit und Kondensfeuchte zu schützen, erheblich reduziert. Dadurch, dass das Bildverarbeitungsmodul (3) und die Anzeige (4) der Bildverarbeitungsvorrichtung durch das Prozessormodul und das Display eines Kleinstcomputers (5), insbesondere eines Palmtop oder Personal Digital Assistent (PDA) oder eines Mobiltelefons, gebildet werden, ...

Description

• Die Erfindung betrifft eine Bildverarbeitungssystem für Kraftfahrzeuge nach den Merkmalen des Oberbegriffes des Patentanspruchs 1.
• Moderne Kraftfahrzeuge werden zunehmend mit Assistenz- und Sicherheitssystemen ausgestattet. Insbesondere Bildverarbeitungssysteme, welche Kamerabilddaten der Umgebung oder des Innenraums eines Fahrzeuges verarbeiten erlangen hierbei zunehmende Bedeutung, wobei die verarbeiteten Bilddaten dem Fahrzeugführer oder fahrzeuginternen Systemen vollständig oder in Ausschnitten zur Verfügung gestellt. Beim Einsatz der Bildverarbeitung im Kraftfahrzeug hat diese allerdings unterschiedlichsten Anforderungen zu genügen.
• Aus der DE 198 52 631 A1 ist ein System zur Verkehrzeichenerkennung bekannt, bei welchen in den von einem Kamerasystem aufgenommenen Bilddaten, durch die Bildverarbeitungseinheit diejenigen Bildbestandteile identifiziert werden sollen, in welchen sich ein Verkehrzeichen abbildet. Im Anschluss an die Identifikation extrahiert die Bildverarbeitungseinheit diese Bildbereiche und stellt sie dem Fahrzeugführer über eine Anzeigeeinheit zu abschließenden Bewertung dar.
• Eine komplexes Bildverarbeitungsverfahren, welches die Bilddaten eines Mehrkamerasystems auswertet und zur Anzeige bringt ist aus der DE 199 26 559 A1 bekannt. Hierbei wird durch die Fusion der aus unterschiedlichen Blickrichtungen aufgenommenen Bilddaten der vorausliegenden Umgebung eines Fahrzeugs ein entfernungsaufgelöstes Bilddatenmaterial generiert. Auf Grund dieser Daten schätzt die Bildverarbeitungseinheit die Entfernungen zu Objekten und bestimmt deren Relativgeschwindigkeiten.
• Ein Bildverarbeitungssystem, welches auf Verarbeitung der von einer im infraroten Wellenlängenbereich empfindlichen Kamera empfangenen Bilddaten adaptiert ist, wird in der DE 101 24 005 A1 beschrieben. Hierbei identifiziert das Bildverarbeitungssystem unter Rückgriff auf Klassifikationsalgorithmen unterschiedliche Bereiche in den Bilddaten, und überlagert diese in Abhängigkeit ihrer Klassenzugehörigkeit mit für einen natürlichen Betrachter gewohnten Texturen.
• Diese beispielhaft aufgezeigten, aus dem Stand der Technik bekannten Bildverarbeitungssysteme werden mittels fahrzeugspezifischen Steuergerätelösungen realisiert. Hierbei sind die Steuergeräte in bezug auf ihre elektromechanischen Eigenschaften, insbesondere bezüglich ihrer Temperaturbeständigkeit und -stabilität, auf im Kraftfahrzeug vorherrschenden stark schwankenden und auch unter Umständen im Extrembereich liegenden Betriebsbedingungen auszulegen; so ergeben sich innerhalb des Fahrzeuges insbesondere bei starken Sonneneinstrahlung im Sommer oft sehr hohe Temperaturen. Auch müssen die einzelnen Systemkomponenten der Steuergeräte, insbesondere im Hinblick üblicherweise recht langen Nutzungsdauer eines Kraftfahrzeuges hohen Anforderungen in Bezug auf die Langlebigkeit genügen. Insbesondere die vorgenannten Faktoren resultieren in relativ hohen Entwicklungs- und Gestehungskosten für kamerabasierte Assistenz- und Sicherheitssysteme.
• Aufgabe der Erfindung ist es, ein Bildverarbeitungssystem für Kraftfahrzeuge zu schaffen, welches ohne Einschränkung in Funktionalität und Zuverlässigkeit vergleichsweise geringe Entwicklungs- und Gestehungskosten aufweist, indem geringere Anforderungen an die elektro-mechanischen Eigenschaften und die Langlebigkeit der Systemkomponenten gestellt werden können.
• Die Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen beschreiben.
• Das neuartige Bildverarbeitungssystem für Kraftfahrzeuge umfasst ein Kamerasystem (2), ein Bildverarbeitungsmodul (3) zur Verarbeitung der vom Kamerasystem gelieferten Bilddaten, sowie eine Anzeigeeinheit (4) zur Anzeige der verarbeiten Bilddaten. Hierbei besteht das Bildverarbeitungsmodul aus einer Datenschnittstelle zur Aufnahme der von dem Kamerasystem erzeugten Bilddaten, einer Speichereinheit zur Speicherung eines Bildverarbeitungsprogramms und einer Prozessoreinheit zur Verarbeitung der Bilddaten. In erfinderischer Weise befindet sich das Bildverarbeitungsmodul und die Anzeigeeinheit in einem Kleinstcomputer (5), insbesondere einem Palmtop oder Personal Digital Assistent (PDA) oder einem Mobiltelefon. Der Kleinstcomputer ist hierbei so ausgebildet, dass er sich im Fahrgastraum des Kraftfahrzeuges, an einer für wenigstens einen der Fahrgäste einsehbaren Stelle, lösbar anbringen lässt.
• Die Integration des Bildverarbeitungsmoduls (3) im Fahrzeuginnenraum (1) stellt sicher, dass dieses keinen so starken Temperaturschwankungen beziehungsweise Extremtemperaturen ausgesetzt wird, wie dies für die herkömmliche Integration solcher Einheiten in einem Steuergerät im Motorraum der Fall ist. Dies deshalb, da der Fahrgastraum (1) von Kraftfahrzeugen bei Fahrbetrieb in der Regel durch Klimatisierung oder gezielte Belüftung auf Zimmer oder zumindest Außentemperatur gekühlt wird. In besonderer Weise wird durch die Verwendung eines Kleinstcomputers (5) in der Funktion als fahrzeuginternes Bildverarbeitungsmodul und Bildanzeigeeinheit, wird des weiteren sicher gestellt, dass dieser im geparkten Zustand des Fahrzeugs nicht in diesem verbleibt, sondern auf Grund seiner weiteren Funktionalitäten durch den Fahrzeugführer oder einen anderen Insassen mitgeführt wird. Das Bildverarbeitungsmodul (3) verbleibt somit in der Regel nicht in einem in praller Sonne abgestellten Kraftfahrzeug.
• Auf dies Weise reduziert die erfinderische Anbringung des Bildverarbeitungsmoduls (3) als Teil eines Kleinstcomputers (5) im Innenraum (1) des Kraftfahrzeuges in besonders vorteilhafter Weise die Anforderungen an dessen elektromechanischen Eigenschaften. Selbstverständlich wird durch die Installation des Kleinstcomputers (5) im Innenraum des Kraftfahrzeuges auch der Aufwand das Bildverarbeitungsmodul vor eindringender Feuchtigkeit und Kondensfeuchte zu schützen erheblich reduziert.
• Dadurch, dass in vorteilhafter Weise das Bildverarbeitungsmodul (3) und die Anzeige (4) der Bildverarbeitungsvorrichtung durch das Prozessormodul und das Display eines Kleinstcomputers (5), insbesondere eines Palmtop oder Personal Digital Assistent (PDA) oder eines Mobiltelefons, gebildet werden, können des weiteren die Anforderungen an die Langlebigkeit des Systems erheblich reduziert werden. Während die Funktionsdauer herkömmlicher Systeme, insbesondere auf Grund deren hohen Kosten und des erheblichen Aufwandes für einen etwaigen Austausch, möglichst für die gesamte Nutzungsdauer eines Kraftfahrzeuges (etwa 12 Jahre) sichergestellt werden müssen, ist es für Besitzer von Kleinstcomputern mittlerweile üblich, in verglichen mit der Nutzungsdauer eines Kraftfahrzeuges relativ kurzer Zeit (2 bis 3 Jahre) solche Kleinstcomputer auszutauschen. Durch einen diesen Austausch beziehungsweise Ersatz werden nicht nur die Anforderungen an die Langlebigkeit eines Bildverarbeitungssystems erheblich reduziert, sondern es wird in gewinnbringender Weise gleichzeitig auch erreicht, dass sich das Bildverarbeitungssystem kontinuierlich in seiner Leitungsfähigkeit steigert, da jede neue Generation von Kleinstcomputern eine erhebliche Steigerung an Prozessorleistung aufweist. Durch einen Austausch des Kleinstcomputers durch eine moderne Modellvariante erhält der Nutzer des Bildverarbeitungssystems zugleich eine Anpassung seiner Anzeigeeinrichtung an einen modernen Standard.
• Aus dem Bereich der Forschung und Entwicklung von Bildverarbeitungssystemen für Kraftfahrzeuge ist es zwar schon bekannt, flexibel konfigurierbare Rechnersysteme mit zugehörigem Display zur Verarbeitung und Anzeige von Bildsignalen zu verwenden. Hierbei handelt es sich jedoch um komplexe, flexibel konfigurierbare Entwicklungssysteme, deren Rechnersystem sich oftmals im Kofferraum des Fahrzeugs befindet, und welche über handelsübliche PC-Tastaturen bedient werden. Zur Visualisierung der Bilddaten kommen hierbei gewöhnliche, meist am Armaturenbrett befestigte LCD-PC-Displays zum Einsatz. In den Fällen, in welchem sich die Entwicklung der Bildverarbeitungssoftware sich schon im fortgeschrittenen Entwicklungsstadium befindet und somit nicht mehr allzu viele Prozessorleistung benötigt, ist es zwar bekannt diese auf im Fahrzeuginneren befindlichen Laptops zu implementieren, doch ergeben sich auf Grund des Gewichtes der Rechner mechanische Probleme bei der erforderlichen vibrationsfreien Lagerung. Aus diesem Grunde wird oft dazu übergegangen die Laptops auf dem Beifahrersitz provisorisch zu befestigen oder im Fahrbetrieb auf dem Schoß oder in der Hand zu halten. All diese aus dem Bereich der Forschung und Entwicklung bekannten Anordnungen stellen wie aufgezeigt Provisorien dar, welche sich nicht für einen Einsatz im Serienfahrzeug eigenen; hierzu aber auch gar nicht vorgesehen sind. Das regelmäßige Vorgehen der Fachwelt zeigt, dass im Anschluss an eine erfolgreiche Erprobungsphase der Bildverarbeitungsalgorithmik diese letztendlich immer im Zusammenhang mit einer speziellen Steuergerätehardware zum Einsatz kommt. Die Übertragung der Bildverarbeitungsalgorithmik auf ein Steuergerät ist für den durchschnittlichen Fachmann nicht nur wegen der auf diesem Arbeitsgebiet üblichen Vorgehensweise naheliegend, sondern ergibt sich auch aus seinem Wissen um die Unhandlichkeit der Entwicklungssysteme und um dem geringen zur Verfügung stehenden Bauraum, welcher von unterschiedlichsten Interessengruppen beansprucht wird.
• In Abkehr von dem üblichen, verbleibt bei dem neuartigen, erfinderischen Bildverarbeitungssystem nun doch neben der notwendigen Bildanzeige (4), auch noch das Bildverarbeitungsmodul (3) im Fahrzeuginnenraum (1). Im Gegensatz jedoch zu den bekannten Forschungs- und Entwicklungssystemen sind hierbei die Komponenten auf den nötigsten Umfang reduziert in einem einzelnen Gehäuse, einem Kleinstcomputer (5), kompakt integriert. Durch das geringe Gewicht des Kleinstcomputers (5) ist für dessen sichere Lagerung meist eine mechanisch einfache Halterung ausreichend.
• Durch die Erfindung ist es nun auch nicht mehr wie bisher notwendig, im Bereich des Armaturenbrettes fix eine Platz für die Integration einer festinstallierten Bildanzeige zu reservieren, da die Anzeige Teil des Kleinstcomputers (5) ist, dessen Halterung an einer beliebigen einsehbaren Stelle angebracht werden kann. Es ist gar denkbar, dass es dem Nutzer des Bildverarbeitungssystems freigestellt wird, an welcher Stelle des Fahrzeuginnenraums (1) er den Kleinstcomputer (5) anbringen will. Es ist gleichsam auch möglich mehrere alternative Halterungen vorzusehen, so dass je nach Anwendungsfall der Kleistcomputer an unterschiedlichen Stellen positioniert werden kann. So beispielsweise zur Anzeige von Verkehrszeichen für den Fahrzeugführer, oder zur Anzeige von Umgebungsbildern für Insassen auf den Fahrzeugrücksitzen. In besonders gewinnbringender Weise ist es denkbar nicht nur mehrere Halterungen im Fahrzeug verteilt anzubringen, sondern parallel mehrere Kleinstcomputern mit integrierten Bildverarbeitungsmodulen für unterschiedlichste Anwendungen zu nutzen. Hierzu ist einzig sicherzustellen, dass jeder der Bildverarbeitungsmodule (3) mit dem oder einem von mehreren Kamerasystemen über eine Kommunikationsverbindung (6) in Kontakt steht.
• Die lösbare Integration des Bildverarbeitungsmoduls (3) im Fahrzeug bietet des weiteren den Vorteil, dass ein und das selbe Modul in mehreren Fahrzeugen genutzt werden kann. Ein Fahrzeugführer kann somit durch den Kauf eines einzigen Bildverarbeitungsmoduls dieses durch das Mitführen des entsprechend hergerichteten Kleinstcomputers in mehreren Fahrzeugen nutzen. So entfällt beispielsweise auch für Fahrzeugvermietfirmen die Notwendigkeit jedes einzelne der Fahrzeuge ihres Fuhrparks mit einem speziellen Bildverarbeitungssystem auszustatten. Sollten dann unvorhergesehen doch mehr Systeme als vorhanden benötigt werden, können relativ rasch Zusatzgeräte beschafft und zur Verfügung gestellt werden, da eine aufwändige und teure Steuergeräteinstallation entfällt.
• Durch die Verwendung eines herkömmlichen Kleinstcomputers (5), welcher zunehmend auch im Kreis von Fahrzeugbesitzern Beliebtheit findet, resultiert somit während der Nutzungszeit des Bildverarbeitungssystems einer kontinuierlichen Erhöhung der Prozessorleistung und Qualität der Bildanzeige.
• Insbesondere in wirtschaftlicher Hinsicht bietet die Erfindung die Möglichkeit auf einfache Weise eine breite Palette unterschiedlich leistungsfähiger Systeme anzubieten, indem die für die Bildverarbeitungsaufgabe optimierte Software auf unterschiedlichsten Kleinstcomputern angeboten wird. So mag es für einige Aufgaben ausreichend sein, eine monochrome Anzeigeeinheit zu verwenden, oder andererseits Systeme zwar mit eingeschränkter Funktionalität aber kostengünstig auf Kleinstcomputern der letzten Gerätegeneration anzubieten.
• In besonders vorteilhafter Weise lässt sich die Nutzung des Bildverarbeitungssystems dann verbessern, wenn der Kleinstcomputer mit einer Datenschnittstelle versehen ist, über welchen Bildverarbeitungsprogramme in seine Speichereinheit eingelesen werden können. Auf diese Weise können auf dem System auf einfache Weise neue und verbesserte Algorithmen zur Bildverarbeitung und Bilddarstellung installiert werden. So wird passt sich das System in gewinnbringender Weise nicht nur durch den kontinuierlichen Ersatz der Systemhardware (Kleinstcomputer), sondern auch durch regelmäßige Anpassung der Systemsoftware der zunehmenden Entwicklung und den zunehmenden Anforderungen an.
• In besonders gewinnbringender Weise ist es denkbar den Nutzern des Bildverarbeitungssystems in Bezug auf Einsatzzweck und Entwicklungsstand unterschiedlichste Bildverarbeitungsalgorithmik anzubieten. Auf diese Weise wird eine weitere Wertschöpfungsmöglichkeit für den Hersteller des Bildverarbeitungssystems eröffnet. Es wird diesem Möglich die Bildverarbeitungsalgorithmik im Rahmen eines Softwareproduktes auf unterschiedlichsten Speichermedien zu vertreiben. Auch ist es denkbar als Vertriebsweg, beispielsweise das Internet zu nutzen und die Softwareprodukte als kostenloses oder kostenpflichtiges Download auf der Web-Seite des Herstellers des Bildverarbeitungssystems oder des Fahrzeugherstellers dessen Fahrzeuge zur Aufnahme eines derartigen Systems hergerichtet sind anzubieten. Der Nutzer des neuartigen Bildverarbeitungssystems kann somit dieses durch den Erwerb und die Nutzung dieser speziellen Computerprogrammprodukte optimal an seine Anforderungen adaptieren.
• Wenn der Speicher des Kleinstcomputers es zulässt, ist es denkbar, Algorithmik für unterschiedlichste Arten der Bildverarbeitung parallel zu installieren. So beispielsweise Algorithmik zur Auswertung von Bilddaten eines Infrarotsystems, von Bilddaten eines Mehrkamerasystems oder eine spezielle Algorithmik zur Fußgängererkennung in Innenstadtszenarios. Im allgemeinen wird die Prozessorleistung nicht ausreichen alle mehrere dieser komplexen Aufgaben parallel zu bearbeiten. Insbesondere deshalb sollte der Kleinstcomputer in gewinnbringender Weise über Eingabemittel versehen sein, welche es erlauben eine Auswahl der bezüglich der Umstände am besten geeigneten Verarbeitungsalgorithmik beziehungsweise Anzeigemodi auszuwählen. Am besten könnte dies über eine Menüführung mittels der standardmäßigen Tastatur des Kleinstcomputers erfolgen.
• Das den im Kleinstcomputer befindlichen Bildverarbeitungsmodul und Anzeigeeinheit zugeordnete Kameramodul kann fest im Fahrzeug integriert sein und über eine, in der Halterung des Kleinstcomputers befindliche Schnittstelle mit diesem in Verbindung stehen. Hierbei ist es denkbar das Kameramodul trennbar von der Verkabelung zwischen Kameramodul und Kleinstcomputer auszuführen, so dass gegebenenfalls das Kameramodul ausgetauscht und so an technische Weiterentwicklungen angepasst werden kann. In einem solchen Fall kann ein Kraftfahrzeug kostengünstig serienmäßig mit einer Verkabelung konfektioniert werden, an welche bei bedarf, beispielsweise bei Wunsch der Sonderausstattung mit einem Bildverarbeitungssystem, eine geeignete Kamera montiert werden kann. Andererseits wird dem Fahrzeugnutzer hierdurch auch die Möglichkeit eröffnet eine eigene, bereits vorhandene Kamera als Kamerasystem für das Bildverarbeitungssystem zu nutzen. Dazu bietet es sich in gewinnbringender Weise an, eine möglichst universell an unterschiedlichste gängige Kameramodule adaptierbare Halterung im Kraftfahrzeug anzubringen. Es ist gleichsam aber auch denkbar, das Kraftfahrzeug abgesehen von einer Aufnahme für den Kleinstcomputer und gegebenenfalls einer universellen Aufnahme für das Kameramodul nicht weiterer vorzukonfektionieren. Häufig werden auf dem Markt bereits Bilderfassungssystem bestehend aus Kleinstcomputer und Kameramodul mit zugehörigem Kommunikationspfad (beispielsweise Verbindungsleitung) angeboten. Solche Komplettsysteme könnten problemlos in im Fahrzeug befindliche Halterungen lösbar eingebracht werden. Wird nun die üblicherweise auf derartigen Kleinstcomputern installierte Software, welche rein zur Bildaufnahme geeignet ist, durch komplexe Bildverarbeitungssoftware ersetzt, ergibt sich entgegen dem ursprünglichen Verwendungszweck der reinen Bildaufnahme (Fotographie) oder Bildübertragung (Bildtelefonie) ein flexibel einsetzbares Bildverarbeitungssystem im Kraftfahrzeug.
• Die Funktionalität des neuartigen Bildverarbeitungssystems kann insbesondere auch dadurch gesteigert werden, indem der Kleinstcomputer mit einer Schnittstelle versehen wird, über welche Daten zu und von Fahrzeuginternen Systemen transferiert werden können. Bei solchen fahrzeuginternen Systemen handelt es sich insbesondere um Fahrerassistenzsysteme, welche in Gefahrensituationen regelnd auf die Fahrdynamik einwirken können (beispielsweise: Abbremsen oder Ausweichen bei Hindernissen oder Warnen des Fahrzeuglenkers).

Claims (5)

1. Bildverarbeitungssystem für Kraftfahrzeuge, welches ein Kamerasystem (2), ein Bildverarbeitungsmodul (3), mit einer Datenschnittstelle zur Aufnahme der von dem Kamerasystem erzeugten Bilddaten, mit einer Speichereinheit zur Speicherung eines Bildverarbeitungsprogramms und mit einer Prozessoreinheit zur Verarbeitung der Bilddaten, sowie ein Anzeigeeinheit (4) zur Anzeige der verarbeiten Bilddaten umfasst, dadurch gekennzeichnet, dass das Bildverarbeitungsmodul und die Anzeige durch das Prozessormodul und das Display eines Kleinstcomputers (5), insbesondere eines Palmtop oder Personal Digital Assistent (PDA) oder eines Mobiltelefons, gebildet werden, wobei sich im Fahrgastraum des Kraftfahrzeuges (1) eine Halterung zur Aufnahme des Kleinstcomputers oder des Mobiltelefons befindet, welche so ausgebildet, dass sich darin der Kleinstcomputer oder das Mobiltelefon an einer für wenigstens einen der Fahrgäste einsehbaren Stelle, lösbar anbringen lässt.
2. Bildverarbeitungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Kleinstcomputer (5) über eine weitere Datenschnittstelle verfügt, über welche Daten zu und von fahrzeuginternen Systemen transferiert werden können.
3. Bildverarbeitungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Kleinstcomputer (5) über eine weitere Datenschnittstelle verfügt, über welche Bildverarbeitungsprogramme in die Speichereinheit eingelesen werden können.
4. Bildverarbeitungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Kleinstcomputer (5) über Eingabemittel verfügt, mittels welcher die Bildverarbeitung in der Prozessoreinheit beeinflusst werden kann.
5. Fahrzeug umfassend eine Mehrzahl von Bildverarbeitungssystemen nach einem der Ansprüche 1 bis 4.