DE10038808A1 - Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element - Google Patents

Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element

Info

Publication number
DE10038808A1
DE10038808A1 DE10038808A DE10038808A DE10038808A1 DE 10038808 A1 DE10038808 A1 DE 10038808A1 DE 10038808 A DE10038808 A DE 10038808A DE 10038808 A DE10038808 A DE 10038808A DE 10038808 A1 DE10038808 A1 DE 10038808A1
Authority
DE
Germany
Prior art keywords
camera device
electronic camera
electronic
image
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10038808A
Other languages
German (de)
Inventor
Simon Erpenbeck
Rudolf Mai
Tim Weis
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE10038808A priority Critical patent/DE10038808A1/en
Publication of DE10038808A1 publication Critical patent/DE10038808A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

The camera device has an electronic image detection element (1), preceded by an objective unit and an electronic image processing and/or representation unit, with compensation of the optical attenuation of the image, without reduction or limitation of the image repetition frequency, by varying the spacing of the CCD/CMOS chips (2) within the sensor point matrix of the image detection element.

Description

Die Erfindung betrifft eine elektronische Kameraeinrichtung mit vorgeschalteter Objektiveinheit und mit einem elektronischen Bilderfassungselement und sowie einer elektronischen Bildverarbeitungs- und Darstellungseinheit gemäß Oberbegriff des Patentanspruches 1.The invention relates to an electronic camera device with an upstream Lens unit and with an electronic image capture element and and electronic image processing and display unit according to the preamble of Claim 1.

Insbesondere für das Einsatzgebiet bei Kraftfahrzeugen werden zur Ergänzung normal üblicher Spiegel auch Kameras oder Kameraanordnungen mitverwendet. Sie spielen zum einen eine Rolle für die automatische Verkehrszeichenerkennung, jedoch auch zur elektronischen Erfassung von Umgebungsdaten, die mit Hilfe von Mustervergleichsverfahren ausgewertet werden.In particular for the area of application in motor vehicles are normal to supplement Common mirror also used cameras or camera arrangements. You play on the one hand a role for automatic traffic sign recognition, but also on electronic recording of environmental data using Pattern comparison methods can be evaluated.

Darüber hinausgehend werden Kameras für Kraftfahrzeuge eingesetzt, um den Blick durch den Spiegel zu ergänzen, und ggf. Bereiche des toten Winkels zu füllen.In addition, cameras for automobiles are used to keep the view supplemented by the mirror and, if necessary, fill areas of the blind spot.

Hierbei werden auch Einparkhilfen oder Rangierhilfen in Verwendung von Kameras oder Kamerasystemen in Kraftfahrzeugen eingesetzt.This also includes parking aids or maneuvering aids using cameras or Camera systems used in motor vehicles.

Aus der DE 195 39 642 A1 ist ein Verfahren sowie eine entsprechende Einrichtung in Form einer Parkhilfekamera für einen Pkw angegeben. Mit unbeweglicher, extremer Weitwinkeloptik und Entzerrung des aufgenommenen Bildes durch eine elektronische Transformation des Bildsignals wird das so erfaßte Bild aufgenommen und verarbeitet. Bei der Bildpunktinformation des Aufnahmesensors werden diese den Bildpunkten der Wiedergabeeinheit beispielsweise eines Bildschirmes zugeordnet. Die Entzerrung des dargestellten Bildes mit Hilfe einer Weitwinkeloptik extremer Art, erfolgt in diesem beschriebenen Beispiel auf elektronischem Wege durch besagte Transformation des Bildsignals. Verfahren dieser Art sind recht aufwendig und haben überdies den Nachteil, daß durch die Notwendigkeit der Berechnung aller Bildpunkte die Bildwiederholfrequenzen herabgesetzt werden. Eine hohe Bildwiederholfrequenz ist jedoch maßgeblich für die flimmerfreie Wiedergabe des Anzeigebildes. Desweiteren ist zur zeitlichen Auflösung von Bewegungsabläufen eine hohe Bildwiederholfrequenz notwendig. Aus diesem Grund ist ein Verfahren mit einer entsprechend aufwendigen mathematischen und somit auch elektronischen Transformation weder absolut flimmerfrei, noch werden Bewegungsabläufe in Echtzeit bis hin zu höheren Geschwindigkeiten auflösbar.DE 195 39 642 A1 describes a method and a corresponding device in Form of a parking aid camera specified for a car. With immobile, extreme Wide-angle optics and rectification of the captured image by an electronic Transformation of the image signal, the image captured in this way is recorded and processed. With the pixel information of the recording sensor, these become the pixels of the Playback unit assigned to a screen, for example. The equalization of the shown image with the help of a wide-angle optical system of an extreme kind takes place in this described example electronically by said transformation of Image signal. Processes of this type are quite complex and moreover have the disadvantage that that due to the need to calculate all the pixels Refresh rates are reduced. There is a high refresh rate however decisive for the flicker-free reproduction of the display image. Furthermore is  a high refresh rate for the temporal resolution of motion sequences necessary. For this reason, a method with a correspondingly complex mathematical and thus also electronic transformation neither absolutely Flicker-free, movements are still in real time up to higher Dissolvable speeds.

Aus der US 4 943 821 ist eine sog. VideoLux-Panoramakamera angegeben, bei welcher der Film auf einem Zylinderflächensegment aufgelegt wird, und eine optische Einheit mit einer Schlitzblende auf einer äußeren Kreisbahn umläuft um den Film zu belichten. Durch die Kontur des Filmes werden sowohl Schärfeebenen, als auch Verzerrungsprobleme gelöst. Auf diese Weise findet jedoch nur eine Berücksichtigung einer räumlichen Verzerrung entlang der Zylinderkrümmung statt. Eine Wölbung auf einem Kugelflächensegment ist aus Gründen der Verwendung eines zu belichtenden Filmes ausgeschlossen. Aus diesem Grund eignet sich eine Kamera dieser Art nicht für den Einsatz im Bereich einer elektronischen Kamera.A so-called VideoLux panorama camera is disclosed in US Pat. No. 4,943,821 the film is placed on a cylindrical surface segment, and an optical unit with a slit diaphragm on an outer circular path to expose the film. Due to the contour of the film, both sharpness levels as well Distortion problems solved. However, this only takes into account spatial distortion along the cylinder curvature. A bulge on a spherical surface segment is to be exposed for reasons of use Film excluded. For this reason, a camera of this type is not suitable for use in the area of an electronic camera.

Aus der US 5 754 910 ist ebenfalls eine Filmkamera bekannt, die mit einem Belichtungsfilm arbeitet. Im Aufnahmebereich ist diese gekrümmt und so hat der Film einen angenähert konstanten Abstand zur Optik. Auch hierbei gilt das oben bereits Gesagte.A film camera is also known from US Pat. No. 5,754,910 Exposure film works. In the recording area this is curved and so is the film an approximately constant distance from the optics. This also applies here above Said.

Eine Kamera dieser Art ist ebenso aus der US 4 855 774 bekannt, zu der auch das oben Gesagte gilt.A camera of this type is also known from US 4,855,774, to which also the above Said applies.

Ebenso ist aus der US 5 870 135 ebenso eine fotografische Kamera mit Film bekannt, bei der jedoch eine Aufsplittung des Gesamtbildes vorgenommen wird.A photographic camera with film is also known from US Pat. No. 5,870,135. in which, however, the overall picture is split up.

Insbesondere die fotografischen Kameras mit Film, aber auch die übrigen Kameras eignen sich nicht dazu, ein aufgenommenes Bild bzw. eine Situation in Echtzeit auf einem Display in tatsächlich entzerrter Weise wiederzugeben und zum anderen sind im erstgenannten Beispiel die Wiederholfrequenzen aufgrund des hohen rechentechnischen Aufwandes zu niedrig.In particular the photographic cameras with film, but also the other cameras are not suitable for taking a captured picture or a situation in real time reproduce a display in an actually rectified manner and on the other hand first mentioned example, the repetition frequencies due to the high computational Effort too low.

Der Erfindung liegt somit die Aufgabe zugrunde, eine elektronische Kameraeinrichtung, insbesondere zur Applizierung in oder an einem Kraftfahrzeug der gattungsgemäßen Art dahingehend weiterzubilden, daß die durch die Optik hervorgerufene Verzerrung des Bildes durch geeignete Maßnahmen entzerrt wird, ohne dabei die Bildwiederholfrequenz herabzusetzen oder zu begrenzen.The invention is therefore based on the object of an electronic camera device, in particular for application in or on a motor vehicle of the generic type to further develop that the distortion caused by the optics of the  Appropriate measures are taken to equalize the image without reducing the refresh rate reduce or limit.

Bei einer elektronischen Kameraeinrichtung der gattungsgemäßen Art wird die gestellte Aufgabe durch die erfindungsgemäßen kennzeichnenden Merkmale des Patentanspruches 1 gelöst.In the case of an electronic camera device of the generic type, the posed Object by the characteristic features of the invention Claim 1 solved.

Weitere vorteilhafte Ausgestaltungen der erfindungsgemäßen Kameraeinrichtung sind in den abhängigen Ansprüchen angegeben.Further advantageous refinements of the camera device according to the invention are shown in the dependent claims.

Kem der Erfindung besteht hierbei darin, daß die durch die Objektiveinheit verursachte Verzerrung durch eine der Verzerrung oder Verzeichnung entsprechende nicht äquidistante Verteilung der Sensorpunkte des elektronischen Bilderfassungselement kompensierbar ist. Vorzugsweise sind die Sensorpunkte als Sensorpunktmatrix ausgebildet und/oder das elektronische Bilderfassungselement als CCD/CMOS-Chip. Bei entsprechend verwendeten Weitwinkelobjektiven ist die Verzeichnung im Randbereich des Bildes am größten. In erfindungsgemäßer Weise sind dort die Sensormatrixpunkte entsprechend der Verzeichnung dichter angeordnet als in der Mitte. Mit anderen Worten ist die gesamte Sensorpunktmatrix bzw. deren Einzelpunkte nicht äquidistant verteilt, sondern die Dichte der Sensorbildpunkte nimmt in den Bereichen zu, in denen die Verzeichnung am größten ist, nämlich in den Randbereichen. Dies gilt für eine planare bzw. plane Anordnung der Sensormatrix auf besagtem Chip.The core of the invention is that that caused by the lens unit Distortion caused by distortion or distortion is not Equidistant distribution of the sensor points of the electronic image capture element is compensable. The sensor points are preferably in the form of a sensor point matrix trained and / or the electronic image capture element as a CCD / CMOS chip. at Correspondingly used wide-angle lenses are the distortion in the edge area of the picture largest. In the manner according to the invention, the sensor matrix points are there arranged closer according to the distortion than in the middle. In other words the entire sensor point matrix or its individual points are not distributed equidistantly, but the density of the sensor pixels increases in the areas where the Distortion is greatest, namely in the peripheral areas. This applies to a planar or planar arrangement of the sensor matrix on said chip.

Bei der Bildwiedergabe wiederum ist die Bildpunktmatrix so ausgelegt, daß Sie normal ausgebildet, also mit äquidistant verteilten einzelnen Bildpunkten versehen ist. Das heißt, in den verzeichnenden Randbereichen der Sensorpunktmatrix wird mit einer höheren Punktdichte aufgenommen, die jedoch auf eine normal und gleich verteilte Bildpunktverteilung auf dem Bildschirm dargestellt wird. Für die Randbereiche heißt dies, daß die Bilddarstellungspunkte im Randbereich gegenüber den Sensorpunkten im Randbereich gestreckt sind und somit die Verzerrung kompensieren.When it comes to image reproduction, the pixel matrix is designed so that it is normal formed, that is provided with equidistantly distributed individual pixels. This means, in the edge regions of the sensor point matrix with a higher Point density recorded, but on a normal and evenly distributed Pixel distribution is displayed on the screen. For the edge areas, this means that the image display points in the edge area compared to the sensor points in Border area are stretched and thus compensate for the distortion.

In weiterer vorteilhafter Ausgestaltung ist daher vorgesehen, daß die Sensorpunktverteilung der CCD/CMOS-Matrix der durch die Objektiveinheit vorgegebenen Verzeichnung entspricht. Das heißt, die beschriebene Streckung der Bildpunktverteilung gegenüber der Sensorpunktverteilung entspricht im Randbereich der besagten Verzeichnung. Auf diese Weise wird die Verzeichnung durch eine entsprechende Verteilung kompensiert, in einer Art und Weise, daß keine elektronische Nachbearbeitung, und keine elektronische Entzerrung notwendig ist. Auf diese Weise können die Bildwiederholfrequenzen unbeeinflußt von einer ansonsten notwendigen Rechengeschwindigkeit hochgesetzt werden, um ein Flimmern des Bildschirmes zu vermeiden. Ebenso werden auch schnellere dynamische Bilder in Echtzeit darstellbar, weil hohe Bildwiederholfrequenzen einsetzbar sind.In a further advantageous embodiment it is therefore provided that the Sensor point distribution of the CCD / CMOS matrix through the lens unit specified distortion. That is, the stretching described Pixel distribution compared to the sensor point distribution corresponds to in the edge area said distortion. In this way the distortion is caused by a  appropriate distribution compensated in a way that no electronic Post-processing, and no electronic equalization is necessary. In this way can refresh rates unaffected by an otherwise necessary Computing speed can be increased to cause the screen to flicker avoid. Faster dynamic images can also be displayed in real time, because high refresh rates can be used.

Im übrigen wird hierdurch der ansonsten hardwaremäßig notwendige Aufwand deutlich reduziert. In weiterer vorteilhafter Ausgestaltung ist somit angegeben, daß die entsprechende Verteilung gemäß der kissenförmigen Verzerrung entsprechend vorgenommen wird. Dies muß jedoch nicht ausschließlich sein und hängt von den verwendeten Objektiven ab. Die Verzerrungen können auch anderer Art sein, wodurch bei entsprechend fest verwendetem Objektiv eine entsprechend angepaßte CCD/CMOS- Matrix verwendet werden kann, die dann ebenso in der erfindungsgemäßen Weise gemäß Anspruch 1 ausgebildet ist.Otherwise, the effort that would otherwise be necessary in terms of hardware becomes clear reduced. In a further advantageous embodiment, it is thus stated that the appropriate distribution according to the pillow-like distortion accordingly is made. However, this does not have to be exclusive and depends on the used lenses. The distortions can also be of a different type, as a result with a correspondingly fixed lens, a correspondingly adapted CCD / CMOS Matrix can be used, which is then also in the manner according to the invention is formed according to claim 1.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß die Sensorpunktmatrix des CCD/CMOS-Chips auf einer entsprechend verzeichnend gewölbten Fläche, also nicht plan angeordnet ist. Bei dieser Ausgestaltungsversion braucht keine Verdichtung der Sensorbildpunkte im Randbereich zu erfolgen, was in der erfindungsgemäßen Weise bei Verwendung eines trotzdem planaren, vollkommen ebenen Systems notwendig wäre, sondern der Verzeichnung wird dadurch entgegnet, daß die Sensorpunktmatrix auf einer entsprechend gewölbten Fläche angeordnet ist. Das heißt, der Chip wäre dann nicht mehr planar, sondern entsprechend gewölbt. Auf diese Weise würden sich die genannten Kompensationseffekte in gleicher Weise erzielen lassen.In a further advantageous embodiment it is indicated that the sensor point matrix of the CCD / CMOS chips on a correspondingly curved surface, not is arranged plan. With this design version, no compression of the Sensor pixels to take place in the edge area, which in the manner according to the invention It would be necessary to use a planar, completely flat system Rather the distortion is countered by the fact that the sensor point matrix on a is arranged according to the curved surface. That means the chip would not be there more planar, but curved accordingly. That way they would can achieve the aforementioned compensation effects in the same way.

In entsprechend vorteilhafter Ausgestaltung ist angegeben, daß die Kameraeinrichtung eine am Kraftfahrzeug angeordnete Kamera ist, insbesondere zur elektronischen Erfassung von Umgebungsdaten und Umgebungsbildern. Durch die Verwendung einer solchen erfindungsgemäßen Kameraeinrichtung ist die Darstellung eines flimmerfreien Bildes mit minimalem elektronischen Aufwand möglich. Durch die Verwendbarkeit von Weitwinkelobjektiven ergibt sich somit ein großes Blickfeld und durch die erfindungsgemäße Kompensation oder Entzerrung wird ein realgetreues Bild ohne Verzeichnung auf einfache Weise wiedergegeben. In a correspondingly advantageous embodiment, it is stated that the camera device is a camera arranged on the motor vehicle, in particular for the electronic one Collection of environmental data and images. By using a such a camera device according to the invention is the representation of a flicker-free Image with minimal electronic effort possible. The availability of Wide-angle lenses thus provide a large field of view and through that compensation or equalization according to the invention becomes a real image without Distortion reproduced in a simple manner.  

Auf diese Weise ist wegen einer verzeichnungsfreien elektronischen Erfassung der Umgebung die Einbindung der erfindungsgemäßen Kameraeinrichtung in ein automatisches Verkehrszeichenerkennungssystem von großem Vorteil. Wegen der verzeichnungsfreien Ermittlung der Umgebungsdaten können auch Fahrbahnmarkierungen deutlich besser erkannt werden, was wiederum eine automatische Verkehrsführung des Fahrzeuges begünstigt.In this way, due to a distortion-free electronic recording Environment the integration of the camera device according to the invention in a automatic traffic sign recognition system of great advantage. Because of the distortion-free determination of the environmental data can also Road markings are clearly recognized, which in turn is a automatic traffic control of the vehicle favors.

Im übrigen können zur Erfassung hoher Blickwinkel sogar extreme Weitwinkelobjektive eingesetzt werden, da das verzeichnete erfasste Bild auf erfindungsgemäß einfache Weise kompensierbar ist.In addition, even extreme wide-angle lenses can be used to capture high viewing angles can be used because the recorded image recorded on simple according to the invention Way is compensable.

Darüber hinausgehend kann der Einsatz der erfindungsgemäßen Kameraeinrichtung in einer sog. Park-/Rangierhilfeeinrichtung von Vorteil sein. Durch den oben genannten funktionalen Zusammenhang, nämlich daß durch die Erfindung auf einfache Weise eine verzeichnungsfreie Ermittlung und Wiedergabe der Umgebungsdaten möglich ist, können somit insbesondere für den Park- und Rangierhilfefall extreme Weitwinkelobjektive verwendet werden, deren naturgemäße Verzeichnung durch die erfindungsgemäße Kameraeinrichtung wieder wettgemacht wird. Durch die Verwendbarkeit extremer Weitwinkelobjektive ist ein erheblich großer Einsichtnahmewinkel möglich. Im übrigen können somit dem bilddarstellenden Display im Kraftfahrzeug Entfernungen durch die erfindungsgemäße Entzerrung deutlich besser eingeschätzt werden.In addition, the use of the camera device according to the invention in a so-called parking / maneuvering facility would be an advantage. Through the above functional connection, namely that by the invention in a simple manner distortion-free determination and reproduction of the environmental data is possible, can be extreme, especially for parking and maneuvering assistance Wide-angle lenses are used, the natural distortion of which camera device according to the invention is made up for again. Through the Usability of extreme wide angle lenses is a considerably large one Viewing angle possible. Otherwise, the image display in the Motor vehicle distances significantly better due to the equalization according to the invention be assessed.

In vorteilhafter Ausgestaltung ist eine Kombination mit Entfernungsdaten zu auf diese Weise aufgenommenen Hindernissen von weiterem Vorteil.In an advantageous embodiment, a combination with distance data is to be applied to this Obstacles recorded in a manner that is of further advantage.

Darüber hinausgehend ist von Vorteil, ein Extremweitwinkelobjektiv nach der Art eines Fischaugenobjektives zu verwenden, welches eine dramatische Verzeichnung der Umgebungsdaten produziert. Durch eine entsprechend, auf diese hohe Verzeichnung hin, gemäß der Lehre der Erfindung, eine entsprechend kompensierende Anordnung der Sensorpunktverteilung auf der CCD/CMOS-Matrix vorzunehmen, ist es möglich, auch extreme Blickwinkel zu eröffnen.In addition, it is advantageous to use an extreme wide-angle lens of the type To use fisheye lenses, which is a dramatic distortion of the Environmental data produced. By a corresponding, on this high distortion towards, according to the teaching of the invention, a corresponding compensating arrangement of It is possible to make sensor point distribution on the CCD / CMOS matrix, too to open extreme perspectives.

Darüber hinausgehend kann, wie oben bereits dargestellt, die Auslese und Darstellung der Bilddaten ohne Zeitversatz wegen der nicht benötigten Rechenzeit generiert werden und die Wiederholfrequenzen können dabei so hoch gesetzt werden, daß ein flimmerfreies, optisches Auflösen des Bildes durch das menschliche Auge gegeben ist. Bei einer elektronischen Nachbearbeitung jedes einzelnen Bildpunktes sind in der Regel solche Bildwiederholfrequenzen dieser Art nicht erreichbar. Möglicherweise könnte es für stehende Bilder noch realisierbar sein, jedoch bei bewegten Objekten und der entsprechenden Erfassung der Bewegung in Realzeit auf der Displaydarstellung würde bei entsprechendem Recheneinsatz gemäß Stand der Technik ein stockendes, und nicht kontinuierlich wiedergegebenes Bild entstehen. Mit der beschriebenen Erfindung in ihrer Ausgestaltung ist genau dies vermieden.In addition, as already shown above, the selection and display the image data are generated without a time offset due to the unnecessary computing time and the repetition frequencies can be set so high that a  flicker-free, optical resolution of the image is given by the human eye. In the case of electronic post-processing of each individual pixel, as a rule such refresh rates of this type cannot be achieved. It could possibly be for still images can still be realized, but with moving objects and the corresponding detection of the movement in real time on the display would with corresponding computing use according to the state of the art a halting and not continuously reproduced image. With the described invention in its This is exactly avoided.

Darüber hinausgehend ist angegeben, daß in weiterer vorteilhafter Ausgestaltung eine Einbindung des Kamerasystems in ein insgesamt automatisches Verkehrsleitsystem, insbesondere ein Autopilotsystem eingebunden werden kann. Durch die klare und Realzeit entsprechende Erfassung der Umgebungsdaten ohne Verlust durch Rechenzeit, und eine immer in Realzeit ablaufende Darstellung der Umgebungsdaten auch im Fahrbetrieb, ggf. bei hohen Geschwindigkeiten, ermöglicht erst den Zugang zu einer Verwendung in einem Autopilotsystem. Dadurch, daß der Rechenaufwand gegenüber den Verfahren und Einrichtungen gemäß Stand der Technik hier nun entfällt, ist es nunmehr möglich, die erfaßten Bilddaten sofort zu erfassen und in Realzeit verarbeiten zu können. Ein Autopilotsystem dieser Art, welches durch eine Kamera, mit entsprechender Umgebungserkennung ergänzt ist, ist es nunmehr auch funktional möglich, die reinen Navigationsdaten über ein GPS-System zu ergänzen bzw. zu erweitern. Eine reine Autopilotfunktion gestützt lediglich auf die Navigationseinrichtung birgt die Gefahr, daß unvorhergesehene, nicht aktualisierte Streckenabweichungen gegenüber den gespeicherten und ermittelten Navigationsdaten bei einem Autopilotsystem natürlich verheerende Folgen haben könnten. Die verzeichnungsfreie elektronische Erfassung der Umgebungsdaten, vor allen Dingen in Realzeit, wegen des entfallenden Rechenaufwandes, ermöglicht ein stetes, fortwährendes automatisches Eingreifen in ein navigationsgestütztes Autopilotsystem.In addition, it is indicated that in a further advantageous embodiment Integration of the camera system in an overall automatic traffic control system, in particular an autopilot system can be integrated. Through the clear and Real-time acquisition of the surrounding data without loss of computing time, and a real-time display of the environmental data also in the Driving, possibly at high speeds, only allows access to one Use in an autopilot system. The fact that the computational effort compared the methods and devices according to the state of the art are now eliminated, it is now possible to capture the captured image data immediately and process it in real time to be able to. An autopilot system of this type, which is equipped with a camera appropriate environmental detection is added, it is now also functional possible to complete or to add the pure navigation data via a GPS system expand. A pure autopilot function is only based on the navigation device carries the risk that unforeseen, not updated route deviations compared to the stored and determined navigation data for a Autopilot system could of course have devastating consequences. The distortion-free electronic recording of the surrounding data, especially in real time, because of the no computational effort, enables constant, continuous automatic Intervention in a navigation-based autopilot system.

Die Erfindung ist in der Zeichnung weitergehend erläutert.The invention is further explained in the drawing.

Es zeigt:It shows:

Fig. 1 Verteilung der Sensorpunkte auf der CCD/CMOS-Matrix. Fig. 1 distribution of the sensor points on the CCD / CMOS matrix.

Fig. 2 Darstellung der Einzelkomponenten zueinander. Fig. 2 representation of the individual components to each other.

Fig. 1 zeigt die Verteilung der Sensorpunkte 2, die als Bilderfassungszellen jeweils punktweise ausgestaltet und anschließend elektronisch bzw. elektrisch miteinander verschaltet sind. Die einzelnen Sensorpunkte 2 bzw. die Bilderfassungszellen, sind gemäß der in Fig. 1 dargestellten verteilten Punkte auf dem CCD/CMOS-Chip 1 verteilt. Geht man nun von einer kissenförmigen Verteilung aus, die von einem entsprechenden Objektiv oder Weitwinkelobjektiv mehr oder weniger erzeugt wird, so wird entsprechend angepaßt auf das jeweils verwendete Objektiv die entsprechende CCD/CMOS-Chip- Matrix in entsprechend nicht mehr äquidistanter Positionierung der einzelnen Sensorpunkte 2 angelegt. In den Randbereichen eines mehr oder weniger quadratischen Blickfeldes bzw. Blickraumes, lokalisiert sich das Maximum der Verzeichnung in den jeweiligen Ecken. In entsprechender Weise sind dann die Sensorpunkte 2 dort dichter verteilt. Die Darstellung der so aufgenommenen sensorischen Werte der einzelnen Sensorpunkte bzw. der Bilderfassungszellen im einzelnen werden in Summe wiederum erfaßt, da sie auf dem genannten Chip 1 gemeinsam verschaltet sind, und werden der Verarbeitungseinheit und anschließend dem Anzeigebildschirm bzw. der Bilddarstellungseinheit zugeführt. Durch die nicht äquidistante Verteilung der einzelnen Zellen im Randbereich wird nun auf erfindungsgemäße Weise die Verzeichnung dadurch kompensiert, daß die so nicht äquidistant verteilten Sensorpunkte 2 in Fig. 1, jedoch in einer Bilddarstellungseinheit die entsprechenden Sensorpunktwerte wieder an äquidistant verteilte Bilddarstellungspunkte, sog. Pixel, die im Display äquidistant verteilt sind, zugeordnet. Hierdurch wird eine geometrische Transformation allein durch die räumliche Verteilung der Sensorpunkte 2 im Gegensatz zu den Bildpixeln der Bilddarstellungseinheit bewirkt. Diese geometrische Transformation entspricht in kompensierender Weise der Verzeichnung des Objektives, wodurch ein Rechenaufwand durch eine mathematische Transformation völlig entfällt. Durch den entfallenden Rechenaufwand können Bildwiederholfrequenzen so hoch gesetzt werden, daß auch bewegte Bilder flimmerfrei dargestellt werden können. Fig. 1 shows the distribution of sensor points 2, which are designed as point-wise imaging cells each and then electronically or electrically interconnected. The individual sensor points 2 or the image acquisition cells are distributed on the CCD / CMOS chip 1 in accordance with the distributed points shown in FIG. 1. If one now assumes a pillow-shaped distribution, which is more or less produced by a corresponding lens or wide-angle lens, the corresponding CCD / CMOS chip matrix is correspondingly adapted to the lens used in each case, in a correspondingly no longer equidistant positioning of the individual sensor points 2 created. In the edge areas of a more or less square field of view or viewing area, the maximum of the distortion is localized in the respective corners. In a corresponding manner, the sensor points 2 are then distributed more densely there. The representation of the sensory values recorded in this way of the individual sensor points or of the image acquisition cells in detail are again recorded in total, since they are connected together on said chip 1 , and are fed to the processing unit and then to the display screen or the image display unit. Due to the non-equidistant distribution of the individual cells in the edge region, the distortion is now compensated in a manner according to the invention in that the sensor points 2 not distributed in such a way in FIG. 1, but in an image display unit the corresponding sensor point values again to equidistantly distributed image display points, so-called pixels. which are distributed equidistantly in the display. As a result, a geometric transformation is brought about solely by the spatial distribution of the sensor points 2, in contrast to the image pixels of the image display unit. This geometric transformation corresponds to the distortion of the objective in a compensating manner, whereby a mathematical transformation completely eliminates the computational effort. Due to the elimination of computational effort, refresh rates can be set so high that moving images can also be displayed flicker-free.

Fig. 2 zeigt eine schematische Darstellung der einzelnen Elemente miteinander. Es ist eine Kamera 10 vorgesehen, die ein Objektiv 11 aufweist. Das so aufgenommene, über das Objektiv 11 fokussierte oder eingestellte Bild wird auf die Erfassungsfläche des CCD/CMOS-Chips 1 projiziert. In schematischer Darstellung ist hierbei der Chip in seiner Oberfläche, auf der die Sensorpunkte verteilt angeordnet sind, gekrümmt dargestellt. Dies betrifft zwar nur eine Ausgestaltungsversion der Erfindung, nämlich der, daß um die Verzeichnung zu kompensieren, die einzelnen Sensorpunkte 2 auf einer gekrümmten Oberfläche verteilt angeordnet sind. Die Krümmung würde dabei der Verzeichnung des Objektives 11 entsprechen. Würde in dieser Form ausgestaltet sein, so würde die Krümmung der Oberfläche des Chips 1, auf der die Sensorpunkte 2 angeordnet sind, sowohl horizontal, als auch azimutal sein. Gegenüber dem eingangs genannt beschriebenen Stand der Technik, bei dem die Krümmung nur in einer Koordinatenachse vornehmbar ist, weil im Stand der Technik dort Belichtungsfilme verwendet werden, statt eines Bilderfassungschips, kann hierbei und ist hierbei die Ausgestaltung eine andere. Fig. 2 shows a schematic representation of the individual elements together. A camera 10 is provided which has a lens 11 . The image thus recorded, focused or set via the lens 11 is projected onto the detection surface of the CCD / CMOS chip 1 . In a schematic representation, the surface of the chip on which the sensor points are arranged is shown curved. Although this only concerns one embodiment of the invention, namely that in order to compensate for the distortion, the individual sensor points 2 are arranged distributed on a curved surface. The curvature would correspond to the distortion of the lens 11 . If it were designed in this form, the curvature of the surface of the chip 1 on which the sensor points 2 are arranged would be both horizontal and azimuthal. Compared to the prior art described at the outset, in which the curvature can only be undertaken in one coordinate axis, because exposure films are used there in the prior art instead of an image capture chip, the configuration here can be different.

Eine weitere Möglichkeit, gemäß den oben bereits beschriebenen Ausgestaltungsmöglichkeiten besteht darin, daß die Chipoberfläche des CCD/CMOS- Chips 1 völlig eben, also planar ist und dafür die Sensorpunkte 2 nicht äquidistant und der Verzeichnung in entsprechender Weise in Fig. 1 verteilt angeordnet sind. Auf diese Weise ist natürlich dann auch ein planarer Chip ohne gekrümmte Sensorpunktoberfläche verwendbar. Die entsprechenden Bilddaten werden in einer Bildverarbeitungseinheit 20 nachfolgend bearbeitet, zugeordnet, ggf. findet hierin bereits ein Mustervergleich, im Falle einer elektronischen Erfassung und Weiterverarbeitung von Umgebungsdaten, statt. Nachfolgend ist eine Bilddarstellungseinheit 30 vorgesehen, die die Ausgangsdaten der Bildverarbeitung 20 nunmehr in einem entsprechenden Bild oder einer Bildschirmoberfläche oder einem Display darstellt.A further possibility, in accordance with the configuration options already described above, is that the chip surface of the CCD / CMOS chip 1 is completely flat, that is to say planar, and instead the sensor points 2 are not arranged equidistantly and the distortion is distributed in a corresponding manner in FIG. 1. In this way a planar chip without a curved sensor point surface can of course also be used. The corresponding image data are subsequently processed and assigned in an image processing unit 20 ; a pattern comparison may already take place here, in the case of electronic detection and further processing of environmental data. An image display unit 30 is provided below, which now shows the output data of the image processing 20 in a corresponding image or a screen surface or a display.

Claims (13)

1. Elektronische Kameraeinrichtung mit einem elektronischen Bilderfassungselement und vorgeschalteter Objektiveinheit, sowie einer elektronischen Bildverarbeitungs- und/oder -darstellungseinheit, dadurch gekennzeichnet, daß die durch die Objektiveinheit (11) verursachte Verzerrung durch eine der Verzerrung oder Verzeichnung entsprechende nicht äquidistante Verteilung der Sensorpunkte (2) des elektronischen Bilderfassungselementes (1) kompensierbar ist.1. Electronic camera device with an electronic image capture element and an upstream lens unit, and an electronic image processing and / or display unit, characterized in that the distortion caused by the lens unit ( 11 ) is caused by a non-equidistant distribution of the sensor points ( 2 ) of the electronic image capture element ( 1 ) can be compensated. 2. Elektronische Kameraeinrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Sensorpunkte (2) als Sensorpunktmatrix ausgebildet sind und/oder das elektronische Bilderfassungselement als CCD/CMOS-Chip ausgebildet ist.2. Electronic camera device according to claim 1, characterized in that the sensor points ( 2 ) are designed as a sensor point matrix and / or the electronic image capture element is designed as a CCD / CMOS chip. 3. Elektronische Kameraeinrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Sensorpunktverteilung (2) der CCD/CMOS-Matrix, der durch die Objektiveinheit (11) vorgegebenen Verzeichnung entspricht.3. Electronic camera device according to claim 1, characterized in that the sensor point distribution ( 2 ) of the CCD / CMOS matrix, which corresponds to the distortion given by the lens unit ( 11 ). 4. Elektronische Kameraeinrichtung nach Anspruch 3, dadurch gekennzeichnet, daß die Verteilung der Sensorpunkte (2) gemäß kissenförmiger Verzerrung des Objektives (11) entsprechend angeordnet ist.4. Electronic camera device according to claim 3, characterized in that the distribution of the sensor points ( 2 ) according to the pillow-shaped distortion of the lens ( 11 ) is arranged accordingly. 5. Elektronische Kameraeinrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die CCD/CMOS-Matrix d. h. die Sensorpunkte (2) des Chips (1) auf einer entsprechend verzeichnend gewölbten Oberfläche angeordnet ist bzw. sind.5. Electronic camera device according to one of the preceding claims, characterized in that the CCD / CMOS matrix ie the sensor points ( 2 ) of the chip ( 1 ) is or are arranged on a correspondingly bulging surface. 6. Elektronische Kameraeinrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Kameraeinrichtung mindestens eine am Kraftfahrzeug angeordnete Kamera (10) aufweist, insbesondere zur elektronischen Erfassung von Umgebungsdaten/Umgebungsbildern.6. Electronic camera device according to one of the preceding claims, characterized in that the camera device has at least one camera ( 10 ) arranged on the motor vehicle, in particular for the electronic detection of environmental data / environmental images. 7. Elektronische Kameraeinrichtung nach Anspruch 6, dadurch gekennzeichnet, daß Mittel (20) für eine automatische Verkehrszeichen- und/oder Fahrbahnleitmarkierungserkennung gegeben sind.7. Electronic camera device according to claim 6, characterized in that means ( 20 ) for automatic traffic sign and / or lane marker recognition are given. 8. Elektronische Kameraeinrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Einrichtung bei einer Park-/Rangierhilfeeinrichtung einsetzbar ist.8. Electronic camera device according to claim 6, characterized, that the device can be used in a parking / maneuvering device. 9. Elektronische Kameraeinrichtung nach Anspruch 8, dadurch gekennzeichnet, daß Entfernungsdaten durch Abstandssensoren ermittelt werden und in Bezug auf die dargestellten Hindernisse abgebildet werden.9. Electronic camera device according to claim 8, characterized, that distance data are determined by distance sensors and in relation to the obstacles shown are mapped. 10. Elektronische Kameraeinrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß als Objektiv (11) vor der Kameraeinrichtung (10) ein Weitwinkelobjektiv eingesetzt ist.10. Electronic camera device according to one of the preceding claims, characterized in that a wide-angle lens is used as the lens ( 11 ) in front of the camera device ( 10 ). 11. Elektronische Kameraeinrichtung nach Anspruch 10, dadurch gekennzeichnet, daß ein Extremweitwinkelobjektiv, ggf. ein Fischaugenobjektiv eingesetzt ist und die Sensorpunktverteilung (2) auf dem Chip (1) in entsprechender Weise kompensierend angepasst ist. 11. Electronic camera device according to claim 10, characterized in that an extreme wide-angle lens, possibly a fisheye lens is used and the sensor point distribution ( 2 ) on the chip ( 1 ) is adapted to compensate in a corresponding manner. 12. Elektronische Kameraeinrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß eine Darstellung der eingelesenen Bilddaten ohne Zeitversatz und ohne mathematische Nachbearbeitung vornehmbar ist, und selbst bei der Erfassung bewegter Objekte in Realzeit die Wiederholfrequenz so einstellbar ist, daß ein flimmerfreies Bild entsteht.12. Electronic camera device according to one of the preceding claims, characterized, that a representation of the imported image data without time offset and without mathematical post-processing can be carried out, and even when recording objects in real time the repetition frequency is adjustable so that a flicker-free image is created. 13. Elektronische Kameraeinrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Kamerasystem in einem automatischen Autopilotsystem oder Verkehrsleitsystem einsetzbar ist.13. Electronic camera device according to one of the preceding claims, characterized, that the camera system in an automatic autopilot system or Traffic control system can be used.
DE10038808A 2000-08-09 2000-08-09 Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element Withdrawn DE10038808A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE10038808A DE10038808A1 (en) 2000-08-09 2000-08-09 Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10038808A DE10038808A1 (en) 2000-08-09 2000-08-09 Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element

Publications (1)

Publication Number Publication Date
DE10038808A1 true DE10038808A1 (en) 2002-02-21

Family

ID=7651813

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10038808A Withdrawn DE10038808A1 (en) 2000-08-09 2000-08-09 Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element

Country Status (1)

Country Link
DE (1) DE10038808A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004102952A1 (en) * 2003-05-16 2004-11-25 Valeo Schalter Und Sensoren Gmbh Digital camera device and method for producing the same
DE10360754A1 (en) * 2003-12-23 2005-07-28 Hella Kgaa Hueck & Co. Image acquisition and display system for motor vehicle, has objective with specified, progressively varying imaging scale, whereby largest imaging scale lies in range from that of normal objective to that of teleobjective
DE102005039241A1 (en) * 2005-08-19 2007-02-22 Conti Temic Microelectronic Gmbh Picture receiver for motor vehicle driver assist system has multiple image pixels with trapezoidal rows of pixels defining edges of roadway image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4336288C1 (en) * 1993-10-25 1995-03-30 Daimler Benz Ag Device for monitoring the rear or front space of a parking motor vehicle
US5489940A (en) * 1994-12-08 1996-02-06 Motorola, Inc. Electronic imaging system and sensor for correcting the distortion in a wide-angle lens
EP0786814A1 (en) * 1996-01-26 1997-07-30 Hewlett-Packard Company Photosensor array with compensation for optical aberrations and illumination non-uniformity
DE19603267A1 (en) * 1996-01-30 1997-07-31 Bosch Gmbh Robert Device for determining the distance and / or position
DE19612914A1 (en) * 1996-04-01 1997-10-02 Weiss Electronic Elektronische Device for controlling a traffic monitoring device
DE19546391C2 (en) * 1994-12-12 2000-01-13 Hisatsugu Nakamura Movable interacitv workstation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4336288C1 (en) * 1993-10-25 1995-03-30 Daimler Benz Ag Device for monitoring the rear or front space of a parking motor vehicle
US5489940A (en) * 1994-12-08 1996-02-06 Motorola, Inc. Electronic imaging system and sensor for correcting the distortion in a wide-angle lens
DE19546391C2 (en) * 1994-12-12 2000-01-13 Hisatsugu Nakamura Movable interacitv workstation
EP0786814A1 (en) * 1996-01-26 1997-07-30 Hewlett-Packard Company Photosensor array with compensation for optical aberrations and illumination non-uniformity
DE19603267A1 (en) * 1996-01-30 1997-07-31 Bosch Gmbh Robert Device for determining the distance and / or position
DE19612914A1 (en) * 1996-04-01 1997-10-02 Weiss Electronic Elektronische Device for controlling a traffic monitoring device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004102952A1 (en) * 2003-05-16 2004-11-25 Valeo Schalter Und Sensoren Gmbh Digital camera device and method for producing the same
DE10360754A1 (en) * 2003-12-23 2005-07-28 Hella Kgaa Hueck & Co. Image acquisition and display system for motor vehicle, has objective with specified, progressively varying imaging scale, whereby largest imaging scale lies in range from that of normal objective to that of teleobjective
DE102005039241A1 (en) * 2005-08-19 2007-02-22 Conti Temic Microelectronic Gmbh Picture receiver for motor vehicle driver assist system has multiple image pixels with trapezoidal rows of pixels defining edges of roadway image

Similar Documents

Publication Publication Date Title
DE102017130566A1 (en) Visual system for detecting a vehicle environment
EP2765031B1 (en) Vision system for vehicles, in particular for commercial vehicles
DE102006003538B3 (en) Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
DE102012001835B4 (en) Vision system for a commercial vehicle for displaying legally required fields of vision of a main mirror and a wide-angle mirror
DE102013220669A1 (en) Dynamic rearview indicator features
EP3392692A2 (en) Camera system for a motor vehicle, mirror replacement system with such a camera system and driver assistance system comprising such a system
EP2934947A1 (en) Motor vehicle having a camera monitoring system
DE102013220477B4 (en) Method and device for correcting a pictorial representation of a vehicle environment
EP3607740B1 (en) Camera device and method for detecting an area outside a vehicle
DE102018108751B4 (en) Method, system and device for obtaining 3D information from objects
DE102016104731A1 (en) Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system and motor vehicle
DE102008003800A1 (en) Method and device for image acquisition for motor vehicles
DE10038808A1 (en) Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element
DE102014224903A1 (en) Optical environment sensor for vehicles
DE102014209863A1 (en) Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle
DE112019006274B4 (en) Synchronized camera system with two different cameras and method for controlling or synchronizing a first and a second camera of the camera system
EP3833576B1 (en) Surveillance camera system
DE102013220839A1 (en) Imaging system for car, has processor for dynamically adjusting brightness of captured image based on brightness of virtual image, and rearview mirror display device for displaying brightness adjusted image
DE102014111186B4 (en) METHOD OF DISPLAYING A CAPTURED IMAGE ON A DISPLAY DEVICE OF A DRIVEN VEHICLE
WO2015090997A1 (en) Optical sensor system
DE102020107949A1 (en) Field of view assist image generation apparatus and image conversion method
EP3234907A1 (en) Camera system and method for visualizing at least one vehicle surroundings region of vehicle surroundings of a vehicle
DE102015006637A1 (en) Method for equalizing images
DE102014219422B4 (en) Driver assistance system for a vehicle and a method for adjusting an image area of an image for a driver assistance system
EP3910928B1 (en) Method for creating a spatially highly accurate, located street panorama photo and system for same

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8141 Disposal/no request for examination