DE10038808A1 - Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element - Google Patents
Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection elementInfo
- Publication number
- DE10038808A1 DE10038808A1 DE10038808A DE10038808A DE10038808A1 DE 10038808 A1 DE10038808 A1 DE 10038808A1 DE 10038808 A DE10038808 A DE 10038808A DE 10038808 A DE10038808 A DE 10038808A DE 10038808 A1 DE10038808 A1 DE 10038808A1
- Authority
- DE
- Germany
- Prior art keywords
- camera device
- electronic camera
- electronic
- image
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 title claims abstract description 8
- 230000003287 optical effect Effects 0.000 title abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims 1
- 238000000034 method Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Abstract
Description
Die Erfindung betrifft eine elektronische Kameraeinrichtung mit vorgeschalteter Objektiveinheit und mit einem elektronischen Bilderfassungselement und sowie einer elektronischen Bildverarbeitungs- und Darstellungseinheit gemäß Oberbegriff des Patentanspruches 1.The invention relates to an electronic camera device with an upstream Lens unit and with an electronic image capture element and and electronic image processing and display unit according to the preamble of Claim 1.
Insbesondere für das Einsatzgebiet bei Kraftfahrzeugen werden zur Ergänzung normal üblicher Spiegel auch Kameras oder Kameraanordnungen mitverwendet. Sie spielen zum einen eine Rolle für die automatische Verkehrszeichenerkennung, jedoch auch zur elektronischen Erfassung von Umgebungsdaten, die mit Hilfe von Mustervergleichsverfahren ausgewertet werden.In particular for the area of application in motor vehicles are normal to supplement Common mirror also used cameras or camera arrangements. You play on the one hand a role for automatic traffic sign recognition, but also on electronic recording of environmental data using Pattern comparison methods can be evaluated.
Darüber hinausgehend werden Kameras für Kraftfahrzeuge eingesetzt, um den Blick durch den Spiegel zu ergänzen, und ggf. Bereiche des toten Winkels zu füllen.In addition, cameras for automobiles are used to keep the view supplemented by the mirror and, if necessary, fill areas of the blind spot.
Hierbei werden auch Einparkhilfen oder Rangierhilfen in Verwendung von Kameras oder Kamerasystemen in Kraftfahrzeugen eingesetzt.This also includes parking aids or maneuvering aids using cameras or Camera systems used in motor vehicles.
Aus der DE 195 39 642 A1 ist ein Verfahren sowie eine entsprechende Einrichtung in Form einer Parkhilfekamera für einen Pkw angegeben. Mit unbeweglicher, extremer Weitwinkeloptik und Entzerrung des aufgenommenen Bildes durch eine elektronische Transformation des Bildsignals wird das so erfaßte Bild aufgenommen und verarbeitet. Bei der Bildpunktinformation des Aufnahmesensors werden diese den Bildpunkten der Wiedergabeeinheit beispielsweise eines Bildschirmes zugeordnet. Die Entzerrung des dargestellten Bildes mit Hilfe einer Weitwinkeloptik extremer Art, erfolgt in diesem beschriebenen Beispiel auf elektronischem Wege durch besagte Transformation des Bildsignals. Verfahren dieser Art sind recht aufwendig und haben überdies den Nachteil, daß durch die Notwendigkeit der Berechnung aller Bildpunkte die Bildwiederholfrequenzen herabgesetzt werden. Eine hohe Bildwiederholfrequenz ist jedoch maßgeblich für die flimmerfreie Wiedergabe des Anzeigebildes. Desweiteren ist zur zeitlichen Auflösung von Bewegungsabläufen eine hohe Bildwiederholfrequenz notwendig. Aus diesem Grund ist ein Verfahren mit einer entsprechend aufwendigen mathematischen und somit auch elektronischen Transformation weder absolut flimmerfrei, noch werden Bewegungsabläufe in Echtzeit bis hin zu höheren Geschwindigkeiten auflösbar.DE 195 39 642 A1 describes a method and a corresponding device in Form of a parking aid camera specified for a car. With immobile, extreme Wide-angle optics and rectification of the captured image by an electronic Transformation of the image signal, the image captured in this way is recorded and processed. With the pixel information of the recording sensor, these become the pixels of the Playback unit assigned to a screen, for example. The equalization of the shown image with the help of a wide-angle optical system of an extreme kind takes place in this described example electronically by said transformation of Image signal. Processes of this type are quite complex and moreover have the disadvantage that that due to the need to calculate all the pixels Refresh rates are reduced. There is a high refresh rate however decisive for the flicker-free reproduction of the display image. Furthermore is a high refresh rate for the temporal resolution of motion sequences necessary. For this reason, a method with a correspondingly complex mathematical and thus also electronic transformation neither absolutely Flicker-free, movements are still in real time up to higher Dissolvable speeds.
Aus der US 4 943 821 ist eine sog. VideoLux-Panoramakamera angegeben, bei welcher der Film auf einem Zylinderflächensegment aufgelegt wird, und eine optische Einheit mit einer Schlitzblende auf einer äußeren Kreisbahn umläuft um den Film zu belichten. Durch die Kontur des Filmes werden sowohl Schärfeebenen, als auch Verzerrungsprobleme gelöst. Auf diese Weise findet jedoch nur eine Berücksichtigung einer räumlichen Verzerrung entlang der Zylinderkrümmung statt. Eine Wölbung auf einem Kugelflächensegment ist aus Gründen der Verwendung eines zu belichtenden Filmes ausgeschlossen. Aus diesem Grund eignet sich eine Kamera dieser Art nicht für den Einsatz im Bereich einer elektronischen Kamera.A so-called VideoLux panorama camera is disclosed in US Pat. No. 4,943,821 the film is placed on a cylindrical surface segment, and an optical unit with a slit diaphragm on an outer circular path to expose the film. Due to the contour of the film, both sharpness levels as well Distortion problems solved. However, this only takes into account spatial distortion along the cylinder curvature. A bulge on a spherical surface segment is to be exposed for reasons of use Film excluded. For this reason, a camera of this type is not suitable for use in the area of an electronic camera.
Aus der US 5 754 910 ist ebenfalls eine Filmkamera bekannt, die mit einem Belichtungsfilm arbeitet. Im Aufnahmebereich ist diese gekrümmt und so hat der Film einen angenähert konstanten Abstand zur Optik. Auch hierbei gilt das oben bereits Gesagte.A film camera is also known from US Pat. No. 5,754,910 Exposure film works. In the recording area this is curved and so is the film an approximately constant distance from the optics. This also applies here above Said.
Eine Kamera dieser Art ist ebenso aus der US 4 855 774 bekannt, zu der auch das oben Gesagte gilt.A camera of this type is also known from US 4,855,774, to which also the above Said applies.
Ebenso ist aus der US 5 870 135 ebenso eine fotografische Kamera mit Film bekannt, bei der jedoch eine Aufsplittung des Gesamtbildes vorgenommen wird.A photographic camera with film is also known from US Pat. No. 5,870,135. in which, however, the overall picture is split up.
Insbesondere die fotografischen Kameras mit Film, aber auch die übrigen Kameras eignen sich nicht dazu, ein aufgenommenes Bild bzw. eine Situation in Echtzeit auf einem Display in tatsächlich entzerrter Weise wiederzugeben und zum anderen sind im erstgenannten Beispiel die Wiederholfrequenzen aufgrund des hohen rechentechnischen Aufwandes zu niedrig.In particular the photographic cameras with film, but also the other cameras are not suitable for taking a captured picture or a situation in real time reproduce a display in an actually rectified manner and on the other hand first mentioned example, the repetition frequencies due to the high computational Effort too low.
Der Erfindung liegt somit die Aufgabe zugrunde, eine elektronische Kameraeinrichtung, insbesondere zur Applizierung in oder an einem Kraftfahrzeug der gattungsgemäßen Art dahingehend weiterzubilden, daß die durch die Optik hervorgerufene Verzerrung des Bildes durch geeignete Maßnahmen entzerrt wird, ohne dabei die Bildwiederholfrequenz herabzusetzen oder zu begrenzen.The invention is therefore based on the object of an electronic camera device, in particular for application in or on a motor vehicle of the generic type to further develop that the distortion caused by the optics of the Appropriate measures are taken to equalize the image without reducing the refresh rate reduce or limit.
Bei einer elektronischen Kameraeinrichtung der gattungsgemäßen Art wird die gestellte Aufgabe durch die erfindungsgemäßen kennzeichnenden Merkmale des Patentanspruches 1 gelöst.In the case of an electronic camera device of the generic type, the posed Object by the characteristic features of the invention Claim 1 solved.
Weitere vorteilhafte Ausgestaltungen der erfindungsgemäßen Kameraeinrichtung sind in den abhängigen Ansprüchen angegeben.Further advantageous refinements of the camera device according to the invention are shown in the dependent claims.
Kem der Erfindung besteht hierbei darin, daß die durch die Objektiveinheit verursachte Verzerrung durch eine der Verzerrung oder Verzeichnung entsprechende nicht äquidistante Verteilung der Sensorpunkte des elektronischen Bilderfassungselement kompensierbar ist. Vorzugsweise sind die Sensorpunkte als Sensorpunktmatrix ausgebildet und/oder das elektronische Bilderfassungselement als CCD/CMOS-Chip. Bei entsprechend verwendeten Weitwinkelobjektiven ist die Verzeichnung im Randbereich des Bildes am größten. In erfindungsgemäßer Weise sind dort die Sensormatrixpunkte entsprechend der Verzeichnung dichter angeordnet als in der Mitte. Mit anderen Worten ist die gesamte Sensorpunktmatrix bzw. deren Einzelpunkte nicht äquidistant verteilt, sondern die Dichte der Sensorbildpunkte nimmt in den Bereichen zu, in denen die Verzeichnung am größten ist, nämlich in den Randbereichen. Dies gilt für eine planare bzw. plane Anordnung der Sensormatrix auf besagtem Chip.The core of the invention is that that caused by the lens unit Distortion caused by distortion or distortion is not Equidistant distribution of the sensor points of the electronic image capture element is compensable. The sensor points are preferably in the form of a sensor point matrix trained and / or the electronic image capture element as a CCD / CMOS chip. at Correspondingly used wide-angle lenses are the distortion in the edge area of the picture largest. In the manner according to the invention, the sensor matrix points are there arranged closer according to the distortion than in the middle. In other words the entire sensor point matrix or its individual points are not distributed equidistantly, but the density of the sensor pixels increases in the areas where the Distortion is greatest, namely in the peripheral areas. This applies to a planar or planar arrangement of the sensor matrix on said chip.
Bei der Bildwiedergabe wiederum ist die Bildpunktmatrix so ausgelegt, daß Sie normal ausgebildet, also mit äquidistant verteilten einzelnen Bildpunkten versehen ist. Das heißt, in den verzeichnenden Randbereichen der Sensorpunktmatrix wird mit einer höheren Punktdichte aufgenommen, die jedoch auf eine normal und gleich verteilte Bildpunktverteilung auf dem Bildschirm dargestellt wird. Für die Randbereiche heißt dies, daß die Bilddarstellungspunkte im Randbereich gegenüber den Sensorpunkten im Randbereich gestreckt sind und somit die Verzerrung kompensieren.When it comes to image reproduction, the pixel matrix is designed so that it is normal formed, that is provided with equidistantly distributed individual pixels. This means, in the edge regions of the sensor point matrix with a higher Point density recorded, but on a normal and evenly distributed Pixel distribution is displayed on the screen. For the edge areas, this means that the image display points in the edge area compared to the sensor points in Border area are stretched and thus compensate for the distortion.
In weiterer vorteilhafter Ausgestaltung ist daher vorgesehen, daß die Sensorpunktverteilung der CCD/CMOS-Matrix der durch die Objektiveinheit vorgegebenen Verzeichnung entspricht. Das heißt, die beschriebene Streckung der Bildpunktverteilung gegenüber der Sensorpunktverteilung entspricht im Randbereich der besagten Verzeichnung. Auf diese Weise wird die Verzeichnung durch eine entsprechende Verteilung kompensiert, in einer Art und Weise, daß keine elektronische Nachbearbeitung, und keine elektronische Entzerrung notwendig ist. Auf diese Weise können die Bildwiederholfrequenzen unbeeinflußt von einer ansonsten notwendigen Rechengeschwindigkeit hochgesetzt werden, um ein Flimmern des Bildschirmes zu vermeiden. Ebenso werden auch schnellere dynamische Bilder in Echtzeit darstellbar, weil hohe Bildwiederholfrequenzen einsetzbar sind.In a further advantageous embodiment it is therefore provided that the Sensor point distribution of the CCD / CMOS matrix through the lens unit specified distortion. That is, the stretching described Pixel distribution compared to the sensor point distribution corresponds to in the edge area said distortion. In this way the distortion is caused by a appropriate distribution compensated in a way that no electronic Post-processing, and no electronic equalization is necessary. In this way can refresh rates unaffected by an otherwise necessary Computing speed can be increased to cause the screen to flicker avoid. Faster dynamic images can also be displayed in real time, because high refresh rates can be used.
Im übrigen wird hierdurch der ansonsten hardwaremäßig notwendige Aufwand deutlich reduziert. In weiterer vorteilhafter Ausgestaltung ist somit angegeben, daß die entsprechende Verteilung gemäß der kissenförmigen Verzerrung entsprechend vorgenommen wird. Dies muß jedoch nicht ausschließlich sein und hängt von den verwendeten Objektiven ab. Die Verzerrungen können auch anderer Art sein, wodurch bei entsprechend fest verwendetem Objektiv eine entsprechend angepaßte CCD/CMOS- Matrix verwendet werden kann, die dann ebenso in der erfindungsgemäßen Weise gemäß Anspruch 1 ausgebildet ist.Otherwise, the effort that would otherwise be necessary in terms of hardware becomes clear reduced. In a further advantageous embodiment, it is thus stated that the appropriate distribution according to the pillow-like distortion accordingly is made. However, this does not have to be exclusive and depends on the used lenses. The distortions can also be of a different type, as a result with a correspondingly fixed lens, a correspondingly adapted CCD / CMOS Matrix can be used, which is then also in the manner according to the invention is formed according to claim 1.
In weiterer vorteilhafter Ausgestaltung ist angegeben, daß die Sensorpunktmatrix des CCD/CMOS-Chips auf einer entsprechend verzeichnend gewölbten Fläche, also nicht plan angeordnet ist. Bei dieser Ausgestaltungsversion braucht keine Verdichtung der Sensorbildpunkte im Randbereich zu erfolgen, was in der erfindungsgemäßen Weise bei Verwendung eines trotzdem planaren, vollkommen ebenen Systems notwendig wäre, sondern der Verzeichnung wird dadurch entgegnet, daß die Sensorpunktmatrix auf einer entsprechend gewölbten Fläche angeordnet ist. Das heißt, der Chip wäre dann nicht mehr planar, sondern entsprechend gewölbt. Auf diese Weise würden sich die genannten Kompensationseffekte in gleicher Weise erzielen lassen.In a further advantageous embodiment it is indicated that the sensor point matrix of the CCD / CMOS chips on a correspondingly curved surface, not is arranged plan. With this design version, no compression of the Sensor pixels to take place in the edge area, which in the manner according to the invention It would be necessary to use a planar, completely flat system Rather the distortion is countered by the fact that the sensor point matrix on a is arranged according to the curved surface. That means the chip would not be there more planar, but curved accordingly. That way they would can achieve the aforementioned compensation effects in the same way.
In entsprechend vorteilhafter Ausgestaltung ist angegeben, daß die Kameraeinrichtung eine am Kraftfahrzeug angeordnete Kamera ist, insbesondere zur elektronischen Erfassung von Umgebungsdaten und Umgebungsbildern. Durch die Verwendung einer solchen erfindungsgemäßen Kameraeinrichtung ist die Darstellung eines flimmerfreien Bildes mit minimalem elektronischen Aufwand möglich. Durch die Verwendbarkeit von Weitwinkelobjektiven ergibt sich somit ein großes Blickfeld und durch die erfindungsgemäße Kompensation oder Entzerrung wird ein realgetreues Bild ohne Verzeichnung auf einfache Weise wiedergegeben. In a correspondingly advantageous embodiment, it is stated that the camera device is a camera arranged on the motor vehicle, in particular for the electronic one Collection of environmental data and images. By using a such a camera device according to the invention is the representation of a flicker-free Image with minimal electronic effort possible. The availability of Wide-angle lenses thus provide a large field of view and through that compensation or equalization according to the invention becomes a real image without Distortion reproduced in a simple manner.
Auf diese Weise ist wegen einer verzeichnungsfreien elektronischen Erfassung der Umgebung die Einbindung der erfindungsgemäßen Kameraeinrichtung in ein automatisches Verkehrszeichenerkennungssystem von großem Vorteil. Wegen der verzeichnungsfreien Ermittlung der Umgebungsdaten können auch Fahrbahnmarkierungen deutlich besser erkannt werden, was wiederum eine automatische Verkehrsführung des Fahrzeuges begünstigt.In this way, due to a distortion-free electronic recording Environment the integration of the camera device according to the invention in a automatic traffic sign recognition system of great advantage. Because of the distortion-free determination of the environmental data can also Road markings are clearly recognized, which in turn is a automatic traffic control of the vehicle favors.
Im übrigen können zur Erfassung hoher Blickwinkel sogar extreme Weitwinkelobjektive eingesetzt werden, da das verzeichnete erfasste Bild auf erfindungsgemäß einfache Weise kompensierbar ist.In addition, even extreme wide-angle lenses can be used to capture high viewing angles can be used because the recorded image recorded on simple according to the invention Way is compensable.
Darüber hinausgehend kann der Einsatz der erfindungsgemäßen Kameraeinrichtung in einer sog. Park-/Rangierhilfeeinrichtung von Vorteil sein. Durch den oben genannten funktionalen Zusammenhang, nämlich daß durch die Erfindung auf einfache Weise eine verzeichnungsfreie Ermittlung und Wiedergabe der Umgebungsdaten möglich ist, können somit insbesondere für den Park- und Rangierhilfefall extreme Weitwinkelobjektive verwendet werden, deren naturgemäße Verzeichnung durch die erfindungsgemäße Kameraeinrichtung wieder wettgemacht wird. Durch die Verwendbarkeit extremer Weitwinkelobjektive ist ein erheblich großer Einsichtnahmewinkel möglich. Im übrigen können somit dem bilddarstellenden Display im Kraftfahrzeug Entfernungen durch die erfindungsgemäße Entzerrung deutlich besser eingeschätzt werden.In addition, the use of the camera device according to the invention in a so-called parking / maneuvering facility would be an advantage. Through the above functional connection, namely that by the invention in a simple manner distortion-free determination and reproduction of the environmental data is possible, can be extreme, especially for parking and maneuvering assistance Wide-angle lenses are used, the natural distortion of which camera device according to the invention is made up for again. Through the Usability of extreme wide angle lenses is a considerably large one Viewing angle possible. Otherwise, the image display in the Motor vehicle distances significantly better due to the equalization according to the invention be assessed.
In vorteilhafter Ausgestaltung ist eine Kombination mit Entfernungsdaten zu auf diese Weise aufgenommenen Hindernissen von weiterem Vorteil.In an advantageous embodiment, a combination with distance data is to be applied to this Obstacles recorded in a manner that is of further advantage.
Darüber hinausgehend ist von Vorteil, ein Extremweitwinkelobjektiv nach der Art eines Fischaugenobjektives zu verwenden, welches eine dramatische Verzeichnung der Umgebungsdaten produziert. Durch eine entsprechend, auf diese hohe Verzeichnung hin, gemäß der Lehre der Erfindung, eine entsprechend kompensierende Anordnung der Sensorpunktverteilung auf der CCD/CMOS-Matrix vorzunehmen, ist es möglich, auch extreme Blickwinkel zu eröffnen.In addition, it is advantageous to use an extreme wide-angle lens of the type To use fisheye lenses, which is a dramatic distortion of the Environmental data produced. By a corresponding, on this high distortion towards, according to the teaching of the invention, a corresponding compensating arrangement of It is possible to make sensor point distribution on the CCD / CMOS matrix, too to open extreme perspectives.
Darüber hinausgehend kann, wie oben bereits dargestellt, die Auslese und Darstellung der Bilddaten ohne Zeitversatz wegen der nicht benötigten Rechenzeit generiert werden und die Wiederholfrequenzen können dabei so hoch gesetzt werden, daß ein flimmerfreies, optisches Auflösen des Bildes durch das menschliche Auge gegeben ist. Bei einer elektronischen Nachbearbeitung jedes einzelnen Bildpunktes sind in der Regel solche Bildwiederholfrequenzen dieser Art nicht erreichbar. Möglicherweise könnte es für stehende Bilder noch realisierbar sein, jedoch bei bewegten Objekten und der entsprechenden Erfassung der Bewegung in Realzeit auf der Displaydarstellung würde bei entsprechendem Recheneinsatz gemäß Stand der Technik ein stockendes, und nicht kontinuierlich wiedergegebenes Bild entstehen. Mit der beschriebenen Erfindung in ihrer Ausgestaltung ist genau dies vermieden.In addition, as already shown above, the selection and display the image data are generated without a time offset due to the unnecessary computing time and the repetition frequencies can be set so high that a flicker-free, optical resolution of the image is given by the human eye. In the case of electronic post-processing of each individual pixel, as a rule such refresh rates of this type cannot be achieved. It could possibly be for still images can still be realized, but with moving objects and the corresponding detection of the movement in real time on the display would with corresponding computing use according to the state of the art a halting and not continuously reproduced image. With the described invention in its This is exactly avoided.
Darüber hinausgehend ist angegeben, daß in weiterer vorteilhafter Ausgestaltung eine Einbindung des Kamerasystems in ein insgesamt automatisches Verkehrsleitsystem, insbesondere ein Autopilotsystem eingebunden werden kann. Durch die klare und Realzeit entsprechende Erfassung der Umgebungsdaten ohne Verlust durch Rechenzeit, und eine immer in Realzeit ablaufende Darstellung der Umgebungsdaten auch im Fahrbetrieb, ggf. bei hohen Geschwindigkeiten, ermöglicht erst den Zugang zu einer Verwendung in einem Autopilotsystem. Dadurch, daß der Rechenaufwand gegenüber den Verfahren und Einrichtungen gemäß Stand der Technik hier nun entfällt, ist es nunmehr möglich, die erfaßten Bilddaten sofort zu erfassen und in Realzeit verarbeiten zu können. Ein Autopilotsystem dieser Art, welches durch eine Kamera, mit entsprechender Umgebungserkennung ergänzt ist, ist es nunmehr auch funktional möglich, die reinen Navigationsdaten über ein GPS-System zu ergänzen bzw. zu erweitern. Eine reine Autopilotfunktion gestützt lediglich auf die Navigationseinrichtung birgt die Gefahr, daß unvorhergesehene, nicht aktualisierte Streckenabweichungen gegenüber den gespeicherten und ermittelten Navigationsdaten bei einem Autopilotsystem natürlich verheerende Folgen haben könnten. Die verzeichnungsfreie elektronische Erfassung der Umgebungsdaten, vor allen Dingen in Realzeit, wegen des entfallenden Rechenaufwandes, ermöglicht ein stetes, fortwährendes automatisches Eingreifen in ein navigationsgestütztes Autopilotsystem.In addition, it is indicated that in a further advantageous embodiment Integration of the camera system in an overall automatic traffic control system, in particular an autopilot system can be integrated. Through the clear and Real-time acquisition of the surrounding data without loss of computing time, and a real-time display of the environmental data also in the Driving, possibly at high speeds, only allows access to one Use in an autopilot system. The fact that the computational effort compared the methods and devices according to the state of the art are now eliminated, it is now possible to capture the captured image data immediately and process it in real time to be able to. An autopilot system of this type, which is equipped with a camera appropriate environmental detection is added, it is now also functional possible to complete or to add the pure navigation data via a GPS system expand. A pure autopilot function is only based on the navigation device carries the risk that unforeseen, not updated route deviations compared to the stored and determined navigation data for a Autopilot system could of course have devastating consequences. The distortion-free electronic recording of the surrounding data, especially in real time, because of the no computational effort, enables constant, continuous automatic Intervention in a navigation-based autopilot system.
Die Erfindung ist in der Zeichnung weitergehend erläutert.The invention is further explained in the drawing.
Es zeigt:It shows:
Fig. 1 Verteilung der Sensorpunkte auf der CCD/CMOS-Matrix. Fig. 1 distribution of the sensor points on the CCD / CMOS matrix.
Fig. 2 Darstellung der Einzelkomponenten zueinander. Fig. 2 representation of the individual components to each other.
Fig. 1 zeigt die Verteilung der Sensorpunkte 2, die als Bilderfassungszellen jeweils punktweise ausgestaltet und anschließend elektronisch bzw. elektrisch miteinander verschaltet sind. Die einzelnen Sensorpunkte 2 bzw. die Bilderfassungszellen, sind gemäß der in Fig. 1 dargestellten verteilten Punkte auf dem CCD/CMOS-Chip 1 verteilt. Geht man nun von einer kissenförmigen Verteilung aus, die von einem entsprechenden Objektiv oder Weitwinkelobjektiv mehr oder weniger erzeugt wird, so wird entsprechend angepaßt auf das jeweils verwendete Objektiv die entsprechende CCD/CMOS-Chip- Matrix in entsprechend nicht mehr äquidistanter Positionierung der einzelnen Sensorpunkte 2 angelegt. In den Randbereichen eines mehr oder weniger quadratischen Blickfeldes bzw. Blickraumes, lokalisiert sich das Maximum der Verzeichnung in den jeweiligen Ecken. In entsprechender Weise sind dann die Sensorpunkte 2 dort dichter verteilt. Die Darstellung der so aufgenommenen sensorischen Werte der einzelnen Sensorpunkte bzw. der Bilderfassungszellen im einzelnen werden in Summe wiederum erfaßt, da sie auf dem genannten Chip 1 gemeinsam verschaltet sind, und werden der Verarbeitungseinheit und anschließend dem Anzeigebildschirm bzw. der Bilddarstellungseinheit zugeführt. Durch die nicht äquidistante Verteilung der einzelnen Zellen im Randbereich wird nun auf erfindungsgemäße Weise die Verzeichnung dadurch kompensiert, daß die so nicht äquidistant verteilten Sensorpunkte 2 in Fig. 1, jedoch in einer Bilddarstellungseinheit die entsprechenden Sensorpunktwerte wieder an äquidistant verteilte Bilddarstellungspunkte, sog. Pixel, die im Display äquidistant verteilt sind, zugeordnet. Hierdurch wird eine geometrische Transformation allein durch die räumliche Verteilung der Sensorpunkte 2 im Gegensatz zu den Bildpixeln der Bilddarstellungseinheit bewirkt. Diese geometrische Transformation entspricht in kompensierender Weise der Verzeichnung des Objektives, wodurch ein Rechenaufwand durch eine mathematische Transformation völlig entfällt. Durch den entfallenden Rechenaufwand können Bildwiederholfrequenzen so hoch gesetzt werden, daß auch bewegte Bilder flimmerfrei dargestellt werden können. Fig. 1 shows the distribution of sensor points 2, which are designed as point-wise imaging cells each and then electronically or electrically interconnected. The individual sensor points 2 or the image acquisition cells are distributed on the CCD / CMOS chip 1 in accordance with the distributed points shown in FIG. 1. If one now assumes a pillow-shaped distribution, which is more or less produced by a corresponding lens or wide-angle lens, the corresponding CCD / CMOS chip matrix is correspondingly adapted to the lens used in each case, in a correspondingly no longer equidistant positioning of the individual sensor points 2 created. In the edge areas of a more or less square field of view or viewing area, the maximum of the distortion is localized in the respective corners. In a corresponding manner, the sensor points 2 are then distributed more densely there. The representation of the sensory values recorded in this way of the individual sensor points or of the image acquisition cells in detail are again recorded in total, since they are connected together on said chip 1 , and are fed to the processing unit and then to the display screen or the image display unit. Due to the non-equidistant distribution of the individual cells in the edge region, the distortion is now compensated in a manner according to the invention in that the sensor points 2 not distributed in such a way in FIG. 1, but in an image display unit the corresponding sensor point values again to equidistantly distributed image display points, so-called pixels. which are distributed equidistantly in the display. As a result, a geometric transformation is brought about solely by the spatial distribution of the sensor points 2, in contrast to the image pixels of the image display unit. This geometric transformation corresponds to the distortion of the objective in a compensating manner, whereby a mathematical transformation completely eliminates the computational effort. Due to the elimination of computational effort, refresh rates can be set so high that moving images can also be displayed flicker-free.
Fig. 2 zeigt eine schematische Darstellung der einzelnen Elemente miteinander. Es ist eine Kamera 10 vorgesehen, die ein Objektiv 11 aufweist. Das so aufgenommene, über das Objektiv 11 fokussierte oder eingestellte Bild wird auf die Erfassungsfläche des CCD/CMOS-Chips 1 projiziert. In schematischer Darstellung ist hierbei der Chip in seiner Oberfläche, auf der die Sensorpunkte verteilt angeordnet sind, gekrümmt dargestellt. Dies betrifft zwar nur eine Ausgestaltungsversion der Erfindung, nämlich der, daß um die Verzeichnung zu kompensieren, die einzelnen Sensorpunkte 2 auf einer gekrümmten Oberfläche verteilt angeordnet sind. Die Krümmung würde dabei der Verzeichnung des Objektives 11 entsprechen. Würde in dieser Form ausgestaltet sein, so würde die Krümmung der Oberfläche des Chips 1, auf der die Sensorpunkte 2 angeordnet sind, sowohl horizontal, als auch azimutal sein. Gegenüber dem eingangs genannt beschriebenen Stand der Technik, bei dem die Krümmung nur in einer Koordinatenachse vornehmbar ist, weil im Stand der Technik dort Belichtungsfilme verwendet werden, statt eines Bilderfassungschips, kann hierbei und ist hierbei die Ausgestaltung eine andere. Fig. 2 shows a schematic representation of the individual elements together. A camera 10 is provided which has a lens 11 . The image thus recorded, focused or set via the lens 11 is projected onto the detection surface of the CCD / CMOS chip 1 . In a schematic representation, the surface of the chip on which the sensor points are arranged is shown curved. Although this only concerns one embodiment of the invention, namely that in order to compensate for the distortion, the individual sensor points 2 are arranged distributed on a curved surface. The curvature would correspond to the distortion of the lens 11 . If it were designed in this form, the curvature of the surface of the chip 1 on which the sensor points 2 are arranged would be both horizontal and azimuthal. Compared to the prior art described at the outset, in which the curvature can only be undertaken in one coordinate axis, because exposure films are used there in the prior art instead of an image capture chip, the configuration here can be different.
Eine weitere Möglichkeit, gemäß den oben bereits beschriebenen Ausgestaltungsmöglichkeiten besteht darin, daß die Chipoberfläche des CCD/CMOS- Chips 1 völlig eben, also planar ist und dafür die Sensorpunkte 2 nicht äquidistant und der Verzeichnung in entsprechender Weise in Fig. 1 verteilt angeordnet sind. Auf diese Weise ist natürlich dann auch ein planarer Chip ohne gekrümmte Sensorpunktoberfläche verwendbar. Die entsprechenden Bilddaten werden in einer Bildverarbeitungseinheit 20 nachfolgend bearbeitet, zugeordnet, ggf. findet hierin bereits ein Mustervergleich, im Falle einer elektronischen Erfassung und Weiterverarbeitung von Umgebungsdaten, statt. Nachfolgend ist eine Bilddarstellungseinheit 30 vorgesehen, die die Ausgangsdaten der Bildverarbeitung 20 nunmehr in einem entsprechenden Bild oder einer Bildschirmoberfläche oder einem Display darstellt.A further possibility, in accordance with the configuration options already described above, is that the chip surface of the CCD / CMOS chip 1 is completely flat, that is to say planar, and instead the sensor points 2 are not arranged equidistantly and the distortion is distributed in a corresponding manner in FIG. 1. In this way a planar chip without a curved sensor point surface can of course also be used. The corresponding image data are subsequently processed and assigned in an image processing unit 20 ; a pattern comparison may already take place here, in the case of electronic detection and further processing of environmental data. An image display unit 30 is provided below, which now shows the output data of the image processing 20 in a corresponding image or a screen surface or a display.
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10038808A DE10038808A1 (en) | 2000-08-09 | 2000-08-09 | Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10038808A DE10038808A1 (en) | 2000-08-09 | 2000-08-09 | Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10038808A1 true DE10038808A1 (en) | 2002-02-21 |
Family
ID=7651813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10038808A Withdrawn DE10038808A1 (en) | 2000-08-09 | 2000-08-09 | Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE10038808A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004102952A1 (en) * | 2003-05-16 | 2004-11-25 | Valeo Schalter Und Sensoren Gmbh | Digital camera device and method for producing the same |
DE10360754A1 (en) * | 2003-12-23 | 2005-07-28 | Hella Kgaa Hueck & Co. | Image acquisition and display system for motor vehicle, has objective with specified, progressively varying imaging scale, whereby largest imaging scale lies in range from that of normal objective to that of teleobjective |
DE102005039241A1 (en) * | 2005-08-19 | 2007-02-22 | Conti Temic Microelectronic Gmbh | Picture receiver for motor vehicle driver assist system has multiple image pixels with trapezoidal rows of pixels defining edges of roadway image |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4336288C1 (en) * | 1993-10-25 | 1995-03-30 | Daimler Benz Ag | Device for monitoring the rear or front space of a parking motor vehicle |
US5489940A (en) * | 1994-12-08 | 1996-02-06 | Motorola, Inc. | Electronic imaging system and sensor for correcting the distortion in a wide-angle lens |
EP0786814A1 (en) * | 1996-01-26 | 1997-07-30 | Hewlett-Packard Company | Photosensor array with compensation for optical aberrations and illumination non-uniformity |
DE19603267A1 (en) * | 1996-01-30 | 1997-07-31 | Bosch Gmbh Robert | Device for determining the distance and / or position |
DE19612914A1 (en) * | 1996-04-01 | 1997-10-02 | Weiss Electronic Elektronische | Device for controlling a traffic monitoring device |
DE19546391C2 (en) * | 1994-12-12 | 2000-01-13 | Hisatsugu Nakamura | Movable interacitv workstation |
-
2000
- 2000-08-09 DE DE10038808A patent/DE10038808A1/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4336288C1 (en) * | 1993-10-25 | 1995-03-30 | Daimler Benz Ag | Device for monitoring the rear or front space of a parking motor vehicle |
US5489940A (en) * | 1994-12-08 | 1996-02-06 | Motorola, Inc. | Electronic imaging system and sensor for correcting the distortion in a wide-angle lens |
DE19546391C2 (en) * | 1994-12-12 | 2000-01-13 | Hisatsugu Nakamura | Movable interacitv workstation |
EP0786814A1 (en) * | 1996-01-26 | 1997-07-30 | Hewlett-Packard Company | Photosensor array with compensation for optical aberrations and illumination non-uniformity |
DE19603267A1 (en) * | 1996-01-30 | 1997-07-31 | Bosch Gmbh Robert | Device for determining the distance and / or position |
DE19612914A1 (en) * | 1996-04-01 | 1997-10-02 | Weiss Electronic Elektronische | Device for controlling a traffic monitoring device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004102952A1 (en) * | 2003-05-16 | 2004-11-25 | Valeo Schalter Und Sensoren Gmbh | Digital camera device and method for producing the same |
DE10360754A1 (en) * | 2003-12-23 | 2005-07-28 | Hella Kgaa Hueck & Co. | Image acquisition and display system for motor vehicle, has objective with specified, progressively varying imaging scale, whereby largest imaging scale lies in range from that of normal objective to that of teleobjective |
DE102005039241A1 (en) * | 2005-08-19 | 2007-02-22 | Conti Temic Microelectronic Gmbh | Picture receiver for motor vehicle driver assist system has multiple image pixels with trapezoidal rows of pixels defining edges of roadway image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102017130566A1 (en) | Visual system for detecting a vehicle environment | |
EP2765031B1 (en) | Vision system for vehicles, in particular for commercial vehicles | |
DE102006003538B3 (en) | Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section | |
DE102012001835B4 (en) | Vision system for a commercial vehicle for displaying legally required fields of vision of a main mirror and a wide-angle mirror | |
DE102013220669A1 (en) | Dynamic rearview indicator features | |
EP3392692A2 (en) | Camera system for a motor vehicle, mirror replacement system with such a camera system and driver assistance system comprising such a system | |
EP2934947A1 (en) | Motor vehicle having a camera monitoring system | |
DE102013220477B4 (en) | Method and device for correcting a pictorial representation of a vehicle environment | |
EP3607740B1 (en) | Camera device and method for detecting an area outside a vehicle | |
DE102018108751B4 (en) | Method, system and device for obtaining 3D information from objects | |
DE102016104731A1 (en) | Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system and motor vehicle | |
DE102008003800A1 (en) | Method and device for image acquisition for motor vehicles | |
DE10038808A1 (en) | Electronic camera device for automobile has compensation of optical image attenuation provided by using varying spacing between chips within sensor point matrix for image detection element | |
DE102014224903A1 (en) | Optical environment sensor for vehicles | |
DE102014209863A1 (en) | Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle | |
DE112019006274B4 (en) | Synchronized camera system with two different cameras and method for controlling or synchronizing a first and a second camera of the camera system | |
EP3833576B1 (en) | Surveillance camera system | |
DE102013220839A1 (en) | Imaging system for car, has processor for dynamically adjusting brightness of captured image based on brightness of virtual image, and rearview mirror display device for displaying brightness adjusted image | |
DE102014111186B4 (en) | METHOD OF DISPLAYING A CAPTURED IMAGE ON A DISPLAY DEVICE OF A DRIVEN VEHICLE | |
WO2015090997A1 (en) | Optical sensor system | |
DE102020107949A1 (en) | Field of view assist image generation apparatus and image conversion method | |
EP3234907A1 (en) | Camera system and method for visualizing at least one vehicle surroundings region of vehicle surroundings of a vehicle | |
DE102015006637A1 (en) | Method for equalizing images | |
DE102014219422B4 (en) | Driver assistance system for a vehicle and a method for adjusting an image area of an image for a driver assistance system | |
EP3910928B1 (en) | Method for creating a spatially highly accurate, located street panorama photo and system for same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
8141 | Disposal/no request for examination |