DE102014110516A1 - Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle - Google Patents

Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle Download PDF

Info

Publication number
DE102014110516A1
DE102014110516A1 DE102014110516.8A DE102014110516A DE102014110516A1 DE 102014110516 A1 DE102014110516 A1 DE 102014110516A1 DE 102014110516 A DE102014110516 A DE 102014110516A DE 102014110516 A1 DE102014110516 A1 DE 102014110516A1
Authority
DE
Germany
Prior art keywords
camera
image
motor vehicle
correction function
overall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014110516.8A
Other languages
German (de)
Inventor
Brian Michael Thomas Deegan
Patrick Eoghan Denny
Vladimir Zlokolica
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102014110516.8A priority Critical patent/DE102014110516A1/en
Priority to PCT/EP2015/065925 priority patent/WO2016012288A1/en
Publication of DE102014110516A1 publication Critical patent/DE102014110516A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems (2) eines Kraftfahrzeugs (1), bei welchem zumindest eine erste Kamera (3) und eine zweite Kamera (4) unterschiedliche Umgebungsbereiche (6) des Kraftfahrzeugs (1) erfassen. Es wird ein erstes Bild durch die erste Kamera (3) aufgenommen, und es wird ein zweites Bild durch die zweite Kamera (4) aufgenommen. Weiterhin wird ein Gesamtbild (8) aus zumindest dem ersten und dem zweiten Bild durch eine Bildverarbeitungseinrichtung (5) des Kamerasystems (2) bereitgestellt. Es wird zumindest ein Teilbereich des Gesamtbildes (8), welcher sich gegenüber zumindest eines anderen Bildbereichs des Gesamtbilds (8) in einer Bildschärfe und/oder einem Bildkontrast unterscheidet, bestimmt, und eine Korrekturfunktion (14) auf den zumindest einen Teilbereich mittels der Bildverarbeitungseinrichtung (5) angewendet, wobei durch die Korrekturfunktion (14) der Unterschied in der Bildschärfe und/oder dem Bildkontrast reduziert wird.The invention relates to a method for operating a camera system (2) of a motor vehicle (1), in which at least one first camera (3) and one second camera (4) detect different surrounding areas (6) of the motor vehicle (1). A first image is taken by the first camera (3), and a second image is taken by the second camera (4). Furthermore, an overall image (8) of at least the first and the second image is provided by an image processing device (5) of the camera system (2). At least one subregion of the overall image (8) which differs in at least one other image region of the overall image (8) in an image sharpness and / or an image contrast is determined, and a correction function (14) is applied to the at least one subregion by means of the image processing device ( 5), wherein the difference in the image sharpness and / or the image contrast is reduced by the correction function (14).

Figure DE102014110516A1_0001
Figure DE102014110516A1_0001

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem zumindest eine erste und eine zweite Kamera unterschiedliche Umgebungsbereiche des Kraftfahrzeugs erfassen. Es wird ein erstes Bild durch die erste Kamera aufgenommen und es wird ein zweites Bild durch die zweite Kamera aufgenommen. Aus zumindest dem ersten und dem zweiten Bild wird durch eine Bildverarbeitungseinrichtung des Kamerasystems ein Gesamtbild bereitgestellt. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, mit zumindest einer ersten und einer zweiten Kamera, welche unterschiedliche Umgebungsbereiche des Kraftfahrzeugs erfassen. Weiterhin betrifft die Erfindung ein Fahrerassistenzsystem mit einem derartigen Kamerasystem, wie auch ein Kraftfahrzeug mit einem derartigen Fahrerassistenzsystem.The invention relates to a method for operating a camera system of a motor vehicle, in which at least a first and a second camera detect different environmental regions of the motor vehicle. A first image is taken by the first camera and a second image is taken by the second camera. From at least the first and the second image, an overall image is provided by an image processing device of the camera system. The invention also relates to a camera system for a motor vehicle, with at least one first and one second camera, which detect different environmental regions of the motor vehicle. Furthermore, the invention relates to a driver assistance system with such a camera system, as well as a motor vehicle with such a driver assistance system.

Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem zumindest eine erste und eine zweite Kamera unterschiedliche Umgebungsbereiche des Kraftfahrzeugs erfassen, sind aus dem Stand der Technik bekannt. So wird beispielsweise ein Gesamtbild aus einem ersten Bild von einer ersten Kamera und einem zweiten Bild von einer zweiten Kamera durch eine Bildverarbeitungseinrichtung des Kamerasystems bearbeitet. Hierbei können Verfahren auf das Gesamtbild angewandt werden, um Helligkeitswerte und/oder Farbwerte anzupassen. Zudem können Verfahren verwendet werden, die das Gesamtbild wie ein Gauß-Filter global glätten. Dies ist notwendig, da das Gesamtbild aus verschiedenen Bildern zusammengesetzt ist und somit heterogen ist. Das Gesamtbild ist auch deshalb heterogen, weil die Bilder, aus welchen das Gesamtbild zusammensetzt ist, von unterschiedlichen Kameras bereitgestellt sind. So kann jede der Kameras unterschiedliche Einstellungen für die Lichtempfindlichkeit, die Belichtungszeit und die Blendenöffnung aufweisen. Weiterhin sind die jeweiligen Kameras unterschiedlich ausgerichtet beziehungsweise haben ein unterschiedliches Sichtfeld. Somit befinden sich Objekte in dem Umgebungsbereich auch unterschiedlich weit von der jeweiligen Kamera entfernt.A method for operating a camera system of a motor vehicle, in which at least a first and a second camera detect different environmental regions of the motor vehicle, are known from the prior art. For example, an overall image from a first image from a first camera and a second image from a second camera are processed by an image processing device of the camera system. Here, methods can be applied to the overall image to adjust brightness values and / or color values. In addition, methods that globally smooth the overall picture like a Gaussian filter can be used. This is necessary because the overall picture is composed of different pictures and thus is heterogeneous. The overall picture is also heterogeneous because the pictures that make up the overall picture are provided by different cameras. Thus, each of the cameras can have different settings for the photosensitivity, the exposure time and the aperture. Furthermore, the respective cameras are oriented differently or have a different field of view. Thus, objects in the surrounding area are also located at different distances from the respective camera.

Verfahren, die der Inhomogenität des Gesamtbildes entgegenwirken möchten, sind weiterhin bekannt als räumliche Korrekturverfahren, Algorithmen für die Kalibrierung, oder Algorithmen, um die jeweiligen Bilder des Gesamtbildes zu verschmelzen und dabei die Randbereiche der jeweiligen Bilder zu verwischen.Methods that seek to counteract the inhomogeneity of the overall image are also known as spatial correction methods, algorithms for calibration, or algorithms for merging the respective images of the overall image, thereby blurring the edge regions of the respective images.

An dem genannten Stand der Technik ist nachteilig, dass, wie bereits oben erwähnt, die existierenden Algorithmen nur auf die Anpassung der Helligkeit und der Farbe fokussieren oder eben nur Algorithmen für die räumliche Korrektur, Kalibrierung, Verschmelzung genutzt werden. Es sind aber noch andere Eigenschaften des Gesamtbildes zu berücksichtigen, um das Gesamtbild homogen erscheinen zu lassen.It is disadvantageous in the cited prior art that, as already mentioned above, the existing algorithms focus only on the adaptation of the brightness and the color, or else only algorithms for the spatial correction, calibration, merging are used. However, other properties of the overall picture have to be considered in order to make the overall picture appear homogeneous.

Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie die Qualität eines Gesamtbildes, welches mit einem Kamerasystem eines Kraftfahrzeugs der eingangs genannten Gattung bereitgestellt wird, verbessert werden kann.It is an object of the invention to provide a solution as the quality of an overall image, which is provided with a camera system of a motor vehicle of the type mentioned, can be improved.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.This object is achieved by a method by a camera system, by a driver assistance system and by a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.

Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem zumindest eine erste und eine zweite Kamera unterschiedliche Umgebungsbereiche des Kraftfahrzeugs erfassen. Es wird ein erstes Bild durch die erste Kamera aufgenommen und es wird ein zweites Bild durch die zweite Kamera aufgenommen. Weiterhin wird ein Gesamtbild aus zumindest dem ersten und dem zweiten Bild durch eine Bildverarbeitungseinrichtung des Kamerasystems bereitgestellt, wobei das Gesamtbild auf einem Display in dem Kraftfahrzeug angezeigt wird. Es wird zumindest ein Teilbereich des Gesamtbildes bestimmt, welcher sich gegenüber zumindest einem anderen Bildbereich des Gesamtbilds in einer Bildschärfe und/oder einem Bildkontrast unterscheidet. Zudem wird eine Korrekturfunktion auf den zumindest einen Teilbereich mittels der Bildverarbeitungseinrichtung angewendet, wobei durch die Korrekturfunktion der Unterschied in der Bildschärfe und/oder dem Bildkontrast reduziert wird.An inventive method is used to operate a camera system of a motor vehicle, wherein at least a first and a second camera detect different environmental areas of the motor vehicle. A first image is taken by the first camera and a second image is taken by the second camera. Furthermore, an overall image of at least the first and the second image is provided by an image processing device of the camera system, wherein the overall image is displayed on a display in the motor vehicle. At least one subregion of the overall image is determined, which differs from at least one other image region of the overall image in terms of image sharpness and / or image contrast. In addition, a correction function is applied to the at least one subregion by means of the image processing device, wherein the difference in the image sharpness and / or the image contrast is reduced by the correction function.

Durch das erfindungsgemäße Verfahren wird es möglich, dass die Inhomogenität der Bildschärfe behoben wird. Weiterhin kann auch der variierende Kontrast des Gesamtbildes angeglichen beziehungsweise angepasst werden. Dies hat den Vorteil, dass das Gesamtbild besonders homogen erscheint. Weiterhin ist das Gesamtbild mit der hohen Bildschärfe besser geeignet, um Objekte in dem Umgebungsbereich des Kraftfahrzeugs zu erkennen.The method according to the invention makes it possible to eliminate the inhomogeneity of the image sharpness. Furthermore, the varying contrast of the overall picture can be adjusted or adjusted. This has the advantage that the overall picture appears particularly homogeneous. Furthermore, the overall picture with the high definition is better suited to recognize objects in the surrounding area of the motor vehicle.

Die erste und die zweite Kamera sind vorzugsweise so an dem Kraftfahrzeug angebracht, dass der gesamte Umgebungsbereich des Kraftfahrzeugs erfasst werden kann. Es sind somit zumindest eine Frontkamera und/oder zumindest eine Heckkamera und/oder zumindest jeweils eine Seitenkamera vorgesehen. Die erste und die zweite Kamera ist vorzugsweise eine Videokamera, welche eine Vielzahl von Bildern (Frames) pro Sekunde bereitstellen kann. Die erste und/oder die zweite Kamera kann eine CCD-Kamera oder eine CMOS-Kamera sein.The first and the second camera are preferably mounted on the motor vehicle so that the entire surrounding area of the motor vehicle can be detected. Thus, at least one front camera and / or at least one rear-view camera and / or at least one respective side camera are provided. The first and the second camera is preferably a video camera, which has a Can provide a variety of images (frames) per second. The first and / or the second camera may be a CCD camera or a CMOS camera.

In einer Ausführungsform ist vorgesehen, dass das Gesamtbild als ein Draufsichtbild der Umgebungsbereiche des Kraftfahrzeugs mit einem eingeblendeten Abbild des Kraftfahrzeugs bereitgestellt wird. dieses Draufsichtbild wird auf einem Display im Kraftfahrzeug angezeigt. Anhand des Draufsichtbildes kann beispielsweise ein Fahrer des Kraftfahrzeugs sehen, welche Objekte beziehungsweise Hindernisse sich im Umgebungsbereich des Kraftfahrzeugs befinden. Das eingeblendete Abbild des Kraftfahrzeugs hilft dem Fahrer, einen Abstand zu den Objekten von dem Kraftfahrzeug einschätzen zu können.In an embodiment, it is provided that the overall image is provided as a top view image of the surrounding areas of the motor vehicle with a superimposed image of the motor vehicle. This top view image is displayed on a display in the motor vehicle. On the basis of the top view image, a driver of the motor vehicle can see, for example, which objects or obstacles are located in the surrounding area of the motor vehicle. The superimposed image of the motor vehicle helps the driver to be able to estimate a distance to the objects of the motor vehicle.

Insbesondere ist vorgesehen, dass die Korrekturfunktion für zumindest einen Bildpunkt innerhalb des Teilbereichs angewandt wird und die Korrekturfunktion abhängig von einer Position des zumindest einen Bildpunktes in dem Teilbereich angepasst wird. Dies ist vorteilhaft, weil somit nicht ein globales Verfahren auf das Gesamtbild angewendet wird, sondern das Verfahren lokal angepasst ausgeführt werden kann. Lokal angepasst bedeutet, dass die Position des anzupassenden Bildpunktes in dem Gesamtbild eine Rolle beim Anwenden der Korrekturfunktion spielt.In particular, it is provided that the correction function is applied for at least one pixel within the subregion and the correction function is adapted as a function of a position of the at least one pixel in the subregion. This is advantageous because it does not apply a global method to the overall picture, but the method can be carried out locally. Localized means that the position of the pixel to be adjusted in the overall image plays a role in applying the correction function.

In einer weiteren Ausgestaltung ist vorgesehen, dass in dem Gesamtbild eine Position der ersten und/oder der zweiten Kamera angegeben wird und die Korrekturfunktion abhängig von der Position der ersten Kamera und/oder der zweiten Kamera bezüglich des zumindest einen Bildpunkts angepasst wird. Die Korrekturfunktion kann somit bezüglich einer Distanz von dem Bildpunkt zu der jeweiligen Kamera angepasst werden. Die Entfernung eines Objektes beziehungsweise des Bildpunktes von der Kamera ist ein Bestandteil der Qualität des Bildes und somit der Qualität des Gesamtbildes. Der Vorteil, welcher durch die Berücksichtigung der Position der Kamera entsteht, ist eine Homogenisierung beziehungsweise Verbesserung des Gesamtbildes, welches besser den lokalen Eigenschaften des Gesamtbildes entspricht.In a further embodiment it is provided that in the overall image, a position of the first and / or the second camera is specified and the correction function is adjusted depending on the position of the first camera and / or the second camera with respect to the at least one pixel. The correction function can thus be adapted with respect to a distance from the pixel to the respective camera. The removal of an object or the pixel from the camera is a component of the quality of the image and thus the quality of the overall picture. The advantage that arises from the consideration of the position of the camera is a homogenization or improvement of the overall image, which better corresponds to the local properties of the overall image.

In besonderer Ausgestaltung ist vorgesehen, dass die Korrekturfunktion abhängig von einer Orientierung der ersten und/oder der zweiten Kamera zu dem zumindest einen Bildpunkt angepasst wird. Die Orientierung beziehungsweise eine Lage der Kamera zu dem Objekt im Umgebungsbereich hat ebenfalls eine Auswirkung auf die Qualität des Bildes und somit des Gesamtbildes an der jeweiligen Position des Bildpunktes. So werden beispielsweise die Objekte, welche in einem Randbereich eines Sichtfeldes der Kamera aufgenommen werden, mit größeren Verzerrungen abgebildet als Objekte, welche nahe der optischen Achse der Kamera liegen. Der Vorteil bei der Berücksichtigung der Orientierung der Kamera ist nun, dass die Korrekturfunktion mit höherer Genauigkeit angewendet werden kann.In a particular embodiment, it is provided that the correction function is adapted to the at least one pixel as a function of an orientation of the first and / or the second camera. The orientation or a position of the camera to the object in the surrounding area also has an effect on the quality of the image and thus the overall picture at the respective position of the pixel. For example, the objects that are captured in an edge area of a field of view of the camera are imaged with larger distortions than objects that are near the optical axis of the camera. The advantage in considering the orientation of the camera is now that the correction function can be applied with higher accuracy.

Bevorzugt wird die Korrekturfunktion abhängig von geometrischen Transformationsparametern der Kamera angepasst. Die geometrischen Transformationsparameter können beispielsweise eine innere Orientierung und/oder eine äußere Orientierung sein. Die innere Orientierung kann beispielsweise verwendet werden, um Verzerrungen beziehungsweise Verzeichnungen, welche auf ein Objektiv der Kamera zurückgehen, berücksichtigt werden. Die äußere Orientierung kann verwendet werden, um von der Position des Objektes im Umfeldbereich zu einer Position des Bildpunktes im Bild und somit im Gesamtbild zu kommen. Der Vorteil ist also, dass die Verwendung der geometrischen Transformationsparameter zu einer weiteren Verbesserung des Gesamtbildes führen.The correction function is preferably adapted as a function of geometric transformation parameters of the camera. The geometric transformation parameters may be, for example, an inner orientation and / or an outer orientation. The inner orientation can be used, for example, to account for distortions due to a lens of the camera. The outer orientation can be used to get from the position of the object in the surrounding area to a position of the pixel in the image and thus in the overall picture. The advantage is therefore that the use of the geometric transformation parameters lead to a further improvement of the overall picture.

Weiterhin ist bevorzugt vorgesehen, dass die Korrekturfunktion innerhalb einer vorbestimmten Rechenzeit auf den zumindest einen Teilbereich angewandt wird. Das bedeutet, das Gesamtbild wird direkt nach Anwenden der Korrekturfunktion auf dem Display im Kraftfahrzeug angezeigt. Die Anwendung der Korrekturfunktion muss somit so schnell ablaufen, dass dies mit der momentanen Bewegungsgeschwindigkeit des Kraftfahrzeugs abgestimmt beziehungsweise in Einklang ist. Der Fahrer muss also im Display die aktuelle Information über den Umgebungsbereich immer sehr zeitnah angezeigt bekommen, um auf eventuelle Hindernisse beziehungsweise Gefahren dementsprechend reagieren zu können. Vorteilhaft an der vorbestimmten Rechenzeit für die Verbesserung des Gesamtbildes durch die Korrekturfunktion ist also das schnelle Zurverfügungstellen von dem Gesamtbild im Display des Kraftfahrzeugs.Furthermore, it is preferably provided that the correction function is applied to the at least one subarea within a predetermined computing time. This means that the entire image is displayed on the display in the vehicle immediately after applying the correction function. The application of the correction function must therefore be so fast that this is coordinated with the current movement speed of the motor vehicle or in line. The driver must therefore always get the latest information about the surrounding area displayed very promptly in the display in order to respond to any obstacles or hazards accordingly. An advantage of the predetermined computing time for the improvement of the overall image by the correction function is thus the rapid availability of the overall image in the display of the motor vehicle.

In einer Ausgestaltung ist vorgesehen, dass die Korrekturfunktion in Abhängigkeit einer Änderung einer Fahrtrichtung und/oder einer Fahrtgeschwindigkeit des Kraftfahrzeugs angepasst wird. Diese Information kann beispielsweise von einem CAN-BUS abgegriffen werden und wird üblicherweise mittels Sensoren des Kraftfahrzeugs ermittelt. Dies hat den Vorteil, dass Bereiche des Gesamtbildes, welche sich bei der Bewegung der jeweiligen Kamera beziehungsweise des Kraftfahrzeugs anhängig von der Fahrtrichtung und/oder der Fahrtgeschwindigkeit ändern, berücksichtigt werden können. So verändert sich beispielsweise der Bereich des Gesamtbildes, welcher mit einer seitlich ausgerichteten Kamera des Kraftfahrzeugs aufgenommen wird, anders als der Bereich des Gesamtbildes, welcher mit einer nach vorne oder nach hinten ausgerichteten Kamera des Kraftfahrzeugs aufgenommen wird. Auch innerhalb eines der jeweiligen Bilder des Gesamtbildes ändern sich Kanten beziehungsweise die Bildschärfe unterschiedlich. So ändert sich beispielsweise die Bildschärfe einer in Fahrtrichtung des Kraftfahrzeugs verlaufenden Kante des Bildes anders, als eine quer zur Fahrtrichtung des Kraftfahrzeugs verlaufende Kante des Bildes. Die quer zur Fahrtrichtung des Kraftfahrzeugs verlaufende Kante wird üblicherweise stärker verschwommen beziehungsweise unschärfer sein als die Kante, welche längs zur Fahrtrichtung verläuft. Mit dem Wissen über die Änderung der Fahrtrichtung und/oder der Fahrtgeschwindigkeit kann nun die Korrekturfunktion speziell für derartige Fälle angepasst werden.In one embodiment, it is provided that the correction function is adapted as a function of a change in a direction of travel and / or a travel speed of the motor vehicle. This information can be tapped, for example, from a CAN-BUS and is usually determined by means of sensors of the motor vehicle. This has the advantage that regions of the overall image which change during the movement of the respective camera or motor vehicle, depending on the direction of travel and / or the travel speed, can be taken into account. Thus, for example, the area of the overall image which is recorded with a laterally oriented camera of the motor vehicle changes differently than the area of the overall image which is recorded with a camera of the motor vehicle oriented forwards or backwards. Also within one of The respective pictures of the overall picture change edges or the picture sharpness differently. Thus, for example, the sharpness of a running in the direction of travel of the motor vehicle edge of the image changes differently than a transverse to the direction of travel of the motor vehicle edge of the image. The edge running transversely to the direction of travel of the motor vehicle will usually be more blurred or blurred than the edge which runs longitudinally to the direction of travel. With the knowledge of the change of the direction of travel and / or the speed of travel, the correction function can now be adapted especially for such cases.

Ebenfalls ist vorgesehen, dass die Korrekturfunktion in Abhängigkeit einer aktuellen Temperatur der ersten Kamera und/oder der zweiten Kamera angepasst wird. Die Temperatur der Kamera, insbesondere die Temperatur eines Bildsensors der Kamera, hat eine Auswirkung auf die Qualität des bereitgestellten Bildes. Üblicherweise entsteht durch eine höhere Temperatur ein stärkeres Bildrauschen. Der Vorteil ist nun, dass mit Kenntnis der momentanen Temperatur auf die Stärke des Bildrauschens zurückgeschlossen werden kann und das Bild beziehungsweise das Gesamtbild mit der dementsprechend angepassten Korrekturfunktion verbessert werden kann.It is likewise provided that the correction function is adapted as a function of a current temperature of the first camera and / or the second camera. The temperature of the camera, especially the temperature of an image sensor of the camera, has an effect on the quality of the provided image. Usually, a higher temperature results in a stronger image noise. The advantage now is that with knowledge of the current temperature on the strength of the image noise can be deduced and the image or the overall picture can be improved with the accordingly adjusted correction function.

Insbesondere wird bei der Korrekturfunktion ein Wavelet-Shrinkage-Verfahren durchgeführt. Bei dem Wavelet-Shrinkage-Verfahren, das auch als Wavelet-Reduktions-Verfahren bezeichnet werden kann, wird die Quantität des Rauschens auf die Wavelet-Koeffizienten, welche sich durch eine Wavelet-Zerlegung beziehungsweise eine Wavelet-Analyse ergeben, geschätzt. Um die Stärke des Rauschens beziehungsweise den additiven Rauschanteil von den Koeffizienten wieder zu entfernen, werden die Wavelet-Koeffizienten mit einer Shrinkage-Kurve verbessert. Die Wavelet-Koeffizienten werden erhalten, indem das Gesamtbild in niederfrequente Bildinhalte und hochfrequente Bildinhalte aufgespaltet wird. Dies geschieht dann mittels einer sogenannten Wavelet-Transformation, welche eine bestimmte Familie von linearen Zeitfrequenztransformationen bezeichnet. Der Vorteil des Wavelet-Shrinkage-Verfahrens ist, dass damit die Bildschärfe und/oder die Homogenität des Teilbereichs des Gesamtbildes oder auch das gesamte Gesamtbild sehr präzise erhöht werden können.In particular, a wavelet shrinkage method is performed in the correction function. In the wavelet shrinkage method, which may also be referred to as a wavelet reduction method, the quantity of noise on the wavelet coefficients resulting from wavelet decomposition and wavelet analysis, respectively, is estimated. In order to remove the strength of the noise or the additive noise component from the coefficients, the wavelet coefficients are improved with a shrinkage curve. The wavelet coefficients are obtained by splitting the overall picture into low-frequency picture contents and high-frequency picture contents. This is then done by means of a so-called wavelet transformation, which designates a specific family of linear time-frequency transformations. The advantage of the wavelet shrinking method is that the image sharpness and / or the homogeneity of the subarea of the overall image or the entire overall image can be increased very precisely.

In einer weiteren Ausgestaltung ist es vorgesehen, dass das Wavelet-Shrinkage-Verfahren für eine vorbestimmte Anzahl von Wavelet-Skalen ausgeführt wird. Bei der Wavelet-Transformation beziehungsweise einer Wavelet-Zerlegung kann eine vorbestimmte Anzahl von Skalen verwendet werden, welche dazu dienen, das Bild in unterschiedliche Frequenzbereiche aufzuteilen. Je mehr Skalen verwendet werden, desto höhere Frequenzbereiche können einzeln, also von den anderen Frequenzen losgelöst, bearbeitet werden. Vorteilhaft daran ist, dass die unterschiedlichen Frequenzbereiche auch getrennt voneinander, nämlich vorliegend in Form von Wavelet-Koeffizienten, behandelt werden können.In a further embodiment, it is provided that the wavelet shrinking method is executed for a predetermined number of wavelet scales. In the wavelet transformation or a wavelet decomposition, a predetermined number of scales can be used, which serve to divide the image into different frequency ranges. The more scales are used, the higher frequency ranges can be processed individually, that is, detached from the other frequencies. The advantage of this is that the different frequency ranges can also be treated separately from one another, namely in the present case in the form of wavelet coefficients.

Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst zumindest eine erste und eine zweite Kamera, welche unterschiedliche Umgebungsbereiche des Kraftfahrzeugs erfassen, wobei das Kamerasystem dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen.An inventive camera system for a motor vehicle comprises at least a first and a second camera, which detect different environmental regions of the motor vehicle, wherein the camera system is designed to perform a method according to the invention.

Ein erfindungsgemäßes Fahrerassistenzsystem beinhaltet ein erfindungsgemäßes Kamerasystem.A driver assistance system according to the invention includes a camera system according to the invention.

Ein erfindungsgemäßes Kraftfahrzeug beinhaltet ein erfindungsgemäßes Fahrerassistenzsystem.An inventive motor vehicle includes a driver assistance system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem, das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the camera system according to the invention, the driver assistance system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention will become apparent from the claims, the figures and the description of the figures. All the features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone.

Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will now be explained with reference to a preferred embodiment, as well as with reference to the accompanying drawings.

Dabei zeigen:Showing:

1 in schematische Draufsicht ein Kraftfahrzeug mit einem Kamerasystem, welches ein Umgebungsbereich des Kraftfahrzeugs erfasst; 1 in schematic plan view of a motor vehicle with a camera system which detects a surrounding area of the motor vehicle;

2 in schematischer Darstellung ein Gesamtbild als ein Draufsichtbild des Umgebungsbereichs mit einem eingeblendeten Abbild des Kraftfahrzeugs; 2 a schematic diagram of an overall image as a top view image of the surrounding area with a superimposed image of the motor vehicle;

3 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung; 3 a flowchart of a method according to an embodiment of the invention;

4 einen Graphen einer Korrekturfunktion, welche stückweise linear ist; 4 a graph of a correction function which is piecewise linear;

5 eine Bildpunktdichtekarte mit Feldern von dem Draufsichtbild, wobei jedes der Felder einen Anteil von einem Bildpunkt repräsentiert; 5 a pixel density map having fields from the top view image, each of the fields representing a portion of one pixel;

6 in schematischer Darstellung das Gesamtbild, welches auf einem Display im Kraftfahrzeug angezeigt wird, wobei das Gesamtbild inhomogen ist und unscharfe Kanten aufweist; und 6 a schematic representation of the overall image, which is displayed on a display in the motor vehicle, the overall image is inhomogeneous and has blurred edges; and

7 in schematischer Darstellung das Gesamtbild analog zu 6, wobei das das Gesamtbild homogen ist und die Kanten scharf sind. 7 in a schematic representation the overall picture analogous to 6 in which the overall picture is homogeneous and the edges are sharp.

In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Kamerasystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Kamerasystem 2 umfasst eine erste Kamera 3, eine zweite Kamera 4 und eine Bildverarbeitungseinrichtung 5. Die Bildverarbeitungseinrichtung 5 kann an einer beliebigen Position im Kraftfahrzeug 1 angeordnet sein. In dem Ausführungsbeispiel sind die jeweiligen Kameras 3, 4 so angeordnet, dass diese einen Umgebungsbereich 6 des Kraftfahrzeugs 1 erfassen. Um den Umgebungsbereich 6 zu erfassen, kann eine beliebige Anzahl von weiteren Kameras 7 und 9 vorgesehen sein. Diese weiteren Kameras 7, 9 sind ebenfalls so an dem Kraftfahrzeug 1 angeordnet, dass diese den Umgebungsbereich 6 erfassen.In 1 is a schematic plan view of a motor vehicle 1 with a camera system 2 represented according to an embodiment of the invention. The camera system 2 includes a first camera 3 , a second camera 4 and an image processing device 5 , The image processing device 5 can be at any position in the motor vehicle 1 be arranged. In the embodiment, the respective cameras 3 . 4 arranged so that these have a surrounding area 6 of the motor vehicle 1 to capture. To the surrounding area 6 can capture any number of additional cameras 7 and 9 be provided. These other cameras 7 . 9 are also on the motor vehicle 1 arranged that these are the surrounding area 6 to capture.

Die jeweiligen Kameras 3, 4, 7, 9 sind CMOS-Kameras oder aber CCD-Kameras oder eine beliebige Bilderfassungseinrichtung, mit welcher der Umgebungsbereich 6 erfasst werden kann. Im Ausführungsbeispiel gemäß 1 sind die Kameras 3, 4, 7, 9 in einem Heckbereich und/oder in einem Frontbereich und/oder in einem Seitenbereich des Kraftfahrzeugs 1 angeordnet. Die Erfindung ist jedoch nicht auf eine solche Anordnung der Kameras 3, 4, 7, 9 beschränkt. Die Anordnung der Kameras 3, 4, 7, 9 kann je nach Ausführungsform unterschiedlich sein. Beispielsweise können in dem Seitenbereich auch mehrere Kameras angeordnet sein.The respective cameras 3 . 4 . 7 . 9 are CMOS cameras or CCD cameras or any image capture device with which the surrounding area 6 can be detected. In the embodiment according to 1 are the cameras 3 . 4 . 7 . 9 in a rear area and / or in a front area and / or in a side area of the motor vehicle 1 arranged. However, the invention is not limited to such an arrangement of the cameras 3 . 4 . 7 . 9 limited. The arrangement of the cameras 3 . 4 . 7 . 9 may vary depending on the embodiment. For example, several cameras can also be arranged in the side area.

Die Kameras 3, 4, 7, 9 sind Videokameras, welche kontinuierlich eine Sequenz von Bildern erfassen. Die Bildverarbeitungseinrichtung 5 bearbeitet dann die Sequenz von Bildern in Echtzeit beziehungsweise in einer vorbestimmten Rechenzeit und stellt ein Gesamtbild 8 aus einem ersten Bild der ersten Kamera 3, einem zweiten Bild der zweiten Kamera 4 und alternativ oder ergänzend einem weiteren Bild der weiteren Kameras 7, 9 bereit.The cameras 3 . 4 . 7 . 9 are video cameras that continuously capture a sequence of images. The image processing device 5 then processes the sequence of images in real time or in a predetermined computing time and provides an overall picture 8th from a first picture of the first camera 3 , a second image of the second camera 4 and alternatively or in addition to another image of the other cameras 7 . 9 ready.

2 zeigt beispielhaft das Gesamtbild 8, welches in der Situation gemäß 1 durch die Bildverarbeitungseinrichtung 5 auf einem Display 15 im Kraftfahrzeug 1 angezeigt wird. Vorliegend wird das Gesamtbild 8 in Form eines Draufsichtbildes bereitgestellt. Das Gesamtbild 8 zeigt aufgrund der Zusammensetzung aus mehreren Bildern Artefakte und unterschiedlich scharfe Kanten. Das Gesamtbild 8 kann also als inhomogen bezeichnet werden. Um die Inhomogenität zu reduzieren, wird folgendes Verfahren zur Verbesserung des Gesamtbildes 8 durchgeführt. 2 shows an example of the overall picture 8th which in the situation according to 1 through the image processing device 5 on a display 15 in the motor vehicle 1 is shown. Present is the overall picture 8th provided in the form of a top view image. The overall picture 8th shows artifacts and different sharp edges due to the composition of multiple images. The overall picture 8th can therefore be described as inhomogeneous. To reduce the inhomogeneity, the following procedure is to improve the overall picture 8th carried out.

Gemäß 3 wird das Gesamtbild 8 in einem Schritt S1 mit einer Wavelet-Transformation aufgeteilt beziehungsweise zerlegt. Mit der Wavelet-Transformation wird eine bestimmte Familie von linearen Zeitfrequenztransformationen bezeichnet. Die Wavelet-Transformation setzt sich zusammen aus einer Wavelet-Analyse, welche einen Übergang von einer Zeitdarstellung des Gesamtbildes 8 in eine Wavelet-Darstellung bezeichnet, und einer Wavelet-Synthese, welche eine Rücktransformation der Wavelet-Darstellung in die Zeitdarstellung bezeichnet. Ein Ergebnis der Wavelet-Analyse von Schritt S1 sind Wavelet-Koeffizienten 10, welche hohe Frequenzen des Gesamtbildes enthalten, und Wavelet-Koeffizienten 11, welche niedrige Frequenzen des Gesamtbildes 8 enthalten.According to 3 becomes the overall picture 8th split or decomposed in a step S1 with a wavelet transformation. Wavelet transformation refers to a particular family of linear time-frequency transforms. The wavelet transform is composed of a wavelet analysis, which is a transition from a time representation of the overall image 8th in a wavelet representation, and a wavelet synthesis, which denotes a back transformation of the wavelet representation in the time representation. A result of the wavelet analysis of step S1 are wavelet coefficients 10 containing high frequencies of the overall picture and wavelet coefficients 11 which low frequencies of the overall picture 8th contain.

Gemäß dem Ausführungsbeispiel wird die Wavelet-Analyse für drei Skalen durchgeführt. Es können jedoch auch mehr oder weniger Skalen, beispielsweise zwei oder vier, genutzt werden. Für jede dieser Skale ergeben sich drei hochfrequente Wavelet-Koeffizienten 10, wobei einer dieser Wavelet-Koeffizienten 10 die horizontalen Frequenzen des Gesamtbildes 8 beschreibt, ein anderer die vertikalen Frequenzen des Gesamtbildes 8 beschreibt, und der letzte Wavelet-Koeffizient 10 beschreibt die diagonalen Frequenzen des Gesamtbildes 8. Von der letzten Skale der Wavelet-Analyse ist auch noch ein Wavelet-Koeffizient 11 mit den niedrigen Frequenzen des Gesamtbildes 8 vorhanden.According to the embodiment, the wavelet analysis is performed for three scales. However, more or fewer scales, for example two or four, may also be used. For each of these scales, there are three high-frequency wavelet coefficients 10 where one of these wavelet coefficients 10 the horizontal frequencies of the overall picture 8th another describes the vertical frequencies of the overall picture 8th describes, and the last wavelet coefficient 10 describes the diagonal frequencies of the overall picture 8th , From the last scale of wavelet analysis is also a wavelet coefficient 11 with the low frequencies of the overall picture 8th available.

In den Schritten S2a bis S2n werden nun die hochfrequenten Wavelet-Koeffizienten 10 mit einer Korrekturfunktion 14 behandelt. Das Ergebnis dieses Schrittes sind die korrigierten Wavelet-Koeffizienten 12. Die korrigierten Wavelet-Koeffizienten 12 werden nun zusammen mit den niederfrequenten Wavelet-Koeffizienten 11 mittels der Wavelet-Synthese in die Zeitdarstellung beziehungsweise das Gesamtbild 8 rücktransformiert. Das Ergebnis nach Schritt S3 ist ein verbessertes Gesamtbild 13. Das verbesserte Gesamtbild 13 ist ein harmonisiertes beziehungsweise abgestimmtes Bild in Bezug auf Bildschärfe, lokaler Bildkontrast und Bildrauschen. Im Allgemeinen kann gesagt werden, das verbesserte Gesamtbild 13 ist homogener als das ursprüngliche Gesamtbild 8.In steps S2a to S2n, the high-frequency wavelet coefficients are now 10 with a correction function 14 treated. The result of this step is the corrected wavelet coefficients 12 , The corrected wavelet coefficients 12 are now combined with the low frequency wavelet coefficients 11 using the wavelet synthesis in the time representation or the overall picture 8th back transformed. The result after step S3 is an improved overall picture 13 , The improved overall picture 13 is a harmonized image in terms of image sharpness, local image contrast and image noise. In general, the improved overall picture can be said 13 is more homogeneous than the original overall picture 8th ,

Gemäß 4 ist ein Graph der Korrekturfunktion 14 gezeigt. Auf der Abszisse ist ein Eingabewert I, also der Wert der hochfrequenten Wavelet-Koeffizienten 10 aufgetragen, während an der Ordinate des Graphs ein Ausgabewert O, also der Wert der korrigierten Wavelet-Koeffizienten 12 aufgetragen ist. Die Korrekturfunktion 14 entspricht vorliegend einer Shrinkage-Kurve, welche stückweise linear ist. Die Shrinkage-Kurve kann für die jeweilige Skale angepasst werden und somit die Homogenität und/oder die Bildschärfe und/oder den Bildkontrast und/oder Bildartefakte zielgerichtet für bestimmte Frequenzbereiche des Gesamtbildes 8 verbessern.According to 4 is a graph of the correction function 14 shown. On the abscissa is an input value I, ie the value of the high-frequency wavelet coefficients 10 applied while at the Ordinate of the graph is an output value O, that is the value of the corrected wavelet coefficients 12 is applied. The correction function 14 In this case corresponds to a shrinkage curve, which is piecewise linear. The shrinkage curve can be adapted for the respective scale and thus the homogeneity and / or the image sharpness and / or the image contrast and / or image artifacts targeted for certain frequency ranges of the overall image 8th improve.

Die Grundidee ist, die Shrinkage-Kurve beziehungsweise die Transferkurve abhängig von Eigenschaften beziehungsweise Charakteristiken des Gesamtbildes 8 und physischen Eigenschaften beziehungsweise Charakteristiken wie beispielsweise eine relative Distanz zwischen der jeweiligen Kamera 3, 4, 7, 9 zu einem Objekt in dem Umgebungsbereich 6 beziehungsweise zu einem Bildpunkt in dem Gesamtbild 8 zu verändern.The basic idea is, the shrinkage curve or the transfer curve depends on characteristics or characteristics of the overall picture 8th and physical characteristics such as a relative distance between the respective camera 3 . 4 . 7 . 9 to an object in the environment area 6 or to a pixel in the overall picture 8th to change.

Die Inhomogenität des Gesamtbildes 8 entsteht unter anderem durch das Zusammensetzen der Bilder der Kameras 3, 4, 7, 9. 5 zeigt, wie inhomogen die Bildauflösung des Gesamtbildes 8 aufgrund der Transformation zu dem Draufsichtbild geworden ist. Die Darstellung von 5 zeigt eine Bildauflösung für einzelne Bereiche 15 von dem Gesamtbild 8. Die Bildauflösung wird also geringer, je weiter sich einer der Bereiche 15 von der Kamera entfernt befindet. Je weiter der Bereich 15 von der Kamera 3, 4, 7, 9 entfernt ist, desto weniger Bildpunkte stehen von dem Bild der jeweiligen Kamera 3, 4, 7, 9 für das Gesamtbild 8 zur Verfügung. Das Gesamtbild 8 ist somit in den Bereichen 15, welche weiter von der Kamera 3, 4, 7, 9 entfernt sind, unschärfer beziehungsweise verschwommen. Die jeweiligen Bereiche 15 von 5 können mittels einer Kalibrierung des Kamerasystems 2 ermittelt werden.The inhomogeneity of the overall picture 8th arises among other things by assembling the pictures of the cameras 3 . 4 . 7 . 9 , 5 shows how inhomogeneous the image resolution of the overall picture 8th due to the transformation has become the plan view image. The representation of 5 shows an image resolution for individual areas 15 from the overall picture 8th , The image resolution becomes smaller, the farther one of the areas gets 15 located away from the camera. The further the area 15 from the camera 3 . 4 . 7 . 9 is removed, the fewer pixels are from the image of the respective camera 3 . 4 . 7 . 9 for the overall picture 8th to disposal. The overall picture 8th is thus in the fields 15 which continues from the camera 3 . 4 . 7 . 9 are removed, blurred or blurred. The respective areas 15 from 5 can by means of a calibration of the camera system 2 be determined.

6 zeigt das ursprüngliche Gesamtbild 8, welches auf dem Display im Kraftfahrzeug 1 angezeigt wird. Es ist deutlich zu erkennen, dass die Kanten in dem Gesamtbild 8 nicht scharf dargestellt werden. Im Gegensatz dazu ist in 7 das verbesserte Gesamtbild 13 auf dem Display im Kraftfahrzeug 1 dargestellt. In Zusammenschau von 6 und 7 kann nun beobachtet werden, dass in dem verbesserten Gesamtbild 13 die Kanten schärfer dargestellt sind, der Bildkontrast angeglichen ist und das gesamte korrigierte Gesamtbild 13 homogener erscheint. 6 shows the original overall picture 8th , which is on display in the motor vehicle 1 is shown. It can be clearly seen that the edges in the overall picture 8th not be shown in focus. In contrast, in 7 the improved overall picture 13 on the display in the motor vehicle 1 shown. In synopsis of 6 and 7 can now be observed that in the improved overall picture 13 the edges are sharper, the image contrast is aligned, and the entire corrected overall image 13 appears more homogeneous.

Während in 6 und 7 das Gesamtbild 8, 13 auf der linken Bildhälfte in Form des Draufsichtbildes dargestellt ist, ist auf der rechten Bildhälfte jeweils eine Seitenansicht dargestellt.While in 6 and 7 the overall picture 8th . 13 is shown on the left half of the picture in the form of the top view image, a side view is shown on the right half of the image.

Weiterhin kann es hilfreich sein, dass das Gesamtbild 8 vor Anwenden der Korrekturfunktion 14 in Teilbereiche aufgeteilt wird, um eine Qualität der Bildverbesserung zu erhöhen. Die Korrekturfunktion 14 kann also örtlich angepasst werden in Abhängigkeit der lokalen Bildschärfe oder de lokalen Bildartefakte. Die angepasste Korrekturfunktion 14 kann auch nur in dem Fall einer Grenzwertüberschreitung eingesetzt werden. Beispielsweise, falls die Inhomogenität des Gesamtbildes 8 nicht extrem ist. Andererseits kann die Verbesserung durch die Korrekturfunktion 14 auch bis zu einem gewissen Punkt hin begrenzt werden. Dies spart Rechenzeit bei der Verbesserung des Gesamtbildes 8 und trägt zu dem Ziel, das Gesamtbild 8 unmittelbar bzw. innerhalb einer vorbestimmten Rechenzeit zu verbessern, bei. Es kann auch zur gleichen Zeit, während die Wavelet-Koeffizienten 10 verbessert werden, eine Ausgabe beziehungsweise eine Rekonstruktion des verbesserten Gesamtbildes 13 erfolgen.Furthermore, it can be helpful that the overall picture 8th before applying the correction function 14 divided into sub-areas to increase a quality of image enhancement. The correction function 14 can therefore be adapted locally depending on the local focus or local image artifacts. The adjusted correction function 14 can only be used in the event of a limit violation. For example, if the inhomogeneity of the overall picture 8th not extreme. On the other hand, the improvement may be due to the correction function 14 be limited to a certain point. This saves computing time in improving the overall picture 8th and contributes to the goal, the overall picture 8th improve directly or within a predetermined computing time, at. It can also be at the same time while the wavelet coefficients 10 be improved, an output or a reconstruction of the improved overall picture 13 respectively.

Die Korrekturfunktion 14 kann auch nur teilweise auf das Gesamtbild 8 angewendet werden. So kann es beispielsweise sein, dass ein Entrauschen gewünscht ist, um das Bildrauschen zu reduzieren, aber die Bildschärfe nicht verändert werden soll. Dies kann beispielsweise der Fall sein, weil sich in dem Umgebungsbereich 6 keine Textur mit scharfen Kanten befindet. Die Rechenzeit, um die Bildschärfe zu erhöhen, kann somit eingespart werden.The correction function 14 may also only partially affect the overall picture 8th be applied. So it may be, for example, that a noise reduction is desired to reduce the noise, but the image sharpness should not be changed. This can be the case, for example, because in the surrounding area 6 no texture with sharp edges is located. The computing time to increase the focus can thus be saved.

Ergänzend oder alternativ kann durch die Korrekturfunktion 14 eine teilweise Farbdesaturation für hochfrequente Regionen des Gesamtbildes 8 angewandt werden. Dieses Vorgehen ist hilfreich, um eine Auswirkung von den Bildartefakten, insbesondere Moiré-Artefakte, abzuschwächen. Die Moiré-Artefakte machen sich bei der Überlagerung von regelmäßigen feinen Rastern durch zusätzliche, scheinbare grobe Raster bemerkbar. Die Moiré-Artefakte sind ein Spezialfall eines Alias-Effektes, welcher durch Unterabtastung entsteht.Additionally or alternatively, by the correction function 14 a partial color desaturation for high-frequency regions of the overall picture 8th be applied. This approach is useful for mitigating the impact of image artifacts, especially moiré artifacts. The moiré artifacts are noticeable in the superposition of regular fine grids by additional, apparent coarse grid. Moire artifacts are a special case of an aliasing effect created by sub-sampling.

Weiterhin kann durch eine bestimmte Zahl an Bildschärfevorgängen durch die Korrekturfunktion 14 auf Informationen über die Textur des Gesamtbildes 8 geschlossen werden. In diesem Fall kann mit einer sehr einfachen Methode eine bestimmte Anzahl horizontaler und/oder vertikaler Kanten des Gesamtbildes 8 bestimmt werden.Furthermore, by a certain number of Bildscharfevorgängen by the correction function 14 on information about the texture of the overall picture 8th getting closed. In this case, with a very simple method, a certain number of horizontal and / or vertical edges of the overall picture 8th be determined.

Nachdem durch die Wavelet-Analyse horizontale, vertikale und diagonale Kanten getrennt vorliegen, in Form von Wavelet-Koeffizienten 10, kann auch ein Vorwissen zur Korrektur dieser Kanten beziehungsweise hochfrequenten Regionen genutzt werden. Das Vorwissen umfasst beispielsweise eine Änderung einer Fahrtrichtung des Kraftfahrzeugs 1 und/oder eine Fahrtgeschwindigkeit des Kraftfahrzeugs 1. So verändern sich Kanten, welche längs zur Fahrtrichtung liegen, weniger stark als Kanten, welche quer zur Fahrtrichtung liegen. Es können nun speziell die quer zur Fahrtrichtung verlaufenden Kanten geschärft werden, während die längs verlaufenden Kanten nicht durch die Korrekturfunktion 14 geschärft werden. Dieses Vorgehen ermöglicht ein effektives Einsetzen der Korrekturfunktion 14 bezüglich der Rechenzeit.After the wavelet analysis, horizontal, vertical and diagonal edges are separated, in the form of wavelet coefficients 10 , a prior knowledge for the correction of these edges or high-frequency regions can be used. The prior knowledge includes, for example, a change of a direction of travel of the motor vehicle 1 and / or a travel speed of the motor vehicle 1 , For example, edges which lie along the direction of travel change less strongly than edges which are transverse to the direction of travel. It is now possible to sharpen the edges running transversely to the direction of travel, while the longitudinal edges are not sharpened by the correction function 14 be sharpened. This procedure enables effective use of the correction function 14 in terms of computing time.

Weiterhin kann das Schärfen der Kanten in Querrichtung durch die Korrekturfunktion 14 auch an die momentane Fahrtgeschwindigkeit angepasst werden. So ist beispielsweise im Fall einer Beschleunigung von einer zunehmenden Unschärfe der Kanten quer zur Fahrtrichtung zu rechnen.Furthermore, the sharpening of the edges in the transverse direction by the correction function 14 be adapted to the current speed of travel. For example, in the case of an acceleration, an increasing blurring of the edges transversely to the direction of travel is to be expected.

Die Korrekturfunktion 14 kann auch folgendermaßen angewendet werden. So kann im Fall eines Abbiegevorgangs des Kraftfahrzeugs 1 die Korrekturfunktion 14 dementsprechend eingestellt werden, und es können verschiedene radiale Bewegungsartefakte vermieden werden.The correction function 14 can also be applied as follows. Thus, in the case of a turning operation of the motor vehicle 1 the correction function 14 are adjusted accordingly, and various radial motion artifacts can be avoided.

Ein weiterer nützlicher Weg, um die Grenzwerte für die Bildschärfe neu zu berechnen, kann durch das Zählen der Kanten beziehungsweise der hochfrequenten Regionen in eine bestimmte Richtung erfolgen. Ab oder unter einer bestimmten Anzahl der Kanten in die bestimmte Richtung kann der Grenzwert für die Anwendung der Korrekturfunktion 14 bezüglich der Bildschärfe angepasst werden. Dies geschieht so, dass sichergestellt werden kann, dass das verbesserte Gesamtbild 13 immer mit angepasster Bildschärfe für die jeweilige aktuelle Situation in dem Umgebungsbereich 6 dargestellt ist.Another useful way to recalculate the image sharpness limits can be by counting the edges or high frequency regions in a particular direction. Starting at or below a certain number of edges in the particular direction may be the limit for the application of the correction function 14 be adjusted in terms of image sharpness. This is done so that it can be ensured that the improved overall picture 13 always with adjusted focus for the current situation in the surrounding area 6 is shown.

Insbesondere ist vorgesehen, dass die Korrekturfunktion 14 in Abhängigkeit von einer jeweiligen Temperatur der jeweiligen Kamera 3, 4, 7, 9 angewendet werden kann. Für diesen Fall kann eine bekannte Beziehung zwischen einem Sensorrauschen der jeweiligen Kamera 3, 4, 7, 9 und der Temperatur der jeweiligen Kamera 3, 4, 7, 9 verwendet werden.In particular, it is provided that the correction function 14 depending on a respective temperature of the respective camera 3 . 4 . 7 . 9 can be applied. In this case, a known relationship between a sensor noise of the respective camera 3 . 4 . 7 . 9 and the temperature of the respective camera 3 . 4 . 7 . 9 be used.

Claims (14)

Verfahren zum Betreiben eines Kamerasystems (2) eines Kraftfahrzeugs (1), bei welchem zumindest eine erste (3) und eine zweite Kamera (4) unterschiedliche Umgebungsbereiche (6) des Kraftfahrzeugs (1) erfassen, mit den Schritten: – Aufnehmen eines ersten Bilds durch die erste Kamera (3), – Aufnehmen eines zweiten Bilds durch die zweite Kamera (4), – Bereitstellen eines Gesamtbilds (8) aus zumindest dem ersten und dem zweiten Bild durch eine Bildverarbeitungseinrichtung (5) des Kamerasystems (2), – Bestimmen zumindest eines Teilbereiches des Gesamtbilds (8), welcher sich gegenüber zumindest einem anderen Bildbereich des Gesamtbilds (8) in einer Bildschärfe und/oder einem Bildkontrast unterscheidet, und – Anwenden einer Korrekturfunktion (14) auf den zumindest einen Teilbereich mittels der Bildverarbeitungseinrichtung (5), wobei durch die Korrekturfunktion (14) der Unterschied in der Bildschärfe und/oder dem Bildkontrast reduziert wird.Method for operating a camera system ( 2 ) of a motor vehicle ( 1 ), in which at least a first ( 3 ) and a second camera ( 4 ) different environmental areas ( 6 ) of the motor vehicle ( 1 ), comprising the steps of: - taking a first image by the first camera ( 3 ), - take a second picture by the second camera ( 4 ), - providing an overall picture ( 8th ) from at least the first and the second image by an image processing device ( 5 ) of the camera system ( 2 ), - determining at least a portion of the overall image ( 8th ) which faces at least one other image area of the overall image ( 8th ) differs in image sharpness and / or image contrast, and - applying a correction function ( 14 ) on the at least one subregion by means of the image processing device ( 5 ), whereby the correction function ( 14 ) the difference in image sharpness and / or image contrast is reduced. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Gesamtbild (8) als ein Draufsichtbild der Umgebungsbereiche (6) des Kraftfahrzeugs (1) mit einem eingeblendeten Abbild des Kraftfahrzeugs (1) bereitgestellt wird.Method according to claim 1, characterized in that the overall picture ( 8th ) as a top view image of the surrounding areas ( 6 ) of the motor vehicle ( 1 ) with an overlaid image of the motor vehicle ( 1 ) provided. Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass die Korrekturfunktion (14) für zumindest einen Bildpunkt innerhalb des Teilbereichs angewandt wird und die Korrekturfunktion (14) abhängig von einer Position des zumindest einen Bildpunktes in dem Teilbereich angepasst wird.Method according to one of claims 1 to 2, characterized in that the correction function ( 14 ) is applied for at least one pixel within the subregion and the correction function ( 14 ) is adjusted depending on a position of the at least one pixel in the sub-area. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in dem Gesamtbild (8) eine Position der ersten Kamera (3) und/oder der zweiten Kamera (4) angegeben wird und die Korrekturfunktion (14) abhängig von der Position der ersten Kamera (3) und/oder der zweiten Kamera (4) bezüglich des zumindest einen Bildpunkts angepasst wird.Method according to claim 3, characterized in that in the overall picture ( 8th ) a position of the first camera ( 3 ) and / or the second camera ( 4 ) and the correction function ( 14 ) depending on the position of the first camera ( 3 ) and / or the second camera ( 4 ) is adjusted with respect to the at least one pixel. Verfahren nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass die Korrekturfunktion (14) abhängig von einer Orientierung der ersten Kamera (3) und/oder der zweiten Kamera (4) zu dem zumindest einen Bildpunkt angepasst wird.Method according to one of claims 3 or 4, characterized in that the correction function ( 14 ) depending on an orientation of the first camera ( 3 ) and / or the second camera ( 4 ) is adapted to the at least one pixel. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Korrekturfunktion (14) abhängig von geometrischen Transformationsparametern der Kamera (3, 4, 7, 9) angepasst wird.Method according to one of the preceding claims, characterized in that the correction function ( 14 ) depending on geometric transformation parameters of the camera ( 3 . 4 . 7 . 9 ) is adjusted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Korrekturfunktion (14) innerhalb einer vorbestimmten Rechenzeit auf den zumindest einen Teilbereich angewandt wird.Method according to one of the preceding claims, characterized in that the correction function ( 14 ) is applied to the at least one subarea within a predetermined computing time. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Korrekturfunktion (14) in Abhängigkeit einer Änderung einer Fahrtrichtung und/oder einer Fahrtgeschwindigkeit des Kraftfahrzeugs (1) angepasst wird.Method according to one of the preceding claims, characterized in that the correction function ( 14 ) in response to a change in a direction of travel and / or a travel speed of the motor vehicle ( 1 ) is adjusted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Korrekturfunktion (14) in Abhängigkeit einer aktuellen Temperatur der ersten Kamera (3) und/oder der zweiten Kamera (4) angepasst wird.Method according to one of the preceding claims, characterized in that the correction function ( 14 ) as a function of a current temperature of the first camera ( 3 ) and / or the second camera ( 4 ) is adjusted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Korrekturfunktion (14) ein Wavelet Shrinkage Verfahren durchgeführt wird.Method according to one of the preceding claims, characterized in that in the Correction function ( 14 ) a wavelet shrinking process is performed. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das Wavelet Shrinkage Verfahren für eine vorbestimmte Anzahl von Wavelet-Skalen ausgeführt wird.A method according to claim 10, characterized in that the wavelet shrinking process is carried out for a predetermined number of wavelet scales. Kamerasystem (2) für ein Kraftfahrzeug (1), mit zumindest einer ersten Kamera (3) und einer zweiten Kamera (4), welche unterschiedliche Umgebungsbereiche (6) des Kraftfahrzeugs (1) erfassen, dadurch gekennzeichnet, dass das Kamerasystem (2) dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.Camera system ( 2 ) for a motor vehicle ( 1 ), with at least one first camera ( 3 ) and a second camera ( 4 ), which have different environmental areas ( 6 ) of the motor vehicle ( 1 ), characterized in that the camera system ( 2 ) is adapted to perform a method according to any one of the preceding claims. Fahrerassistenzsystem mit einem Kamerasystem (2) nach Anspruch 12.Driver assistance system with a camera system ( 2 ) according to claim 12. Kraftfahrzeug (1) mit einem Fahrerassistenzsystem nach Anspruch 13.Motor vehicle ( 1 ) with a driver assistance system according to claim 13.
DE102014110516.8A 2014-07-25 2014-07-25 Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle Withdrawn DE102014110516A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102014110516.8A DE102014110516A1 (en) 2014-07-25 2014-07-25 Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle
PCT/EP2015/065925 WO2016012288A1 (en) 2014-07-25 2015-07-13 Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014110516.8A DE102014110516A1 (en) 2014-07-25 2014-07-25 Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle

Publications (1)

Publication Number Publication Date
DE102014110516A1 true DE102014110516A1 (en) 2016-01-28

Family

ID=53761329

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014110516.8A Withdrawn DE102014110516A1 (en) 2014-07-25 2014-07-25 Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle

Country Status (2)

Country Link
DE (1) DE102014110516A1 (en)
WO (1) WO2016012288A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016112483A1 (en) * 2016-07-07 2018-01-11 Connaught Electronics Ltd. Method for reducing interference signals in a top view image showing a motor vehicle and a surrounding area of the motor vehicle, driver assistance system and motor vehicle
WO2019002165A1 (en) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Method for generating at least one merged perspective viewing image of a motor vehicle and an environmental area of the motor vehicle, a camera system and a motor vehicle
DE102017123452A1 (en) * 2017-10-10 2019-04-11 Connaught Electronics Ltd. Method for generating an output image, camera system and motor vehicle showing a motor vehicle and a surrounding area of the motor vehicle in a predetermined target view
AT522757A1 (en) * 2019-06-25 2021-01-15 MAN TRUCK & BUS OESTERREICH GesmbH Commercial vehicle and method for retrofitting a commercial vehicle with an assistance system to support turning maneuvers
DE102021214952A1 (en) 2021-12-22 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Method for displaying a virtual view of an environment of a vehicle, computer program, control unit and vehicle

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016217489A1 (en) 2016-09-14 2018-03-15 Robert Bosch Gmbh Method and an associated device for guiding a means of locomotion
DE102017121916A1 (en) * 2017-09-21 2019-03-21 Connaught Electronics Ltd. Harmonization of image noise in a camera device of a motor vehicle
CN111369450B (en) * 2020-02-21 2024-02-02 华为技术有限公司 Method and device for removing mole marks
US11508043B2 (en) * 2020-06-18 2022-11-22 Connaught Electronics Ltd. Method and apparatus for enhanced anti-aliasing filtering on a GPU

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030085999A1 (en) * 2001-10-15 2003-05-08 Shusaku Okamoto Vehicle surroundings monitoring system and method for adjusting the same
WO2011082716A1 (en) * 2010-01-08 2011-07-14 Valeo Schalter Und Sensoren Gmbh Image forming device for a vehicle as well as driver assistance facility with such an image forming device as well as method for forming an overall image
US20130182066A1 (en) * 2010-09-29 2013-07-18 Hidefumi Ishimoto Device for surveying surround of working machine

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189833B2 (en) * 2013-01-15 2015-11-17 Apple Inc. Linear transform-based image processing techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030085999A1 (en) * 2001-10-15 2003-05-08 Shusaku Okamoto Vehicle surroundings monitoring system and method for adjusting the same
WO2011082716A1 (en) * 2010-01-08 2011-07-14 Valeo Schalter Und Sensoren Gmbh Image forming device for a vehicle as well as driver assistance facility with such an image forming device as well as method for forming an overall image
US20130182066A1 (en) * 2010-09-29 2013-07-18 Hidefumi Ishimoto Device for surveying surround of working machine

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZONG, X.; LAINE, A.: De-noising and contrast enhancement via wavelet shrinkage and nonlinear adaptive gain. In: Proc. SPIE 2762, Wavelet Applications III, 566, 1996, S. 566-574 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016112483A1 (en) * 2016-07-07 2018-01-11 Connaught Electronics Ltd. Method for reducing interference signals in a top view image showing a motor vehicle and a surrounding area of the motor vehicle, driver assistance system and motor vehicle
WO2019002165A1 (en) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Method for generating at least one merged perspective viewing image of a motor vehicle and an environmental area of the motor vehicle, a camera system and a motor vehicle
DE102017114611A1 (en) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Method for generating at least one merged perspective image of a motor vehicle and a surrounding area of the motor vehicle, camera system and motor vehicle
US11302062B2 (en) 2017-06-30 2022-04-12 Connaught Electronics Ltd. Method for generating at least one merged perspective viewing image of a motor vehicle and an environmental area of the motor vehicle, a camera system and a motor vehicle
DE102017123452A1 (en) * 2017-10-10 2019-04-11 Connaught Electronics Ltd. Method for generating an output image, camera system and motor vehicle showing a motor vehicle and a surrounding area of the motor vehicle in a predetermined target view
AT522757A1 (en) * 2019-06-25 2021-01-15 MAN TRUCK & BUS OESTERREICH GesmbH Commercial vehicle and method for retrofitting a commercial vehicle with an assistance system to support turning maneuvers
DE102021214952A1 (en) 2021-12-22 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Method for displaying a virtual view of an environment of a vehicle, computer program, control unit and vehicle

Also Published As

Publication number Publication date
WO2016012288A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
DE102014110516A1 (en) Method for operating a camera system of a motor vehicle, camera system, driver assistance system and motor vehicle
DE102012001835B4 (en) Vision system for a commercial vehicle for displaying legally required fields of vision of a main mirror and a wide-angle mirror
DE102010053458B4 (en) Process for processing IR images and corresponding thermal imaging camera
DE102014208664A1 (en) METHOD AND DEVICE FOR DISABLING DISPLAYING A VEHICLE ENVIRONMENT ENVIRONMENT
EP3308361B1 (en) Method for generating a virtual image of vehicle surroundings
WO2016019956A1 (en) Driver assistance system
DE102007013570A1 (en) Method for noise reduction in digital images with locally different and directional noise
DE112015001902T5 (en) Electron microscope apparatus and imaging method using it
DE102019208338B4 (en) OVERVIEW MONITORING SYSTEM AND METHODS OF OPERATION THEREOF
EP3384461A1 (en) Method and device for image correction
DE102006056650A1 (en) Bilateral filtering method for digital image data, involves modifying pixel value and distance weighting functions using edge weighting function that is determined based on edge strength of image pixel
EP3073446B1 (en) Method for representing the surroundings of a vehicle
EP3635677A1 (en) Method and device for image correction
AT508873B1 (en) METHOD FOR RECORDING AN IMAGE
DE102013020952A1 (en) Method for setting a parameter relevant to the brightness and / or the white balance of an image representation in a camera system of a motor vehicle, camera system and motor vehicle
DE102016205603A1 (en) A method for denoising time series images of a moving structure for medical devices
DE102013011844A1 (en) Method for adjusting a gamma curve of a camera system of a motor vehicle, camera system and motor vehicle
DE102017114450A1 (en) Apparatus and method for imaging areas
DE102004042792B3 (en) Method for improving the presentation of CT images
DE102014206246A1 (en) A method and apparatus for adjusting a three-dimensional projection surface for projecting a plurality of adjacent camera images
DE102012025463A1 (en) Method for determining e.g. pitch angle change of passenger car to determine proper motion of car in six different degrees of freedom, involves determining parameter based on pair of image features and associated image features of images
DE102018130229B4 (en) Method and device for object extraction from scene image data representing a three-dimensional scene
DE102016112483A1 (en) Method for reducing interference signals in a top view image showing a motor vehicle and a surrounding area of the motor vehicle, driver assistance system and motor vehicle
EP3427224B1 (en) Method, head-up display and output system for the perspective transformation and outputting of image content, and vehicle
DE102008048257B4 (en) Method for detecting a block raster

Legal Events

Date Code Title Description
R163 Identified publications notified
R005 Application deemed withdrawn due to failure to request examination