EP4118816A1 - Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter - Google Patents

Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter

Info

Publication number
EP4118816A1
EP4118816A1 EP21711810.8A EP21711810A EP4118816A1 EP 4118816 A1 EP4118816 A1 EP 4118816A1 EP 21711810 A EP21711810 A EP 21711810A EP 4118816 A1 EP4118816 A1 EP 4118816A1
Authority
EP
European Patent Office
Prior art keywords
image
vehicle
camera
area
focus area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21711810.8A
Other languages
English (en)
French (fr)
Inventor
Fabian BURGER
Jonathan Horgan
Philippe Lafon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4118816A1 publication Critical patent/EP4118816A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method for providing an image of the surroundings based on a camera image of a vehicle camera of a vehicle for monitoring the surroundings of the vehicle, the camera image having a camera image area with a camera resolution for further processing, in particular by a driving support system of the vehicle.
  • the present invention also relates to an image unit for providing an image of the surroundings based on a camera image of a vehicle camera of a vehicle for monitoring the surroundings of the vehicle, for further processing, in particular by a driving support system of the vehicle, comprising at least one vehicle camera for providing the camera image with a camera image area and with a camera resolution, and a control unit which is connected to the at least one vehicle camera via a data bus and receives the respective camera image via the data bus, the image unit being designed to carry out the above method for providing an image of the surroundings for the at least one vehicle camera.
  • the present invention also relates to a driving support system for a vehicle for providing at least one driving support function based on monitoring of the surroundings of the vehicle, which comprises at least one of the above image units.
  • vehicle cameras In the automotive sector, detection of the surroundings of vehicles with cameras attached to the vehicle, hereinafter vehicle cameras, is widespread in order to implement different driving support functions, some of which are referred to as ADAS (Advanced Driver Assistance Systems). The same applies to autonomous driving, which also requires full perception of the vehicle's surroundings.
  • ADAS Advanced Driver Assistance Systems
  • ADAS Advanced Driver Assistance Systems
  • Based on camera images recorded with the vehicle cameras for example an optical flow can be determined and a vehicle or a pedestrian detection or a lane detection can be carried out.
  • DSP digital signal processors
  • a plurality of such vehicle cameras is often arranged on the vehicle, for example in a front area, in a spot area and in both side areas of the vehicle, in which case an evaluation of camera images from these plurality of vehicle cameras must be carried out, in particular simultaneously, and a considerable amount of data is made available for processing.
  • this can lead to time delays in the processing of the camera images and requires the provision of high computing power in the vehicle, which is associated with high costs.
  • FIG. 1 c An improved approach is to carry out a non-linear downscaling, as shown in FIG. 1 c).
  • non-linear downscaling different regions of the camera image are scaled in different ways.
  • high resolutions can be provided in certain areas of the image of the surroundings formed on the basis of the camera image, for example in the horizontal area, while the resolution in other areas, in particular in areas close to the surroundings of the vehicle, can be reduced.
  • distant objects can also be reliably detected in the high resolution area without relevant image information relating to the near area being lost, as can occur, for example, when image information is cut off.
  • Objects in the vicinity of the vehicle can also be reliably detected with a lower resolution due to their size. It is further advantageous that overall high compression rates can be used, ie the images of the surroundings have a smaller number of image points than the camera images provided by the vehicle cameras. Disadvantages of the non-linear image processing are possible distortions in the image of the surroundings, in particular at the edges of the image.
  • the invention is based on the object of providing a method for providing an image of the surroundings based on a camera image of a vehicle camera of a vehicle for monitoring the surroundings of the vehicle, the camera image having a camera image area with a camera resolution for another Processing, in particular by a driving support system of the vehicle, to specify an image unit for carrying out the method and a driving support system with at least one such image unit, which enable efficient and reliable monitoring of the surroundings of the vehicle.
  • an image unit for providing an image of the surroundings based on a camera image of a vehicle camera of a vehicle for monitoring the surroundings of the vehicle, for another Processing, in particular specified by a driving support system of the vehicle, comprising at least one vehicle camera for providing the camera image with a camera image area and with a camera resolution, and a control unit that is connected to the at least one vehicle camera via a data bus, and the respective camera image via the data bus receives, wherein the image unit is designed to carry out the above method for providing an image of the surroundings for the at least one vehicle camera.
  • a driving support system for a vehicle is also specified for providing at least one driving support function based on monitoring of the surroundings of the vehicle.
  • the driving support system comprises at least one of the above image units.
  • the basic idea of the present invention is therefore to dynamically adapt the focus area of the camera image in order to provide the image of the surroundings in an optimal form for the respective driving situation depending on the at least one movement parameter.
  • a dynamic adaptation of a scaling can take place when the image of the surroundings is provided, in order to enable efficient processing of the image of the surroundings.
  • the scaling is dynamically dependent on the current focus area within the image of the surroundings.
  • the provision of the image of the surroundings is improved overall, since excessive resolutions of the image of the surroundings in areas which are of no interest due to the current driving situation can be avoided.
  • Each image of the surroundings does not have to cover all possible driving situations at the same time, but only one current driving situation based on the current movement parameters. This facilitates subsequent processing of the image of the surroundings, for example in order to recognize and classify objects, so that less computing power has to be made available.
  • an influence of a high or increased resolution of the camera image on the processing speed for a computer vision algorithm and / or learning method of deep neural networks (deep learning), for example by means of a convolutional neural network (convolutional neural network - CNN), can be compensated without to forego their advantages at least in the first image area corresponding to the current focus area.
  • deep learning deep neural network
  • convolutional neural network - CNN convolutional neural network
  • the environment image is used for further processing. It is based on the camera image and can contain parts thereof, for example in the first or second image area, or the first and / or second image area of the surrounding image is / are formed based on the camera image, for example as part of data compression, a reduction in resolution or the like .
  • the camera image is provided by the vehicle camera. In principle, it can have any resolution in accordance with an optical sensor of the vehicle camera.
  • the camera image can contain color information, for example in RGB format, or only brightness information as a black / white image.
  • the vehicle camera can be any camera for mounting on a vehicle. Wide-angle cameras or fisheye cameras are common in this area. Such vehicle cameras can capture camera image areas with angular ranges of more than 160 ° up to 180 ° and in some cases beyond, so that the surroundings of the vehicle can be captured very comprehensively with a few cameras. In particular, when using fisheye cameras, distortions can occur that make processing of the image more difficult. In particular, there is distortion in vertical lines and objects become close shown enlarged.
  • the vehicle cameras or the image units can carry out corrections with such vehicle cameras, so that, for example, a computer vision algorithm can easily evaluate the corrected camera image.
  • the vehicle cameras can be designed, for example, as a front camera, spot camera, right side camera or left side camera and can be arranged accordingly on the vehicle.
  • a front camera a spot camera, a right side camera and a left side camera can be used together.
  • the position of the vehicle camera on the vehicle makes it possible to set the vehicle camera in relation to the at least one movement parameter. For example, a different focus area is currently relevant for a side camera when driving forward and when reversing the vehicle. In principle, the position of the vehicle camera can only be determined once, since the position does not change during operation.
  • the camera resolution depends on the vehicle camera. It is not necessary to use a specific resolution.
  • the further processing in particular by a driving support system of the vehicle, relates, for example, to a computer vision algorithm and / or learning method of deep neural networks (deep learning), for example by means of a convolutional neural network (CNN).
  • deep learning deep neural networks
  • This processing takes place in particular on specially embedded platforms or on so-called digital signal processors (DSP) with limited computing capacity.
  • DSP digital signal processors
  • the image unit can have a plurality of vehicle cameras, the control unit receiving the camera images from the plurality of vehicle cameras via the data bus and providing a corresponding image of the surroundings for each of the vehicle cameras.
  • the image unit can also have a plurality Have control units which each individually or jointly carry out the method for each of the camera images of one or more vehicle cameras.
  • the steps for acquiring at least one current movement parameter of the vehicle, for defining a current focus area and for transferring pixels of the camera image into the image of the surroundings are carried out in a loop in order to continuously provide images of the surroundings for further processing.
  • the acquisition of at least one current movement parameter of the vehicle includes acquisition of a current direction of movement of the vehicle.
  • the direction of movement can be detected, for example, using odometry information from the vehicle.
  • a steering angle of the vehicle can be detected, which indicates a direction of movement of the vehicle.
  • Steering angle sensors for example, are known for this purpose.
  • the direction of movement of the vehicle can be recorded based on position information from a global navigation satellite system (GNSS). Acceleration sensors or other sensors are also known in order to detect a direction of movement or a change in the direction of movement.
  • GNSS global navigation satellite system
  • the current focus area can be in a center of the camera image.
  • the current focus area can be set to the right of it, and when driving to the left, to the left of it.
  • Driving to the right or left also includes a directional component forwards or backwards, ie the speed of movement of the vehicle is greater than or less than zero.
  • the current focus area when driving to the right or left can be independent of the speed of movement of the vehicle.
  • the current focus area is defined to the left of the center, and when driving to the left, the current focus area is defined to the right of the center.
  • the current focus area can be set to the left of the center, while the current focus area when driving backwards (straight ahead) is set to the right of the center.
  • the current focus area can be set in the middle of the camera image.
  • the current focus area is determined to the right of the center when driving forwards (straight ahead), while it is defined to the left of the center when driving backwards (straight ahead).
  • the current focus area can be set in the middle of the camera image.
  • the recording of at least one current movement parameter of the vehicle includes recording a current movement speed of the vehicle.
  • the current focus area can be adapted, in particular for vehicle cameras, with a viewing direction to the front or also to the rear, in order to be able to reliably capture the surroundings.
  • the current focus area can be specified with a different size or a different resolution than when the vehicle is moving at high speed.
  • a good detection of the entire surroundings of the vehicle is particularly advantageous, while at high speeds it is particularly advantageous to be able to reliably detect and, if necessary, detect objects in the direction of movement of the vehicle even at a great distance.
  • a vehicle control system can be adapted in good time to such objects even at high speeds, which enables the vehicle to move evenly.
  • the speed of movement of the vehicle can be detected, for example, by means of odometry information from the vehicle. For example, a wheel rotation of a wheel of the vehicle can be detected, from which a movement speed of the vehicle can be derived.
  • the direction of movement of the vehicle can be recorded based on position information from a global navigation satellite system (GNSS).
  • GNSS global navigation satellite system
  • Acceleration sensors or other sensors are also known in order to detect a speed of movement or a change in the speed of movement.
  • the detection of at least one current movement parameter of the vehicle includes detection of a change in position of objects between camera images or images of the surroundings, which were provided with a time delay, and a determination of the current direction of movement and / or the current movement speed of the vehicle based on the detected change in position of the objects.
  • the provision of the camera images or images of the surroundings with a time delay relates to two or more of the images that are provided from a sequence of images.
  • the pictures can be consecutive pictures from the sequence, for example consecutive pictures of a video sequence, or skip pictures in the sequence.
  • a movement of objects in the images can be recorded, from which in turn the at least one current movement parameter of the vehicle can be recorded.
  • the detection of the at least one current movement parameter of the vehicle can be determined based on an optical flow, for example.
  • the establishment of a current focus area within the camera image based on the position of the vehicle camera on the vehicle and the at least one current movement parameter includes selecting the current focus area from a plurality of predefined focus areas.
  • the restriction to a plurality of predetermined focus areas makes it easier to carry out the method, so that it can be carried out simply and efficiently.
  • the specified focus areas include, in particular, focus areas that are each directed to a center and edge areas of the camera image. This can relate to a horizontal direction and / or a vertical direction in the camera image. The selection of the current focus area from the specified focus areas can be implemented quickly and efficiently.
  • setting a current focus area within the camera image based on the position of the vehicle camera on the vehicle and the at least one current movement parameter includes setting a horizontal position of the current focus area in relation to the camera image, in particular as a right focus area, a middle one Focus area or a left focus area.
  • the horizontal position is a position in a horizontal plane.
  • the horizontal plane is usually of particular importance because Objects in such a plane can usually interact with the vehicle or even collide.
  • the focal areas preferably include a line in the vertical direction, which is often also referred to as a “horizon”, ie a line which delimits the earth from the sky. This vertical alignment is particularly suitable in order to be able to recognize relevant objects and / or driving situations.
  • setting a current focus area within the camera image based on the position of the vehicle camera on the vehicle and the at least one current movement parameter includes setting a size of the current focus area within the camera image.
  • the size of the current focus area can be adjusted depending on the speed of movement, for example.
  • the size of the current focus area can also depend on its horizontal position in relation to the camera image, i.e. a right focus area can have a different size than a central focus area.
  • a right or left current focus area can be selected to be small, since the side camera can only provide relevant information with regard to the corresponding direction of travel to a lesser extent.
  • a mean current focus area can be selected to be larger, since the side camera can provide a high degree of relevant information with regard to relevant objects in the area of the vehicle when turning.
  • establishing a current focus area within the camera image based on the position of the vehicle camera on the vehicle and the at least one movement parameter includes determining a shape of the current focus area within the camera image.
  • any shape of the current focus area can be selected.
  • an oval shape as well as a rectangular shape has proven successful, with the rectangular as well as the oval shape being able to be selected, for example, in accordance with an aspect ratio of the camera image.
  • the shape of the current focus area can also be set up to date for the focus area.
  • the transfer of image points of the camera image into the image of the surroundings comprises a transfer of the image points with a continuous transition between the first and the second image area.
  • a continuous transition means that there is no sudden change in resolution of the surrounding image takes place between the first and the second image area.
  • the resolution is therefore adapted via an adaptation range in which the resolution changes from the first resolution to the second resolution. This makes it easier to use the image of the surroundings for further processing, for example in order to recognize and classify objects in the image of the surroundings by means of neural networks.
  • the adaptation area can in principle be part of the first image area, the second image area or both image areas.
  • the transfer of pixels of the camera image into the environment image, pixels from the current focus area in a first image area of the environment image corresponding to the current focus area are transferred with a first resolution, and pixels of the camera image from a remaining area that is not in the current focus area, can be transferred to a corresponding second image area of the surrounding image with a second resolution, the second resolution being smaller than the first resolution, a transfer of the pixels in the vertical direction with a lower resolution than in a horizontal direction.
  • the non-linear transfer of the pixels of the camera image into the surrounding image can include, for example, non-linear compression or non-linear downscaling in relation to the two image directions, i.e. the vertical direction and the horizontal direction.
  • a non-linear resolution can be selected in the vertical direction, with a higher resolution being used in a central area in which objects that are typically relevant for the vehicle are used than in edge areas.
  • an additional focus in the image of the surroundings can be placed on image areas which typically contain a high content of relevant information, for example in the area of a “horizon”.
  • the transfer of pixels of the camera image into the surrounding image includes reducing the resolution from the remaining area of the camera image that is not in the current focus area to the corresponding second image area of the surrounding image.
  • the reduction of the resolution from the remaining area of the camera image that is not in the current focus area to the second corresponding area leads to the image of the surroundings being provided with a reduced number of pixels compared to the camera image.
  • the reduced resolution can be provided in different ways, for example by performing data compression when transferring the pixels of the camera image from the remaining area that is not in the current focus area to the corresponding second image area of the surrounding image.
  • a simple compression can be achieved by combining several pixels of the camera image into one pixel of the surrounding image.
  • Several image points can be combined in any way, with not only multiples of one image point being able to be used.
  • three image points of the camera image can also be used in one image direction to determine two image points of the surrounding image.
  • individual image points of the camera image can also be adopted as image points of the surrounding image. Pixels that are not taken over are neglected.
  • the focus area is preferably adopted without changing the resolution from the remaining area of the camera image that is not in the current focus area to the corresponding second image area of the surrounding image.
  • the image information of the focus area provided by the vehicle camera can be used in full, while at the same time the image of the surroundings can be processed efficiently and quickly overall.
  • the transfer of image points of the camera image into the surrounding image includes reducing the resolution from the current focus area of the camera image to the first image area of the surrounding image that corresponds to the current focus area.
  • the same statements apply as with regard to reducing the resolution from the remaining area of the camera image that is not in the current focus area to the second image area of the surrounding image that corresponds therewith.
  • the two reductions in resolution are in principle independent from each other.
  • the second resolution In order to be able to carry out an improved recognition of detail in the current focus area, the second resolution must be smaller than the first resolution.
  • data compression is carried out when the image points of the camera image are transferred to the first and second image areas of the surrounding image, the compression being lower in the focus area.
  • the surrounding image can be provided overall with a further reduced amount of data, which enables particularly fast processing of the surrounding image is made possible.
  • the transfer of image points of the camera image into the surrounding image includes increasing the resolution from the current focus area of the camera image to the first image area of the surrounding image that corresponds to the current focus area.
  • An image of the surroundings can therefore also be provided which, for example, has the same number of image points as the camera image, but the resolution in the focus area is increased compared to the camera image.
  • An increase in the resolution from the current focus area of the camera image to the first image area of the surrounding image corresponding to the current focus area can also be combined with a reduction in the resolution from the remaining area of the camera image that is not in the current focus area to the second corresponding to it Image area of the surrounding image.
  • the transfer of image points of the camera image into the image of the surroundings includes the transfer of the image points of the camera image into the image of the surroundings based on a transfer rule in a look-up table for differently defined focus areas.
  • the look-up table also referred to as a look-up table, can contain an assignment of image points of the camera image to the image of the surroundings in order to provide the image of the surroundings in a particularly simple manner.
  • the use of the look-up table enables a very efficient method for providing the image of the surroundings.
  • the look-up table can thus be designed as a two-dimensional matrix which assigns a pixel of the camera image to each pixel of the surrounding image that has a lower resolution than the camera image.
  • look-up table With a resolution of one megapixel and a compression of 2.5, such a two-dimensional matrix can have around 1,500 entries, for example, while a corresponding calculation requires around 400,000 computation steps.
  • the use of the look-up table enables, for example, a simple change in the current focus area by changing a pointer to a position in the look-up table, and thus a different two-dimensional matrix can be selected.
  • Correspondingly predefined look-up tables are predefined for one focus area in each case, so that, depending on a number of possible focus areas, a corresponding number of two-dimensional matrices is required in order to be able to provide the image of the surroundings in each case.
  • the matrices can be predefined so that they do not have to be created by the imaging unit itself.
  • It shows 1 shows a schematic view of an original camera image in comparison with an image of the surroundings with linear downscaling and non-linear downscaling from the prior art
  • FIG. 2 shows a vehicle with an image unit with four vehicle cameras and a control unit connected to it via a data bus according to a first, preferred embodiment
  • FIG. 3 shows an exemplary camera image from a side camera of the vehicle
  • FIG. 4 shows an exemplary camera image of a front camera of the vehicle from FIG.
  • 5 shows an exemplary generic camera image of a vehicle camera of the
  • FIG. 7 shows a table with various vehicle cameras plotted over possible directions of movement of the vehicle, with a position of the current focus area for combinations Vehicle camera and direction of movement of the vehicle is specified, and
  • FIG. 8 shows a flowchart of a method for providing an image of the surroundings based on a camera image of a vehicle camera of the vehicle from FIG Vehicle, according to the first embodiment.
  • FIG. 1 shows a vehicle 10 with an imaging unit 12 according to a first, preferred embodiment.
  • the image unit 12 comprises a plurality of vehicle cameras 14, 16, 18, 20 for providing a camera image 30 each with a camera image area and with a camera resolution, and a control unit 22 which is connected to the vehicle cameras 14, 16, 18, 20 via a data bus 24 .
  • the control unit 22 receives the camera images 30 from the various vehicle cameras 14, 16, 18, 20 via the data bus 24.
  • the camera images 30 are provided by the vehicle cameras 14, 16, 18, 20 in this exemplary embodiment with an identical camera resolution in each case.
  • the camera images 30 each contain color information in the RGB format.
  • the vehicle cameras 14, 16, 18, 20 are on the vehicle 10 as a front camera 14 at a position in front of the vehicle 10, as a spot camera 16 at a position at the spot of the vehicle 10, as a right side camera 18 at a position on a right side of the vehicle Vehicle 10 and designed as a left side camera 20 at a position on a left side of vehicle 10 in relation to a forward travel direction 26 of vehicle 10.
  • the vehicle cameras 14, 16, 18, 20 in this exemplary embodiment are designed as wide-angle cameras or, in particular, as fisheye cameras and each have a camera image area with an angular range of over 160 ° up to 180 ° as the camera image area.
  • fisheye cameras are corrected in the image unit 12 in order to compensate for distortions in the camera images 30 based on the special optical properties of the fisheye cameras.
  • the four vehicle cameras 14, 16, 18, 20 together enable complete monitoring of an environment 28 around the vehicle 10 with an angular range of 360 °.
  • the image unit 12 is designed to carry out the method described in detail below for providing an image of the surroundings 36 based on a respective camera image 30 for the vehicle cameras 14, 16, 18, 20.
  • the control unit 22 carries out parallel processing of the camera images 30 provided by the vehicle cameras 14, 16, 18, 20 in order to provide the respective surroundings images 36.
  • the images of the surroundings 36 are used by a driving support system, not shown here, of the vehicle 10 for monitoring the surroundings 28 of the vehicle 10 for further processing.
  • the driving assistance system comprises the image unit 12 and executes a driving assistance function based on the monitoring of the surroundings 28 of the vehicle 10.
  • the further processing relates, for example, to a computer vision algorithm and / or learning method of deep neural networks (deep learning), for example by means of a convolutional neural network (convolutional neural network - CNN). This processing takes place in particular on specially embedded platforms or on so-called digital signal processors (DSP) with a limited computing capacity within the vehicle 10.
  • DSP digital signal processors
  • the method for providing an image of the surroundings 36 based on a camera image 30 of the respective vehicle cameras 14, 16, 18, 20 of the vehicle 10, which is shown as a flow chart in FIG. 8, is described below.
  • the method is carried out with the image unit 12 of the vehicle 10 from FIG.
  • the method is carried out individually for each of the vehicle cameras 14, 16, 18, 20 of the vehicle 10, ie before a possible fusion of sensor data from the vehicle cameras 14, 16, 18, 20 of the vehicle 10.
  • the method is carried out in order to capture the images of the surroundings 36 in FIG to provide four vehicle cameras 14, 16, 18, 20 for monitoring an environment 28 of the vehicle 10 for further processing, in particular by the driving support system of the vehicle 10.
  • the method begins with step S100, which includes determining a respective position of the various vehicle cameras 14, 16, 18, 20 on the vehicle 10.
  • a position at the front of the vehicle 10 for the front camera 14, a position at the spot of the vehicle 10 for the spot camera 16, a position on a right side of the vehicle 10 for the right side camera 18 and a position on a for the left side camera 20 left side of the vehicle 10 is determined.
  • Step S110 relates to acquiring current movement parameters 44 of vehicle 10.
  • movement parameters 44 include a current direction of movement 44 of vehicle 10 and a movement speed of vehicle 10.
  • Movement parameters 44 are acquired in the first embodiment using odometry information from vehicle 10. For this purpose, a steering angle of the vehicle 10 is detected with a steering angle sensor and a wheel rotation of a wheel of the vehicle 10 is detected with a corresponding rotation sensor.
  • the movement parameters 44 are acquired based on position information from a global navigation satellite system (GNSS).
  • GNSS global navigation satellite system
  • Step S120 relates to establishing a current focus area 32 within the camera image 30 based on the position of the vehicle camera 14, 16, 18, 20 on the vehicle 20 and the current movement parameters 44 the previously recorded movement parameters 44 are selected.
  • the predetermined focus areas 32 have different positions in a horizontal direction and each include a right focus area 32 on a right edge of the camera image 30, a central focus area 32 in a center of the camera image 30 or a left focus area 32 on a left edge of the camera image 30.
  • the predefined focus areas 32 each have a fixed, identical size and a likewise identical, oval shape.
  • the predetermined focus areas 32 are also arranged in the vertical direction on a line which is often also referred to as the “horizon”, ie a line which delimits the earth from the sky.
  • FIG. 5a shows an exemplary camera image 30 with a uniform grid.
  • the first image areas 40 selected as current focus areas 32 are shown in FIGS middle focus area 32 shows first image area 40 corresponding to the middle of the environment image 36
  • FIG. 5c) shows a first image area 40 corresponding to a left focus area 32 on a left edge of the environment image 36
  • FIG. 5d) shows a first image area corresponding to a right focus area 32 40 at a right edge of the environment image 36 shows.
  • the first image areas 40 each have a fixed, identical size and a likewise identical, oval shape in accordance with the predefined focus areas 32.
  • the first image areas 40 are also arranged on a line in the vertical direction in accordance with the predetermined focus areas 32.
  • the current focus area 32 is defined for the different vehicle cameras 14, 16, 18, 20 in different ways, as is shown by way of example in the table in FIG. 7 depending on the direction of movement 44.
  • a uniform movement speed is assumed, so that the movement speed is neglected for the purpose of differentiation.
  • the movement speed can be neglected as a movement parameter, for example below a limit speed, so that the current focus area 32, for example in city traffic, with a movement speed of for example up to 50 km / h or up to 60 km / h based solely on the direction of movement 44 and the position the respective vehicle camera 14, 16, 18, 20 is fixed on the vehicle 10.
  • the middle focus area 32 is defined as the current focus area 32 when driving forwards (straight ahead) and backwards (straight ahead).
  • the right focus area 32 is defined as the current focus area 32
  • the left focus area 32 is defined as the current focus area 32.
  • Driving to the right or left includes likewise a directional component to the front or to the rear, ie the speed of movement of the vehicle 10 is greater than or less than zero.
  • the selection of the current focus area 32 when driving to the right or left is here independent of the directional component forwards or backwards.
  • the central focus area 32 when driving forwards (straight ahead) and backwards (straight ahead), the central focus area 32 is defined as the current focus area 32.
  • the left focus area 32 is defined as the current focus area 32
  • driving to the left is defined as the current focus area 32.
  • driving to the right or left includes a directional component to the front or to the rear, i.e. the speed of movement of the vehicle 10 is greater than or less than zero.
  • the selection of the current focus area 32 when driving to the right or left is here independent of the directional component forwards or backwards.
  • the left focus area 32 is defined as the current focus area 32 when driving forwards (straight ahead).
  • the right focus area 32 is set as the current focus area 32.
  • the central focus area 32 is set as the current focus area 32.
  • the middle focus area 32 is also defined as the current focus area 32 for driving to the left.
  • the right focus area 32 is defined as the current focus area 32 when driving forwards (straight ahead). When driving backwards (straight ahead), the left focus area 32 is set as the current focus area 32. When driving to the right, the central focus area 32 is set as the current focus area 32.
  • the middle focus area 32 is also defined as the current focus area 32 for driving to the left.
  • driving to the right or left includes a directional component to the front or to the rear, ie the speed of movement of the vehicle 10 is greater than or less than zero.
  • the selection of the current focus area 32 when driving to the right or left is here independent of the directional component forwards or backwards.
  • the current focus area 32 is adapted, for example above a limit speed.
  • the current focus area 32 is adapted to the current movement speed in each case.
  • FIG. 6a which relates to driving at a low speed of movement of the vehicle 10
  • the first image area 40 corresponding to the current focus area 32 is shown with a low resolution, ie with a high compression.
  • the resolution of the first image area 40 is only slightly greater than the resolution of the second image area 42 corresponding to the remaining area 34.
  • FIG. 6 a When the vehicle 10 is driven at an average movement speed, which is shown in FIG first image area 40 is shown with a medium resolution, that is to say with an increased resolution compared to driving at a low movement speed.
  • the current focus area 32 was thus transferred to the first image area 40 with a lower compression than when driving at a low speed.
  • the resolution of the first image area 40 is thus increased compared to the example from FIG. 6a).
  • the resolution of the first image area 40 in FIG. 6 b) is thus increased compared to the resolution of the second image area 42 corresponding to the remaining area 34.
  • An object 46 shown in the image of the surroundings 36, here a vehicle traveling ahead, is visibly enlarged compared to the illustration in FIG. 6 a).
  • the first image area 40 corresponding to the current focus area 32 is shown with a high resolution, ie with a resolution that is further increased compared to driving at an average movement speed.
  • the current focus area 32 was thus transferred to the first image area 40 with a lower compression compared to driving at a medium speed.
  • the resolution of the first image area 40 is thus further increased compared to the example from FIG. 6b).
  • the resolution of the first image area 40 in FIG. 6c) is also further increased compared to the resolution of the second image area 42 corresponding to the remaining area 34.
  • An object 46 shown in the environment image 36, here a vehicle traveling ahead is visibly enlarged compared to the illustration in FIG. 6b).
  • the resolution of the second image area 42 is selected to be identical in each case in the surroundings images 36 shown in FIG. 6, so that the surroundings images 36 each have the same image size.
  • Step S130 relates to a transfer of image points of the camera image 30 into the environment image 36, with image points from the current focus area 32 being transferred to a first image area 40 of the environment image 36 corresponding to the current focus area 32 with a first resolution, and image points of the camera image 30 from one remaining area 34, which is not in the current focus area 32, can be transferred to a corresponding second image area 42 of the surrounding image 36 with a second resolution.
  • the second resolution is in each case smaller than the first resolution.
  • the resolution of the first or second image area 40, 42 can be different, depending on a selected type of provision of the respective environmental image 36.
  • a corresponding entry is selected in a look-up table 48 for differently defined focus areas 32.
  • the look-up table 48 also referred to as a look-up table, contains an assignment of image points of the camera image 30 to the environment image 36 based on the various possible focus areas 32 Image points of the camera image 30 are transferred into the image of the surroundings 36.
  • the look-up table 48 thus comprises a plurality of two-dimensional matrices, each of which contains a pixel of the camera image 30 for each pixel of the surrounding image 30 assigns.
  • the image points of the camera image 30 are transferred into the respective environmental image 36 with a continuous transition between the first and second image areas 40, 42, ie without sudden changes in the resolution of the environmental image 36 between the first and second image areas 40, 42.
  • the resolution is therefore adapted via an adaptation area in which the resolution changes from the first resolution to the second resolution.
  • the adaptation area which is not explicitly shown in FIG. 5, is part of the second image area 42 here.
  • the image of the surroundings 36 is provided with a resolution that is reduced compared to the camera image 30, the second image area 42 corresponding to the remaining area 34 of the camera image 30 having a lower resolution than the first image area 40 corresponding to the current focus area 32.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen eines Umgebungsbildes (36) basierend auf einem Kamerabild (30) einer Fahrzeugkamera (14, 16, 18, 20) eines Fahrzeugs (10) zur Überwachung einer Umgebung (28) des Fahrzeugs (10), wobei das Kamerabild (30) einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs (10), umfassend die Schritte Bestimmen einer Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10), Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10), Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44), und Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36), wobei Bildpunkte aus dem aktuellen Fokusbereich (32) in einen mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes (30) aus einem verbleibenden Bereich (34), der nicht in dem aktuellen Fokusbereich (32) liegt, in einen damit korrespondierenden zweiten Bildbereich (42) des Umgebungsbildes (36) mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist. Die Erfindung betrifft außerdem eine Bildeinheit (12) zum Bereitstellen eines Umgebungsbildes nach dem obigen Verfahren und ein Fahrunterstützungssystem umfassend wenigstens eine solche Bildeinheit (12).

Description

Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter
Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, wobei das Kamerabild einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs.
Auch betrifft die vorliegende Erfindung eine Bildeinheit zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, umfassend wenigstens eine Fahrzeugkamera zur Bereitstellung des Kamerabildes mit einem Kamerabildbereich und mit einer Kameraauflösung, und einer Steuerungseinheit, die über einen Datenbus mit der wenigstens einen Fahrzeugkamera verbunden ist, und das jeweilige Kamerabild über den Datenbus empfängt, wobei die Bildeinheit ausgeführt ist, das obige Verfahren zum Bereitstellen eines Umgebungsbildes für die wenigstens eine Fahrzeugkamera durchzuführen.
Weiterhin betrifft die vorliegende Erfindung ein Fahrunterstützungssystem für ein Fahrzeug zur Bereitstellung wenigstens einer Fahrunterstützungsfunktion basierend auf einer Überwachung einer Umgebung des Fahrzeugs, das wenigstens eine obige Bildeinheit umfasst.
Im Automobilbereich ist eine Erfassung der Umgebung von Fahrzeugen mit an dem Fahrzeug angebrachten Kameras, im Weiteren Fahrzeugkameras, weit verbreitet, um unterschiedliche Fahrunterstützungsfunktionen, die teilweise als ADAS (Advanced Driver Assistance Systems) bezeichnet werden, zu realisieren. Entsprechendes gilt für autonomes Fahren, das ebenfalls eine vollständige Wahrnehmung der Umgebung des Fahrzeugs erfordert. Um mit einer geringen Anzahl Fahrzeugkameras die Umgebung des Fahrzeugs vollständig erfassen zu können, werden häufig Weitwinkelkameras oder sogar Fischaugenkameras verwendet, so dass mit den Fahrzeugkameras Winkelbereiche von über 160° bis hin zu 180° und teilweise darüber hinaus erfasst werden können. Basierend auf mit den Fahrzeugkameras aufgenommen Kamerabildern können beispielsweise ein optischer Fluss bestimmt sowie eine Fahrzeug beziehungsweise eine Fußgängerdetektion oder eine Fahrspurerkennung durchgeführt werden. Neben solchen Aufgaben im Bereich der Objekterkennung sind auch Aufgaben im Bereich der Segmentierung von Bildinformation bekannt. Die Verarbeitung des entsprechenden Kamerabildes kann beispielsweise mittels eines Computervision- Algorithmus und/oder mittels Lernverfahren tiefer neuronaler Netzwerke (Deep Learning), beispielsweise mittels eines konvolutionalen neuronalen Netzes (Convolutional Neural Network - CNN) durchgeführt werden. Diese Auswertealgorithmen werden insbesondere auf speziell eingebetteten Plattformen oder auf so genannten digitalen Signalprozessoren (Digital Signal Processor - DSP) mit einer limitierten Rechenkapazität durchgeführt.
Oftmals ist am Fahrzeug eine Mehrzahl von solchen Fahrzeugkameras angeordnet, beispielsweise in einem Frontbereich, in einem Fleckbereich und in beiden Seitenbereichen des Fahrzeugs, wobei dann eine Auswertung von Kamerabildern dieser Mehrzahl von Fahrzeugkameras insbesondere simultan durchgeführt werden muss und eine erhebliche Datenmenge zur Verarbeitung bereitstellt. Insbesondere aufgrund der limitierten Rechenkapazität kann dies zu Zeitverzögerungen bei der Verarbeitung der Kamerabilder führen und erfordert die Bereitstellung von einer hohen Rechenleistung in dem Fahrzeug, was mit hohen Kosten verbunden ist.
Insbesondere bei der Nutzung von Fischaugenkameras können Verzerrungen auftreten, die eine Verarbeitung des Bildes erschweren. Insbesondere ist eine Verzerrung in vertikalen Linien zu verzeichnen und nahe Objekte werden vergrößert dargestellt. Diese Fischaugenbilder werden insbesondere korrigiert und begradigt, sodass beispielsweise der Computervision-Algorithmus das korrigierte Bild einfach auswerten kann.
Es ist bekannt, um Rechenzeit einzusparen, dass nicht das gesamte Kamerabild ausgewertet wird. Aus dem Stand der Technik sind hierbei unterschiedliche Strategien bekannt, welche insbesondere eine sogenannte Region von Interesse (region of interest - ROI) des Kamerabildes entsprechend auswertet. Im Stand der Technik wird somit lediglich ein Teilbereich des Kamerabildes, in welchem sich insbesondere die wichtigen Teile für eine weitere Auswertung befinden, verarbeitet. Andere Bildbereiche werden somit nicht weiter ausgewertet. Dies ist nachteilig, da teilweise relevante Information des Kamerabildes nicht erfasst werden kann, insbesondere betreffend Objekte in der Nähe der Fahrzeugkamera.
Darüber hinaus sind verschiedene Ansätze bekannt, um eine Reduktion von Bildinformation durchzuführen, um darüber die Verarbeitungsgeschwindigkeit zu erhöhen, ohne dass zusätzliche Rechenleistung erforderlich ist. Dafür sind prinzipiell zwei unterschiedliche Ansätze bekannt, die in Figur 1 dargestellt sind. Ausgehend von einem Kamerabild oder Originalbild, dass in Fig. 1 a) dargestellt ist und eine volle Auflösung aufweist, kann beispielsweise ein lineares Downscaling durchgeführt werden, wie in Fig. 1 b) dargestellt ist. Downscaling betrifft eine Reduktion von Bildinformation, indem beispielsweise mehrere Bildpunkte des Kamerabildes zu einem Bildpunkt eines Umgebungsbildes zur weiteren Verarbeitung zusammengefasst werden. Beim linearen Downscaling werden alle Bildpunkte in gleicher weise skaliert, um das Umgebungsbild in einer reduzierten Auflösung zu erzeugen. Dabei geht allerdings Bildinformation verloren, so dass insbesondere Objekte in einer größeren Entfernung des Fahrzeugs nicht mehr zuverlässig erkannt werden können. Ein verbesserter Ansatz besteht darin, ein nichtlineares Downscaling durchzuführen, wie in Fig. 1 c) dargestellt ist. Beim nichtlinearen Downscaling verschiedene Regionen des Kamerabildes in unterschiedlicher Weise skaliert. Dadurch können in bestimmten Bereichen des basierend auf dem Kamerabild gebildeten Umgebungsbildes hohe Auflösungen bereitgestellt werden, beispielsweise in Florizontbereich, während die Auflösung in anderen Bereichen, insbesondere in nahen Bereichen der Umgebung des Fahrzeugs, reduziert werden kann. Dadurch können auch entfernte Objekte in dem Bereich der hohen Auflösung zuverlässig erkannt werden, ohne dass relevante Bildinformation betreffend den Nahbereich verloren geht, wie es beispielsweise beim Abschneiden von Bildinformation Vorkommen kann. Auch können Objekte im Nahbereich des Fahrzeugs aufgrund ihrer Größe auch mit einer geringeren Auflösung zuverlässig erkannt werden. Weiter vorteilhaft ist, dass die Verwendung von insgesamt hohen Kompressionsraten möglich ist, d.h. die Umgebungsbilder weisen eine geringere Anzahl von Bildpunkten auf als die von den Fahrzeugkameras bereitgestellten Kamerabilder. Nachteilig an der nichtlinearen Bildverarbeitung sind mögliche Verzerrungen in dem Umgebungsbild, insbesondere an Bildrändern. Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, wobei das Kamerabild einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, eine Bildeinheit zur Durchführung des Verfahrens sowie ein Fahrunterstützungssystem mit wenigstens einer solchen Bildeinheit anzugeben, die eine effiziente und zuverlässige Überwachung der Umgebung des Fahrzeugs ermöglichen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß ist somit ein Verfahren zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, wobei das Kamerabild einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs angegeben, umfassend die Schritte Bestimmen einer Position der Fahrzeugkamera an dem Fahrzeug, Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs, Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen aktuellen Bewegungsparameter, und Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild, wobei Bildpunkte aus dem aktuellen Fokusbereich in einen mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes aus einem verbleibenden Bereich, der nicht in dem aktuellen Fokusbereich liegt, in einen damit korrespondierenden zweiten Bildbereich des Umgebungsbildes mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist.
Erfindungsgemäß ist außerdem eine Bildeinheit zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera eines Fahrzeugs zur Überwachung einer Umgebung des Fahrzeugs, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, angegeben, umfassend wenigstens eine Fahrzeugkamera zur Bereitstellung des Kamerabildes mit einem Kamerabildbereich und mit einer Kameraauflösung, und einer Steuerungseinheit, die über einen Datenbus mit der wenigstens einen Fahrzeugkamera verbunden ist, und das jeweilige Kamerabild über den Datenbus empfängt, wobei die Bildeinheit ausgeführt ist, das obige Verfahren zum Bereitstellen eines Umgebungsbildes für die wenigstens eine Fahrzeugkamera durchzuführen.
Erfindungsgemäß ist weiterhin ein Fahrunterstützungssystem für ein Fahrzeug zur Bereitstellung wenigstens einer Fahrunterstützungsfunktion basierend auf einer Überwachung einer Umgebung des Fahrzeugs angegeben. Das Fahrunterstützungssystem umfasst wenigstens eine obige Bildeinheit.
Grundidee der vorliegenden Erfindung ist es also, eine dynamische Anpassung des Fokusbereichs des Kamerabildes durchzuführen, um so das Umgebungsbild jeweils in einer optimalen Form für die jeweilige Fahrsituation abhängig von dem wenigstens einen Bewegungsparameter bereitzustellen. Dadurch kann eine dynamische Anpassung einer Skalierung bei dem Bereitstellen des Umgebungsbildes erfolgen, um eine effiziente Verarbeitung des Umgebungsbildes zu ermöglichen. Die Skalierung ist insbesondere Innerhalb des Umgebungsbildes dynamisch abhängig von dem jeweils aktuellen Fokusbereich. Durch die Festlegung des jeweils aktuellen Fokusbereichs kann dabei sichergestellt werden, dass jeweils eine optimale Auflösung in dem Umgebungsbild verwendet wird, so dass eine Gesamtmenge zu verarbeitender Daten gering ist und relevante Information für verschiedene Fahrsituationen abhängig von dem wenigstens einen Bewegungsparameter aufgrund der höheren Auflösung in dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich erhalten bleiben. Dadurch wird die Bereitstellung des Umgebungsbildes insgesamt verbessert, da übermäßige Auflösungen des Umgebungsbildes in Bereichen, die aufgrund der aktuellen Fahrsituation nicht von Interesse sind, vermieden werden können. Jedes Umgebungsbild muss nicht alle möglichen Fahrsituationen gleichzeitig abdecken, sondern basierend auf dem aktuellen Bewegungsparameter nur eine aktuelle Fahrsituation. Dies erleichtert eine nachfolgende Verarbeitung des Umgebungsbildes, beispielsweise um Objekte zu erkennen und zu klassifizieren, so dass weniger Rechenleistung zur Verfügung gestellt werden muss. Auch können dadurch leistungsfähige Fahrzeugkameras verwendet werden, die heutzutage Auflösungen von bis zu 20 Megapixel aufweisen, wobei einerseits der mit dem jeweils aktuellen Fokusbereich korrespondierende erste Bildbereich unter Ausnutzung der Auflösung solch leistungsfähiger Fahrzeugkameras mit einer hohen Auflösung bereitgestellt wird, wodurch beispielsweise eine maximale Erkennung von Objekten möglich ist, und andererseits in dem mit dem verbleibenden Bereich korrespondierenden zweiten Bildbereich eine geringere Auflösung verwendet wird, um die Bildinformation des Umgebungsbildes insgesamt zu begrenzen. Dadurch kann auch ein Einfluss einer hohen oder erhöhten Auflösung des Kamerabildes auf die Verarbeitungsgeschwindigkeit für einen Computervision-Algorithmus und/oder Lernverfahren tiefer neuronaler Netzwerke (Deep Learning), beispielsweise mittels eines konvolutionalen neuronalen Netzes (Convolutional Neural Network - CNN) ausgeglichen werden, ohne auf deren Vorteile zumindest im mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich zu verzichten. Diese Vorteile können besonders hervortreten, wenn zusätzlich eine Reduzierung der Auflösung für das Umgebungsbild erfolgt, entweder für den ersten Bildbereich und/oder für den zweiten Bildbereich.
Das Umgebungsbild wird für eine weitere Verarbeitung verwendet. Es basiert auf dem Kamerabild und kann Teile davon enthalten, beispielsweise in dem ersten oder zweiten Bildbereich, oder der erste und/oder zweite Bildbereich des Umgebungsbildes wird/werden basierend auf dem Kamerabild gebildet, beispielsweise im Rahmen einer Datenkomprimierung, einer Reduktion der Auflösung oder ähnliches.
Das Kamerabild wird von der Fahrzeugkamera bereitgestellt. Es kann eine prinzipiell beliebige Auflösung aufweisen in Übereinstimmung mit einem optischen Sensor der Fahrzeugkamera. Das Kamerabild kann Farbinformation enthalten, beispielsweise im Format RGB, oder als schwarz/weiß-Bild lediglich Helligkeitsinformation.
Die Fahrzeugkamera kann eine an sich beliebige Kamera zur Montage an einem Fahrzeug sein. In diesem Bereich sind Weitwinkelkameras oder auch Fischaugenkameras verbreitet. Solche Fahrzeugkameras können Kamerabildbereiche mit Winkelbereichen von über 160° bis hin zu 180° und teilweise darüber hinaus erfassen, so dass mit wenigen Kameras die Umgebung des Fahrzeugs sehr umfassend erfasst werden kann. Insbesondere bei der Nutzung von Fischaugenkameras können Verzerrungen auftreten, die eine Verarbeitung des Bildes erschweren. Insbesondere ist eine Verzerrung in vertikalen Linien zu verzeichnen und nahe Objekte werden vergrößert dargestellt. Entsprechend können die Fahrzeugkameras oder die Bildeinheiten mit solchen Fahrzeugkameras Korrekturen durchführen, sodass beispielsweise ein Computervision-Algorithmus das korrigierte Kamerabild einfach auswerten kann. Die Fahrzeugkameras können beispielsweise als Frontkamera, Fleckkamera, rechte Seitenkamera oder linke Seitenkamera ausgeführt und entsprechend an dem Fahrzeug angeordnet sein.
Häufig werden in einem Fahrzeug zur vollständigen Überwachung der Umgebung vier oder mehr Fahrzeugkameras verwendet, die eine Überwachung eines Winkelbereichs von 360° um das Fahrzeug ermöglichen. Entsprechen können beispielsweise eine Frontkamera, eine Fleckkamera, eine rechte Seitenkamera und eine linke Seitenkamera gemeinsam verwendet werden.
Die Position der Fahrzeugkamera an dem Fahrzeug ermöglicht es, die Fahrzeugkamera in Bezug zu dem wenigstens einen Bewegungsparameter zu setzen. So ist beispielsweise für eine Seitenkamera beim Vorwärtsfahren und beim Rückwärtsfahren des Fahrzeugs jeweils ein unterschiedlicher Fokusbereich aktuell relevant. Prinzipiell kann die Position der Fahrzeugkamera lediglich einmal bestimmt werden, da sich die Position im Betrieb nicht ändert.
Die Kameraauflösung hängt von der Fahrzeugkamera ab. Eine Verwendung einer bestimmten Auflösung ist nicht erforderlich.
Die weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, betrifft beispielsweise einen Computervision-Algorithmus und/oder Lernverfahren tiefer neuronaler Netzwerke (Deep Learning), beispielsweise mittels eines konvolutionalen neuronalen Netzes (Convolutional Neural Network - CNN). Diese Verarbeitung erfolgt insbesondere auf speziell eingebetteten Plattformen oder auf so genannten digitalen Signalprozessoren (Digital Signal Processor - DSP) mit einer limitierten Rechenkapazität.
Die Bildeinheit kann eine Mehrzahl Fahrzeugkameras aufweisen, wobei die Steuerungseinheit die Kamerabilder von der Mehrzahl Fahrzeugkameras über den Datenbus empfängt und für jede der Fahrzeugkameras ein entsprechendes Umgebungsbild bereitstellt. Prinzipiell kann die Bildeinheit auch eine Mehrzahl Steuerungseinheiten aufweisen, die jeweils einzeln oder gemeinsam das Verfahren für jedes der Kamerabilder einer oder mehrerer Fahrzeugkameras durchführen.
Insbesondere die Schritte zum Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs, zum Festlegen eines aktuellen Fokusbereichs und zum Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild werden schleifenartig durchgeführt, um kontinuierlich Umgebungsbilder zur weiteren Verarbeitung bereitzustellen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs ein Erfassen einer aktuellen Bewegungsrichtung des Fahrzeugs. Die Bewegungsrichtung kann zum Beispiel durch Odometrieinformation des Fahrzeugs erfasst werden. Beispielsweise kann ein Lenkeinschlag des Fahrzeugs erfasst werden, der eine Bewegungsrichtung des Fahrzeugs angibt. Dazu sind beispielsweise Lenkwinkelsensoren bekannt. Alternativ oder zusätzlich kann die Bewegungsrichtung des Fahrzeugs basierend auf Positionsinformation eines globalen Navigationssatellitensystem (GNSS) erfasst werden. Auch sind Beschleunigungssensoren oder auch andere Sensoren bekannt, um eine Bewegungsrichtung oder eine Änderung der Bewegungsrichtung zu erfassen.
Basierend auf der Bewegungsrichtung ergeben sich beispielhaft folgende Möglichkeiten für das Festlegen des jeweils aktuellen Fokusbereichs, wie nachstehend ausgeführt ist. Prinzipiell sind selbstverständlich andere Regeln zum Festlegen des jeweils aktuellen Fokusbereichs anwendbar. Für die Frontkamera kann beispielsweise beim Fahren vorwärts (geradeaus) und rückwärts (geradeaus) der aktuelle Fokusbereich in einer Mitte des Kamerabildes liegen. Beim Fahren nach rechts kann der aktuelle Fokusbereich entsprechend rechts davon festgelegt werden und beim Fahren nach links entsprechend links davon. Das Fahren nach rechts bzw. links umfasst dabei ebenfalls eine Richtungskomponente nach vorne oder nach hinten, d.h. die Bewegungsgeschwindigkeit des Fahrzeugs ist größer oder kleiner Null. Der aktuelle Fokusbereich beim Fahren nach rechts bzw. links kann unabhängig von der Bewegungsgeschwindigkeit des Fahrzeugs sein. Entsprechendes ergibt sich für die Fleckkamera mit dem Unterschied, dass beim Fahren nach rechts wird der aktuelle Fokusbereich links von der Mitte festgelegt wird, und beim Fahren nach links der aktuelle Fokusbereich rechts von der Mitte festgelegt wird. Für die rechte Seitenkamera ergibt kann beispielsweise beim Fahren vorwärts (geradeaus) der aktuelle Fokusbereich links von der Mitte festgelegt werden, während der aktuelle Fokusbereich beim Fahren rückwärts (geradeaus) rechts von der Mitte festgelegt wird. Beim Fahren nach rechts oder links kann der aktuelle Fokusbereich in der Mitte des Kamerabildes festgelegt werden. Entsprechend ergibt sich für die linke Seitenkamera, dass beim Fahren vorwärts (geradeaus) der aktuelle Fokusbereich rechts von der Mitte festgelegt wird, während er beim Fahren rückwärts (geradeaus) links von der Mitte festgelegt wird. Beim Fahren nach rechts oder links kann der aktuelle Fokusbereich in der Mitte des Kamerabildes festgelegt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs ein Erfassen einer aktuellen Bewegungsgeschwindigkeit des Fahrzeugs. Darauf basierend kann der aktuelle Fokusbereich insbesondere für Fahrzeugkameras mit Blickrichtung nach vorne oder auch nach hinten angepasst werden, um die Umgebung zuverlässig erfassen zu können. So kann beispielsweise bei einer niedrigen Geschwindigkeit des Fahrzeugs der aktuelle Fokusbereich mit einer anderen Größe oder einer anderen Auflösung festgelegt werden als bei einer hohen Geschwindigkeit. Bei einer niedrigen Geschwindigkeit ist eine gute Erfassung der gesamten Umgebung des Fahrzeugs besonders vorteilhaft, während es bei hohen Geschwindigkeiten besonders vorteilhaft ist, Objekte in Bewegungsrichtung des Fahrzeugs auch in großer Entfernung zuverlässig erfassen und ggf. erkennen zu können. Dadurch kann auch bei hohen Geschwindigkeiten eine Fahrzeugsteuerung rechtzeitig an solche Objekte angepasst werden, was eine gleichmäßige Bewegung des Fahrzeugs ermöglicht. Die Bewegungsgeschwindigkeit des Fahrzeugs kann beispielsweise durch Odometrieinformation des Fahrzeugs erfasst werden. Beispielsweise kann eine Radumdrehung eines Rades des Fahrzeugs erfasst werden, woraus eine Bewegungsgeschwindigkeit des Fahrzeugs abgeleitet werden kann. Alternativ oder zusätzlich kann die Bewegungsrichtung des Fahrzeugs basierend auf Positionsinformation eines globalen Navigationssatellitensystem (GNSS) erfasst werden. Auch sind Beschleunigungssensoren oder auch andere Sensoren bekannt, um eine Bewegungsgeschwindigkeit oder eine Änderung der Bewegungsgeschwindigkeit zu erfassen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Erfassen wenigstens eines aktuellen Bewegungsparameters des Fahrzeugs ein Erfassen einer Positionsänderung von Objekten zwischen Kamerabildern oder Umgebungsbildern, die mit einer zeitlichen Verzögerung bereitgestellt wurden, und ein Bestimmen der aktuellen Bewegungsrichtung und/oder der aktuellen Bewegungsgeschwindigkeit des Fahrzeugs basierend auf der erfassten Positionsänderung der Objekte. Das Bereitstellen der Kamerabilder oder Umgebungsbilder mit einer zeitlichen Verzögerung betrifft zwei oder mehrere der Bilder, die aus einer Sequenz von Bildern bereitgestellt werden. Die Bilder können unmittelbar aufeinanderfolgende Bilder aus der Sequenz sein, beispielsweise aufeinanderfolgende Bilder einer Videosequenz, oder Bilder in der Sequenz überspringen. Basierend auf den zeitlich versetzten Bildern kann eine Bewegung von Objekten in den Bildern erfasst werden, woraus wiederum der wenigstens eine aktuelle Bewegungsparameter des Fahrzeugs erfasst werden kann. Die Erfassung des wenigstens einen aktuellen Bewegungsparameters des Fahrzeugs kann beispielsweise basierend auf einem optischen Fluss ermittelt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen aktuellen Bewegungsparameter ein Auswählen des aktuellen Fokusbereichs aus einer Mehrzahl vorgegebener Fokusbereiche. Die Beschränkung auf eine Mehrzahl vorgegebene Fokusbereiche erleichtert die Durchführung des Verfahrens, so dass es einfach und effizient durchgeführt werden kann. Die vorgegebenen Fokusbereiche umfassen insbesondere Fokusbereiche, die jeweils auf eine Mitte und Randbereiche des Kamerabildes gerichtet sind. Dies kann eine horizontale Richtung und/oder eine vertikale Richtung in dem Kamerabild betreffen. Die Auswahl des aktuellen Fokusbereichs aus den vorgegebenen Fokusbereichen kann schnell und effizient umgesetzt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen aktuellen Bewegungsparameter ein Festlegen einer horizontalen Position des aktuellen Fokusbereichs bezogen auf das Kamerabild, insbesondere als einen rechten Fokusbereich, einen mittleren Fokusbereich oder einen linken Fokusbereich. Die horizontale Position ist eine Position in einer horizontalen Ebene. Beim Fahren mit einem Fahrzeug ist die horizontale Ebene üblicherweise von besonderer Bedeutung, da Objekte in einer solchen Ebene üblicherweise mit dem Fahrzeug interagieren oder gar kollidieren können. Vorzugsweise umfassen die Fokusbereiche in vertikaler Richtung eine Linie, die oftmals auch als „Florizont“ bezeichnet wird, d.h. eine Linie, welche die Erde von dem Flimmel abgrenzt. Diese vertikale Ausrichtung ist besonders geeignet, um relevante Objekte und/oder Fahrsituationen erkennen zu können.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen aktuellen Bewegungsparameter ein Festlegen einer Größe des aktuellen Fokusbereichs innerhalb des Kamerabildes. Die Größe des aktuellen Fokusbereichs kann beispielsweise abhängig von der Bewegungsgeschwindigkeit angepasst werden. Auch kann die Größe des aktuellen Fokusbereichs anhängig von seiner horizontalen Position bezogen auf das Kamerabild sein, d.h. ein rechter Fokusbereich kann eine andere Größe aufweisen als ein mittlerer Fokusbereich. Beispielsweise kann bei einer Seitenkamera ein rechter bzw. linker aktueller Fokusbereich klein gewählt sein, da die Seitenkamera nur in geringerem Maß relevante Information in Bezug auf die entsprechende Fahrtrichtung liefern kann. Demgegenüber kann beim Abbiegen ein mittlerer aktueller Fokusbereich größer gewählt sein, da die Seitenkamera in hohem Maß relevante Information in Bezug auf relevante Objekte im Bereichs des Fahrzeugs beim Abbiegen liefern kann.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Festlegen eines aktuellen Fokusbereichs innerhalb des Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und dem wenigstens einen Bewegungsparameter ein Festlegen einer Form des aktuellen Fokusbereichs innerhalb des Kamerabildes. Die Form des aktuellen Fokusbereichs kann prinzipiell beliebig gewählt sein. In der Praxis hat sich beispielsweise eine ovale Form wie auch eine rechteckige Form bewährt, wobei die rechteckige wie auch die ovale Form beispielweise in Übereinstimmung mit einem Seitenverhältnis des Kamerabildes gewählt sein können. Auch kann die Form des aktuellen Fokusbereichs jeweils aktuell für den Fokusbereich festgelegt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild ein Übertragen der Bildpunkte mit einem kontinuierlichen Übergang zwischen dem erstem und dem zweiten Bildbereich. Ein kontinuierlicher Übergang bedeutet, dass keine sprunghafte Änderung der Auflösung des Umgebungsbildes zwischen dem ersten und dem zweiten Bildbereich erfolgt. Die Anpassung der Auflösung erfolgt also über einen Anpassungsbereich, in dem die Auflösung sich von der ersten Auflösung zu der zweiten Auflösung ändert. Dies erleichtert die Nutzung des Umgebungsbildes zur Weiterverarbeitung, beispielsweise um Objekte in dem Umgebungsbild mittels Neuronaler Netze zu erkennen und zu klassifizieren. Der Anpassungsbereich kann prinzipiell Teil des ersten Bildbereichs, des zweiten Bildbereichs oder beider Bildbereiche sein.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild, wobei Bildpunkte aus dem aktuellen Fokusbereich in einen mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes aus einem verbleibenden Bereich, der nicht in dem aktuellen Fokusbereich liegt, in einen damit korrespondierenden zweiten Bildbereich des Umgebungsbildes mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist, ein Übertragen der Bildpunkte in vertikaler Richtung mit einer geringeren Auflösung als in einer horizontalen Richtung. Es erfolgt also eine nichtlineare Übertragung der Bildpunkte des Kamerabildes in das Umgebungsbild. Die nichtlineare Übertragung der Bildpunkte des Kamerabildes in das Umgebungsbild kann beispielsweise eine nichtlineare Kompression oder ein nichtlineares Downscaling bezogen auf die beiden Bildrichtungen, d.h. die vertikale Richtung und die horizontale Richtung umfassen. Insbesondere kann in der vertikalen Richtung eine nichtlineare Auflösung gewählt werden, wobei in einem mittleren Bereich, in dem sich typischerweise für das Fahrzeug relevante Objekte befinden, eine höhere Auflösung verwendet wird als in Randbereichen. Damit kann beispielsweise ein zusätzlicher Fokus in dem Umgebungsbild auf Bildbereiche gelegt werden, die typischerweise einen hohen Gehalt an relevanter Information enthalten, beispielsweise im Bereich eines „Florizonts“.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild ein Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes. Das Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes führt zu einer Bereitstellung des Umgebungsbildes mit einer gegenüber dem Kamerabild reduzierten Anzahl Bildpunkte. Das Bereitstellen des Umgebungsbildes mit einer reduzierten Auflösung ermöglicht eine anschließende Verarbeitung des Umgebungsbildes mit geringem Aufwand, d.h. geringen Verarbeitungsressourcen, so dass die Verarbeitung der Bilder auch in Embedded Systemen wie in Fahrunterstützungssystemen von Fahrzeugen ohne Weiteres erfolgen kann. Die reduzierte Auflösung kann dabei auf unterschiedliche Weise bereitgestellt werden, beispielsweise durch ein Durchführen einer Datenkompression beim Übertragen der Bildpunkte des Kamerabildes aus dem verbleibenden Bereich, der nicht in dem aktuellen Fokusbereich liegt, in den damit korrespondierenden zweiten Bildbereich des Umgebungsbildes. Eine einfache Kompression kann erreicht werden, indem mehrere Bildpunkte des Kamerabildes zu einem Bildpunkt des Umgebungsbildes zusammengefasst werden. Das Zusammenfassen von mehreren Bildpunkten kann dabei in beliebiger Weise erfolgen, wobei nicht nur vielfache eines Bildpunktes verwendet werden können. Beispielsweise können auch in einer Bildrichtung drei Bildpunkte des Kamerabildes für die Bestimmung von zwei Bildpunkten des Umgebungsbildes verwendet werden. Alternativ zu dem Zusammenfassen von Bildpunkten können auch einzelne Bildpunkte des Kamerabildes als Bildpunkte des Umgebungsbildes übernommen werden. Nicht übernommene Bildpunkte werden dabei vernachlässigt. Vorzugsweise wird beim Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes, der Fokusbereich ohne Änderung der Auflösung übernommen. Dadurch kann von der Fahrzeugkamera bereitgestellte Bildinformation des Fokusbereichs vollständig genutzt werden, während gleichzeitig das Umgebungsbild insgesamt effizient und schnell verarbeitet werden kann.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild ein Reduzieren der Auflösung von dem aktuellen Fokusbereich des Kamerabildes zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes. Es gelten prinzipiell die gleichen Ausführungen wie in Bezug auf das Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes.
Allerdings sind die beiden Reduzierungen der Auflösung prinzipiell unabhängig voneinander. Um eine verbesserte Erkennung von Detail in dem aktuellen Fokusbereich durchführen zu können, muss die zweite Auflösung kleiner als die erste Auflösung sein. Es erfolgt somit beispielsweise ein Durchführen einer Datenkompression beim Übertragen der Bildpunkte des Kamerabildes in den ersten und zweiten Bildbereich des Umgebungsbildes, wobei die Kompression in dem Fokusbereich niedriger ist. Dadurch kann gegenüber lediglich einem Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes, das Umgebungsbild insgesamt mit einer weiter reduzierten Datenmenge bereitgestellt werden, wodurch eine besonders schnelle Verarbeitung des Umgebungsbildes ermöglicht wird.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild ein Erhöhen der Auflösung von dem aktuellen Fokusbereich des Kamerabildes zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes. Es kann also auch ein Umgebungsbild bereitgestellt werden, das beispielsweise die gleiche Anzahl Bildpunkte aufweist wie das Kamerabild, wobei aber in dem Fokusbereich die Auflösung gegenüber dem Kamerabild erhöht ist. Auch kann ein Erhöhen der Auflösung von dem aktuellen Fokusbereich des Kamerabildes zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes kombiniert werden mit einem Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes. Es erfolgt also einerseits eine Reduktion der Bilddaten des Kamerabildes insgesamt und andererseits eine Vergrößerung des Fokusbereichs, so dass insbesondere entfernte Objekte gut wahrgenommen werden können. Prinzipiell ist eine Verwendung einer Fahrzeugkamera mit einer höheren Auflösung, wobei dann die Auflösung von dem aktuellen Fokusbereich des Kamerabildes zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes nicht erhöht werden muss, und dann ggf. ein Reduzieren der Auflösung von dem verbleibenden Bereich des Kamerabildes, der nicht in dem aktuellen Fokusbereich liegt, zu dem damit korrespondierenden zweiten Bildbereich des Umgebungsbildes zu bevorzugen, da dies insgesamt geringere Ressourcen erfordert. Zum Erhöhen der Auflösung sind verschiedene mathematische Verfahren bekannt, um die Auflösung von dem aktuellen Fokusbereich zu dem mit dem aktuellen Fokusbereich korrespondierenden ersten Bildbereich des Umgebungsbildes zu erhöhen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen von Bildpunkten des Kamerabildes in das Umgebungsbild das Übertragen der Bildpunkte des Kamerabildes in das Umgebungsbild basierend auf einer Übertragungsvorschrift in einer Nachschlagetabelle für unterschiedlich festgelegte Fokusbereiche. Die Nachschlagetabelle, auch als Look-up table bezeichnet, kann eine Zuordnung von Bildpunkten des Kamerabildes zu dem Umgebungsbild enthalten, um das Umgebungsbild auf besonders einfache Weise bereitzustellen. Insbesondere für einen Einsatz in Steuerungseinheiten von Fahrzeugen ermöglicht die Verwendung der Nachschlagetabelle eine sehr effiziente Methode zur Bereitstellung des Umgebungsbildes. Die Nachschlagetabelle kann somit als zweidimensionale Matrix ausgeführt sein, welche jedem Bildpunkt des Umgebungsbildes, das eine geringere Auflösung als das Kamerabild aufweist, einen Bildpunkt des Kamerabildes zuordnet. Bei einer Auflösung von einem Megapixel und einer Kompression von 2,5 kann eine solche zweidimensionale Matrix beispielsweise etwa 1.500 Einträge aufweisen, während eine Entsprechende Berechnung etwa 400.000 Rechenschritte erfordert. Die Verwendung der Nachschlagetabelle ermöglicht beispielsweise eine einfache Änderung des aktuellen Fokusbereichs, indem leidglich ein Zeiger auf eine Position in der Nachschlagetabelle geändert wird, und somit eine andere zweidimensionale Matrix ausgewählt werden kann. Entsprechend vordefinierte Nachschlagetabellen sind für jeweils einen Fokusbereich vordefiniert, so dass abhängig von einer Anzahl möglicher Fokusbereiche eine entsprechende Anzahl zweidimensionaler Matrizen erforderlich ist, um jeweils das Umgebungsbild bereitstellen zu können. Die Matrizen können vordefiniert sein, so dass sie nicht von der Bildeinheit selber erstellt werden müssen.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
Es zeigt Fig. 1 eine schematische Ansicht eines originalen Kamerabildes im Vergleich mit einem Umgebungsbild mit linearen Downscaling und nichtlinearem Downscaling aus dem Stand der Technik,
Fig. 2 ein Fahrzeug mit einer Bildeinheit mit vier Fahrzeugkameras und einer über einen Datenbus damit verbundenen Steuerungseinheit gemäß einer ersten, bevorzugten Ausführungsform,
Fig. 3 ein beispielhaftes Kamerabild einer Seitenkamera des Fahrzeugs aus
Fig. 2 mit drei unterschiedlichen Umgebungsbildern basierend auf drei unterschiedlich gewählten aktuellen Fokusbereichen in Übereinstimmung mit der ersten Ausführungsform,
Fig. 4 ein beispielhaftes Kamerabild einer Frontkamera des Fahrzeugs aus Fig.
2 mit drei unterschiedlichen Umgebungsbildern basierend auf drei unterschiedlich gewählten aktuellen Fokusbereichen in Übereinstimmung mit der ersten Ausführungsform,
Fig. 5 ein beispielhaftes generisches Kamerabild einer Fahrzeugkamera des
Fahrzeugs aus Fig. 2 mit einem Gitternetz, das basierend auf drei unterschiedlich gewählten aktuellen Fokusbereichen in drei unterschiedliche Umgebungsbilder übertragen wurde, in Übereinstimmung mit der ersten Ausführungsform,
Fig. 6 eine beispielhafte Darstellung von drei unterschiedlichen
Umgebungsbildern, die ausgehend von einem Kamerabild einer Frontkamera des Fahrzeugs aus Fig. 2 basierend auf drei unterschiedlich gewählten aktuellen Fokusbereichen bereitgestellt wurden, in Übereinstimmung mit der ersten Ausführungsform,
Fig. 7 eine Tabelle mit verschiedenen Fahrzeugkameras aufgetragen über mögliche Bewegungsrichtungen des Fahrzeugs, wobei jeweils eine Position des aktuellen Fokusbereichs für Kombinationen aus Fahrzeugkamera und Bewegungsrichtung des Fahrzeugs angegeben ist, und
Fig. 8 ein Ablaufdiagramm eines Verfahrens zum Bereitstellen eines Umgebungsbildes basierend auf einem Kamerabild einer Fahrzeugkamera des Fahrzeugs aus Fig. 2 zur Überwachung einer Umgebung des Fahrzeugs, wobei das Kamerabild einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs, gemäß der ersten Ausführungsform.
Die Figur 1 zeigt ein Fahrzeug 10 mit einer Bildeinheit 12 gemäß einer ersten, bevorzugten Ausführungsform.
Die Bildeinheit 12 umfasst eine Mehrzahl Fahrzeugkameras 14, 16, 18, 20 zur Bereitstellung jeweils eines Kamerabildes 30 mit einem Kamerabildbereich und mit einer Kameraauflösung, und eine Steuerungseinheit 22, die über einen Datenbus 24 mit den Fahrzeugkameras 14, 16, 18, 20 verbunden ist. Die Steuerungseinheit 22 empfängt die Kamerabilder 30 der verschiedenen Fahrzeugkameras 14, 16, 18, 20 über den Datenbus 24. Die Kamerabilder 30 werden von den Fahrzeugkameras 14, 16, 18, 20 in diesem Ausführungsbeispiel mit einer jeweils identischen Kameraauflösung bereitgestellt. Die Kamerabilder 30 enthalten in diesem Ausführungsbeispiel jeweils Farbinformation im Format RGB.
Die Fahrzeugkameras 14, 16, 18, 20 sind an dem Fahrzeug 10 als Frontkamera 14 an einer Position vorne an dem Fahrzeug 10, als Fleckkamera 16 an eine Position am Fleck des Fahrzeugs 10, als rechte Seitenkamera 18 an einer Position an einer rechten Seite des Fahrzeugs 10 und als linke Seitenkamera 20 an einer Position an einer linken Seite des Fahrzeugs 10 ausgeführt bezogen auf eine Vorwärtsfahrtrichtung 26 des Fahrzeugs 10.
Die Fahrzeugkameras 14, 16, 18, 20 sind in diesem Ausführungsbeispiel als Weitwinkelkameras oder insbesondere als Fischaugenkameras ausgeführt und weisen jeweils einen Kamerabildbereich mit einem Winkelbereich von über 160° bis hin zu 180° als Kamerabildbereich auf. Bei der Nutzung von Fischaugenkameras als Fahrzeugkameras 14, 16, 18, 20 werden in der Bildeinheit 12 Korrekturen durchgeführt, um Verzerrungen der Kamerabilder 30 basierend auf den speziellen optischen Eigenschaften der Fischaugenkameras auszugleichen. Die vier Fahrzeugkameras 14, 16, 18, 20 ermöglichen gemeinsam eine vollständige Überwachung einer Umgebung 28 um das Fahrzeug 10 mit einem Winkelbereich von 360°.
Die Bildeinheit 12 ist ausgeführt, das nachstehend im Detail beschriebene Verfahren zum Bereitstellen eines Umgebungsbildes 36 basierend auf einem jeweiligen Kamerabild 30 für die Fahrzeugkameras 14, 16, 18, 20 durchzuführen. In diesem Ausführungsbeispiel führt die Steuerungseinheit 22 eine parallele Verarbeitung der von den Fahrzeugkameras 14, 16, 18, 20 bereitgestellten Kamerabilder 30 durch, um die jeweiligen Umgebungsbilder 36 bereitzustellen.
Die Umgebungsbilder 36 werden von einem hier nicht dargestellten Fahrunterstützungssystem des Fahrzeugs 10 zur Überwachung der Umgebung 28 des Fahrzeugs 10 für eine weitere Verarbeitung verwendet. Das Fahrunterstützungssystem umfasst die Bildeinheit 12 und führt eine Fahrunterstützungsfunktion basierend auf der Überwachung der Umgebung 28 des Fahrzeugs 10 aus. Die weitere Verarbeitung betrifft beispielsweise einen Computervision-Algorithmus und/oder Lernverfahren tiefer neuronaler Netzwerke (Deep Learning), beispielsweise mittels eines konvolutionalen neuronalen Netzes (Convolutional Neural Network - CNN). Diese Verarbeitung erfolgt insbesondere auf speziell eingebetteten Plattformen oder auf so genannten digitalen Signalprozessoren (Digital Signal Processor - DSP) mit einer limitierten Rechenkapazität innerhalb des Fahrzeugs 10.
Nachstehend wird das Verfahren zum Bereitstellen eines Umgebungsbildes 36 basierend auf einem Kamerabild 30 der jeweiligen Fahrzeugkameras 14, 16, 18, 20 des Fahrzeugs 10, das als Ablaufdiagramm in Figur 8 dargestellt ist, beschrieben. Das Verfahren wird mit der Bildeinheit 12 des Fahrzeugs 10 aus Figur 2 durchgeführt. Das Verfahren wird für jede der Fahrzeugkameras 14, 16, 18, 20 des Fahrzeugs 10 individuell durchgeführt, d.h. vor einer möglichen Fusion von Sensordaten der Fahrzeugkameras 14, 16, 18, 20 des Fahrzeugs 10. Das Verfahren wird durchgeführt, um die Umgebungsbilder 36 der vier Fahrzeugkameras 14, 16, 18, 20 zur Überwachung einer Umgebung 28 des Fahrzeugs 10 bereitzustellen für eine weitere Verarbeitung, insbesondere durch das Fahrunterstützungssystem des Fahrzeugs 10. Das Verfahren beginnt mit Schritt S100, der ein Bestimmen einer jeweiligen Position der verschiedenen Fahrzeugkameras 14, 16, 18, 20 an dem Fahrzeug 10 umfasst. Entsprechend werden für die Frontkamera 14 eine Position vorne an dem Fahrzeug 10, für die Fleckkamera 16 eine Position am Fleck des Fahrzeugs 10, für die rechte Seitenkamera 18 eine Position an einer rechten Seite des Fahrzeugs 10 und für die linke Seitenkamera 20 eine Position an einer linken Seite des Fahrzeugs 10 bestimmt.
Schritt S110 betrifft ein Erfassen von aktuellen Bewegungsparametern 44 des Fahrzeugs 10. Die Bewegungsparameter 44 umfassen in diesem Ausführungsbeispiel eine aktuelle Bewegungsrichtung 44 des Fahrzeugs 10 sowie eine Bewegungsgeschwindigkeit des Fahrzeugs 10. Die Bewegungsparameter 44 werden in dem ersten Ausführungsbeispiel durch Odometrieinformation des Fahrzeugs 10 erfasst werden. Dazu werden ein Lenkeinschlag des Fahrzeugs 10 mit einem Lenkwinkelsensor und eine Radumdrehung eines Rades des Fahrzeugs 10 mit einem entsprechenden Umdrehungssensor erfasst.
In einem alternativen Ausführungsbeispiel werden die Bewegungsparameter 44 basierend auf Positionsinformation eines globalen Navigationssatellitensystem (GNSS) erfasst.
Schritt S120 betrifft ein Festlegen eines aktuellen Fokusbereichs 32 innerhalb des Kamerabildes 30 basierend auf der Position der Fahrzeugkamera 14, 16, 18, 20 an dem Fahrzeug 20 und den aktuellen Bewegungsparametern 44. Dazu wird der aktuelle Fokusbereich 32 aus einer Mehrzahl vorgegebener Fokusbereiche 32 basierend auf den zuvor erfassten Bewegungsparametern 44 ausgewählt. Die vorgegebenen Fokusbereiche 32 weisen unterschiedliche Position in einer horizontalen Richtung auf und umfassen jeweils einen rechten Fokusbereich 32 an einem rechten Rand des Kamerabildes 30, einen mittleren Fokusbereich 32 in einer Mitte des Kamerabildes 30 oder einen linken Fokusbereich 32 an einem linken Rand des Kamerabildes 30. Die vorgegebenen Fokusbereiche 32 weisen jeweils eine feste, identische Größe und eine ebenfalls identische, ovale Form auf. Die vorgegebenen Fokusbereiche 32 sind außerdem in vertikaler Richtung auf einer Linie, die oftmals auch als „Horizont“ bezeichnet wird, d.h. eine Linie, welche die Erde von dem Himmel abgrenzt, angeordnet. Dies ist in generischer Weise in Figur 5 dargestellt. Figur 5a) zeigt ein beispielhaftes Kamerabild 30 mit einem gleichmäßigen Gitterraster. Die mit dem jeweils als aktuelle Fokusbereiche 32 ausgewählten ersten Bildbereiche 40 sind in den Figuren 5b), 5c) und 5d) mit ihrem jeweiligen Fokuspunkt 38 für das bereitgestellt Umgebungsbild 36 in unterschiedlichen Position in der horizontalen Richtung dargestellt, wobei Figur 5b) einen mit einem mittleren Fokusbereich 32 korrespondierenden ersten Bildbereich 40 in einer Mitte des Umgebungsbildes 36 zeigt, Figur 5c) einen mit einem linken Fokusbereich 32 korrespondierenden ersten Bildbereich 40 an einem linken Rand des Umgebungsbildes 36 zeigt, und Figur 5d) einen mit einem rechten Fokusbereich 32 korrespondierenden ersten Bildbereich 40 an einem rechten Rand des Umgebungsbildes 36 zeigt. Die ersten Bildbereiche 40 weisen in Übereinstimmung mit den vorgegebenen Fokusbereichen 32 jeweils eine feste, identische Größe und eine ebenfalls identische, ovale Form auf. Die ersten Bildbereiche 40 sind in Übereinstimmung mit den vorgegebenen Fokusbereichen 32 außerdem in vertikaler Richtung auf einer Linie angeordnet.
Das Festlegen des aktuellen Fokusbereichs 32 erfolgt dabei für die unterschiedlichen Fahrzeugkameras 14, 16, 18, 20 auf unterschiedliche Weise, wie in der Tabelle in Figur 7 abhängig von der Bewegungsrichtung 44 beispielhaft dargestellt ist. In der Tabelle wird eine gleichmäßige Bewegungsgeschwindigkeit vorausgesetzt, so dass die Bewegungsgeschwindigkeit zur Unterscheidung vernachlässigt wird. Prinzipiell kann die Bewegungsgeschwindigkeit als Bewegungsparameter beispielsweise unterhalb einer Grenzgeschwindigkeit vernachlässigt werden, so dass der aktuelle Fokusbereich 32 beispielsweise in einem Stadtverkehr mit einer Bewegungsgeschwindigkeit von beispielsweise bis zu 50 km/h oder bis zu 60 km/h lediglich basierend auf der Bewegungsrichtung 44 und der Position der jeweiligen Fahrzeugkamera 14, 16, 18, 20 an dem Fahrzeug 10 festgelegt wird.
Dabei ergibt sich beispielsweise für die Frontkamera 14, wie unter zusätzlichem Bezug auf Figur 4 erläutert wird, dass beim Fahren vorwärts (geradeaus) und rückwärts (geradeaus) der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Beim Fahren nach rechts wird der rechte Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt, während beim Fahren nach links der linke Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Das Fahren nach rechts bzw. links umfasst dabei ebenfalls eine Richtungskomponente nach vorne oder nach hinten, d.h. die Bewegungsgeschwindigkeit des Fahrzeugs 10 ist größer oder kleiner Null. Die Auswahl des aktuellen Fokusbereichs 32 beim Fahren nach rechts bzw. links ist hier unabhängig von der Richtungskomponente nach vorne oder nach hinten.
Weiter ergibt sich für die Fleckkamera 16, dass beim Fahren vorwärts (geradeaus) und rückwärts (geradeaus) der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Beim Fahren nach rechts wird der linke Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt, während beim Fahren nach links der rechte Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Auch hier umfasst das Fahren nach rechts bzw. links eine Richtungskomponente nach vorne oder nach hinten umfasst, d.h. die Bewegungsgeschwindigkeit des Fahrzeugs 10 ist größer oder kleiner Null. Die Auswahl des aktuellen Fokusbereichs 32 beim Fahren nach rechts bzw. links ist hier unabhängig von der Richtungskomponente nach vorne oder nach hinten.
Außerdem ergibt sich für die rechte Seitenkamera 18, wie unter zusätzlichem Bezug auf Figur 3 erläutert wird, dass beim Fahren vorwärts (geradeaus) der linke Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Beim Fahren rückwärts (geradeaus) wird der rechte Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt. Beim Fahren nach rechts wird der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt. Auch für das Fahren nach links wird der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt.
Schließlich ergibt sich für die linke Seitenkamera 20, wie unter zusätzlichem Bezug auf Figur 3 erläutert wird, dass beim Fahren vorwärts (geradeaus) der rechte Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt wird. Beim Fahren rückwärts (geradeaus) wird der linke Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt. Beim Fahren nach rechts wird der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt. Auch für das Fahren nach links wird der mittlere Fokusbereich 32 als aktueller Fokusbereich 32 festgelegt.
Auch für die beiden Seitenkameras 18, 20 gilt, dass das Fahren nach rechts bzw. links eine Richtungskomponente nach vorne oder nach hinten beinhaltet, d.h. die Bewegungsgeschwindigkeit des Fahrzeugs 10 ist größer oder kleiner Null. Die Auswahl des aktuellen Fokusbereichs 32 beim Fahren nach rechts bzw. links ist hier unabhängig von der Richtungskomponente nach vorne oder nach hinten.
Zusätzlich oder alternativ wird ausgehend von der Bewegungsgeschwindigkeit beispielsweise oberhalb einer Grenzgeschwindigkeit der aktuelle Fokusbereich 32 angepasst. Wie in Figur 6 für die jeweiligen Umgebungsbilder 36 dargestellt ist, wird bei einem Fahren mit unterschiedlichen Bewegungsgeschwindigkeiten der aktuelle Fokusbereich 32 an die jeweils aktuelle Bewegungsgeschwindigkeit angepasst. So ist in Figur 6a), die ein Fahren mit einer niedrigen Bewegungsgeschwindigkeit des Fahrzeugs 10 betrifft, der mit dem aktuellen Fokusbereich 32 korrespondierende erste Bildbereich 40 mit einer geringen Auflösung, d.h. mit einer hohen Kompression, dargestellt. Die Auflösung des ersten Bildbereichs 40 ist nur geringfügig größer als die Auflösung des mit dem verbleibenden Bereich 34 korrespondierenden zweiten Bildbereichs 42. Beim Fahren des Fahrzeugs 10 mit einer mittleren Bewegungsgeschwindigkeit, das in Figur 6b) dargestellt ist, ist der mit dem aktuellen Fokusbereich 32 korrespondierende erste Bildbereich 40 mit einer mittleren Auflösung dargestellt, d.h. mit einer gegenüber dem Fahren mit einer niedrigen Bewegungsgeschwindigkeit erhöhten Auflösung. Der aktuelle Fokusbereich 32 wurde somit mit einer gegenüber dem Fahren mit einer niedrigen Geschwindigkeit mit einer niedrigeren Kompression auf den ersten Bildbereich 40 übertragen. Die Auflösung des ersten Bildbereichs 40 ist somit gegenüber dem Beispiel aus Fig. 6a) erhöht. Somit ist die Auflösung des ersten Bildbereichs 40 in Fig. 6b) gegenüber der Auflösung des mit dem verbleibenden Bereich 34 korrespondierenden zweiten Bildbereichs 42 erhöht. Ein in dem Umgebungsbild 36 gezeigtes Objekt 46, hier ein vorausfahrendes Fahrzeug, ist gegenüber der Darstellung in Fig. 6a) sichtbar vergrößert. Beim Fahren des Fahrzeugs 10 mit einer hohen Bewegungsgeschwindigkeit, das in Figur 6c) dargestellt ist, ist der mit dem aktuellen Fokusbereich 32 korrespondierende erste Bildbereich 40 mit einer hohen Auflösung dargestellt, d.h. mit einer gegenüber dem Fahren mit einer mittleren Bewegungsgeschwindigkeit weiter erhöhten Auflösung. Der aktuelle Fokusbereich 32 wurde somit mit einer gegenüber dem Fahren mit einer mittleren Geschwindigkeit niedrigeren Kompression auf den ersten Bildbereich 40 übertragen. Die Auflösung des ersten Bildbereichs 40 ist somit gegenüber dem Beispiel aus Fig. 6b) weiter erhöht. Somit ist die Auflösung des ersten Bildbereichs 40 in Fig. 6c) auch gegenüber der Auflösung des mit dem verbleibenden Bereich 34 korrespondierenden zweiten Bildbereichs 42 weiter erhöht. Ein in dem Umgebungsbild 36 gezeigtes Objekt 46, hier ein vorausfahrendes Fahrzeug, ist gegenüber der Darstellung in Fig. 6b) sichtbar weiter vergrößert. Dadurch können Objekte 46 im Fernbereich das Fahrzeugs 10 innerhalb des aktuellen Fokusbereichs 32 des Kamerabildes 30 bereits in großer Entfernung erfasst werden. Dadurch wird unterschiedlichen Manövrierfähigkeiten des Fahrzeugs 10 bei hoher Bewegungsgeschwindigkeit, wobei nur eine geringe Änderung der Bewegungsrichtung 44 möglich ist, und bei niedriger Bewegungsgeschwindigkeit, wobei eine schnelle Änderung der Bewegungsrichtung 44 möglich ist, Rechnung getragen. Die Auflösung des zweiten Bildbereichs 42 ist in den in Figur 6 dargestellten Umgebungsbildern 36 jeweils identisch gewählt, so dass die Umgebungsbilder 36 jeweils die gleiche Bildgröße aufweisen.
Schritt S130 betrifft ein Übertragen von Bildpunkten des Kamerabildes 30 in das Umgebungsbild 36, wobei Bildpunkte aus dem aktuellen Fokusbereich 32 in einen mit dem aktuellen Fokusbereich 32 korrespondierenden ersten Bildbereich 40 des Umgebungsbildes 36 mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes 30 aus einem verbleibenden Bereich 34, der nicht in dem aktuellen Fokusbereich 32 liegt, in einen damit korrespondierenden zweiten Bildbereich 42 des Umgebungsbildes 36 mit einer zweiten Auflösung übertragen werden.
Wie oben in Bezug auf das Festlegen des aktuellen Fokusbereichs 32 ausgeführt wurde, ist die zweite Auflösung jeweils kleiner als die erste Auflösung. Innerhalb dieser Vorgabe kann die Auflösung des ersten bzw. zweiten Bildbereichs 40, 42 unterschiedlich sein, abhängig von einer jeweils gewählten Art der Bereitstellung des jeweiligen Umgebungsbildes 36.
Für den aus den vorgegebenen Fokusbereichen 32 gewählten aktuellen Fokusbereich 32 wird ein korrespondierender Eintrag in einer Nachschlagetabelle 48 für unterschiedlich festgelegte Fokusbereiche 32 ausgewühlt. Die Nachschlagetabelle 48, auch als Look-up table bezeichnet, enthält eine Zuordnung von Bildpunkten des Kamerabildes 30 zu dem Umgebungsbild 36 basierend auf den verschiedenen möglichen Fokusbereichen 32. Dabei ist in der Nachschlagetabelle 48 für jeden möglichen Fokusbereich 32 eine Übertragungsvorschrift gespeichert, mit der die Bildpunkte des Kamerabildes 30 in das Umgebungsbild 36 übertragen werden. Die Nachschlagetabelle 48 umfasst somit mehrere zweidimensionale Matrizen, welche jeweils jedem Bildpunkt des Umgebungsbildes 30 einen Bildpunkt des Kamerabildes 30 zuordnet. Beim Ändern des aktuellen Fokusbereichs 32 wird ein Zeiger auf eine Position der entsprechenden Matrix in der Nachschlagetabelle 48 geändert.
Wie in der generischen Darstellung in Figur 5 zu erkennen ist, erfolgt die Übertragung der Bildpunkte des Kamerabildes 30 in das jeweilige Umgebungsbild 36 mit einem kontinuierlichen Übergang zwischen dem erstem und dem zweiten Bildbereich 40, 42, d.h. ohne sprunghafte Änderung der Auflösung des Umgebungsbildes 36 zwischen dem ersten und dem zweiten Bildbereich 40, 42. Die Anpassung der Auflösung erfolgt also über einen Anpassungsbereich, in dem die Auflösung sich von der ersten Auflösung zu der zweiten Auflösung ändert. Der Anpassungsbereich, der in Figur 5 nicht explizit dargestellt ist, ist hier Teil des zweiten Bildbereichs 42.
Zusätzlich ist in Figur 5 zu erkennen, dass das Übertragen der Bildpunkte von dem Kamerabild 30 in das jeweilige Umgebungsbild 36 in vertikaler Richtung mit einer geringeren Auflösung als in einer horizontalen Richtung erfolgt. Es erfolgt also eine nichtlineare Übertragung der Bildpunkte des Kamerabildes 30 in das jeweilige Umgebungsbild 36. Außerdem ist in der vertikalen Richtung eine nichtlineare Auflösung gewählt, wobei in einem mittleren Bereich, in dem der aktuelle Fokusbereich 32 festgelegt werden kann, eine höhere Auflösung verwendet wird als in Randbereichen.
Insgesamt wird das Umgebungsbild 36 jeweils mit einer gegenüber dem Kamerabild 30 reduzierten Auflösung bereitgestellt, wobei der mit dem verbleibenden Bereich 34 des Kamerabildes 30 korrespondierende zweite Bildbereich 42 eine geringere Auflösung als der mit dem aktuellen Fokusbereich 32 korrespondierende erste Bildbereich 40 aufweist.
Die oben beschriebenen Schritte S110 bis S130 werden vorliegend schleifenartig durchgeführt, um kontinuierlich Umgebungsbilder 36 zur weiteren Verarbeitung bereitzustellen. Bezugszeichenliste
10 Fahrzeug
12 Bildeinheit
14 Fahrzeugkamera, Frontkamera
16 Fahrzeugkamera, Fleckkamera
18 Fahrzeugkamera, Seitenkamera rechts
20 Fahrzeugkamera, Seitenkamera links
22 Steuerungseinheit
24 Datenbus
26 Vorwärtsfahrtrichtung
28 Umgebung
30 Kamerabild
32 Fokusbereich
34 verbleibender Bereich
36 Umgebungsbild
38 Fokuspunkt
40 erster Bildbereich
42 zweiter Bildbereich
44 Bewegungsrichtung, Bewegungsparameter
46 Objekt
48 Nachschlagetabelle, Look-up table

Claims

Patentansprüche
1. Verfahren zum Bereitstellen eines Umgebungsbildes (36) basierend auf einem Kamerabild (30) einer Fahrzeugkamera (14, 16, 18, 20) eines Fahrzeugs (10) zur Überwachung einer Umgebung (28) des Fahrzeugs (10), wobei das Kamerabild (30) einen Kamerabildbereich mit einer Kameraauflösung aufweist, für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs (10), umfassend die Schritte
Bestimmen einer Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10),
Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10),
Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18, 20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44), und
Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36), wobei Bildpunkte aus dem aktuellen Fokusbereich (32) in einen mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes (30) aus einem verbleibenden Bereich (34), der nicht in dem aktuellen Fokusbereich (32) liegt, in einen damit korrespondierenden zweiten Bildbereich (42) des Umgebungsbildes (36) mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10) ein Erfassen einer Bewegungsrichtung (44) des Fahrzeugs (10) umfasst.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10) ein Erfassen einer aktuellen Bewegungsgeschwindigkeit des Fahrzeugs (10) umfasst.
4. Verfahren nach einem der vorhergehenden Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das Erfassen wenigstens eines aktuellen Bewegungsparameters (44) des Fahrzeugs (10) ein Erfassen einer Positionsänderung von Objekten (46) zwischen Kamerabildern (30) oder Umgebungsbildern (36), die mit einer zeitlichen Verzögerung bereitgestellt wurden, und ein Bestimmen der aktuellen Bewegungsrichtung (44) und/oder der aktuellen Bewegungsgeschwindigkeit des Fahrzeugs (10) basierend auf der erfassten Positionsänderung der Objekte (46) umfasst.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18,
20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44) ein Auswählen des aktuellen Fokusbereichs (32) aus einer Mehrzahl vorgegebener Fokusbereiche (32) umfasst.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18,
20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44) ein Festlegen einer horizontalen Position des aktuellen Fokusbereichs (32) bezogen auf das Kamerabild (30) umfasst, insbesondere als einen rechten Fokusbereich (32), einen mittleren Fokusbereich (32) oder einen linken Fokusbereich (32).
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Festlegen eines aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) basierend auf der Position der Fahrzeugkamera (14, 16, 18,
20) an dem Fahrzeug (10) und dem wenigstens einen aktuellen Bewegungsparameter (44) ein Festlegen einer Größe des aktuellen Fokusbereichs (32) innerhalb des Kamerabildes (30) umfasst.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) ein Übertragen der Bildpunkte mit einem kontinuierlichen Übergang zwischen dem erstem und dem zweiten Bildbereich (40, 42) umfasst.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36), wobei Bildpunkte aus dem aktuellen Fokusbereich (32) in einen mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) mit einer ersten Auflösung übertragen werden, und Bildpunkte des Kamerabildes (30) aus einem verbleibenden Bereich (34), der nicht in dem aktuellen Fokusbereich (32) liegt, in einen damit korrespondierenden zweiten Bildbereich (42) des Umgebungsbildes (36) mit einer zweiten Auflösung übertragen werden, wobei die zweite Auflösung kleiner als die erste Auflösung ist, ein Übertragen der Bildpunkte in vertikaler Richtung mit einer geringeren Auflösung als in einer horizontalen Richtung umfasst.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) ein Reduzieren der Auflösung von dem verbleibenden Bereich (34) des Kamerabildes (30), der nicht in dem aktuellen Fokusbereich (32) liegt, zu dem damit korrespondierenden zweiten Bildbereich (42) des Umgebungsbildes (36) umfasst.
11. Verfahren nach dem vorhergehenden Anspruch 9, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) ein Reduzieren der Auflösung von dem aktuellen Fokusbereich (32) des Kamerabildes (30) zu dem mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) umfasst.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) ein Erhöhen der Auflösung von dem aktuellen Fokusbereich (32) des Kamerabildes (30) zu dem mit dem aktuellen Fokusbereich (32) korrespondierenden ersten Bildbereich (40) des Umgebungsbildes (36) umfasst.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übertragen von Bildpunkten des Kamerabildes (30) in das Umgebungsbild (36) das Übertragen der Bildpunkte des Kamerabildes (30) in das Umgebungsbild (36) basierend auf einer Übertragungsvorschrift in einer Nachschlagetabelle (48) für unterschiedlich festgelegte Fokusbereiche (32) umfasst.
14. Bildeinheit (12) zum Bereitstellen eines Umgebungsbildes (36) basierend auf einem Kamerabild (30) einer Fahrzeugkamera (14, 16, 18, 20) eines Fahrzeugs (10) zur Überwachung einer Umgebung (28) des Fahrzeugs (10), für eine weitere Verarbeitung, insbesondere durch ein Fahrunterstützungssystem des Fahrzeugs (10), umfassend wenigstens eine Fahrzeugkamera (14, 16, 18, 20) zur Bereitstellung des Kamerabildes (30) mit einem Kamerabildbereich und mit einer Kameraauflösung, und einer Steuerungseinheit (22), die über einen Datenbus (24) mit der wenigstens einen Fahrzeugkamera (14, 16, 18, 20) verbunden ist, und das jeweilige Kamerabild (30) über den Datenbus (24) empfängt, wobei die Bildeinheit (12) ausgeführt ist, das Verfahren zum Bereitstellen eines Umgebungsbildes (36) nach einem der vorhergehenden Ansprüche 1 bis 13 für die wenigstens eine Fahrzeugkamera (14, 16, 18, 20) durchzuführen.
15. Fahrunterstützungssystem für ein Fahrzeug (10) zur Bereitstellung wenigstens einer Fahrunterstützungsfunktion basierend auf einer Überwachung einer Umgebung (28) des Fahrzeugs (10), umfassend wenigstens eine Bildeinheit (12) nach dem vorhergehenden Anspruch 14.
EP21711810.8A 2020-03-13 2021-03-09 Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter Pending EP4118816A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020106967.7A DE102020106967A1 (de) 2020-03-13 2020-03-13 Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter
PCT/EP2021/055847 WO2021180679A1 (de) 2020-03-13 2021-03-09 Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter

Publications (1)

Publication Number Publication Date
EP4118816A1 true EP4118816A1 (de) 2023-01-18

Family

ID=74873721

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21711810.8A Pending EP4118816A1 (de) 2020-03-13 2021-03-09 Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter

Country Status (5)

Country Link
US (1) US20230097950A1 (de)
EP (1) EP4118816A1 (de)
CN (1) CN115443651A (de)
DE (1) DE102020106967A1 (de)
WO (1) WO2021180679A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021214952A1 (de) 2021-12-22 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Anzeige einer virtuellen Ansicht einer Umgebung eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801955A (zh) * 2011-08-17 2012-11-28 南京金柏图像技术有限公司 一种基于局部高清的数字视频传输方法
DE102015007673A1 (de) 2015-06-16 2016-12-22 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
CN107924040A (zh) * 2016-02-19 2018-04-17 索尼公司 图像拾取装置、图像拾取控制方法和程序
EP3229172A1 (de) * 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Fahrerassistenzsystem mit variabler bildauflösung
DE102016213494A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
DE102016218949A1 (de) 2016-09-30 2018-04-05 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Objektdetektion in einem Umgebungsbereich eines Kraftfahrzeugs
JP6715463B2 (ja) 2016-09-30 2020-07-01 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest
US10623618B2 (en) * 2017-12-19 2020-04-14 Panasonic Intellectual Property Management Co., Ltd. Imaging device, display system, and imaging system
JP2019114902A (ja) * 2017-12-22 2019-07-11 ルネサスエレクトロニクス株式会社 半導体装置、撮像システム、及びプログラム
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
US20210192231A1 (en) * 2019-12-20 2021-06-24 Qualcomm Incorporated Adaptive multiple region of interest camera perception
DE102020211023A1 (de) * 2020-09-01 2022-03-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Umfeldwahrnehmung eines Umfeldes eines zumindest teilautomatisiert fahrenden Fahrzeugs
US11805316B2 (en) * 2022-02-21 2023-10-31 Ghost Autonomy Inc. Reducing camera sensor throughput via an intermediary device

Also Published As

Publication number Publication date
US20230097950A1 (en) 2023-03-30
DE102020106967A1 (de) 2021-09-16
WO2021180679A1 (de) 2021-09-16
CN115443651A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
DE102011053002B4 (de) Fahrspurliniebeurteilungsvorrichtung
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE202017007675U1 (de) Computerprogrammprodukt mit einem Computerprogramm zur Verarbeitung von visuellen Daten einer Straßenoberfläche
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
DE102016104732A1 (de) Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
DE102013114996A1 (de) Bildsuperauflösung für dynamischen Rückspiegel
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE112016001666T5 (de) Anzeigevorrichtung
EP4118816A1 (de) Festlegen eines aktuellen fokusbereichs eines kamerabildes basierend auf der position der fahrzeugkamera an dem fahrzeug und einem aktuellen bewegungsparameter
DE102020109997A1 (de) System und Verfahren, um zuverlässige gestitchte Bilder zu machen
DE102017112333A1 (de) Verbesserung eines pyramidalen Optical-Flow-Trackers
DE102021206608A1 (de) Kamerasystem sowie Verfahren für ein Kamerasystem
DE102013020952A1 (de) Verfahren zum Einstellen eines für die Helligkeit und/oder für den Weißabgleich einer Bilddarstellung relevanten Parameters in einem Kamerasystem eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102017104957A1 (de) Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015112389A1 (de) Verfahren zum Erfassen zumindest eines Objekts auf einer Straße in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
EP4053593A1 (de) Verarbeitung von sensordaten in einem fortbewegungsmittel
DE102020215696B4 (de) Verfahren zur Darstellung einer Umgebung eines Fahrzeugs, Computerprogrammprodukt, Speichermedium, Steuergerät und Fahrzeug
DE102023100522A1 (de) Dynamische Wiederherstellung der Pixeldichte und Wiederherstellung der Klarheit bei skalierten Bildern

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220830

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)