EP3552144A1 - Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs - Google Patents

Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs

Info

Publication number
EP3552144A1
EP3552144A1 EP17725161.8A EP17725161A EP3552144A1 EP 3552144 A1 EP3552144 A1 EP 3552144A1 EP 17725161 A EP17725161 A EP 17725161A EP 3552144 A1 EP3552144 A1 EP 3552144A1
Authority
EP
European Patent Office
Prior art keywords
image
resolution
optronics
subarea
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17725161.8A
Other languages
English (en)
French (fr)
Inventor
Karsten Breuer
Dieter KRÖKEL
Robert Thiel
Martin PFITZER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of EP3552144A1 publication Critical patent/EP3552144A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the invention relates to a camera device and a method for situation-adapted detection of an environmental region of a vehicle. Furthermore, the invention relates to the vehicle with such a camera device.
  • driver assistance devices such as a traffic sign recognition or a lane departure warning camera systems require a horizontal angle of view of about 50 degrees and a vertical angle of view of about 30 degrees.
  • new functions such as cross traffic or traffic light recognition when holding in the front row require a significantly larger viewing angle in order to be able to detect the objects located near the drive in the peripheral area of the image.
  • highly automated ⁇ overbased driving or lane departure warning requires the recognition of objects and road structures also at greater distances, for which a corresponding resolution is required.
  • camera systems with at least two Optroniken which differ at least in the image angle and / or in the angular resolution, so as to meet the conflicting requirements of the detection of the central area with long range and the detection of a wide-angle range for cross-traffic detection.
  • the document DE102004061998A1 discloses a device for a motor vehicle with at least one first camera and at least one second camera, the first and the second camera being different in at least one camera characteristic.
  • a disadvantage of such camera systems for example, the amount of data to be processed and the considerable cost due to the plurality of Optroniken, which are the most expensive assemblies of a camera system.
  • a starting point of the solution is a camera device for detecting a surrounding area of an own vehicle as described below.
  • the surrounding area is a lateral and / or rearward surrounding area lying ahead in the direction of travel of the own vehicle.
  • the camera apparatus has an Optronics, which is formed ⁇ receive a sequence of images of the surrounding area.
  • the image sequence preferably comprises at least two, in particular at least five, in particular at least 20 consecutively recorded images.
  • Optronics includes wide-angle optics.
  • the wide-angle optical system with a horizontal and / or vertical angle of view of z. B. at least + / - 50 degrees, in particular of at least + / - 70 degrees and / or formed at most of + / - 80 degrees to the optical axis.
  • a peripheral environment such. B. an intersection area for early object evaluation of crossing road users detectable.
  • the image angles determine the field of view (FOV) of the camera device.
  • FOV field of view
  • Optronik includes a high-resolution image sensor.
  • the high-resolution image sensor is in particular an object evaluation such.
  • B. allows the evaluation of traffic signs or lanes in the long-range, thus in particular in a distance range to the own vehicle of at least 50 meters.
  • Under the high-resolution Imaging sensor is to be understood in particular an image sensor with a pixel count of several megapixels, for example of at least five megapixels, preferably of at least seven megapixels, in particular of at least ten megapixels.
  • the image pickup sensor has a homogeneous pixel / cm resolution.
  • High - resolution imaging sensors are considered unsuitable for automotive ⁇ technical use, in particular in conjunction with a wide-angle lens, since they do not allow effi ⁇ cient processing of the large number of pixels for the complex image processing algorithms.
  • the optronics in particular the image acquisition sensor or an image processing device of the Optronics formed an image sequence of the surrounding area with a periodic change of high-resolution and low-resolution images z. B. to a Schmauswoke appeared the camera device output.
  • images of the image sequence are output in a fixed regularity alternately high-resolution and reduced resolution.
  • the optronics is adapted to output from the image sequence at least every tenth, in particular at least every fifth, particularly preferably every second image with reduced resolution. In particular, no arbitrary selection of an image to be reduced in the resolution takes place in the image sequence.
  • the high-resolution images have a higher resolution than the resolution-reduced images.
  • a high-resolution image is to be understood, at least in regions, as a resolution in the horizontal and / or vertical image angle of at least 40 pixels per degree, in particular of at least 50 pixels per degree.
  • the high resolved image is output with the highest resolution available through the optronics.
  • a resolution-reduced image is to be understood as a resolution-reduced image in the entire image area.
  • the resolution-reduced images each have, at least in some areas, a resolution in the horizontal and / or vertical image angle of at most 30 pixels per degree, in particular of at most 20 pixels per degree.
  • the images output with reduced resolution have at least approximately the same number of pixels and / or a uniform, in particular evenly distributed, pixel size distribution.
  • An essential advantage of the periodic change is the on average approximately the same or slightly higher Re ⁇ chenaufwand for the evaluation of images comparatively to vehicle cameras, which have so far to implement a feasible image processing effort either so low Auflö ⁇ sungsraten that the evaluation in the remote area not or insufficient is possible or due to an otherwise too high computational effort exclusively have such a small detection range, which could possibly have at least a belated evaluation of relevant target objects.
  • the image acquisition sensor of the optronics is preferably designed to record the image sequence in the periodic change with the high-resolution and resolution-reduced images.
  • the optronics in particular the imaging sensor, forms the recorded image sequence unchanged at least in the resolution, optionally in the field of view.
  • the image acquisition sensor is designed to record the image sequence with, in particular, exclusively high-resolution images.
  • the image processing device of the camera device in particular of the optronics, is preferably designed to generate low-resolution images of the images recorded in high-resolution in accordance with the periodic change and to use the image sequence with the periodic change of high-resolution and low-resolution images z. B. to the Optronics or directly z. B. to an image evaluation device.
  • a resolution reduction subsequent to the image recording preferably takes place.
  • the image acquisition sensor is connected to the image processing device for transmitting the recorded image sequence.
  • the resolution-reduced output by the image processing device is preferably Images relative to the associated recorded images at least partially reduced resolution.
  • the image acquisition sensor or the image processing device is designed to generate the images to be recorded or recorded in the resolution to be reduced in size by means of pixel binning, in a resolution-reduced manner.
  • pixel binning adjacent pixels z. B. within a row and / or a column or in a z. B. rectangular portion of the respective captured image summarized and assigned to a new pixel.
  • the resulting pixel matrix of the resolution-reduced image thus has, in particular, a lower resolution than the associated recorded image.
  • the image acquisition sensor or the image processing device is designed to generate the images to be recorded or recorded in the resolution to be reduced in resolution by means of pixel skipping.
  • pixel skipping pixels in the output image are skipped in a fixed sequence, so that preferably only a partial amount of the pixels is adopted for the resulting image. In this way, in particular, a lower resolution of the result image is implemented and consequently a reduction in the amount of data is achieved.
  • the high-resolution and resolution-reduced images have at least approximately the same number of pixels.
  • an at least approximately the same number of pixels means a deviation of a maximum of 0.5 megapixels.
  • At least three images, in particular at least two high-resolution and one resolution-reduced image are output per processing cycle, preferably the at least two high-resolution images jointly have at least approximately the same number of pixels as the image output with reduced resolution.
  • the images output in high-resolution have a smaller image size than the images outputted in a resolution-reduced manner.
  • the high-resolution and low-resolution images can have the same number of pixels without requiring a higher workload. In this way is possible ⁇ rich with a constant amount of computation resolution-reduced images with a larger Er chargedsbe and sungs Berlin outputting high-resolution images with a smaller Erfas ⁇ . Consequently, in a periodic change, a far-reaching and a highly detailed object evaluation with a constant image processing effort.
  • the camera device in particular the image recording sensor or the image processing device, is preferably designed to display the image size and / or position of the respective high-resolution image as a function of an ascertained preceding traffic space and / or of the street category on which the latter is located Vehicle is currently set.
  • the preceding traffic space are relevant traffic areas with characteristic targets, such. B. an intersection with intersecting road users detectable.
  • the road category for example, distinguish between Au ⁇ highway for, federal and / or a city road.
  • the forward traffic space and / or the street category it is possible to adjust the image size and / or location of at least the high-resolution images as a function of the current vehicle environment and thus z. B. for the target objects to be evaluated individually, in the form of a region of interest (ROI).
  • ROI region of interest
  • the own vehicle has a locating device, such as a GPS sensor, which is designed to determine the current position, thus the current location of the own vehicle, in which the camera device can be integrated or integrated.
  • the own vehicle includes, for example, an in-vehicle navigation data server for retrieving electronic map material.
  • an evaluation teiki of the own vehicle is designed to evaluate using the be ⁇ voted position of the own vehicle as well as by means of information data of the electronic card material to ahead traffic area and / or the road category on the basis of the current position of the own vehicle and the evaluated traffic space or Road category to the camera device to submit.
  • the recorded images each have at least partially a higher, in particular at least twice, resolution in the central image section than in the peripheral image section.
  • the central image section has a horizontal and / or vertical image angle of at most +/- 25 degrees and / or the peripheral image section adjoining the central image section has a horizontal and / or vertical image angle of at least +/- 50 degrees.
  • the resolution decreases with increasing horizontal and / or vertical image angles at least in sections.
  • target objects can be evaluated both in the near field, for example in the distance range between one and 50 meters, and in the long range, for example in the distance range between 50 and 500 meters. Since located in the peripheral image section, especially in the vicinity of target objects, such. B. intersecting cyclists in the crossing area are evaluated, is a z. B. due to an anamorphic wide-angle optics lower resolution for the object evaluation possible.
  • the wide-angle optical system is designed with a non-uniform, in particular a non-linear distortion, in particular as an anamorphic wide-angle optical system.
  • ⁇ sondere can be achieved by means of the non-uniform distortion as a function of the resolution of the image sensor, a resolution of up to 50 pixels per degree.
  • the wide-angle optical system has at least or exactly one lens, which is at least partially cut-off, for example the spherical surface section is panamorphic, in particular anamorphic.
  • Panamorphic, in particular anamorphic lenses cause at least sections of a distortion of the original image and allow in particular by the elliptical shape a larger area coverage compared to other lens shapes, so that more pixels per imaged zone are rea ⁇ lisierbar. In this way, in the central image section achieved despite the distortion improved detection of target objects.
  • the camera device comprises a Schmauswer- te Mah.
  • the image evaluation device in particular a processor used in the automotive sector, is preferably embodied, from the images output by the optronics each at least one target object such. As lanes, pedestrians ⁇ , cyclists and / or other road users to evaluate.
  • a hierarchy also known as a pyramidal structure, calculated on images having different resolutions.
  • a hierarchy also known as a pyramidal structure, calculated on images having different resolutions.
  • the highest resolution image of the respectively output image for object recognition is first interrogated by the image evaluation device in order to keep the computational effort as low as possible. If a target object is to be recognized by the image evaluation device in the lowest-resolution image, it is preferable to resort to the next-higher-resolution representation in order in particular to validate the object recognition.
  • the camera device preferably comprises at least one driver assistance device such.
  • the driver assistance device is designed, in particular, as a function of the at least one evaluated target object, at least one passive and / or active driver assistance function such as As a distance warning, emergency braking or autonomous evasive maneuver perform.
  • a second starting point is a method for detecting a surrounding area of an own vehicle with a camera device according to the foregoing description.
  • the image sequence with the periodic changes enter at ⁇ play alternately or in a specific order, to high-resolution, and resolution-reduced images excluded.
  • the image sequence is recorded with high-resolution images and output in the periodic change with unchanged high-resolution images and the resolution-reduced images.
  • the image sequence is already recorded with the periodic change of high-resolution and resolution-reduced images and output unchanged.
  • the resolution reduction of the respective image takes place by means of electronic pixel binning and / or pixel skipping on the image recording sensor.
  • the resolution reduction downstream of the image acquisition takes place, e.g. by means of subsequent pixel binnings and / or pixel skipping.
  • the image sequence is output to an image evaluation device for the evaluation of at least one target object.
  • at least one target object is evaluated in each case from the images which are high-resolution and reduced-resolution output in the periodic change.
  • a doctorassis ⁇ tenzfunktion such.
  • running a brake, warning and / or a steering assistance based on the at least one evaluated target object.
  • the starting point is a change between an unbinned image in the central area or two uninterpreted images on the left and right border with a broken image over the full field of view, whereby the uninflated images are always half the height and half width (in total for the two border images) of the Bunched Image.
  • the solution should provide the necessary field of view for each situation with the lowest possible latency while using the full resolution of the imager.
  • the solution proposed is therefore:
  • the following measures are taken dynamically by the image control of the camera - either at each exposure time or in temporal change with possibly dynamically changeable ratio:
  • the image preferably does not exceed a maximum number of pixels (eg 2.5MPix) - the control of the Image width (and thus indirectly the height) is preferably carried out over in previous images recognized content (eg objects, road course) and their prediction for the current image
  • Optronics includes wide-angle optics and a high-resolution image sensor. The Optronics and Bilder chargedssteu ⁇ réelleshim are adapted or set up,
  • a resolution-reduced image of the entire detection range of the optronics is generated by means of pixel binning or a subarea of the detection range of the optronics is acquired at maximum resolution;
  • the size of the sub-area is set such that the pixel number of the image of the sub-area is not greater than the pixel number of the resolution-reduced image of the entire detection area of the Optronics. This means that every image in the image sequence does not exceed a maximum number of "final pixels”.
  • SoC system-on-chip
  • the optronics and the image acquisition control unit are designed to record the image sequence in such a way that the midpoint of each subregion is identical to the midpoint of the entire field of coverage of the optronics (quasi-"concentric.")
  • the adapted ROIs each have the same center of the image as the overall image or field of view of the camera device.
  • the optronics and the image acquisition control unit are designed to shift the vertical position of the subarea depending on the current situation.
  • a dynamic adaptation of the horizontal position of the unbonded image is conceivable, but is often not necessarily appropriate, since this could be disadvantageous for various algorithms (eg, the intrinsic motion estimation from camera data) and itself could negatively affect the detection of new objects that are relevant for ROI control.
  • the optronics and the image capturing control unit configured to move the vertical position of the partial area in Ab ⁇ dependence of the current situation.
  • FIG. 1 illustrates a method which serves as a starting point: in temporal change, individual images (F) are recorded with the camera device:
  • Fig. 2 illustrates aspects of an embodiment of the solution, namely an adaptive ROI control.
  • Your own vehicle (not shown) is currently driving through a city area. In the urban area it is important to ready see regular updates images of the entire detection range of optronics ⁇ and evaluate, as the Optronics relevant objects may also appear at the edges of the field of view, such as pedestrians, crossing vehicles, over-head-installed traffic lights or traffic signs , As soon as relevant objects are detected, a maximally resolved image of a subarea of the detection area of the optronics can be detected in accordance with the current situation, so that the object is recognized quickly and reliably.
  • a subarea as defined in FIG. 1 could be detected by reference numeral 5, by which objects further away can be detected (earlier), since the subarea with maximum resolution is detected by the optronics.
  • the high-resolution central portion 5 is detected as every fourth frame of the image sequence.
  • periodically alternately binned and unburned images could be generated or captured.
  • a traffic light In the upper area of the field of view (ie the detection area or field of view) of the camera device is a traffic light.
  • a second vehicle In the right area of the field of view is a second vehicle, which opens from the right into the intersection or will enter in future.
  • ⁇ image section 3 In Fig. 1 at maximum resolution, comparable to a ungebinnten Figure 5). This area can but the complete driving situation can not be seen: The second vehicle is not included in this ROI 3 and the traffic light is only the lowest edge.
  • the second vehicle with the image detail 1 can be completely or the image detail 2 at least partially or the traffic light with the image detail 4 can also be completely detected.
  • the image capture control could be done in this situation so that the first image is a gebinntes About ⁇ overview image of the full imager surface is generated and evaluated.
  • the sub-area 4 is recorded and analyzed unbinned, from which it can be found, for example, whether the traffic light is currently green.
  • a binned overview image is again generated, in order, e.g. to be able to detect whether the second vehicle (on the right in the picture) has moved or whether a new road user has appeared on the left. If a movement of an object is detected in the third image (eg by comparison with the first image), a prediction of the object movement can take place for the detection of the fourth image in order to adapt the subregion to be detected such that the object in the fourth image is completely (and with maximum resolution).
  • the subarea 1 is now detected unbinned, e.g. to confirm that the second vehicle is to the right, i. has not moved, and threatens a collision with the second vehicle when driving straight ahead of the own vehicle.
  • the overall situation (or driving situation) can thus be completely recorded - and as far as can be seen by the detection range of the Optronics - by the corresponding Evaluation of the individual binned or uninterpreted images are understood.
  • the on-going or onward journey of one's own vehicle can take place without risk in this driving situation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft eine Kameravorrichtung zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs. Die Kameravorrichtung umfasst eine Optronik und eine Bilderfassungssteuerungseinheit, die dazu ausgebildet sind, eine Bildfolge des Umgebungsbereichs aufzunehmen. Die Optronik umfasst eine Weitwinkeloptik und einen hochauflösenden Bildaufnahmesensor. Die Optronik und die Bilderfassungssteuerungseinheit sind dazu ausgebildet bzw. eingerichtet, - für ein Bild der Bildfolge jeweils ein mittels Pixelbinnings auflösungsreduziertes Bild (6) des gesamten Erfassungsbereichs der Optronik zu erzeugen oder einen Teilbereich (1; 2; 3; 4; 5) des Erfassungsbereichs der Optronik mit maximaler Auflösung zu erfassen; - abhängig von einer aktuellen Verkehrs- und/oder Umgebungssituation (aktuellen Situation) entweder ein gebinntes Bild (6) mit reduzierter Auflösung (z.B. 1/4 der Pixel) des Bildaufnahmesensors zu erzeugen oder ein Bild eines ungebinnten Teilbereichs (1; 2; 3; 4; 5) zu erfassen, - wobei Höhe und Breite des Teilbereichs (1; 2; 3; 4; 5) abhängig von der aktuellen Situation festgelegt sind und, - wobei die Größe des Teilbereichs (1; 2; 3; 4; 5) derart festgelegt ist, dass die Pixelzahl des Bilds des Teilbereichs (1; 2; 3; 4; 5) nicht größer ist als die Pixelzahl des auflösungsreduzierten Bildes (6) des gesamten Erfassungsbereichs der Optronik

Description

Kameravorrichtung sowie Verfahren zur situationsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
Die Erfindung betrifft eine Kameravorrichtung sowie ein Ver- fahren zur situationsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs. Ferner betrifft die Erfindung das Fahrzeug mit einer solchen Kameravorrichtung.
Zur Realisierung von Fahrerassistenzvorrichtungen, wie z. B. einer Verkehrszeichenerkennung oder eines Spurhalteassistenten benötigen Kamerasysteme einen horizontalen Bildwinkel von ca. 50 Grad und einen vertikalen Bildwinkel von ca. 30 Grad. Neue Funktionen wie die Querverkehrs- oder die Ampelerkennung beim Halten in vorderster Reihe benötigen jedoch einen deutlich größeren Sichtwinkel, um die sich beim nahen Auffahren im Peripheriebereich des Bildes befindlichen Objekte erfassen zu können. Demgegenüber erfordert beispielsweise hochautomati¬ siertes Fahren oder ein Spurhalteassistent das Erkennen von Objekten und Fahrbahnstrukturen auch in großer Entfernung, wofür eine entsprechende Auflösung erforderlich ist.
In diesem Zusammenhang sind beispielsweise Kamerasysteme mit mindestens zwei Optroniken bekannt, welche sich zumindest im Bildwinkel und/oder in der Winkelauflösung unterscheiden, um somit den gegensätzlichen Anforderungen der Erfassung des Zentralbereichs mit großer Reichweite und der Erfassung eines Weitwinkelbereichs für die Querverkehrserkennung gerecht zu werden. So beschreibt z. B. die Druckschrift DE102004061998A1 eine Vorrichtung für ein Kraftfahrzeug mit wenigstens einer ersten Kamera und wenigstens einer zweiten Kamera, wobei die erste und die zweite Kamera in wenigstens einer Kameraeigenschaft unterschiedlich sind. Nachteilig an solchen Kamerasystemen sind beispielsweise die zu verarbeitenden Datenmengen sowie die erheblichen Kosten aufgrund der Mehrzahl an Optroniken, bei denen es sich um die teuersten Baugruppen eines Kamerasystems handelt.
Ein Ausgangspunkt der Lösung dient eine Kameravorrichtung zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs wie sie im Folgenden beschrieben ist.
Bei dem Umgebungsbereich handelt es sich beispielsweise um einen in Fahrtrichtung des eigenen Fahrzeugs vorausliegenden, seitlichen und/oder rückwärtigen Umgebungsbereich.
Die Kameravorrichtung weist eine Optronik auf, welche ausge¬ bildet ist, eine Bildfolge des Umgebungsbereichs aufzunehmen. Vorzugsweise umfasst die Bildfolge mindestens zwei, insbesondere mindestens fünf, im Speziellen mindestens 20 aufeinanderfolgend aufgenommene Bilder.
Die Optronik umfasst eine Weitwinkeloptik. Vorzugsweise ist die Weitwinkeloptik mit einem horizontalen und/oder vertikalen Bildwinkel von z. B. mindestens + / - 50 Grad, insbesondere von mindestens + / - 70 Grad und/oder von höchstens von + / - 80 Grad zur optischen Achse ausgebildet. Mittels der Weitwinkeloptik ist beispielsweise ein Peripherieumfeld wie z. B. ein Kreuzungs- bereich zur frühzeitigen Objektauswertung von kreuzenden Verkehrsteilnehmern erfassbar. Die Bildwinkel bestimmen das Sichtfeld (Field of view, FOV) der Kameravorrichtung.
Weiterhin umfasst die Optronik einen hochauflösenden Bild- aufnahmesensor . Mittels des hochauflösenden Bildaufnahmesensors ist insbesondere eine Objektauswertung wie z. B. die Auswertung von Verkehrszeichen oder Fahrspuren im Fernbereich, somit insbesondere in einem Entfernungsbereich zum eigenen Fahrzeug von mindestens 50 Metern ermöglicht. Unter dem hochauflösenden Bildaufnahmesensor ist insbesondere ein Bildaufnahmesensor mit einer Pixelanzahl von mehreren Megapixeln, beispielsweise von mindestens fünf Megapixeln, vorzugsweise von mindestens sieben Megapixeln, im Speziellen von mindestens zehn Megapixeln zu verstehen. Vorzugsweise weist der Bildaufnahmesensor eine homogene Pixel/cm-Auflösung auf.
Hochauflösende Bildaufnahmesensoren sind für den automobil¬ technischen Einsatz insbesondere in Verbindung mit einer Weitwinkeloptik als ungeeignet eingestuft, da sie eine effi¬ ziente Verarbeitung der großen Pixelanzahl für die aufwendigen Bildverarbeitungsalgorithmen nicht zulassen.
Vor diesem Hintergrund ist die Optronik, insbesondere der Bildaufnahmesensor oder eine Bildaufbereitungseinrichtung der Optronik ausgebildet, eine Bildfolge des Umgebungsbereichs mit einem periodischen Wechsel an hochaufgelösten und auflösungsreduzierten Bildern z. B. an eine Bildauswerteeinrichtung der Kameravorrichtung auszugeben. Somit werden insbesondere Bilder der Bildfolge in einer festgelegten Regelmäßigkeit abwechselnd hochaufgelöst und auflösungsreduziert ausgegeben. Beispielsweise ist die Optronik ausgebildet, von der Bildfolge mindestens jedes zehnte, insbesondere mindestens jedes fünfte, besonders bevorzugt jedes zweite Bild auflösungsreduziert auszugeben. Insbesondere erfolgt in der Bildfolge keine willkürliche Auswahl eines in der Auflösung zu reduzierenden Bildes .
Insbesondere weisen die hochaufgelösten Bilder eine höhere Auflösung als die auflösungsreduzierten Bilder auf. Vorzugsweise ist unter einem hochaufgelösten Bild zumindest bereichsweise eine Auflösung im horizontalen und/oder vertikalen Bildwinkel von mindestens 40 Pixel pro Grad, im Speziellen von mindestens 50 Pixel pro Grad zu verstehen. Beispielsweise ist das hoch- aufgelöste Bild mit der durch die Optronik höchsten verfügbaren Auflösung ausgegeben.
Unter einem auflösungsreduzierten Bild ist insbesondere ein im gesamten Bildbereich auflösungsreduziertes Bild zu verstehen. Beispielsweise weisen die auflösungsreduzierten Bilder jeweils zumindest bereichsweise eine Auflösung im horizontalen und/oder vertikalen Bildwinkel von höchstens 30 Pixeln pro Grad, im Speziellen von höchstens 20 Pixeln pro Grad auf. Vorzugsweise weisen die auflösungsreduziert ausgegebenen Bilder zumindest annähernd die gleiche Pixelanzahl und/oder eine einheitliche, im Speziellen gleichmäßig verteilte Pixelgrößenverteilung auf.
Ein wesentlicher Vorteil des periodischen Wechsels ist der im Durchschnitt annähernd gleiche oder geringfügig höhere Re¬ chenaufwand für die Auswertung der Bilder vergleichsweise zu Fahrzeugkameras, welche zur Umsetzung eines realisierbaren Bildverarbeitungsaufwands bisher entweder so geringe Auflö¬ sungsraten aufweisen, dass die Auswertung im Fernbereich nicht oder unzureichend möglich ist oder aufgrund eines ansonsten zu hohen Rechenaufwands ausschließlich einen derart kleinen Erfassungsbereich aufweisen, welcher möglicherweise zumindest eine verspätete Auswertung relevanter Zielobjekte zufolge haben könnte .
Somit kann trotz des hochauflösenden Bildaufnahmesensors und der Weitwinkeloptik ein Rechenaufwand realisiert werden, der das Auswerten von Zielobjekten in den periodisch abwechselnd hochaufgelösten und auflösungsreduzierten Bilder ermöglicht. Demnach ist der Zielkonflikt, für die Umsetzung von Fahrerassistenzvorrichtungen einen möglichst großen Erfassungsbereich und zugleich eine ausreichende Auflösung für die Auswertung von Zielobjekten im Fernbereich mit einem realisierbaren Bild- Verarbeitungsaufwand zu erzielen, mit nur einer Kameravorrichtung erfüllt.
Weiterhin bemerkenswert ist einerseits das kompakte Baumaß, andererseits die erhebliche Kostenersparnis der Kameravor¬ richtung im Vergleich zu Kameravorrichtungen mit zwei oder gar drei Optroniken.
Bevorzugt ist der Bildaufnahmesensor der Optronik ausgebildet, die Bildfolge in dem periodischen Wechsel mit den hochaufgelösten und auflösungsreduzierten Bildern aufzunehmen. Da somit die Bildfolge bereits mit dem periodischen Wechsel an hochaufge¬ lösten und auflösungsreduzierten Bilder aufgenommen ist, ist z. B. die Optronik, im Speziellen der Bildaufnahmesensor ausge- bildet, die aufgenommene Bildfolge zumindest in der Auflösung, optional ergänzend in dem Sichtfeld unverändert auszugeben.
Bei einer alternativen beispielhaften Ausgestaltung ist der Bildaufnahmesensor ausgebildet, die Bildfolge mit insbesondere ausschließlich hochaufgelösten Bildern aufzunehmen. Weiterhin ist vorzugsweise die Bildaufbereitungseinrichtung der Kameravorrichtung, insbesondere der Optronik ausgebildet, von den hochaufgelöst aufgenommenen Bildern gemäß dem periodischen Wechsel auflösungsreduzierte Bilder zu erzeugen und als die Bildfolge mit dem periodischen Wechsel an hochaufgelösten und auflösungsreduzierten Bildern z. B. an die Optronik zu übermitteln oder direkt z. B. an eine Bildauswerteeinrichtung auszugeben. Somit erfolgt bei diesem Ausführungsbeispiel vorzugsweise eine zur Bildaufnahme nachträgliche Auflösungs- reduzierung. Z. B. ist der Bildaufnahmesensor mit der Bildaufbereitungseinrichtung zur Übermittlung der aufgenommenen Bildfolge verbunden. Vorzugsweise sind die durch die Bild¬ aufbereitungseinrichtung ausgegebenen auflösungsreduzierten Bilder vergleichsweise zu den zugehörigen aufgenommenen Bildern zumindest partiell auflösungsreduziert.
Bei einer bevorzugten Ausführungsform ist der Bildaufnahmesensor oder die Bildaufbereitungseinrichtung ausgebildet, die aufzunehmenden bzw. aufgenommenen, in der Auflösung zu reduzierenden Bilder mittels Pixelbinnings auflösungsreduziert zu erzeugen. Insbesondere werden beim Pixelbinning benachbarte Pixel z. B. innerhalb einer Zeile und/oder einer Spalte oder in einem z. B. rechteckigen Teilbereich des jeweilig aufgenommenen Bildes zusammengefasst und einem neuen Pixel zugeordnet. Die resultierende Pixelmatrix des auflösungsreduzierten Bildes weist somit insbesondere eine geringere Auflösung als das zugehörige aufgenommene Bild auf.
Alternativ oder optional ergänzend ist der Bildaufnahmesensor oder die Bildaufbereitungseinrichtung ausgebildet, die aufzunehmenden bzw. aufgenommenen, in der Auflösung zu reduzierenden Bilder mittels Pixel-Skipping auflösungsreduziert zu erzeugen. Insbesondere werden beim Pixel-Skipping Pixel im Ausgangsbild in einer festgelegten Abfolge übersprungen, sodass vorzugsweise nur ein Teilbetrag der Pixel für das Ergebnisbild übernommen wird. Auf diese Weise ist insbesondere eine geringere Auflösung des Ergebnisbildes umgesetzt und folglich eine Re- duzierung der Datenmenge erzielt.
Insbesondere erfolgt pro Verarbeitungszyklus die Ausgabe von jeweils mindestens oder genau einem hochaufgelösten und auf¬ lösungsreduzierten Bild sowie die Objektauswertung der in diesem Verarbeitungszyklus ausgegebenen Bilder. Das zeitlich fest¬ gelegte Zeitintervall des Verarbeitungszyklus sollte nicht überschritten werden, um eine mit der Zielobjekterkennung verbundene frühzeitige und zuverlässige Ausführung von Fah¬ rerassistenzfunktionen sicherzustellen . Vor diesem Hintergrund weisen bei einer ersten Variante die hochaufgelöst und auflösungsreduziert ausgegebenen Bilder zumindest annähernd die gleiche Pixelanzahl auf. Insbesondere ist unter einer zumindest annähernd gleichen Pixelanzahl eine Abweichung von maximal 0,5 Megapixeln zu verstehen. Somit weist insbesondere jedes Bild der ausgegebenen Bildfolge eine Pi¬ xelanzahl von beispielsweise zwei Megapixeln auf. Folglich werden beispielsweise pro Verarbeitungszyklus ein hochaufge- löstes und ein auflösungsreduziertes Bild mit der gleichen Pixelanzahl ausgegeben.
Sollten hingegen gemäß einer zweiten bevorzugten Ausgestaltung pro Verarbeitungszyklus mindestens drei Bilder, insbesondere mindestens zwei hochaufgelöste und ein auflösungsreduziertes Bild ausgegeben werden, weisen vorzugsweise die mindestens zwei hochaufgelöst ausgegebenen Bilder gemeinsam zumindest annähernd die gleiche Pixelanzahl wie das auflösungsreduziert ausgegebene Bild auf. Auf diese Weise wird pro Verarbeitungszyklus eine gleichbleibende Auslastung der Bildauswerteeinrichtung sichergestellt, insbesondere unerwünschte Peaks mit einer hiermit verbundenen zeitverzögernden Bildauswertung verhindert.
Insbesondere weisen die hochaufgelöst ausgegebenen Bilder eine kleinere Bildgröße als die auflösungsreduziert ausgegebenen Bilder auf. Somit können die hochaufgelösten und auflösungsreduzierten Bilder die gleiche Pixelanzahl aufweisen ohne hierbei eine höhere Arbeitsleistung zu erfordern. Auf diese Weise ist ermöglicht, mit einem gleichbleibenden Rechenaufwand auflösungsreduzierte Bilder mit einen größeren Erfassungsbe¬ reich und hochaufgelöste Bilder mit einem kleineren Erfas¬ sungsbereich auszugeben. Folglich werden in einem periodischen Wechsel eine weitreichende und eine detailreiche Objektaus- wertung mit einem gleichbleibenden Bildverarbeitungsaufwand ermöglicht .
Relevante Zielobjekte im Peripheriebildabschnitt sind insbe- sondere bei niedrigen Fahrzeuggeschwindigkeiten im Urbanen Umfeld auszuwerten, hingegen auf Außerortsstraßen bei hohen Fahrzeuggeschwindigkeiten insbesondere im Fernbereich des Zentralbildabschnitts. Vor diesem Hintergrund ist die Kame¬ ravorrichtung, im Speziellen der Bildaufnahmesensor oder die Bildaufbereitungseinrichtung vorzugsweise ausgebildet, eine Bildgröße und/oder Lage des jeweiligen hochaufgelöst auszu¬ gebenen Bilds innerhalb des insgesamt verfügbaren Aufnah¬ meflächenbereichs des Bildaufnahmesensors festzulegen, wobei die Festlegung in Abhängigkeit von einer aktuell ermittelten Fahrzeuggeschwindigkeit und/oder einem aktuell ermittelten Lenkwinkel des eigenen Fahrzeugs erfolgt. Die Fahrzeugge¬ schwindigkeit und/oder der Lenkwinkel ermöglichen Rückschlüsse, auf welcher Straßenkategorie sich das eigene Fahrzeug, so z. B. auf einer Innerortsstraße oder auf der Autobahn aktuell befindet. Auf diese Weise kann die Auswertung relevanter Zielobjekte in der erforderlichen Auflösung sichergestellt werden.
Alternativ oder optional ergänzend ist die Kameravorrichtung, im Speziellen der Bildaufnahmesensor oder die Bildaufberei- tungseinrichtung vorzugsweise ausgebildet, die Bildgröße und/oder Lage des jeweiligen hochaufgelöst auszugebenen Bilds in Abhängigkeit von einem ermittelten vorausliegenden Verkehrsraum und/oder von der Straßenkategorie, auf der sich das eigene Fahrzeug aktuell befindet, festzulegen. Durch das Ermitteln des vorausliegenden Verkehrsraums sind relevante Verkehrsbereiche mit charakteristischen Zielobjekten, so z. B. ein Kreuzungsbereich mit kreuzenden Verkehrsteilnehmern erfassbar. Bezüglich der Straßenkategorie wird beispielsweise zwischen einer Au¬ tobahn, Bundes- und/oder einer Innerortsstraße unterschieden. Durch das Ermitteln des vorausliegenden Verkehrsraums und/oder der Straßenkategorie ist es möglich, die Bildgröße und/oder Lage zumindest von den hochaufgelösten Bilder in Abhängigkeit von der aktuellen Fahrzeugumgebung anzupassen und somit z. B. für die auszuwertenden Zielobjekte individuell auszuwählen, in Form einer Region of Interest (ROI) .
Beispielsweise weist das eigene Fahrzeug eine Ortungseinrichtung wie einen GPS-Sensor auf, welche ausgebildet ist, die aktuelle Position, somit den aktuellen Standort des eigenen Fahrzeugs, in dem die Kameravorrichtung integrierbar bzw. integriert ist, zu bestimmen. Weiterhin umfasst das eigene Fahrzeug beispielsweise einen fahrzeuginternen Navigationsdatenserver zum Abrufen von elektronischem Kartenmaterial. Vorzugsweise ist eine Auswer- teeinheit des eigenen Fahrzeugs ausgebildet, mittels der be¬ stimmten Position des eigenen Fahrzeugs sowie mittels Informationsdaten des elektronischen Kartenmaterials den vorausliegenden Verkehrsraum und/oder die Straßenkategorie ausgehend von der aktuellen Position des eigenen Fahrzeugs auszuwerten und den ausgewerteten Verkehrsraum bzw. die Straßenkategorie an die Kameravorrichtung zu übermitteln.
Je weitreichender die Objektauswertung in den Fernbereich ermöglicht ist, desto zuverlässiger und vorausschauender können die Fahrerassistenzfunktionen der Fahrerassistenzvorrichtungen ausgeführt werden. Vor diesem Hintergrund sieht eine besonders bevorzugte Ausgestaltung vor, dass die aufgenommenen Bilder jeweils im Zentralbildabschnitt zumindest partiell eine höhere, insbesondere mindestens eine doppelte Auflösung als im Peri- pheriebildabschnitt aufweisen. Beispielsweise weist der Zentralbildabschnitt einen horizontalen und/oder vertikalen Bildwinkel von höchstens +/- 25 Grad und/oder der an den Zentralbildabschnitt anschließende Peripheriebildabschnitt einen horizontalen und/oder vertikalen Bildwinkel von mindestens +/- 50 Grad auf. Besonders bevorzugt nimmt die Auflösung mit betragsmäßig zunehmenden horizontalen und/oder vertikalen Bildwinkeln zumindest abschnittsweise ab. Auf diese Weise sind in dem Zentralbildabschnitt Zielobjekte sowohl im Nah-, bei- spielsweise im Entfernungsbereich zwischen einem und 50 Metern, als auch im Fernbereich, beispielsweise im Entfernungsbereich zwischen 50 und 500 Metern auswertbar. Da im Peripheriebildabschnitt vor allem im Nahbereich befindliche Zielobjekte, so z. B. kreuzende Fahrradfahrer im Kreuzungsbereich auszuwerten sind, ist eine z. B. bedingt durch eine anamorphotische Weitwinkeloptik geringere Auflösung für die Objektauswertung möglich.
Zur Umsetzung der zumindest partiell höheren Auflösung im Zentralbildabschnitt ist vom konstruktiven Aufbau bevorzugt, dass die Weitwinkeloptik mit einer ungleichförmigen, insbesondere einer nicht-linearen Verzeichnung, im Speziellen als eine anamorphotische Weitwinkeloptik ausgebildet ist. Insbe¬ sondere kann mittels der ungleichförmigen Verzeichnung in Abhängigkeit von der Auflösung des Bildaufnahmesensors eine Auflösung von bis zu 50 Pixeln pro Grad erzielt werden. Auf diese Weise wird insbesondere die für die Objektauswertung im Fernbereich erforderliche Auflösung ohne eine zusätzliche Teleoptik ermöglicht. Bei einer bevorzugten Weiterbildung weist die Weitwinkeloptik mindestens oder genau eine Linse auf, welche zumindest ab¬ schnittsweise, beispielsweise der sphärische Flächenabschnitt panamorph, im Speziellen anamorphotisch ausgebildet ist. Panamorphe, im Speziellen anamorphotische Linsen bewirken zumindest abschnittsweise eine Verzeichnung des Ausgangsbildes und ermöglichen insbesondere durch die elliptische Form eine flächenmäßig größere Abdeckung im Vergleich zu anderen Linsenformen, sodass mehr Bildpunkte pro abgebildete Zone rea¬ lisierbar sind. Auf diese Weise wird im Zentralbildabschnitt trotz der Verzeichnung eine verbesserte Erkennung von Zielobjekten erreicht.
Vorzugsweise umfasst die Kameravorrichtung eine Bildauswer- teeinrichtung . Die Bildauswerteeinrichtung, im Speziellen ein im Automobilbereich verwendeter Prozessor, ist vorzugsweise ausgebildet, aus den von der Optronik ausgegebenen Bildern jeweils mindestens ein Zielobjekt wie z. B. Fahrspuren, Fu߬ gänger, Fahrradfahrer und/oder weitere Verkehrsteilnehmer auszuwerten.
Vorzugsweise wird aus den hochaufgelösten und auflösungsre¬ duzierten Bildern der ausgegebenen Bildfolge jeweils eine Hierarchie, auch als Pyramidenstruktur bekannt, an Bildern mit verschiedener Auflösung berechnet . Beispielsweise werden von den hochaufgelösten und auflösungsreduzierten Bildern der ausgegebenen Bildfolge jeweils mindestens drei Bilder mit einer jeweils um eine Hälfte niedrigeren Auflösung bereitgestellt. Insbesondere wird durch die Bildauswerteeinrichtung zunächst das niedrigste aufgelöste Bild des jeweils ausgegebenen Bildes zur Objekterkennung abgefragt, um den Rechenaufwand möglichst gering zu halten. Sollte durch die Bildauswerteeinrichtung in dem niedrigsten aufgelösten Bild ein Zielobjekt erkannt werden, wird vorzugsweise auf die nächsthöher auflösende Darstellung zu- rückgegriffen, um insbesondere die Objekterkennung zu validieren .
Weiterhin umfasst die Kameravorrichtung vorzugsweise mindestens eine Fahrerassistenzvorrichtung wie z. B. einen Spurhalte- oder Abbiegeassistenzvorrichtung oder ist mit dieser verbindbar. Die Fahrerassistenzvorrichtung ist insbesondere ausgebildet, in Abhängigkeit des mindestens einen ausgewerteten Zielobjekts mindestens eine passive und/oder aktive Fahrerassistenzfunktion wie z. B. eine Abstandswarnung, eine Notbremsung oder ein autonomes Ausweichmanöver durchzuführen.
Ein zweiter Ausgangspunkt stellt ein Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs mit einer Kameravorrichtung nach der vorhergehenden Beschreibung dar. Dabei wird die Bildfolge mit dem periodischen Wechsel, bei¬ spielsweise alternierend oder in einer festgelegten Reihenfolge, an hochaufgelösten und auflösungsreduzierten Bildern ausge- geben. Beispielsweise wird die Bildfolge mit hochaufgelösten Bildern aufgenommen und in dem periodischen Wechsel mit unverändert hochaufgelösten Bildern und den auflösungsreduzierten Bildern ausgegeben. Alternativ wird die Bildfolge bereits mit dem periodischen Wechsel an hochaufgelösten und auflösungsredu- zierten Bildern aufgenommen und unverändert ausgegeben.
Beispielsweise erfolgt die Auflösungsreduzierung des jeweiligen Bildes mittels elektronischen Pixelbinnings und/oder Pi- xel-Skippings auf dem Bildaufnahmesensor. Somit wird vor- zugsweise von dem Bildaufnahmesensor ausschließlich ein Teilbetrag der gesamten Pixelanzahl ausgegeben, wobei der Restbetrag der Pixelanzahl ausgeblendet oder zusammengeführt wird. Alternativ erfolgt eine der Bildaufnahme nachgeschaltete Auflösungsreduzierung, so z.B. mittels nachträglichen Pi- xelbinnings und/oder Pixel-Skippings .
Insbesondere wird die Bildfolge an eine Bildauswerteeinrichtung zur Auswertung von mindestens einem Zielobjekt ausgegeben. Vorzugsweise wird aus den im periodischen Wechsel hochaufgelöst und auflösungsreduziert ausgegebenen Bildern jeweils mindestens ein Zielobjekt ausgewertet. Beispielsweise wird auf Basis des mindestens einen ausgewerteten Zielobjekts eine Fahrerassis¬ tenzfunktion, so z. B. eine Brems-, Warn- und/oder eine Lenkassistenz ausgeführt. Zusammenfassend dient als Ausgangspunkt ein Wechsel zwischen ungebinntem Bild im Zentralbereich oder zwei ungebinnten Bildern am linken und rechten Rand mit gebinntem Bild über den vollen Field of View, dabei haben die ungebinnten Bilder immer die halbe Höhe und halbe Breite (bei den beiden Randbildern in Summe) des gebinnten Bildes.
Da bildverarbeitende embedded Prozessoren auch mittelfristig die hohen Auflösungen von ca. 8 Megapixeln nicht direkt - d.h. in Echtzeit - verarbeiten können, ist eine Auflösungsreduktion notwendig. Dies wird erreicht, indem entweder der Imager je 4Pixel zusammenfasst (Binning) und somit der volle File-of-View bei halber Auflösung im Bild zur Verfügung steht, oder nur ein Ausschnitt des Blickfeldes in voller Auflösung eingelesen wird. Dabei kann in jedem Zeitschritt, der sich durch die Bildrate des Imagers ergibt (z.B. 33 frames per second, also 33 Einzelbilder pro Sekunde) immer nur eines dieser Bilder eingelesen werden. Wird also ein größeres horizontales Field of View in hoher Auflösung benötigt (z.B. für eine Kreuzungssituation auf einer Landstraße) , müssen dessen Bestandteile (also etwa linkes Teilbild, rechtes Teilbild) einzeln eingelesen werden, was entsprechend länger dauert. Ein zentrales ungebinntes Bild hingegen bietet für die beispielhaft genannte Situation kein ausreichendes Field of View, so dass nur das gebinnte Bild in halber Bildrate und mit halber Auflösung genutzt werden kann. Durch beide Methoden steigt die Latenz eines an die Detektion angeschlossenen Systems (z.B. Notbremssystem) an, was sich auf dessen Performance negativ auswirkt.
Die Lösung soll das für eine Situation jeweils notwendige Field of View mit der geringstmöglichen Latenz bei gleichzeitiger Nutzung der vollen Auflösung des Imagers bieten. Als Lösung wird daher vorgeschlagen:
Abhängig von der Verkehrs- und/oder Umgebungssituation werden von der Bildsteuerung der Kamera folgende Maßnahmen dynamisch ergriffen - entweder zu jedem Belichtungszeitpunkt oder im zeitlichen Wechsel mit ggf. dynamisch veränderbaren Verhältnis:
Nutzung einer ungebinnten ROI (Region of Interest) mit dynamischer Anpassung von dessen Höhe und Breite abhängig von der aktuellen Situation (d.h. des benötigten horizontalen Field of View) , wobei das Bild vorzugsweise eine maximale Pixelanzahl nicht überschreitet (z.B. 2.5MPix) - die Steuerung der Bildbreite (und damit indirekt der Höhe) erfolgt dabei vorzugsweise über in vorherigen Bildern erkannte Inhalte (z.B. Objekte, Straßenverlauf) und deren Prädiktion für das aktuelle Bild
- Nutzung des gebinnten Bildes mit halber Auflösung des
Imagers bei Situationen mit maximalen Anforderungen an das FoV aber nur geringer benötigter Reichweite (typisch: städtische Straßen) Eine erfindungsgemäße Kameravorrichtung zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs umfasst eine Optronik und eine Bilderfassungssteuerungseinheit , die dazu ausgebildet sind, eine Bildfolge des Umgebungsbereichs aufzunehmen. Die Optronik umfasst eine Weitwinkeloptik und einen hochauflösenden Bildaufnahmesensor. Die Optronik und die Bilderfassungssteu¬ erungseinheit sind dazu ausgebildet bzw. eingerichtet,
- für ein Bild der Bildfolge jeweils ein mittels Pixelbinnings auflösungsreduziertes Bild des gesamten Erfassungsbereichs der Optronik zu erzeugen oder einen Teilbereich des Erfassungs- bereichs der Optronik mit maximaler Auflösung zu erfassen;
- abhängig von einer aktuellen Verkehrs- und/oder Umgebungssituation (aktuellen Situation) entweder ein gebinntes Bild mit reduzierter Auflösung (z.B. 1/4 der Pixel) des Bildaufnahme- sensors zu erzeugen oder ein Bild eines ungebinnten Teilbereichs zu erfassen,
- wobei Höhe und Breite des Teilbereichs abhängig von der aktuellen Situation festgelegt sind und,
- wobei die Größe des Teilbereichs derart festgelegt ist, dass die Pixelzahl des Bilds des Teilbereichs nicht größer ist als die Pixelzahl des auflösungsreduzierten Bildes des gesamten Erfassungsbereichs der Optronik. Das bedeutet, dass jedes Bild der Bilderfolge eine maximale Anzahl an „finalen Pixeln" nicht überschreitet.
Dies bewirkt, dass die einzelnen Bilder in derselben Zeit vorverarbeitet werden können (z.B. Demosaicing) . Die Bilderfassungssteuerungseinrichtung entspricht oder ist zumindest ein Bestandteil der prozessierenden Einheit (z.B. System-on-chip, SoC) , in der das „Steuerprogramm" der Image Control (Bilderfassungssteuerung) ausgeführt wird. Die Bilderfassungssteuerungseinrichtung kann auch als Bildaufberei- tungseinrichtung bezeichnet werden. Aufgabe der Bilderfas¬ sungssteuerungseinrichtung ist es insbesondere, die Erzeugung von auflösungsreduzierten Bildern bzw. das Erfassen eines Bilds eines Teilbereichs mit maximaler Auflösung durch die Optronik zu steuern .
Abhängig von einer aktuellen Verkehrs- bzw. Umgebungssituation kann einerseits vorgegeben werden, ob aktuell ein gebinntes „Übersichtsbild" des vollständigen Erfassungsbereichs der Optronik aufgenommen bzw. erzeugt werden soll oder ein unge- binntes Bild eines vorgegebenen Teilbereichs. Andererseits wird der Teilbereich hinsichtlich Höhe und Breite (optional auch hinsichtlich seiner Lage) ebenfalls an die aktuelle Situation angepasst .
Aktuelle Verkehrs- bzw. Umgebungssituationen können z.B. sein: - Autobahnfahrt
- Überlandfahrt
- Geradeausfahrt
- kurvenreiche Fahrt
- Stadtverkehr
- Kreuzungssituation
- Ampelregelung
- Zebrastreifen
- Überholmanöver und/oder
- Kollisionsgefahr (stationäres Hindernis, bewegtes Hindernis, Fußgänger, Radfahrer, Tier etc.).
Als Vorteil der Lösung ist anzusehen, dass sichergestellt wird, dass kritische Bildinhalte bei jedem Belichtungszyklus erfasst werden und die Reichweite der Detektion maximal gehalten wird, ohne dabei den bildverarbeitenden Prozessor zu überfordern. Dadurch ist die geringstmögliche Latenz für Fahrerassistenzsysteme bzw. aktive Sicherheitssystem realisierbar. Vorteilhaft sind die Optronik und die Bilderfassungssteue- rungseinheit dazu ausgebildet, die Bildfolge derart aufzunehmen, dass der Mittelpunkt eines jeden Teilbereichs identisch ist mit dem Mittelpunkt des gesamten Erfassungsbereichs der Optronik (quasi-„konzentrisch") . Mit anderen Worten können die ange- passten ROIs jeweils denselben Bildmittelpunkt aufweisen wie das Gesamtbild bzw. Field of View der Kameravorrichtung.
Optional sind die Optronik und die Bilderfassungssteuerungs- einheit dazu ausgebildet, in Abhängigkeit der aktuellen Si- tuation die vertikale Lage des Teilbereichs zu verschieben. So ist eine dynamische Anpassung der horizontalen Lage des un- gebinnten Bildes denkbar, bietet sich aber häufig nicht unbedingt an, da die nachteilig für diverse Algorithmen (z.B. die Ei- genbewegungsschätzung aus Kameradaten) sein könnte und sich negativ auf die Erkennung neuer, für die ROI-Steuerung relevanter Objekte auswirken könnte.
Bevorzugt sind alternativ oder kumulativ dazu die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet, in Ab¬ hängigkeit der aktuellen Situation die vertikale Lage des Teilbereichs zu verschieben.
Eine vertikale Verschiebung erscheint in bestimmten Fällen sinnvoller, da sie weniger nachteilig für nachfolgend durch- zuführende Bildauswertungsalgorithmen ist.
Natürlich können weitere Aspekte, die bereits bei der aus¬ führlichen Beschreibung des Ausgangspunktes im Detail erläutert worden sind, mit der nunmehr beschriebenen weiterführenden Lösung kombiniert werden, um weitere Vorteile zu erzielen.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von schematischen Zeichnungen näher erläutert.
Fig. 1 veranschaulicht ein Verfahren, das als Ausgangpunkt dient: Im zeitlichen Wechsel werden Einzelbilder (F) mit der Kameravorrichtung aufgenommen:
• ungebinnte Bilder 5 aus einem Bereich mit Mittelpunkt A (A ist identisch mit dem Mittelpunkt des Fields of View der
Kameravorrichtung) mit maximaler Auflösung, halber Breite und Höhe des FoV
• gebinnte Bilder 6 mit halber Auflösung (horizontal und vertikal) vom vollen Field of View der Kameravorrichtung.
Fig. 2 veranschaulicht Aspekte eines Ausführungsbeispiels der Lösung, nämlich eine adaptive ROI-Steuerung. Das eigene Fahrzeug (nicht abgebildet) fährt aktuell durch ein Stadtgebiet. Im Stadtgebiet ist es wichtig, regelmäßig aktuelle Bilder des gesamten Erfassungsbereichs der Optronik bereit¬ zustellen und auszuwerten, da auch in den Randbereichen des Field of View der Optronik relevante Objekte auftauchen können, z.B. Fußgänger, querende Fahrzeuge, über-Kopf-installierte Ampeln oder Verkehrszeichen. Sobald relevante Objekte detektiert werden, kann entsprechend der aktuellen Situation ein maximal aufgelöstes Bild eines Teilbereichs des Erfassungsbereichs der Optronik erfasst werden, damit das Objekt schnell und zuverlässig erkannt wird.
Sofern aktuell kein relevantes Objekt detektiert wird, könnte ein Teilbereich wie in Fig. 1 durch Bezugszeichen 5 definiert erfasst werden, durch den weiter entfernte Objekte (früher) detektiert werden können, da der Teilbereich mit maximaler Auflösung durch die Optronik erfasst wird. Solange kein relevantes Objekt detektiert wird, könnte z.B. der hochaufgelöste zentrale Teilbereich 5 als jedes vierte Bild der Bilderfolge erfasst werden. Alternativ könnten periodisch alternierend gebinnte und ungebinnte Bilder erzeugt bzw. erfasst werden.
Bei der in Fig. 2 dargestellten Situation befindet sich das eigene Fahrzeug gerade vor einer Kreuzung, der Einfachheit halber wird angenommen, dass das eigene Fahrzeug stillsteht.
Im oberen Bereich des Field of View (also des Erfassungsbereichs bzw. Sichtfeldes) der Kameravorrichtung befindet sich eine Ampel. Im rechten Bereich des Field of View befindet sich ein zweites Fahrzeug, welches von rechts in die Kreuzung einmündet bzw. zukünftig einfahren wird. Mit dem anhand von Fig. 1 erläuterten Ansatz würde als ungebinnte ROI der gepunktet dar¬ gestellte Bildausschnitt 3 ( in maximaler Auflösung, vergleichbar einem ungebinnten Bild 5 in Fig. 1) erfasst. Diesem Bereich kann aber die vollständige Fahrsituation nicht entnommen werden: Das zweite Fahrzeug ist in dieser ROI 3 gar nicht enthalten und von der Ampel nur der unterste Rand. Dagegen kann mit einer situationsangepassten ROI-Wahl z.B. das zweite Fahrzeug mit dem Bildausschnitt 1 vollständig oder mit dem Bildausschnitt 2 zumindest teilweise bzw. die Ampel mit dem Bildausschnitt 4 ebenfalls vollständig erfasst werden. Somit könnte die Bilderfassungssteuerung in dieser Situation derart erfolgen, dass als erstes Bild ein gebinntes Über¬ sichtsbild der vollen Imagerfläche erzeugt und ausgewertet wird. In einem zweiten Bild wird der Teilbereich 4 ungebinnt erfasst und ausgewertet, woraus z.B. entnommen werden kann, ob die Ampel aktuell grün ist.
In einem dritten Bild wird wieder ein gebinntes Übersichtsbild erzeugt, um z.B. detektieren zu können, ob sich das zweite Fahrzeug (rechts im Bild) bewegt hat oder ob links ein neuer Verkehrsteilnehmer aufgetaucht ist. Falls eine Bewegung eines Objekts im dritten Bild detektiert wird (z.B. durch Vergleich mit dem ersten Bild) , kann für die Erfassung des vierten Bilds eine Prädiktion der Objektbewegung erfolgen, um den zu erfassenden Teilbereich derart anzupassen, dass das Objekt im vierten Bild vollständig (und mit maximaler Auflösung) erfasst wird.
Im vierten Bild wird nun der Teilbereich 1 ungebinnt erfasst, z.B. um zu bestätigen, dass das zweite Fahrzeug rechts steht, d.h. sich nicht bewegt hat, und bei einer Geradeausfahrt des eigenen Fahrzeugs keine Kollision mit dem zweiten Fahrzeug droht.
In nur vier Bildern kann somit die Gesamtsituation (bzw. Fahrsituation) - soweit durch den Erfassungsbereich der Optronik ersichtlich - vollständig erfasst und durch die entsprechende Auswertung der einzelnen gebinnten bzw. ungebinnten Bilder verstanden werden. Die Los- oder Weiterfahrt des eigenen Fahrzeugs kann in dieser Fahrsituation ohne Risiko erfolgen.

Claims

Patentansprüche
1. Kameravorrichtung zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs, die Kameravorrichtung umfassend:
eine Optronik und eine Bilderfassungssteuerungseinheit , die dazu ausgebildet sind, eine Bildfolge des Umgebungsbereichs auf¬ zunehmen,
wobei
die Optronik eine Weitwinkeloptik und einen hochauflösenden Bildaufnahmesensor umfasst, und
die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind,
- für ein Bild der Bildfolge jeweils ein mittels Pixelbinnings auflösungsreduziertes Bild (6) des gesamten Erfassungsbereichs der Optronik zu erzeugen oder einen Teilbereich (1; 2; 3; 4; 5) des Erfassungsbereichs der Optronik mit maximaler Auflösung zu erfassen;
- abhängig von einer aktuellen Verkehrs- und/oder Umgebungssituation entweder ein gebinntes Bild (6) mit reduzierter Auflösung des Bildaufnahmesensors zu erzeugen oder ein Bild eines ungebinnten Teilbereichs (1; 2; 3; 4; 5) zu erfassen,
- wobei Höhe und Breite des Teilbereichs (1; 2; 3; 4; 5) abhängig von der aktuellen Situation festgelegt sind und,
- wobei die Größe des Teilbereichs (1; 2; 3; 4; 5) derart festgelegt ist, dass die Pixelzahl des Bilds des Teilbereichs (1;
2; 3; 4; 5) nicht größer ist als die Pixelzahl des auflö¬ sungsreduzierten Bildes (6) des gesamten Erfassungsbereichs der Optronik . 2. Kameravorrichtung nach Anspruch 1, wobei die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind, die Bildfolge derart aufzunehmen, dass der Mittelpunkt (A) eines jeden Teilbereichs (1; 2; 3; 4; 5) identisch ist mit dem Mittelpunkt (A) des gesamten Erfassungsbereichs (6) der Opt¬ ronik.
3. Kameravorrichtung nach Anspruch 1, wobei die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind, in
Abhängigkeit der aktuellen Situation die vertikale Lage des Teilbereichs (1; 2; 3; 4; 5) zu verschieben.
4. Kameravorrichtung nach Anspruch 1 oder 3, wobei die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind, in Abhängigkeit der aktuellen Situation die horizontale Lage des Teilbereichs (1; 2; 3; 4; 5) zu verschieben.
5. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind, die Bildfolge derart aufzunehmen, dass die Pixelzahl des Teilbereichs (1; 2; 3; 4; 5) maximal 2.5 MegaPixel beträgt .
6. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind, die Bildfolge derart aufzunehmen, dass die Pixelzahl des Teilbereichs (1; 2; 3; 4; 5) bei der Aufnahme der Bildfolge des Umgebungsbereichs konstant ist.
7. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind, die Bildfolge derart aufzunehmen, dass die Steuerung der Bildbreite und/-oder der Bildhöhe des Teilbereichs (1; 2; 3; 4; 5) über in mindestens einem vorherigen Bild (1; 2 ; 3; 4; 5; 6) erkannte Inhalte erfolgt.
8. Kameravorrichtung nach Anspruch 7, wobei zur Steuerung der Bildbreite und/oder -höhe des Teilbereichs (1; 2; 3; 4; 5) eine Prädiktion der erkannten Inhalte für das aktuelle Bild be¬ rücksichtigt wird.
9. Kameravorrichtung nach einem der vorhergehenden Ansprüche, wobei die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind, die Bildfolge derart aufzunehmen, dass die Bildfolge des Umgebungsbereichs periodisch alternierend ein auflösungsreduziertes Bild (6) und ein hochaufgelöstes Bild eines Teilbereichs (1; 2; 3; 4; 5) enthält.
10. Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs mittels einer Optronik, wobei die Optronik eine Weitwinkeloptik und einen hochauflösenden Bildaufnahmesensor umfasst, umfassend das Aufnehmen einer Bildfolge des Umge- bungsbereichs des eigenen Fahrzeugs,
wobei für ein Bild der Bildfolge ein mittels Pixelbinnings auflösungsreduziertes Bild (6) des gesamten Erfassungsbereichs der Optronik erzeugt wird oder ein Teilbereich (1; 2; 3; 4; 5) des Erfassungsbereichs der Optronik mit maximaler Auflösung erfasst wird,
- wobei abhängig von der aktuellen Verkehrs- und/oder Umgebungssituation entweder ein gebinntes Bild (6) mit reduzierter Auflösung des Bildaufnahmesensors oder ein Bild eines unge- binnten Teilbereichs (1; 2; 3; 4; 5) erfasst wird,
- wobei Höhe und Breite des Teilbereichs (1; 2; 3; 4; 5) abhängig von der aktuellen Situation festgelegt werden und
- wobei die Größe des Teilbereichs (1; 2; 3; 4; 5) derart festgelegt ist, dass die Pixelzahl des Bilds des Teilbereichs (1; 2; 3; 4; 5) nicht größer ist als die Pixelzahl des auflö- sungsreduzierten Bildes (6) des gesamten Erfassungsbereichs der Optronik .
EP17725161.8A 2016-12-06 2017-04-11 Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs Withdrawn EP3552144A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016224241 2016-12-06
PCT/DE2017/200031 WO2018103795A1 (de) 2016-12-06 2017-04-11 Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP3552144A1 true EP3552144A1 (de) 2019-10-16

Family

ID=58765637

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17725161.8A Withdrawn EP3552144A1 (de) 2016-12-06 2017-04-11 Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs

Country Status (7)

Country Link
US (1) US10798319B2 (de)
EP (1) EP3552144A1 (de)
JP (1) JP2020501423A (de)
KR (1) KR102385280B1 (de)
CN (1) CN110050278A (de)
DE (1) DE112017005118A5 (de)
WO (1) WO2018103795A1 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210845A1 (de) * 2017-06-27 2018-12-27 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10915105B1 (en) * 2018-06-25 2021-02-09 Allstate Insurance Company Preemptive logical configuration of vehicle control systems
CN111208691A (zh) * 2018-11-22 2020-05-29 南京人工智能高等研究院有限公司 拍摄视角的调整方法、装置、电子设备及存储介质
JP7268497B2 (ja) * 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
JP7167891B2 (ja) * 2019-09-24 2022-11-09 トヨタ自動車株式会社 画像処理装置
KR20220078772A (ko) * 2020-12-03 2022-06-13 현대모비스 주식회사 차량의 교차로 주행 제어 시스템 및 방법
US11899468B2 (en) * 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection
WO2022168540A1 (ja) * 2021-02-08 2022-08-11 株式会社デンソー 表示制御装置及び表示制御プログラム
JP7342926B2 (ja) 2021-02-08 2023-09-12 株式会社デンソー 表示制御装置及び表示制御プログラム
DE102021213756B3 (de) 2021-12-03 2023-02-02 Continental Autonomous Mobility Germany GmbH Verfahren zum Fusionieren von Sensordaten im Kontext eines künstlichen neuronalen Netzwerks
DE102021213757B3 (de) 2021-12-03 2023-02-02 Continental Autonomous Mobility Germany GmbH Verfahren zum Fusionieren von Bilddaten im Kontext eines künstlichen neuronalen Netzwerks
DE102022206757A1 (de) 2022-07-01 2024-01-04 Continental Autonomous Mobility Germany GmbH Dynamische Positionierung von Bildausschnitten zur effizienten Ausnutzung hochauflösender Kameras

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4287532B2 (ja) * 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
DE102009000550B4 (de) * 2009-02-02 2018-10-04 Ford Global Technologies, Llc Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
US8208026B2 (en) * 2009-03-02 2012-06-26 Flir Systems, Inc. Systems and methods for processing infrared images
US8294560B2 (en) * 2009-07-20 2012-10-23 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for identifying threats using multiple sensors in a graphical user interface
DE102011077143A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
KR101350068B1 (ko) 2012-08-23 2014-01-14 삼성전자주식회사 관심 영역 이미지를 출력하기 위한 전자 장치
KR20140054909A (ko) * 2012-10-30 2014-05-09 팅크웨어(주) 광각 렌즈 카메라 영상을 이용한 내비게이션 안내 장치 및 방법
US9499168B2 (en) * 2013-01-09 2016-11-22 Mitsubishi Electric Corporation Vehicle periphery display device
JP6244129B2 (ja) * 2013-07-22 2017-12-06 矢崎エナジーシステム株式会社 車載器
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
JP6838248B2 (ja) * 2016-02-22 2021-03-03 日立Astemo株式会社 情報処理装置

Also Published As

Publication number Publication date
JP2020501423A (ja) 2020-01-16
DE112017005118A5 (de) 2019-06-13
WO2018103795A1 (de) 2018-06-14
CN110050278A (zh) 2019-07-23
KR20190094152A (ko) 2019-08-12
US20190281235A1 (en) 2019-09-12
US10798319B2 (en) 2020-10-06
KR102385280B1 (ko) 2022-04-08

Similar Documents

Publication Publication Date Title
WO2018103795A1 (de) Kameravorrichtung sowie verfahren zur situationsangepassten erfassung eines umgebungsbereichs eines fahrzeugs
WO2018014916A1 (de) Kameravorrichtung sowie verfahren zur erfassung eines umgebungsbereichs eines eigenen fahrzeugs
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
EP3455785B1 (de) Verfahren zur erfassung von verkehrszeichen
WO2018014917A1 (de) Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
WO2006063546A1 (de) Verfahren und vorrichtung zur ermittlung einer fahrzeuggeschwindigkeit
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
DE112016002268T5 (de) Bildverarbeitungsvorrichtung, elektronisches spiegelsystem und bildverarbeitungsverfahren
DE102010035772A1 (de) System und Verfahren zum Bereitstellen von Leitinformation für den Fahrer eines Fahrzeugs
EP3607740B1 (de) Kameravorrichtung und verfahren zur erfassung eines umgebungsbereichs eines fahrzeugs
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
EP1642770A2 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE102018108751A1 (de) Method, system and device of obtaining 3D-information of objects
EP3645343B1 (de) Kameravorrichtung sowie verfahren zur umgebungsangepassten erfassung eines umgebungsbereichs eines fahrzeugs
EP3655299A1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
DE102022115023A1 (de) System zur Anzeige von Fahrzeugumgebungsinformationen und Verfahren zur Anzeige von Fahrzeugumgebungsinformationen
DE102022114858A1 (de) Fahrzeugumgebungsinformationsanzeigesystem und Fahrzeugumgebungsinformationsanzeigeverfahren
WO2014146864A1 (de) Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
EP3910928B1 (de) Verfahren zum erstellen eines räumlich hochgenauen, verorteten strassenzugpanoramabildes und system hierfür
WO2008135295A1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung
DE102020214093A1 (de) Verfahren zum Detektieren eines bewegten Objekts
DE102021211764A1 (de) Verfahren zum Erkennen eines Hintergrunds einer Verkehrsszene
DE102022211766A1 (de) Verfahren zur Erzeugung einer Umfeldinformation, Steuereinrichtung, Fahrzeug und Computerprogramm

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20190708

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200604

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTI TEMIC MICROELECTRONIC GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20201015