EP3559856A1 - Method and device for evaluating an image and providing the evaluation for a driving assist system of a vehicle - Google Patents

Method and device for evaluating an image and providing the evaluation for a driving assist system of a vehicle

Info

Publication number
EP3559856A1
EP3559856A1 EP17821788.1A EP17821788A EP3559856A1 EP 3559856 A1 EP3559856 A1 EP 3559856A1 EP 17821788 A EP17821788 A EP 17821788A EP 3559856 A1 EP3559856 A1 EP 3559856A1
Authority
EP
European Patent Office
Prior art keywords
image
vehicle
evaluation
evaluating
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP17821788.1A
Other languages
German (de)
French (fr)
Inventor
Tobias Stumber
Steffen Brueggert
Matthias Wacker
Matthias Kirschner
Caroline Gerardon
Omar Alaa El-Din
Alvaro Marcos-Ramiro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3559856A1 publication Critical patent/EP3559856A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Definitions

  • the present invention relates to a method and a first device for
  • the present invention relates to a system for evaluating an image and providing the evaluation for a driver assistance system.
  • the inventive method for evaluating an image and providing the evaluation for a driving assistance system of a vehicle comprises a step of capturing the image, a step of determining an operating state of the image
  • Image evaluation method which is selected depending on the operating state of the vehicle of at least two possible image evaluation methods and a step of providing the evaluation of the image as data values for the driving assistance system.
  • the operating state of the vehicle may include a movement state of the vehicle, such as a speed and / or an acceleration and / or a yaw and / or pitch and / or roll angle.
  • the operating state an ambient condition of the vehicle, such as daytime and / or weather-related lighting conditions and / or a - in particular country-specific - location and / or
  • Traffic infrastructure characteristics state of the traffic route and / or type of
  • Traffic route [highway, country road, dirt road, etc.] and / or width of the
  • the driver assistance system of the vehicle an assistance system for lateral and / or steering control and / or a
  • assistance systems There are also other assistance systems that are not listed, possible.
  • the image represents an environment of the vehicle and the data values represent a description of at least one object in that environment.
  • This shows a particularly security-relevant advantages, since just objects in the environment of
  • Vehicle such as other road users (vehicles, pedestrians, etc.) and / or animals and / or traffic signs and / or in particular not permanently existing objects (lost objects, construction sites, etc.) have a significant impact on a safe operation of the vehicle, which is improved by the description of these objects.
  • the image is captured as at least one field, wherein the at least one field comprises a subset of image characteristics of the image.
  • the at least one field comprises a subset of image characteristics of the image.
  • Image properties are, for example, hues (red, green, blue, etc.) and / or
  • Gray values and / or structural values - in particular gradient values - of features contained in the image means that the subset has at least one image property less than the number of all
  • Image properties of the image is captured as at least two partial images, each of the at least two partial images comprising a different subset of image characteristics.
  • the evaluations of the at least two partial images can be mutually plausible.
  • a subset of the at least two subsets comprises gray values and a second of the at least two subsets comprises a color value.
  • the operating state of the vehicle includes at least one of the following states: speed of the vehicle, weather conditions in the vehicle
  • the evaluation is carried out by means of the at least one image evaluation method in such a way that the at least one image evaluation method comprises a first evaluation step and a second evaluation step, wherein at least one feature is classified by means of the first evaluation step by means of the subset of image properties in the at least one partial image and by means of second Ausensesch Ritts starting from the at least one classified feature the at least one object is determined.
  • the at least one object is a traffic sign and / or a
  • Pedestrian and / or another vehicle and / or animal are Pedestrian and / or another vehicle and / or animal.
  • the device according to the invention for evaluating an image and providing the evaluation for a driving assistance system of a vehicle comprises first means for acquiring the image, second means for determining an operating state of the image Vehicle, third means for evaluating the image by means of at least one
  • Image evaluation method which is selected depending on the operating state of the vehicle of at least two possible image evaluation methods and fourth means for providing the evaluation of the image as data values for the driving assistance system.
  • the first means and / or the second means and / or the third means and / or the fourth means are adapted to a method according to at least one of the method claims.
  • the system according to the invention for operating a vehicle comprises
  • Driver assistance system in particular a control unit, which is adapted to a driving assistance function according to at least one of the examples mentioned here
  • Figure 1 purely by way of example the device according to the invention
  • Figure 2 purely by way of example a vehicle comprising the device according to the invention and the system according to the invention.
  • FIG. 1 shows a device 1 10 for evaluating 330 an image and providing 340 the evaluation for a driving assistance system 140 of a vehicle 100 with first means 1 1 1 for capturing 310 the image and second means 1 12 for determining 320 an operating state of the vehicle 100 includes third funds 1 13 to
  • the first means 1 1 1 for detecting 310 an image are designed such that they can receive an image in the form of data values, for example from a camera system 130, and process accordingly. These include the first means 1 1 1, for example, a processor, memory and a storage device with appropriate programs.
  • the first means 1 1 1 are designed such that the image is detected as at least one partial image, wherein the at least one partial image comprises a subset of image properties of the image. This is done, for example, by detecting the image by means of a plurality of input channels, each input channel being adapted to capture a particular image characteristic of the image, and only passing the image characteristics of an input channel to the third means 13. Additionally and optionally, the first means 1 1 1 are designed to detect the image and / or the at least one partial image in such a way that the image and / or the at least one partial image is divided into image regions upon detection 310.
  • a single grid has a predetermined size and this size, for example, depends on the operating condition of the vehicle.
  • a grid has a size of 2 x 2 pixels, or 4 x 4 pixels.
  • a first input channel is designed, for example, to detect gray values with 8 to 16 bits and / or a second input channel is designed to detect and / or input the colors red and / or green and / or blue with 8 or 12 or 16 bits third Input channel is designed to detect gradient values.
  • each input channel corresponds to a filter which is designed to be a predetermined one
  • the image properties are thereby assigned, for example, to an image area of the image and / or the at least one subimage when capturing 310.
  • Gradient values are detected, for example, in that the image comprises an object-for example a round shape-with a specific color and / or gray-scale progression, and the slope of this curve-based on a predefined value
  • Coordinate system - is detected in a certain image area of the image by assigning the slope as a value to exactly this image area.
  • the first means 1 1 1 are designed such that the image is detected as at least two partial images, wherein each of the at least two partial images comprises a different subset of image properties. This is done, for example, by capturing the image by means of at least two input channels, each of the at least two input channels being opposite each other
  • Input channel is designed to capture a different image property.
  • the acquisition of the image properties by means of the input channels takes place, for example, by detecting the acquired image properties as data values, wherein the image properties are assigned to a specific image area of the image, and these data values are forwarded to the third means 13 and evaluated by the third means 13 can.
  • the second means 1 12 are designed to determine an operating state of the vehicle 100. This is done, for example, by the second means 1 12 being connected to a first sensor system 150, which comprises at least one sensor, wherein the first sensor system is designed to determine at least one movement state of the vehicle 100. Furthermore, the second means 1 12 is connected, for example, to a second sensor system 160, wherein the second sensor system is configured to detect an ambient condition of the vehicle 100.
  • the second sensor system 160 includes, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor.
  • the second sensor system 160 includes, for example, a transmitting and / or receiving unit, which is designed for radio data connection of weather data and / or lighting conditions (dark, light, etc.) in the vicinity of the
  • Vehicle 100 to request and / or receive.
  • Receiving unit may also be designed such that they for transmitting and / or receiving to an already existing unit - for example, a
  • the second sensor system 160 includes
  • an environmental condition of the vehicle 100 is detected, for example, as - in brief - dark, by means of the
  • Navigation system is detected, which is located directly in front of the vehicle 100 in the direction of travel.
  • the second means 1 12 and / or the first sensor system 150 and / or the second sensor system 160 are designed for this purpose, for example by means of a processor, main memory and a memory device, which corresponding
  • Determination software includes the operating state of the vehicle 100, such as
  • a movement state and / or an environment state in the form of data values to capture and these data values to the third means 13 1
  • the third means 1 13 are adapted to the image and / or the at least one partial image by means of at least one image evaluation method, which depends on the operating state of the vehicle 100 of at least two possible
  • Image evaluation method is selected to evaluate.
  • the selection is made in such a way that predefined profiles are assigned to a specific operating state, which in turn are suitable for this operating state
  • Image evaluation methods include. For example, an image evaluation method is suitable at a speed of the vehicle up to a predetermined one
  • Another image evaluation method is suitable since, for example, it evaluates less details overall but also all the relevant details even at higher speeds.
  • One Another image evaluation method is suitable, for example, to evaluate the image and / or the at least one partial image by evaluating colors. If an ambient condition of the vehicle by means of the second means 1 12 determined as dark, now another image evaluation method is applied, which evaluates gray tones, for example, because the image and / or the at least one field - due to the dark environment - according to predetermined criteria too few color values include.
  • the evaluation 330 takes place by means of the at least one image evaluation method such that the at least one image evaluation method comprises a first evaluation step and a second evaluation step, wherein at least one feature is classified by means of the first evaluation step by means of the subset of image properties in the at least one partial image and by means of the second
  • Ausensesch Ritts starting from the at least one classified feature that at least one object is determined.
  • the first evaluation step comprises, for example, the following first partial steps (all partial steps of the first and / or second evaluation step are carried out in such a way that corresponding processing of data values takes place by means of suitable software, including the image and / or the at least one partial image and / or represented by the first means 1 1 1 edited versions thereof, without this being explicitly mentioned at each step):
  • a cell comprises at least one image area, wherein a plurality of image areas can also be linked to one cell;
  • results of the aggregation are stored as internal intermediate images by storing all cells.
  • the cells are stored by means of the first set of functions, and one or more features are classified. For example, if the at least one object in the vicinity of the vehicle 100 is a traffic sign, the following features are classified: closed and round, outside red and inside white, inside the white area are black symbols.
  • the classification is carried out, for example, by means of at least one of the following methods:
  • ACF cell a cell evaluated according to this method is called an ACF cell
  • the second evaluation step comprises, for example, the following substeps:
  • each of the levels evaluates each cell and / or each image area according to predetermined criteria in more detail than the level before. If all stages have been evaluated, there is a possible object at the current position in the picture and / or in at least one sub-picture, ie in the current cell and / or in the current image area.
  • Image areas is known whether a possible object is present or not.
  • Example will be based on the first
  • Evaluation step exemplary features mentioned, - according to the German StVO - recognized a traffic sign, which a
  • Speed limit indication represented After carrying out the first and / or second evaluation steps, data values which represent the evaluation of the image are forwarded to the fourth means 14.
  • the forwarded data values now represent, for example, the information that in the surroundings of the vehicle 100 there is a speed limit with a certain maximum speed.
  • the fourth means 1 14 are designed to provide the evaluation of the image as data values for the driver assistance system 140.
  • the fourth means comprise, for example, a processor, main memory and a memory device and are designed to rewrite and / or modify the data values received from the third means 13 in such a way that they can be processed by the driving assistance system 140, for example the data format, depending on the corresponding driver assistance system 140, is adjusted.
  • FIG. 2 shows a vehicle 100, which comprises a system 120 for operating the vehicle 100. This comprises a camera system 130 for capturing at least one image, a device 110 for evaluating 330 the at least one image and providing 340 the evaluation for a driving assistance system 140 of the vehicle 100 and the driving assistance system 140 for executing a driving assistance function for operating the vehicle 100.
  • the camera system 130 includes, for example, a monocamera and / or a stereo camera and / or both, and is configured to capture images of an environment of the vehicle 100.
  • the camera system 130 can be arranged such that a recording of the environment in any direction, starting from the vehicle 100, is possible.
  • the camera system 130 includes a plurality of cameras (mono and / or stereo cameras) such that an image of the environment comprising more than one direction from the vehicle (front, back, left, right) is included.
  • the camera system 130 is further configured to forward a captured image in the form of data values to the device 110 for evaluating 330 the image and providing 340 the evaluation for a driving assistance system 140.
  • the device 110 for evaluating 330 the image and providing 340 the evaluation for a driving assistance system 140 of the vehicle 100 is designed to capture the image in the form of data values, an evaluation of the image, depending on one Operating state of the vehicle 100, perform and the evaluation, which
  • the determining 320 of the operating state of the vehicle 100 takes place, for example, by means of a first sensor system 150, which comprises at least one sensor, wherein the first sensor system is designed to at least one
  • the determination 320 of the operating state takes place, for example, by means of a second sensor system, which is designed to detect an ambient state of the vehicle 100.
  • the second sensor system 160 includes, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor.
  • the second sensor system 160 is configured such that it does not include its own sensors, but instead accesses sensors already included in the vehicle 100 that do not belong to the system 120. This may likewise be, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor. In a further embodiment, the second sensor system 160 additionally or optionally includes a transmitting and / or receiving unit, which is designed to per
  • the system 120 further includes a driver assistance system 120 configured to receive data values representing information about at least one object in the environment of the object.
  • the driver assistance system 140 is further configured to operate the vehicle 100 depending on these data values.
  • the driver assistance system 140 is configured in such a way that the vehicle 100 does not operate directly, but rather drives already existing control units in the vehicle 100.
  • FIG. 3 shows an embodiment of the inventive method 300 for evaluating an image and providing the evaluation for a driving assistance system 140 of a vehicle 100 in the form of a flowchart.
  • step 310 an image captured by, for example, a camera system 130 is captured.
  • step 320 an operating condition of the vehicle 100 is determined.
  • the two steps 310 and 320 can also take place in the reverse order of succession, the sequence depending, for example, on the design of the device 110 and / or on a presetting made, for example, by a manufacturer or an operator of the vehicle 100. If step 320 is first carried out, the first means 1 1 1 for capturing the image may, for example, be embodied such that the capturing 310 of the image already takes place depending on the operating state of the vehicle 100.
  • step 330 the image is evaluated.
  • step 340 the evaluation of the image as data values for the

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a method (300) and to a device (110) for evaluating an image and providing the evaluation for a driving assist system (140) of a vehicle (100), comprising a step of capturing (310) the image, a step of determining (320) an operating state of the vehicle (100), a step of evaluating (330) the image by means of at least one image evaluation method, which is selected from at least two possible image evaluation methods depending on the operating state of the vehicle (100), and a step of providing (340) the evaluation of the image as data values for the driving assist system (140).

Description

Beschreibung  description
Titel title
Verfahren und Vorrichtung zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsvstem eines Fahrzeugs  Method and device for evaluating an image and providing the evaluation for a driver assistance system of a vehicle
Die vorliegende Erfindung betrifft ein Verfahren sowie eine erste Vorrichtung zum The present invention relates to a method and a first device for
Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem eines Fahrzeugs, wobei die Auswertung abhängig von einem Betriebszustand des Fahrzeugs erfolgt. Weiterhin betrifft die vorliegende Erfindung ein System zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem. Evaluating an image and providing the evaluation for a driver assistance system of a vehicle, wherein the evaluation takes place as a function of an operating state of the vehicle. Furthermore, the present invention relates to a system for evaluating an image and providing the evaluation for a driver assistance system.
Offenbarung der Erfindung Disclosure of the invention
Das erfindungsgemäße Verfahren zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem eines Fahrzeugs umfasst einen Schritt des Erfassens des Bildes, einen Schritt des Bestimmens eines Betriebszustands des The inventive method for evaluating an image and providing the evaluation for a driving assistance system of a vehicle comprises a step of capturing the image, a step of determining an operating state of the image
Fahrzeugs, einen Schritt des Auswertens des Bildes mittels wenigstens einem Vehicle, a step of evaluating the image by means of at least one
Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird und einen Schritt des Bereitstellens der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem. Image evaluation method, which is selected depending on the operating state of the vehicle of at least two possible image evaluation methods and a step of providing the evaluation of the image as data values for the driving assistance system.
Dies hat den Vorteil, dass aufgrund der gezielten Auswahl wenigstens eines This has the advantage that due to the targeted selection of at least one
Bildauswerteverfahrens, welches abhängig von dem Betriebszustand des Fahrzeugs von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird, die Auswertung des Bildes sehr schnell und effizient durchgeführt wird, da nicht alle Bildauswerteverfahren in einer beliebigen Reihenfolge durchgeführt werden. Bildauswertverfahrens, which is selected depending on the operating condition of the vehicle of at least two possible image evaluation methods, the evaluation of the image is performed very quickly and efficiently, since not all image evaluation methods are performed in any order.
Dies ist besonders vorteilhaft, wenn es sich bei dem Fahrzeug um ein teil-, hoch- oder vollautomatisiertes Fahrzeug handelt, da hier die Fahrassistenzsysteme von einer schnellen und effizient durchgeführten Auswertung eines Bildes besonders abhängig sind, um ein sicheres Betreiben des Fahrzeugs zu gewährleisten, wobei im Rahmen des erfindungsgemäßen Verfahrens unter einem Fahrzeug sowohl ein automatisiertes Fahrzeug als auch ein manuell betriebenes Fahrzeug oder ein per Funkverbindung gesteuertes Fahrzeug verstanden werden kann. Im Rahmen des erfindungsgemäßen Verfahrens kann der Betriebszustand des Fahrzeugs einen Bewegungszustand des Fahrzeugs, wie beispielsweise eine Geschwindigkeit und/oder eine Beschleunigung und/oder einen Gier- und/oder Nick- und/oder Rollwinkel umfassen. Weiterhin kann der Betriebszustand einen Umgebungszustand des Fahrzeugs, wie beispielsweise tageszeit- und/oder wetterbedingte Lichtverhältnisse und/oder einen - insbesondere länderspezifischen - Aufenthaltsort und/oder This is particularly advantageous when the vehicle is a partially, highly or fully automated vehicle, since here the driver assistance systems are particularly dependent on a fast and efficient evaluation of an image in order to ensure safe operation of the vehicle, wherein as part of the According to the invention method under a vehicle both an automated vehicle and a manually operated vehicle or a radio controlled vehicle can be understood. In the context of the method according to the invention, the operating state of the vehicle may include a movement state of the vehicle, such as a speed and / or an acceleration and / or a yaw and / or pitch and / or roll angle. Furthermore, the operating state, an ambient condition of the vehicle, such as daytime and / or weather-related lighting conditions and / or a - in particular country-specific - location and / or
Verkehrsinfrastrukturmerkmale (Zustand des Verkehrsweges und/oder Typ des  Traffic infrastructure characteristics (state of the traffic route and / or type of
Verkehrsweges [Autobahn, Landstraße, Feldweg, etc.] und/oder Breite des Traffic route [highway, country road, dirt road, etc.] and / or width of the
Verkehrsweges) umfassen. Im Rahmen des erfindungsgemäßen Verfahrens kann das Fahrassistenzsystem des Fahrzeugs ein Assistenzsystem zur Quer- und/oder Lenksteuerung und/oder ein Traffic route). In the context of the inventive method, the driver assistance system of the vehicle, an assistance system for lateral and / or steering control and / or a
Assistenzsystem zur Navigation und/oder - insbesondere hochgenauen - Lokalisierung des Fahrzeugs und/oder ein Assistenzsystem zur Informationsbereitstellung - beispielsweise für einen Betreiber des Fahrzeugs - und/oder ein Assistenzsystem zur - insbesondere sicherheitsbedingten - Überwachung des Fahrzeugs und/oder der Insassen des Fahrzeugs sein. Es sind ebenfalls weitere Assistenzsysteme, die nicht aufgezählt werden, möglich. Assistance system for navigation and / or - in particular highly accurate - localization of the vehicle and / or an assistance system for information provision - for example, for an operator of the vehicle - and / or an assistance system for - especially security related - monitoring the vehicle and / or the occupants of the vehicle. There are also other assistance systems that are not listed, possible.
Vorzugsweise repräsentiert das Bild eine Umgebung des Fahrzeugs und die Datenwerte eine Beschreibung wenigstens eines Objekts in dieser Umgebung. Hierin zeigen sich ein besonders sicherheitsrelevante Vorteile, da gerade Objekte in der Umgebung des Preferably, the image represents an environment of the vehicle and the data values represent a description of at least one object in that environment. This shows a particularly security-relevant advantages, since just objects in the environment of
Fahrzeugs, wie beispielsweise andere Verkehrsteilnehmer (Fahrzeuge, Fußgänger, etc.) und/oder Tiere und/oder Verkehrszeichen und/oder insbesondere nicht dauerhaft vorhandene Objekte (verlorene Gegenstände, Baustellen, etc.) einen erheblichen Einfluss auf ein sicheres Betreiben des Fahrzeugs haben, welches durch die Beschreibung dieser Objekte verbessert wird. Vehicle, such as other road users (vehicles, pedestrians, etc.) and / or animals and / or traffic signs and / or in particular not permanently existing objects (lost objects, construction sites, etc.) have a significant impact on a safe operation of the vehicle, which is improved by the description of these objects.
Vorzugsweise wird das Bild als wenigstens ein Teilbild erfasst, wobei das wenigstens eine Teilbild eine Untermenge an Bildeigenschaften des Bildes umfasst. Hierin zeigt sich der Vorteil, dass das Auswerten des wenigstens einen Teilbildes schneller erfolgt, als die Auswertung des vollständigen Bildes, da in den meisten Fällen die von dem wenigstens einen Teilbild umfassten Informationen ausreichen, um das wenigstens eine Objekt in der Umgebung des Fahrzeugs zu beschreiben. Preferably, the image is captured as at least one field, wherein the at least one field comprises a subset of image characteristics of the image. This shows the advantage that the evaluation of the at least one sub-image is faster than the evaluation of the complete image, since in most cases, the at least a partial image comprises information sufficient to describe the at least one object in the vicinity of the vehicle.
Bildeigenschaften sind beispielsweise Farbtöne (Rot, Grün, Blau, etc.) und/oder Image properties are, for example, hues (red, green, blue, etc.) and / or
Grauwerte und/oder Strukturwerte - insbesondere Gradientenwerte - von im Bild enthaltenen Merkmalen. Eine Untermenge an Bildeigenschaften bedeutet, dass die Untermenge wenigstens eine Bildeigenschaft weniger als die Anzahl aller Gray values and / or structural values - in particular gradient values - of features contained in the image. A subset of image properties means that the subset has at least one image property less than the number of all
Bildeigenschaften des Bildes umfasst. Vorzugsweise wird das Bild als wenigstens zwei Teilbilder erfasst, wobei jedes der wenigstens zwei Teilbilder eine unterschiedliche Teilmenge an Bildeigenschaften umfasst. Hierin zeigt sich der Vorteile, dass das Auswerten der wenigstens zwei Teilbilder schneller erfolgt, als die Auswertung des vollständigen Bildes, wobei sich die wenigstens zwei Teilbilder derart ergänzen können, dass das wenigstens eine Objekt schneller und/oder genauer beschrieben wird. Zudem können sich die Auswertungen der wenigstens zwei Teilbilder gegenseitig plausibilisieren. Beispielsweise umfasst eine Teilmenge der wenigstens zwei Teilmengen Grauwerte und eine zweite der wenigstens zwei Teilmengen einen Farbwert. Vorzugsweise umfasst der Betriebszustand des Fahrzeugs wenigstens einen der folgenden Zustände: Geschwindigkeit des Fahrzeugs, Wetterverhältnisse in der Image properties of the image. Preferably, the image is captured as at least two partial images, each of the at least two partial images comprising a different subset of image characteristics. This shows the advantages that the evaluation of the at least two partial images is faster than the evaluation of the complete image, wherein the at least two partial images can complement each other in such a way that the at least one object is described faster and / or more accurately. In addition, the evaluations of the at least two partial images can be mutually plausible. For example, a subset of the at least two subsets comprises gray values and a second of the at least two subsets comprises a color value. Preferably, the operating state of the vehicle includes at least one of the following states: speed of the vehicle, weather conditions in the vehicle
Umgebung des Fahrzeugs, Lichtverhältnisse in der Umgebung des Fahrzeugs. Surroundings of the vehicle, lighting conditions in the vicinity of the vehicle.
Vorzugsweise erfolgt das Auswerten mittels dem wenigstens einen Bildauswerteverfahren derart, dass das wenigstens eine Bildauswerteverfahren einen ersten Auswertesch ritt und einen zweiten Auswertesch ritt umfasst, wobei mittels des ersten Auswerteschritts mittels der Untermenge an Bildeigenschaften in dem wenigstens einen Teilbild wenigstens ein Merkmal klassifiziert wird und mittels des zweiten Auswertesch ritts ausgehend von dem wenigstens einen klassifizierten Merkmal das wenigstens eine Objekt bestimmt wird. Preferably, the evaluation is carried out by means of the at least one image evaluation method in such a way that the at least one image evaluation method comprises a first evaluation step and a second evaluation step, wherein at least one feature is classified by means of the first evaluation step by means of the subset of image properties in the at least one partial image and by means of second Auswertesch Ritts starting from the at least one classified feature the at least one object is determined.
Vorzugsweise ist das wenigstens eine Objekt ein Verkehrszeichen und/oder ein Preferably, the at least one object is a traffic sign and / or a
Fußgänger und/oder ein anderes Fahrzeug und/oder ein Tier. Pedestrian and / or another vehicle and / or animal.
Die erfindungsgemäße Vorrichtung zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem eines Fahrzeugs umfasst erste Mittel zum Erfassen des Bildes, zweite Mittel zum Bestimmen eines Betriebszustands des Fahrzeugs, dritte Mittel zum Auswerten des Bildes mittels wenigstens einem The device according to the invention for evaluating an image and providing the evaluation for a driving assistance system of a vehicle comprises first means for acquiring the image, second means for determining an operating state of the image Vehicle, third means for evaluating the image by means of at least one
Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird und vierte Mittel zum Bereitstellen der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem. Image evaluation method, which is selected depending on the operating state of the vehicle of at least two possible image evaluation methods and fourth means for providing the evaluation of the image as data values for the driving assistance system.
Vorzugsweise sind die ersten Mittel und/oder die zweiten Mittel und/oder die dritten Mittel und/oder die vierten Mittel dazu ausgebildet, ein Verfahren gemäß wenigstens einem der Verfahrensansprüche. Das erfindungsgemäße System zum Betreiben eines Fahrzeugs umfasst ein Preferably, the first means and / or the second means and / or the third means and / or the fourth means are adapted to a method according to at least one of the method claims. The system according to the invention for operating a vehicle comprises
Kamerasystem zum Aufnehmen wenigstens eines Bildes, eine Vorrichtung gemäß einem der Vorrichtungsansprüche und ein Fahrassistenzsystem zum Ausführen einer  A camera system for capturing at least one image, an apparatus according to any one of the apparatus claims, and a driving assistance system for executing a
Fahrassistenzfunktion. Im Rahmen des erfindungsgemäßen Systems handelt es sich bei dem Driving assistance function. In the context of the system according to the invention is in the
Fahrassistenzsystem insbesondere um ein Steuergerät, welches dazu ausgebildet ist eine Fahrassistenzfunktion gemäß wenigstens einem der hier genannten Beispiele  Driver assistance system, in particular a control unit, which is adapted to a driving assistance function according to at least one of the examples mentioned here
auszuführen. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung aufgeführt. perform. Advantageous developments of the invention are specified in the subclaims and listed in the description.
Zeichnungen Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in den nachfolgenden Beschreibungen näher erläutert. Es zeigen: Drawings Exemplary embodiments of the invention are illustrated in the drawings and are explained in more detail in the following descriptions. Show it:
Figur 1 rein beispielhaft die erfindungsgemäße Vorrichtung; Figur 2 rein beispielhaft ein Fahrzeug, welches die erfindungsgemäße Vorrichtung sowie das erfindungsgemäße System umfasst; und Figure 1 purely by way of example the device according to the invention; Figure 2 purely by way of example a vehicle comprising the device according to the invention and the system according to the invention; and
Figur 3 rein beispielhaft ein Ausführungsbeispiel in Form eines Ablaufdiagramms. Ausführungsformen der Erfindung Figure 3 purely by way of example an embodiment in the form of a flow chart. Embodiments of the invention
Figur 1 zeigt eine Vorrichtung 1 10 zum Auswerten 330 eines Bildes und Bereitstellen 340 der Auswertung für ein Fahrassistenzsystem 140 eines Fahrzeugs 100 mit ersten Mittel 1 1 1 zum Erfassen 310 des Bildes und zweiten Mittel 1 12 zum Bestimmen 320 eines Betriebszustands des Fahrzeugs 100. Sie umfasst weiterhin dritte Mittel 1 13 zum FIG. 1 shows a device 1 10 for evaluating 330 an image and providing 340 the evaluation for a driving assistance system 140 of a vehicle 100 with first means 1 1 1 for capturing 310 the image and second means 1 12 for determining 320 an operating state of the vehicle 100 includes third funds 1 13 to
Auswerten 330 des Bildes mittels wenigstens einem Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs 100 von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird und vierte Mittel 1 14 zum Bereitstellen 340 der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem 140. Evaluation 330 of the image by means of at least one image evaluation method, which is selected depending on the operating state of the vehicle 100 of at least two possible image evaluation and fourth means 1 14 for providing 340 of the evaluation of the image as data values for the driving assistance system 140th
Die ersten Mittel 1 1 1 zum Erfassen 310 eines Bildes sind dabei derart ausgebildet, das diese ein Bild in Form von Datenwerten, beispielsweise von einem Kamerasystem 130, empfangen und entsprechend verarbeiten können. Dazu umfassen die ersten Mittel 1 1 1 , beispielsweise einen Prozessor, Arbeitsspeicher und eine Speichervorrichtung mit entsprechenden Programmen. The first means 1 1 1 for detecting 310 an image are designed such that they can receive an image in the form of data values, for example from a camera system 130, and process accordingly. These include the first means 1 1 1, for example, a processor, memory and a storage device with appropriate programs.
In einer Ausführungsform sind die ersten Mittel 1 1 1 derart ausgebildet, dass das Bild als wenigstens ein Teilbild erfasst wird, wobei das wenigstens eine Teilbild eine Untermenge an Bildeigenschaften des Bildes umfasst. Dies erfolgt beispielsweise indem das Bild mittels mehrerer Eingangskanäle erfasst wird, wobei jeder Eingangskanal dazu ausgebildet ist, eine bestimmte Bildeigenschaft des Bildes zu erfassen, und nur die Bildeigenschaften eines Eingangskanals an die dritten Mittel 1 13 weitergeleitet werden. Zusätzlich und optional sind die ersten Mittel 1 1 1 ausgebildet, das Bild und/oder das wenigstens eine Teilbild derart zu erfassen, dass das Bild und/oder das wenigstens eine Teilbild beim Erfassen 310 in Bildbereiche aufgeteilt wird. Dies erfolgt beispielsweise mittels einer Rasterung des Bildes, wobei ein einzelnes Raster eine vorgegebene Größe besitzt und diese Größe beispielsweise von dem Betriebszustand des Fahrzeugs abhängt. Ein Raster hat beispielsweise eine Größe von 2 x 2 Pixel, oder 4 x 4 Pixel.In one embodiment, the first means 1 1 1 are designed such that the image is detected as at least one partial image, wherein the at least one partial image comprises a subset of image properties of the image. This is done, for example, by detecting the image by means of a plurality of input channels, each input channel being adapted to capture a particular image characteristic of the image, and only passing the image characteristics of an input channel to the third means 13. Additionally and optionally, the first means 1 1 1 are designed to detect the image and / or the at least one partial image in such a way that the image and / or the at least one partial image is divided into image regions upon detection 310. This is done for example by means of a screening of the image, wherein a single grid has a predetermined size and this size, for example, depends on the operating condition of the vehicle. For example, a grid has a size of 2 x 2 pixels, or 4 x 4 pixels.
Grundsätzlich sind viele verschiedene Größen und Formen (Quadrate, Rechtecke, etc.) denkbar, die eine sinnvolle Rasterung ermöglichen. Basically, many different sizes and shapes (squares, rectangles, etc.) are conceivable that allow meaningful screening.
Ein erster Eingangskanal ist beispielsweise dazu ausgebildet, Grauwerte mit 8 bis 16 Bit zu erfassen und/oder ein zweiter Eingangskanal ist dazu ausgebildet, die Farben Rot und/oder Grün und/oder Blau mit 8 oder 12 oder 16 Bit zu erfassen und/oder ein dritter Eingangskanal ist dazu ausgebildet, Gradientenwerte zu erfassen. Somit entspricht jeder Eingangskanal einem Filter, welcher dazu ausgebildet ist eine vorgegebene A first input channel is designed, for example, to detect gray values with 8 to 16 bits and / or a second input channel is designed to detect and / or input the colors red and / or green and / or blue with 8 or 12 or 16 bits third Input channel is designed to detect gradient values. Thus, each input channel corresponds to a filter which is designed to be a predetermined one
Bildeigenschaft herauszufiltern. Die Bildeigenschaften werden dabei beim Erfassen 310 beispielsweise einem Bildbereich des Bildes und/oder des wenigstens einen Teilbildes zugeordnet. Filter out image feature. The image properties are thereby assigned, for example, to an image area of the image and / or the at least one subimage when capturing 310.
Gradientenwerte werden beispielsweise erfasst, indem das Bild ein Objekt - beispielsweise eine runde Form - mit einem bestimmten Färb- und/oder Grauwertverlauf umfasst und die Steigung dieses Verlauf - bezogen auf ein vorgegebenes Gradient values are detected, for example, in that the image comprises an object-for example a round shape-with a specific color and / or gray-scale progression, and the slope of this curve-based on a predefined value
Koordinatensystem - in einem bestimmten Bildbereich des Bildes erfasst wird, indem genau diesem Bildbereich die Steigung als Wert zugeordnet wird. Coordinate system - is detected in a certain image area of the image by assigning the slope as a value to exactly this image area.
In einer weiteren Ausführungsform sind die ersten Mittel 1 1 1 derart ausgebildet, dass das Bild als wenigstens zwei Teilbilder erfasst wird, wobei jedes der wenigstens zwei Teilbilder eine unterschiedliche Teilmenge an Bildeigenschaften umfasst. Dies erfolgt beispielsweise, indem das Bild mittels wenigstens zwei Eingangskanälen erfasst wird, wobei jeder der wenigstens zwei Eingangskanäle gegenüber jedem anderen In a further embodiment, the first means 1 1 1 are designed such that the image is detected as at least two partial images, wherein each of the at least two partial images comprises a different subset of image properties. This is done, for example, by capturing the image by means of at least two input channels, each of the at least two input channels being opposite each other
Eingangskanal dazu ausgebildet ist, eine andere Bildeigenschaft zu erfassen. Das Erfassen der Bildeigenschaften mittels der Eingangskanäle erfolgt beispielsweise, indem die erfassten Bildeigenschaften als Datenwerte derart erfasst werden, wobei die Bildeigenschaften einem bestimmten Bildbereich des Bildes zugeordnet werden, dass diese Datenwerte an die dritten Mittel 1 13 weitergeleitet und mittels der dritten Mittel 1 13 ausgewertet werden können. Input channel is designed to capture a different image property. The acquisition of the image properties by means of the input channels takes place, for example, by detecting the acquired image properties as data values, wherein the image properties are assigned to a specific image area of the image, and these data values are forwarded to the third means 13 and evaluated by the third means 13 can.
Die zweiten Mittel 1 12 sind dazu ausgebildet, einen Betriebszustand des Fahrzeugs 100 zu bestimmen. Dies erfolgt beispielsweise, indem die zweiten Mittel 1 12 mit einem ersten Sensorsystem 150, welches wenigstens einen Sensor umfasst, verbunden ist, wobei das erste Sensorsystem dazu ausgebildet ist, wenigstens einen Bewegungszustand des Fahrzeugs 100 zu bestimmen. Weiterhin sind die zweiten Mittel 1 12 beispielsweise mit einem zweiten Sensorsystem 160 verbunden ist, wobei das zweite Sensorsystem dazu ausgebildet ist, einen Umgebungszustand des Fahrzeugs 100 zu erfassen. Dazu umfasst das zweite Sensorsystem 160 beispielsweise eine Kamera und/oder einen Radarsensor und/oder einen Ultraschallsensor und/oder einen Lidarsensor. ln einer weiteren Ausführungsform umfasst das zweite Sensorsystem 160 beispielsweise eine Sende- und/oder Empfangseinheit, welche dazu ausgebildet ist per Funkverbindung Wetterdaten und/oder Lichtverhältnisse (dunkel, hell, etc.) in der Umgebung des The second means 1 12 are designed to determine an operating state of the vehicle 100. This is done, for example, by the second means 1 12 being connected to a first sensor system 150, which comprises at least one sensor, wherein the first sensor system is designed to determine at least one movement state of the vehicle 100. Furthermore, the second means 1 12 is connected, for example, to a second sensor system 160, wherein the second sensor system is configured to detect an ambient condition of the vehicle 100. For this purpose, the second sensor system 160 includes, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor. In a further embodiment, the second sensor system 160 includes, for example, a transmitting and / or receiving unit, which is designed for radio data connection of weather data and / or lighting conditions (dark, light, etc.) in the vicinity of the
Fahrzeugs 100 anzufordern und/oder zu empfangen. Die Sende- und/oder Vehicle 100 to request and / or receive. The send and / or
Empfangseinheit kann auch derart ausgebildet sein, dass sie zum Senden und/oder Empfangen auf eine bereits bestehende Einheit - beispielsweise auf ein Receiving unit may also be designed such that they for transmitting and / or receiving to an already existing unit - for example, a
Navigationssystem und/oder per Bluetooth mittels Smartphone, welches sich im Fahrzeug 100 befindet - zugreift. In einer weiteren Ausführungsform umfasst das zweite Sensorsystem 160 ein Navigation system and / or via Bluetooth smartphone, which is located in the vehicle 100 - accesses. In a further embodiment, the second sensor system 160 includes
Navigationssystem oder ist derart ausgebildet, auf ein bereits vorhandenes Navigation system or is designed on an already existing
Navigationssystem im Fahrzeug 100 zuzugreifen. Dabei wird ein Umgebungszustand des Fahrzeugs 100 beispielsweise als - in Kürze - dunkel erfasst, indem mittels des Navigation system in the vehicle 100 to access. In this case, an environmental condition of the vehicle 100 is detected, for example, as - in brief - dark, by means of the
Navigationssystems ein Tunnel erkannt wird, welcher sich unmittelbar in Fahrtrichtung vor dem Fahrzeug 100 befindet. Navigation system is detected, which is located directly in front of the vehicle 100 in the direction of travel.
Weiterhin sind die zweiten Mittel 1 12 und/oder das erste Sensorsystem 150 und/oder das zweite Sensorsystem 160 dazu ausgebildet, beispielsweise mittels einem Prozessor, Arbeitsspeicher und einer Speichervorrichtung, welche entsprechende Furthermore, the second means 1 12 and / or the first sensor system 150 and / or the second sensor system 160 are designed for this purpose, for example by means of a processor, main memory and a memory device, which corresponding
Bestimmungssoftware umfasst, den Betriebszustand des Fahrzeugs 100, wie Determination software includes the operating state of the vehicle 100, such as
beispielsweise einen Bewegungszustand und/oder einen Umgebungszustand, in Form von Datenwerten zu erfassen und diese Datenwerte an die dritten Mittel 1 13 For example, a movement state and / or an environment state, in the form of data values to capture and these data values to the third means 13 1
weiterzuleiten. Die dritten Mittel 1 13 sind dazu ausgebildet, das Bild und/oder das wenigstens eine Teilbild mittels wenigstens einem Bildauswerteverfahren, welches abhängig von dem Betriebszustand des Fahrzeugs 100 von wenigstens zwei möglichen forward. The third means 1 13 are adapted to the image and / or the at least one partial image by means of at least one image evaluation method, which depends on the operating state of the vehicle 100 of at least two possible
Bildauswerteverfahren ausgewählt wird, auszuwerten. Dabei erfolgt die Auswahl beispielsweise derart, dass einem bestimmten Betriebszustand vorgegebene Profile zugeordnet sind, die wiederum zu diesem Betriebszustand passende Image evaluation method is selected to evaluate. In this case, for example, the selection is made in such a way that predefined profiles are assigned to a specific operating state, which in turn are suitable for this operating state
Bildauswerteverfahren umfassen. Beispielsweise ist ein Bildauswerteverfahren geeignet bei einer Geschwindigkeit des Fahrzeugs bis zu einer vorgegebenen  Image evaluation methods include. For example, an image evaluation method is suitable at a speed of the vehicle up to a predetermined one
Maximalgeschwindigkeit das Bild und/oder das wenigstens eine Teilbild schnell und korrekt auszuwerten. Über der vorgegebenen Maximalgeschwindigkeit eignet sich ein anderes Bildauswerteverfahren, da dieses beispielsweise weniger Details insgesamt, dafür aber alle relevante Details auch bei höheren Geschwindigkeiten auswertet. Ein weiteres Bildauswerteverfahren ist beispielsweise geeignet, das Bild und/oder das wenigstens eine Teilbild auszuwerten, indem Farben ausgewertet werden. Wird ein Umgebungszustand des Fahrzeugs mittels der zweiten Mittel 1 12 als dunkel bestimmt, wird nun ein anderes Bildauswerteverfahren angewendet, welches beispielsweise Grautöne auswertet, da das Bild und/oder das wenigstens eine Teilbild - bedingt durch die dunkle Umgebung - nach vorgegebenen Kriterien zu wenig Farbwerte umfassen. Maximum speed to evaluate the image and / or the at least one field quickly and correctly. Above the given maximum speed, another image evaluation method is suitable since, for example, it evaluates less details overall but also all the relevant details even at higher speeds. One Another image evaluation method is suitable, for example, to evaluate the image and / or the at least one partial image by evaluating colors. If an ambient condition of the vehicle by means of the second means 1 12 determined as dark, now another image evaluation method is applied, which evaluates gray tones, for example, because the image and / or the at least one field - due to the dark environment - according to predetermined criteria too few color values include.
In einer Ausführungsform erfolgt das Auswerten 330 mittels dem wenigstens einen Bildauswerteverfahren derart, dass das wenigstens eine Bildauswerteverfahren einen ersten Auswertesch ritt und einen zweiten Auswertesch ritt umfasst, wobei mittels des ersten Auswerteschritts mittels der Untermenge an Bildeigenschaften in dem wenigstens einen Teilbild wenigstens ein Merkmal klassifiziert wird und mittels des zweiten In one embodiment, the evaluation 330 takes place by means of the at least one image evaluation method such that the at least one image evaluation method comprises a first evaluation step and a second evaluation step, wherein at least one feature is classified by means of the first evaluation step by means of the subset of image properties in the at least one partial image and by means of the second
Auswertesch ritts ausgehend von dem wenigstens einen klassifizierten Merkmal das wenigstens eine Objekt bestimmt wird. Auswertesch Ritts starting from the at least one classified feature that at least one object is determined.
Der erste Auswerteschritt umfasst beispielsweise folgende erste Teilschritte (dabei werden alle Teilschritte - des ersten und/oder zweiten Auswerteschritts - derart ausgeführt, dass mittels geeigneter Software ein entsprechendes Verarbeiten von Datenwerten erfolgt, welche das Bild und/oder das wenigstens eine Teilbild und/oder bereits mittels der ersten Mittel 1 1 1 bearbeitete Versionen davon repräsentieren, ohne dass dies bei jedem Schritt explizit erwähnt wird): The first evaluation step comprises, for example, the following first partial steps (all partial steps of the first and / or second evaluation step are carried out in such a way that corresponding processing of data values takes place by means of suitable software, including the image and / or the at least one partial image and / or represented by the first means 1 1 1 edited versions thereof, without this being explicitly mentioned at each step):
- Aus den Eingangskanälen werden Zellen aufgebaut. Hierbei werden die einzelnen Werte (Farbwerte, Grauwerte, Gradientenwerte, etc.) der Eingangskanäle, welche innerhalb eines Bildbereichs vorliegen, aggregiert und - falls mehrerer Werte innerhalb eines Bildbereichs umfasst werden - ein Mittelwert daraus gebildet und das Ergebnis einer Zelle zugeordnet. Eine Zelle umfasst dabei wenigstens einen Bildbereich, wobei auch mehrere Bildbereiche zu einer Zelle verknüpft werden können; - From the input channels cells are built. In this case, the individual values (color values, gray values, gradient values, etc.) of the input channels, which are present within an image area, are aggregated and, if a plurality of values are included within an image area, a mean value is formed therefrom and the result is assigned to a cell. In this case, a cell comprises at least one image area, wherein a plurality of image areas can also be linked to one cell;
- Die Ergebnisse der Aggregation werden als interne Zwischenbilder abgelegt, indem alle Zellen abgespeichert werden; und  - The results of the aggregation are stored as internal intermediate images by storing all cells; and
- Ausgehend von den internen Zwischenbildern werden mittels des ersten Satzes von Funktionen, die abgespeicherten Zellen ausgewertet und ein oder mehrere Merkmale klassifiziert. Beispielsweise werden - falls es sich bei dem wenigstens einen Objekt in der Umgebung des Fahrzeugs 100 um ein Verkehrszeichen handelt - folgende Merkmale klassifiziert: geschlossene und runde Form, außen rot und innen weiß, innerhalb des weißen Bereichs befinden sich schwarze Symbole. Based on the internal intermediate images, the cells are stored by means of the first set of functions, and one or more features are classified. For example, if the at least one object in the vicinity of the vehicle 100 is a traffic sign, the following features are classified: closed and round, outside red and inside white, inside the white area are black symbols.
Die Klassifikation erfolgt beispielsweise mittels wenigstens einer der folgenden Methoden: The classification is carried out, for example, by means of at least one of the following methods:
- ACF (Aggregate Channel Features): einfacher Zugriff auf eine der Zellen und  - ACF (Aggregate Channel Features): easy access to one of the cells and
Abgleich mit hinterlegten Merkmalen (beispielsweise auf der Speichervorrichtung der dritten Mittel 1 13); eine entsprechend dieser Methode ausgewertete Zelle wird als ACF-Zelle bezeichnet;  Matching with deposited features (for example on the memory device of the third means 13); a cell evaluated according to this method is called an ACF cell;
- FCF (Filter Channel Features): Linearkombination verschiedener ACF-Zellen aus dem gleichen Eingangskanal oder aus unterschiedlichen Eingangskanälen;  - FCF (Filter Channel Features): Linear combination of different ACF cells from the same input channel or from different input channels;
- CBF (Checkerboard Features): gewichtete Linearkombination aus verschiedenen ACF-Zellen aus dem gleichen Eingangskanal oder aus unterschiedlichen  - CBF (Checkerboard Features): weighted linear combination of different ACF cells from the same input channel or from different ones
Eingangskanälen; und  Input channels; and
- SeSi (Seif Similiarity Features): Dopplung der Zugriffe aller vorab genannten  - SeSi (Seif Similiarity Features): Doubling the accesses of all previously mentioned
Methoden (ACF, FCF, CBF) an zwei verschiedenen Positionen und (gewichtete) Methods (ACF, FCF, CBF) at two different positions and (weighted)
Linearkombination der Ergebnisse. Linear combination of the results.
Der zweite Auswertesch ritt umfasst beispielsweise folgende Teilschritte: The second evaluation step comprises, for example, the following substeps:
- Die im zuvor ausgeführten ersten Auswertesch ritt klassifizierten Merkmale werden miteinander verknüpft.  - The features classified in the previously performed first evaluation step are linked together.
- Die Verknüpfung der klassifizierten Merkmale wird bezogen auf Bildbereiche  - The combination of the classified characteristics is related to image areas
und/oder Zellen stufenweise ausgewertet, wobei nach jeder Auswertestufe nach vorgegeben Kriterien entschieden wird, ob die stufenweise Auswertung mit einer weiteren Stufe abgebrochen oder fortgeführt wird. Jede der Stufen wertet dabei jede Zelle und/oder jeden Bildbereich nach vorgegebenen Kriterien detaillierter aus, als die Stufe zuvor. Wenn alle Stufen Auswertung durchlaufen sind, befindet sich an der aktuellen Position im Bild und/oder im wenigstens einen Teilbild - also in der aktuellen Zelle und/oder im aktuellen Bildbereich ein mögliches Objekt. and / or cells are evaluated in stages, it being decided after each evaluation stage according to predetermined criteria, whether the gradual evaluation is terminated or continued with a further stage. Each of the levels evaluates each cell and / or each image area according to predetermined criteria in more detail than the level before. If all stages have been evaluated, there is a possible object at the current position in the picture and / or in at least one sub-picture, ie in the current cell and / or in the current image area.
- Der vorangegangene Teilschritt wird wiederholt, bis für alle Zellen und/oder - The previous sub-step is repeated until for all cells and / or
Bildbereiche bekannt ist, ob ein mögliches Objekt vorliegt oder nicht.  Image areas is known whether a possible object is present or not.
- Mittels Abgleich mit bereits hinterlegten Texturinformationen, werden die  - By comparison with already deposited texture information, the
möglichen Objekte bestimmt. Beispielswerde anhand der im ersten  determined possible objects. Example will be based on the first
Auswerteschritt beispielshaft genannten Merkmalen, - entsprechend der deutschen StVO - ein Verkehrszeichen erkannt, welches eine  Evaluation step exemplary features mentioned, - according to the German StVO - recognized a traffic sign, which a
Geschwindigkeitsbegrenzungsangabe repräsentiert. Nach Ausführen des ersten und/oder zweiten Auswertesch ritts werden Datenwerte, welche die Auswertung des Bildes repräsentieren, an die vierten Mittel 1 14 weitergeleitet. Dabei repräsentieren die weitergeleiteten Datenwerte nun beispielsweise die Information, dass in der Umgebung des Fahrzeugs 100 eine Geschwindigkeitsbegrenzung mit einer bestimmten Maximalgeschwindigkeit gilt. Speed limit indication represented. After carrying out the first and / or second evaluation steps, data values which represent the evaluation of the image are forwarded to the fourth means 14. In this case, the forwarded data values now represent, for example, the information that in the surroundings of the vehicle 100 there is a speed limit with a certain maximum speed.
Die vierte Mittel 1 14 sind dazu ausgebildet, die Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem 140, bereitzustellen. Dazu umfassen die vierten Mittel beispielsweise einen Prozessor, Arbeitsspeicher und eine Speichervorrichtung und sind dazu ausgebildet die von den dritten Mitteln 1 13 empfangenen Datenwerte derart umzuschreiben und/oder zu verändern, dass diese von dem Fahrassistenzsystem 140 verarbeitet werden können, wobei dazu beispielsweise das Datenformat, abhängig von dem entsprechenden Fahrassistenzsystem 140, angepasst wird. Figur 2 zeigt ein Fahrzeug 100, welches ein System 120 zum Betreiben des Fahrzeugs 100 umfasst. Dieses umfasst ein Kamerasystem 130 zum Aufnehmen wenigstens eines Bildes, eine Vorrichtung 1 10 zum Auswerten 330 des wenigstens einen Bildes und Bereitstellen 340 der Auswertung für ein Fahrassistenzsystem 140 des Fahrzeugs 100 und das Fahrassistenzsystem 140 zum Ausführen einer Fahrassistenzfunktion zum Betreiben des Fahrzeugs 100. Das Kamerasystem 130 umfasst beispielsweise eine Monokamera und/oder eine Stereokamera und/oder beides und ist dazu ausgebildet, Bilder einer Umgebung des Fahrzeugs 100 aufzunehmen. Das Kamerasystem 130 kann dabei derart angeordnet sein, dass eine Aufnahme der Umgebung in jede beliebige Blickrichtung, ausgehend vom Fahrzeug 100, möglich ist. The fourth means 1 14 are designed to provide the evaluation of the image as data values for the driver assistance system 140. For this purpose, the fourth means comprise, for example, a processor, main memory and a memory device and are designed to rewrite and / or modify the data values received from the third means 13 in such a way that they can be processed by the driving assistance system 140, for example the data format, depending on the corresponding driver assistance system 140, is adjusted. FIG. 2 shows a vehicle 100, which comprises a system 120 for operating the vehicle 100. This comprises a camera system 130 for capturing at least one image, a device 110 for evaluating 330 the at least one image and providing 340 the evaluation for a driving assistance system 140 of the vehicle 100 and the driving assistance system 140 for executing a driving assistance function for operating the vehicle 100. The camera system 130 includes, for example, a monocamera and / or a stereo camera and / or both, and is configured to capture images of an environment of the vehicle 100. The camera system 130 can be arranged such that a recording of the environment in any direction, starting from the vehicle 100, is possible.
In einer Ausführungsform umfasst das Kamerasystem 130 mehrere Kamera (Mono- und/oder Stereokameras) derart, dass eine Aufnahme der Umgebung, welche mehr als eine Richtung ausgehend vom Fahrzeug (vorne, hinten, links, rechts), umfasst. Das Kamerasystem 130 ist weiterhin dazu ausgebildet, ein aufgenommenes Bild in Form von Datenwerten an die Vorrichtung 1 10 zum Auswerten 330 des Bildes und Bereitstellen 340 der Auswertung für ein Fahrassistenzsystem 140 weiterzuleiten. In one embodiment, the camera system 130 includes a plurality of cameras (mono and / or stereo cameras) such that an image of the environment comprising more than one direction from the vehicle (front, back, left, right) is included. The camera system 130 is further configured to forward a captured image in the form of data values to the device 110 for evaluating 330 the image and providing 340 the evaluation for a driving assistance system 140.
Die Vorrichtung 1 10 zum Auswerten 330 des Bildes und Bereitstellen 340 der Auswertung für ein Fahrassistenzsystem 140 des Fahrzeugs 100, ist dazu ausgebildet das Bild in Form von Datenwerten zu erfassen, eine Auswertung des Bildes, abhängig von einem Betriebszustand des Fahrzeugs 100, durchzuführen und die Auswertung, welche The device 110 for evaluating 330 the image and providing 340 the evaluation for a driving assistance system 140 of the vehicle 100 is designed to capture the image in the form of data values, an evaluation of the image, depending on one Operating state of the vehicle 100, perform and the evaluation, which
Informationen zu wenigstens einem Objekt in der Umgebung des Objekts repräsentiert, an das Fahrassistenzsystem 140 weiterzuleiten. Das Bestimmen 320 des Betriebszustands des Fahrzeugs 100 erfolgt beispielsweise mittels eines ersten Sensorsystems 150, welches wenigstens einen Sensor umfasst, wobei das erste Sensorsystem dazu ausgebildet ist, wenigstens einen Representing information about at least one object in the environment of the object is forwarded to the driver assistance system 140. The determining 320 of the operating state of the vehicle 100 takes place, for example, by means of a first sensor system 150, which comprises at least one sensor, wherein the first sensor system is designed to at least one
Bewegungszustand des Fahrzeugs 100 zu bestimmen. Weiterhin erfolgt das Bestimmen 320 des Betriebszustands beispielsweise mittels eines zweiten Sensorsystems, welches dazu ausgebildet ist, einen Umgebungszustand des Fahrzeugs 100 zu erfassen. Dazu umfasst das zweite Sensorsystem 160 beispielsweise eine Kamera und/oder einen Radarsensor und/oder einen Ultraschallsensor und/oder einen Lidarsensor. Moving state of the vehicle 100 to determine. Furthermore, the determination 320 of the operating state takes place, for example, by means of a second sensor system, which is designed to detect an ambient state of the vehicle 100. For this purpose, the second sensor system 160 includes, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor.
In einer weiteren Ausführungsform ist das zweite Sensorsystem 160 derart ausgebildet, dass keine eigenen Sensoren umfasst werden, sondern auf bereits vom Fahrzeug 100 umfasste Sensoren, welche nicht zum System 120 gehören, zugegriffen wird. Hierbei kann es sich ebenfalls beispielsweise um eine Kamera und/oder einen Radarsensor und/oder einen Ultraschallsensor und/oder einen Lidarsensor handeln. In einer weiteren Ausführungsform umfasst das zweite Sensorsystem 160 zusätzlich oder optional eine Sende- und/oder Empfangseinheit, welche dazu ausgebildet ist per In a further embodiment, the second sensor system 160 is configured such that it does not include its own sensors, but instead accesses sensors already included in the vehicle 100 that do not belong to the system 120. This may likewise be, for example, a camera and / or a radar sensor and / or an ultrasound sensor and / or a lidar sensor. In a further embodiment, the second sensor system 160 additionally or optionally includes a transmitting and / or receiving unit, which is designed to per
Funkverbindung Wetterdaten und/oder Lichtverhältnisse (dunkel, hell, etc.) in der Umgebung des Fahrzeugs 100 anzufordern und/oder zu empfangen. Das System 120 umfasst weiterhin ein Fahrassistenzsystem 120, welches dazu ausgebildet ist, Datenwerte, welche Informationen zu wenigstens einem Objekt in der Umgebung des Objekts repräsentieren, zu empfangen. Das Fahrassistenzsystem 140 ist weiterhin dazu ausgebildet, abhängig von diesen Datenwerten, das Fahrzeug 100 zu betreiben. In einer weiteren Ausführungsform ist das Fahrassistenzsystem 140 derart ausgebildet, dass Fahrzeug 100 nicht direkt zu betreiben, sondern bereits vorhandene Steuergeräte im Fahrzeug 100 anzusteuern. Radio connection weather data and / or lighting conditions (dark, light, etc.) in the environment of the vehicle 100 to request and / or to receive. The system 120 further includes a driver assistance system 120 configured to receive data values representing information about at least one object in the environment of the object. The driver assistance system 140 is further configured to operate the vehicle 100 depending on these data values. In a further embodiment, the driver assistance system 140 is configured in such a way that the vehicle 100 does not operate directly, but rather drives already existing control units in the vehicle 100.
Figur 3 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens 300 zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem 140 eines Fahrzeugs 100 in Form eines Ablaufdiagramms. ln Schritt 310 wird ein Bild, welches beispielsweise mittels eines Kamerasystems 130 aufgenommen wurde, erfasst. FIG. 3 shows an embodiment of the inventive method 300 for evaluating an image and providing the evaluation for a driving assistance system 140 of a vehicle 100 in the form of a flowchart. In step 310, an image captured by, for example, a camera system 130 is captured.
In Schritt 320 wird ein Betriebszustand des Fahrzeugs 100 bestimmt. In step 320, an operating condition of the vehicle 100 is determined.
Die beiden Schritte 310 und 320 können auch in umgekehrter Reigenfolge erfolgen, wobei die Reihenfolge beispielsweise von der Ausgestaltung der Vorrichtung 1 10 und/oder von einer Voreinstellung, welche beispielsweise von einem Hersteller oder einem Betreiber des Fahrzeugs 100 vorgenommen wird, abhängt. Erfolgt zuerst Schritt 320, können die ersten Mittel 1 1 1 zum Erfassen des Bildes beispielsweise derart ausgebildet sein, dass bereits das Erfassen 310 des Bildes abhängig von dem Betriebszustand des Fahrzeugs 100 erfolgt. The two steps 310 and 320 can also take place in the reverse order of succession, the sequence depending, for example, on the design of the device 110 and / or on a presetting made, for example, by a manufacturer or an operator of the vehicle 100. If step 320 is first carried out, the first means 1 1 1 for capturing the image may, for example, be embodied such that the capturing 310 of the image already takes place depending on the operating state of the vehicle 100.
In Schritt 330 wird das Bild ausgewertet. In step 330, the image is evaluated.
In Schritt 340 wird die Auswertung des Bildes als Datenwerte für das In step 340, the evaluation of the image as data values for the
Fahrassistenzsystem 140bereitgestellt. Driver assistance system 140 provided.

Claims

Ansprüche claims
1 . Verfahren (300) zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem (140) eines Fahrzeugs (100) mit folgenden Schritten: 1 . A method (300) for evaluating an image and providing the evaluation for a driving assistance system (140) of a vehicle (100), comprising the following steps:
- Erfassen (310) des Bildes;  - capturing (310) the image;
- Bestimmen (320) eines Betriebszustands des Fahrzeugs (100); - determining (320) an operating condition of the vehicle (100);
- Auswerten (330) des Bildes mittels wenigstens einem - evaluating (330) the image by means of at least one
Bildauswerteverfahren,  image analysis,
o welches abhängig von dem Betriebszustand des Fahrzeugs (100) von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird; und  o which is selected by at least two possible image evaluation methods depending on the operating state of the vehicle (100); and
- Bereitstellen (340) der Auswertung des Bildes als Datenwerte für das  Providing (340) the evaluation of the image as data values for the image
Fahrassistenzsystem (140).  Driver assistance system (140).
2. Verfahren (300) nach Anspruch 1 , dadurch gekennzeichnet, dass 2. The method (300) according to claim 1, characterized in that
· das Bild eine Umgebung des Fahrzeugs (100) repräsentiert und The image represents an environment of the vehicle (100) and
• die Datenwerte eine Beschreibung wenigstens eines Objekts in dieser Umgebung repräsentieren. The data values represent a description of at least one object in that environment.
3. Verfahren (300) nach Anspruch 1 , dadurch gekennzeichnet, dass 3. Method (300) according to claim 1, characterized in that
· das Bild als wenigstens ein Teilbild erfasst wird,  The image is captured as at least one partial image,
o wobei das wenigstens eine Teilbild eine Untermenge an  o wherein the at least one partial image to a subset
Bildeigenschaften des Bildes umfasst.  Image properties of the image.
4. Verfahren (300) nach Anspruch 3, dadurch gekennzeichnet, dass 4. The method (300) according to claim 3, characterized in that
· das Bild als wenigstens zwei Teilbilder erfasst wird,  The image is captured as at least two partial images,
o wobei jedes der wenigstens zwei Teilbilder eine unterschiedliche Teilmenge an Bildeigenschaften umfasst. o wherein each of the at least two partial images comprises a different subset of image properties.
5. Verfahren (300) nach Anspruch 1 , dadurch gekennzeichnet, dass 5. The method (300) according to claim 1, characterized in that
• der Betriebszustand des Fahrzeugs (100) wenigstens einen der folgenden Zustände umfasst: Geschwindigkeit des Fahrzeugs (100),  The operating state of the vehicle (100) comprises at least one of the following states: speed of the vehicle (100),
Wetterverhältnisse in der Umgebung des Fahrzeugs (100),  Weather conditions in the environment of the vehicle (100),
Lichtverhältnisse in der Umgebung des Fahrzeugs (100).  Lighting conditions in the vicinity of the vehicle (100).
Verfahren (300) nach Anspruch 1 , dadurch gekennzeichnet, dass Method (300) according to claim 1, characterized in that
• das Auswerten (330) mittels dem wenigstens einen Bildauswerteverfahren derart erfolgt, dass das wenigstens eine Bildauswerteverfahren einen ersten Auswertesch ritt und einen zweiten Auswertesch ritt umfasst,  The evaluation (330) is carried out by means of the at least one image evaluation method such that the at least one image evaluation method comprises a first evaluation step and a second evaluation step,
o wobei mittels des ersten Auswerteschritts mittels der Untermenge an Bildeigenschaften in dem wenigstens einen Teilbild wenigstens ein Merkmal klassifiziert wird und  wherein at least one feature is classified by means of the first evaluation step by means of the subset of image properties in the at least one subimage, and
o mittels des zweiten Auswerteschritts ausgehend von dem  o by means of the second evaluation step, starting from the
wenigstens einen klassifizierten Merkmal das wenigstens eine Objekt bestimmt wird.  at least one classified feature determining at least one object.
Verfahren (300) nach Anspruch 2, dadurch gekennzeichnet, dass Method (300) according to claim 2, characterized in that
• das wenigstens eine Objekt ein Verkehrszeichen und/oder ein Fußgänger und/oder ein anderes Fahrzeug und/oder ein Tier ist.  • the at least one object is a traffic sign and / or a pedestrian and / or another vehicle and / or an animal.
Vorrichtung (1 10) zum Auswerten eines Bildes und Bereitstellen der Auswertung für ein Fahrassistenzsystem (140) eines Fahrzeugs (100) mit folgenden Mitteln: Device (1 10) for evaluating an image and providing the evaluation for a driver assistance system (140) of a vehicle (100) by the following means:
- Erste Mittel (1 1 1 ) zum Erfassen (310) des Bildes;  - first means (1 1 1) for capturing (310) the image;
- Zweite Mittel (1 12) zum Bestimmen (320) eines Betriebszustands des Fahrzeugs (100);  - second means (1 12) for determining (320) an operating condition of the vehicle (100);
- Dritte Mittel (1 13) zum Auswerten (330) des Bildes mittels wenigstens einem Bildauswerteverfahren,  Third means (13) for evaluating (330) the image by means of at least one image evaluation method,
o welches abhängig von dem Betriebszustand des Fahrzeugs (100) von wenigstens zwei möglichen Bildauswerteverfahren ausgewählt wird; und  o which is selected by at least two possible image evaluation methods depending on the operating state of the vehicle (100); and
- Vierte Mittel (1 14) zum Bereitstellen (340) der Auswertung des Bildes als Datenwerte für das Fahrassistenzsystem (140). - Fourth means (1 14) for providing (340) the evaluation of the image as data values for the driving assistance system (140).
9. Vorrichtung (1 10) nach Anspruch 8, dadurch gekennzeichnet, dass 9. Device (1 10) according to claim 8, characterized in that
• die ersten Mittel (1 1 1 ) und/oder die zweiten Mittel (1 12) und/oder die dritten Mittel (1 13) und/oder die vierten Mittel (1 14) dazu ausgebildet sind, ein Verfahren (300) gemäß wenigstens einem der Verfahrensansprüche 1 bis 7 auszuführen.  • the first means (1 1 1) and / or the second means (1 12) and / or the third means (1 13) and / or the fourth means (1 14) are adapted to a method (300) according to at least to carry out one of the method claims 1 to 7.
10. System (120) zum Betreiben eines Fahrzeugs (100), umfassend: 10. A system (120) for operating a vehicle (100), comprising:
- ein Kamerasystem (130) zum Aufnehmen wenigstens eines Bildes;  a camera system (130) for capturing at least one image;
- eine Vorrichtung (1 10) gemäß wenigstens einem der Vorrichtungsansprüche; und  - A device (1 10) according to at least one of the device claims; and
- Fahrassistenzsystem (140) zum Ausführen einer Fahrassistenzfunktion.  - Driving assistance system (140) for performing a driving assistance function.
EP17821788.1A 2016-12-21 2017-11-22 Method and device for evaluating an image and providing the evaluation for a driving assist system of a vehicle Pending EP3559856A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016225876.1A DE102016225876A1 (en) 2016-12-21 2016-12-21 Method and device for evaluating an image and providing the evaluation for a driver assistance system of a vehicle
PCT/EP2017/080033 WO2018114181A1 (en) 2016-12-21 2017-11-22 Method and device for evaluating an image and providing the evaluation for a driving assist system of a vehicle

Publications (1)

Publication Number Publication Date
EP3559856A1 true EP3559856A1 (en) 2019-10-30

Family

ID=60813793

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17821788.1A Pending EP3559856A1 (en) 2016-12-21 2017-11-22 Method and device for evaluating an image and providing the evaluation for a driving assist system of a vehicle

Country Status (6)

Country Link
US (1) US11113549B2 (en)
EP (1) EP3559856A1 (en)
JP (1) JP2020513638A (en)
CN (1) CN110100248A (en)
DE (1) DE102016225876A1 (en)
WO (1) WO2018114181A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240916B2 (en) 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and information processing program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4604088B2 (en) * 2004-05-25 2010-12-22 シーメンス アクチエンゲゼルシヤフト Automobile monitoring unit and support system
JP2007329762A (en) 2006-06-08 2007-12-20 Fujitsu Ten Ltd Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller
JP2010224670A (en) * 2009-03-19 2010-10-07 Honda Motor Co Ltd Periphery monitoring device for vehicle
JP2013529348A (en) * 2010-06-10 2013-07-18 タタ コンサルタンシー サービシズ リミテッド Lighting invariant and robust apparatus and method for detecting and recognizing various traffic signs
JP5708689B2 (en) * 2013-03-13 2015-04-30 株式会社デンソー Object detection device
CN104008377A (en) * 2014-06-07 2014-08-27 北京联合大学 Ground traffic sign real-time detection and recognition method based on space-time correlation

Also Published As

Publication number Publication date
WO2018114181A1 (en) 2018-06-28
CN110100248A (en) 2019-08-06
US20200089975A1 (en) 2020-03-19
DE102016225876A1 (en) 2018-06-21
JP2020513638A (en) 2020-05-14
US11113549B2 (en) 2021-09-07

Similar Documents

Publication Publication Date Title
EP2394234B1 (en) Method and device for determining an applicable lane marker
WO2018177484A1 (en) Method and system for predicting sensor signals from a vehicle
WO2008145543A1 (en) Method and device for identifying traffic-relevant information
DE102009025545A1 (en) Method and device for detecting brake light systems
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102006005512A1 (en) System and method for measuring the distance of a preceding vehicle
DE102017106152A1 (en) Determine an angle of a trailer with optimized template
EP3655299B1 (en) Method and device for determining an optical flow on the basis of an image sequence captured by a camera of a vehicle
DE102019214558A1 (en) PROJECTION INFORMATION RECOGNITION DEVICE BASED ON AN ARTIFICIAL NEURAL NETWORK AND PROCESSES OF THE SAME
WO2020020654A1 (en) Method for operating a driver assistance system having two detection devices
DE102016104044A1 (en) A method for detecting a deposit on an optical element of a camera through a feature space and a hyperplane, and camera system and motor vehicle
WO2009086970A1 (en) Method and device for image detection for motor vehicles
DE102008036219A1 (en) Method for identification of object i.e. traffic sign, in surrounding area of e.g. passenger car, involves determining similarity measure between multiple characteristics of image region and multiple characteristics of characteristic set
DE102016101149A1 (en) A method for detecting smoke in an environmental area of a motor vehicle with the aid of a camera of the motor vehicle, driver assistance system and motor vehicle
DE102015006569A1 (en) Method for image-based recognition of the road type
DE102020125232A1 (en) Color correction method for a camera system and a camera system
DE102020211971A1 (en) VEHICLE TRAJECTORY PREDICTION USING ROAD TOPOLOGY AND TRAFFIC PARTICIPANT OBJECT STATES
WO2018114181A1 (en) Method and device for evaluating an image and providing the evaluation for a driving assist system of a vehicle
DE102014007565A1 (en) Method for determining a respective boundary of at least one object, sensor device, driver assistance device and motor vehicle
DE102014213270A1 (en) Method and device for monitoring a space required to open a flap of a vehicle
DE102022125914A1 (en) FUSION OF IMAGE DATA AND LIDAR DATA FOR IMPROVED OBJECT RECOGNITION
DE102018132627A1 (en) Method for capturing an environment of a motor vehicle by means of temporal fusion of images through an artificial neural network; Control unit, driver assistance system; Computer program product
DE102018207923A1 (en) Improved training of a classifier
DE102018215136B4 (en) Method for selecting an image section of a sensor
DE102020133626A1 (en) Method for recognizing scenes, assistance devices and motor vehicles which are difficult to classify correctly for a neural network

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190722

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ROBERT BOSCH GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20211029