EP3884427A1 - Verfahren sowie system zur bestimmung eines fahrkorridors - Google Patents

Verfahren sowie system zur bestimmung eines fahrkorridors

Info

Publication number
EP3884427A1
EP3884427A1 EP19812933.0A EP19812933A EP3884427A1 EP 3884427 A1 EP3884427 A1 EP 3884427A1 EP 19812933 A EP19812933 A EP 19812933A EP 3884427 A1 EP3884427 A1 EP 3884427A1
Authority
EP
European Patent Office
Prior art keywords
neural network
pixels
artificial neural
motor vehicle
driving corridor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19812933.0A
Other languages
English (en)
French (fr)
Inventor
Manuel Schmidt
Christian Wissing
Andreas Homann
Christian LIENKE
Torsten Bertram
Martin Krueger
Till Nattermann
Karl-Heinz Glander
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Automotive Germany GmbH
Original Assignee
ZF Automotive Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Automotive Germany GmbH filed Critical ZF Automotive Germany GmbH
Publication of EP3884427A1 publication Critical patent/EP3884427A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks

Definitions

  • the invention relates to a method for determining a driving corridor, a control device for a system for determining a driving corridor, a system for determining a driving corridor, a computer program for carrying out the method and a computer-readable data carrier with such a computer program.
  • driver assistance systems that control a subsystem or several subsystems of the motor vehicle at least partially in an automated manner.
  • An example of this are active lane keeping systems that detect an unwanted departure from a lane and counteract this by actively intervening in vehicle steering and / or vehicle acceleration. These driver assistance systems therefore control a longitudinal and / or transverse movement of the motor vehicle at least partially in an automated manner.
  • Such driver assistance systems are often based on at least one camera that generates images of the surroundings of the motor vehicle.
  • the images are processed automatically by means of image processing algorithms and the driver assistance system controls the motor vehicle based on the processed images at least partially in an automated manner, in particular in a fully automated manner. For example, based on the processed images, a driving corridor is determined for the lane departure warning system that corresponds to a lane to be kept.
  • the object of the invention is therefore to provide a method and a system for determining a driving corridor of a motor vehicle, which ensure reliable and robust detection of the driving corridor in a large number of different situations.
  • the object is achieved according to the invention by a method for determining a driving corridor for a motor vehicle.
  • the motor vehicle has at least one camera and a control unit, the camera being designed to generate images from a front area in front of the motor vehicle and to forward them to the control unit.
  • the control device comprises a machine learning module with an artificial neural network.
  • the method comprises the following steps: an image of the front area in front of the motor vehicle is obtained from the at least one camera; characteristic image features of the image are extracted by means of the artificial neural network; and by means of the same artificial neural network, image points are determined based on the extracted characteristic image features, which delimit the driving corridor of the motor vehicle and / or at least one driving corridor adjacent to the driving corridor.
  • both the characteristic image features of the image and the driving corridor are determined by the same neural network. It has been found that a particularly reliable and robust determination of the driving corridor and / or neighboring driving corridors is achieved in this way.
  • a “driving corridor” is to be understood here and in the following as an area on a road, on a path or the like in which the motor vehicle can move safely. This is, for example, a marked lane or an area of an unmarked street or one Path that corresponds to a lane. Accordingly, there is always a driving corridor in which the motor vehicle is currently located, which is referred to below as the “current driving corridor”. Furthermore, for example on roads with several lanes per direction of travel there are sections in which at least one further possible driving corridor for the motor vehicle runs adjacent to the current driving corridor of the motor vehicle.
  • those pixels are determined which limit the current driving corridor of the motor vehicle and / or at least one driving corridor adjacent to the current driving corridor of the motor vehicle.
  • the pixels represent lateral boundaries of the corresponding driving corridor. From the point of view of a driver of the motor vehicle, the pixels each form part of a left-hand or a right-hand border of the corresponding driving corridor.
  • at least one possible driving corridor preferably a plurality of possible driving corridors for the motor vehicle, is determined, since two mutually opposite lateral boundaries define the corresponding driving corridor.
  • the same artificial neural network preferably also determines a number of existing driving corridors, in particular a number of driving corridors that are adjacent to the current driving corridor of the motor vehicle.
  • the artificial neural network is preferably a neural network which, in addition to an input and an output layer, has a plurality of intermediate layers.
  • the artificial neural network is accordingly trained with methods of "deep learning”.
  • One aspect of the invention provides that the extraction of the characteristic image features corresponds to a classification of image areas of the image into one or more categories in each case.
  • the individual image areas are grouped into one or more of the following categories: road, no road, drivable path, impassable terrain, lane marking, lane limitation, traffic signs, motor vehicle, cyclists, pedestrians, other road users, etc.
  • At least those image areas are identified in this step and categorized that for Determination of the at least one driving corridor are relevant.
  • road markings are an important indicator of the existence of a driving corridor, but cannot necessarily be used as the only feature for this, since they are faulty or simply missing in some road sections, for example in the area of construction sites.
  • the image areas are classified in particular by means of image recognition methods by the artificial neural network. Accordingly, the artificial neural network is trained to group the individual image areas into one or more of the categories described above.
  • the pixels comprise a height coordinate and a latitude coordinate, the value of one of the coordinates, in particular the height coordinate, being set to at least one search value and only the value of the other of the coordinates, in particular the latitude coordinate, being determined for determining the pixels .
  • the pixels are along certain search lines, i.e. all points at which the corresponding coordinate corresponds to the search value are determined, which run in an image area relevant for determining the at least one driving corridor.
  • the search lines can be predetermined or determined by the artificial neural network itself. Accordingly, one of the coordinates of the pixels is already fixed and the artificial neural network only has to determine the other of the two coordinates of the pixels, which saves computing time.
  • the pixels are determined along four search lines. It has been found that the determination of four pixels per lateral limitation of the corresponding driving corridor provides a good compromise between robust detection of the driving corridor and the shortest possible computing time.
  • At least two pixels are preferably determined for each search value, the pixels corresponding to a left boundary of at least one of the driving corridors and a right boundary of the same driving corridor. If there is more than one existing corridor accordingly more pixels per search value determined. For example, with two existing driving corridors, three pixels per search value are determined, since the two driving corridors share those pixels that separate the two driving corridors from one another. In general, with n existing driving corridors (n + 1), pixels are determined per search value, where n is a natural number greater than zero.
  • the set of specific pixels can contain pairs of a pixel which is assigned to the left boundary of a driving corridor and a pixel which is assigned to the right boundary of the same driving corridor, the pixels of a pair having the same coordinate.
  • the same coordinate is in particular the height coordinate.
  • the artificial neural network has at least a first subnetwork and at least a second subnetwork, the first subnetwork, which is constructed in particular as a convolutional network, extracting the characteristic image features and / or the second subnetwork, which is constructed in particular as a network for regression is determined the pixels.
  • the artificial neural network thus comprises two interconnected sub-networks, the first sub-network specializing in extracting the characteristic image features, and the second sub-network specializing in determining the pixels based on the characteristic image features extracted by the first sub-network, in particular by means of a regression analysis. It has been found that a combination of the two subnetworks enables a particularly reliable and robust determination of the pixels.
  • At least one result curve is preferably determined, which laterally delimits the determined driving corridor, in particular wherein the result curve is a cubic spline or a Bezier spline.
  • the result curve is a cubic spline or a Bezier spline.
  • lateral boundary lines for the corresponding driving corridor are determined.
  • the image points determined serve as support points for interpolating the at least one result curve.
  • the artificial neural network can also determine the result curve.
  • the result curve can also be used take place outside the machine learning module, for example be carried out by a corresponding computer program that runs on the control device, since the interpolation of the result curves can also take place without machine learning, in particular without deep learning, based on the known coordinates of the specific pixels.
  • the machine learning module or rather the artificial neural network with the pixels, provides the bases for the interpolation of the at least one result curve, while the actual result curve is then not determined by the artificial neural network.
  • the artificial neural network is trained with target training data, the target training data comprising images generated by the camera and information on actual characteristic image features present in the images and / or actual image points delimiting at least one driving corridor , with the following training steps:
  • the weighting factors of the neural network are preferably changed in such a way that the error is minimized.
  • "no error” can also be determined as an error.
  • the artificial neural network is trained to extract or determine the characteristic features and / or the pixels with the smallest possible error.
  • Euclidean distance squares between the determined pixels and the actual pixels and / or between points on the at least one result curve and points on a corresponding actual result curve are used to determine the error, in particular wherein the respective Euclidean distance squares are added up and / or be averaged.
  • the actual result curve corresponds to the curve that results from interpolation of the actual pixels.
  • the Euclidean distance square between the ascertained image points and the actual image points or between the points on the at least one result curve and the points on the corresponding actual result curve which, as described above, lie on a search line is preferably determined in each case.
  • the target training data further preferably contain an actual number of existing driving corridors, so that the artificial neural network is additionally trained to determine the number of driving corridors. In particular, the number of driving corridors adjacent to the current driving corridor of the motor vehicle is determined.
  • the artificial neural network in particular the first sub-network, is initially trained in a first training step with target training data which contain images generated by the camera and information on actual characteristic image features present in the images, and that the artificial neural network, in particular the second subnetwork, is subsequently trained in a second training step with target training data which contain images generated by the camera and corresponding actual pixels delimiting at least one of the driving corridors.
  • the artificial neural network is initially trained only to extract the characteristic image features.
  • the artificial neural network is then trained in the second training step to determine the pixels based on the extracted characteristic image features, in particular by means of a regression analysis.
  • the two training steps are not independent of one another, since the second training step also has an influence on the image recognition capabilities of the artificial neural network, more precisely on the extraction of the characteristic image features. It has been found that an artificial neural network trained in this way delivers particularly robust and reliable results for the image points.
  • the first or in an additional training step it can also be limited to a certain characteristic image feature, e.g. on the image feature "street - no street” to ensure particularly reliable detection.
  • the determined pixels, the one or more result curves and / or further information based on the determined pixels about the determined driving corridor are transmitted to at least one driver assistance system of the motor vehicle.
  • the driver assistance system then controls the motor vehicle at least partially automatically based on the transmitted data and / or information.
  • the driver assistance system is, for example, a brake assistant, a lane departure warning system and / or a lane change assistance system.
  • control device for a system for determining a driving corridor for a motor vehicle, with a machine learning module which comprises an artificial neural network, the control device being designed to carry out a method described above.
  • the control device can be connected in a signal-transmitting manner to a camera of the motor vehicle and can receive images from the camera.
  • the object is also achieved according to the invention by a system for determining a driving corridor for a motor vehicle, with a control device described above and at least one camera which is designed to generate images from a front area in front of the motor vehicle and to the Forward control unit.
  • the method described above for determining a driving corridor for a motor vehicle is therefore carried out automatically by the control unit, more precisely by the machine learning module of the control unit.
  • the object is also achieved according to the invention by a computer program with program code means in order to carry out the steps of a method described above if the computer program is executed on a computer or a corresponding computing unit, in particular on a computing unit of a control device described above.
  • the machine learning module described above in the context of the method and / or the artificial neural network described above in the context of the method form or forms at least part of the computer program, in particular the entire computer program.
  • Program code means are and are to be understood in the following as computer-executable instructions in the form of program code and / or program code modules in compiled and / or in uncompiled form, which can be in any programming language and / or in machine language.
  • the object is also achieved according to the invention by a computer-readable data carrier on which a computer program described above is stored.
  • the data carrier can be an integral part of the control device described above or can be formed separately from the control device.
  • the data carrier has a memory in which the computer program is stored.
  • the memory is any suitable type of memory that is based, for example, on magnetic and / or optical data storage.
  • FIG. 1 schematically shows a motor vehicle with a system according to the invention for determining a vehicle corridor
  • FIG. 2 is a schematic flow diagram of the steps of an inventive method for determining a vehicle corridor
  • Figure 3 shows schematically an image processed according to the method of Figure 2;
  • Figure 4 shows schematically a structure of an artificial neural network used for the method of Figure 2;
  • FIG. 5 schematically shows a flow diagram of the training steps for the artificial neural network of Figure 4.
  • FIG. 6 shows an illustration of the error determination during the training steps in FIG. 5.
  • FIG. 1 schematically shows a motor vehicle 10 which is located on a multi-lane road 12 which has a first lane 14, a second lane 16 and a third lane 18.
  • a direction of travel of motor vehicle 10 is indicated in FIG. 1 by an arrow 19.
  • the first lane 14 is delimited on the right side by a lane marking RR and on the left side by a lane marking R.
  • the second lane 16 is delimited on the right side by the lane marking R and on the left side by a lane marking L.
  • the third lane 18 is delimited on the right side by the lane marking L and on the left side by a lane marking LL.
  • the second lane 16 is the current lane of the motor vehicle 10, while the first lane 14, viewed in the direction of travel, runs to the right of the second lane 16 and the third lane 18 to the left of the second lane 16.
  • the motor vehicle 10 has a system 20 for determining a driving corridor of the motor vehicle 10 with a camera 22 and a control unit 24, which is connected to the camera 22 in a signal-transmitting manner.
  • a machine learning module 28 with an artificial neural network is implemented on the control unit 24, the functioning of which will be explained in more detail later.
  • the artificial neural network represents a computer program that is stored on a data carrier 29 of the control device 24.
  • the motor vehicle 10 has a further control device 26, which is connected to the control device 24 in a signal-transmitting manner and is designed to control the motor vehicle 10 at least partially in an automated manner, in particular in a completely automated manner.
  • a driver assistance system is implemented on the further control device 26, which can control a transverse movement and / or a longitudinal movement of the motor vehicle 10 at least partially automatically, in particular fully automatically.
  • the two control devices 24, 26 can also be partial control devices of a single control device.
  • the driver assistance system which in the present case is, for example, a lane departure warning system or a lane change assistant, requires information about the surroundings of the motor vehicle 10 in order to control the motor vehicle 10 at least partially in an automated manner.
  • the system 20 is designed to use the camera 22 to create images of a front area 30 in front of the motor vehicle 10, to process these images by means of the control device 24 and thus to determine a current driving corridor of the motor vehicle 10 and / or at least one of the current driving corridor of the vehicle To determine motor vehicle 10 adjacent driving corridor.
  • a “driving corridor” is to be understood here and in the following as an area on the road 12, on a path or the like in which the motor vehicle 10 can move safely. This is, for example, one of the lanes 14, 16, 18 or an area of an unmarked road or a path that corresponds to a lane. Accordingly, the “current driving corridor” is to be understood as the driving corridor in which the motor vehicle 10 is currently located and in which the motor vehicle 10 can safely move on.
  • the driving corridor is that area of the road 12 or a path which is recognized by the control unit 24 as a safe area to be driven on, while the tracks 14, 16, 18 are those of the Road markings RR, R, L, LL denote limited areas of road 12.
  • the driving corridors and at least one of lanes 14, 16, 18 can coincide, but this is not necessarily the case.
  • Characteristic image features of the individual images are now extracted using the machine learning module 28, more precisely using the artificial neural network (step S2).
  • individual image areas of the individual images are grouped into one or more of the following categories: road, no road, drivable path, impassable terrain, lane marking, lane limitation, traffic signs, motor vehicle, cyclists, pedestrians, other road users, etc. .
  • step S2 at least those image areas that are relevant for determining the at least one driving corridor are identified and categorized.
  • the road markings RR, R, L, LL shown in FIG. 1 are an indication of the presence of a driving corridor. However, they are not necessarily used as the only feature for determining the at least one driving corridor, since the road markings RR, R, L, LL can be faulty or simply missing in some road sections, for example in the area of construction sites.
  • step S3 pixels 32 are now determined which laterally limit the at least one driving corridor.
  • FIG. 3 shows a camera image of a situation that is very similar to the situation shown in FIG. 1.
  • the motor vehicle 10 is in the middle, second lane 16.
  • Left and the third track 18 and the first track 14 run to the right of the second track 16.
  • the pixels 32 are determined along four search lines 34 which run through the image along the width direction b of the image with a constant height coordinate h kl -h k4 .
  • the pixels 32 are determined based on four search values, the search values being the height coordinate h of the respective search line 34. Any other number of search lines 34 is of course also possible.
  • a pair of two pixels 32 is determined along each of the search lines 34.
  • One of the pixels 32 of the pair represents the left-hand boundary of the driving corridor and the other of the pixels 32 of the pair represents the right-hand boundary of the driving corridor at the level of the respective search line 34.
  • step S3 at least eight pixels 32 are thus determined, which limit the current lane of the motor vehicle 10.
  • pixels 32 are shown in FIG. 3 which limit the current driving corridor of the motor vehicle 10 corresponding to the second lane 16.
  • a determination of further pixels that limit further driving corridors is of course possible analogous to the case described above.
  • adjacent driving corridors share those pixels 32 which separate the adjacent driving corridors from one another.
  • 16 pixels would therefore be determined.
  • At least two result curves 36 which laterally limit the current driving corridor of the motor vehicle 10, are then determined based on the determined pixels 32 (step S4).
  • One of the result curves 36 thus delimits the current driving corridor of the motor vehicle 10 on the left-hand side and is determined by interpolating those four pixels 32 which limit the current driving corridor on the left-hand side.
  • the other of the two result curves 36 limits the current driving corridor of the motor vehicle 10 on the right-hand side and is determined by interpolation of those four pixels 32 that limit the current driving corridor on the right-hand side.
  • the two result curves 36 are determined based on the image coordinates, that is to say the respective height coordinate h and the respective latitude coordinate b of the pixels 32.
  • the specific pixels 32 thus represent support points for the result curves 36.
  • the result curves 36 are each a cubic spline, a Bezier spline or another type of curve suitable for the interpolation of the pixels 32.
  • the determination of the result curves 36 can also be carried out by the artificial neural network. Alternatively, however, the result curves 36 can also be determined outside of the machine learning module 28, for example from a corresponding module that runs on the control unit 24.
  • step S5 The specific pixels 32, the result curve 36 and / or further information based on the specific pixels 32 about the current vehicle corridor or adjacent vehicle corridors are now transmitted to the further control unit 26 (step S5).
  • the motor vehicle 10 can be controlled differently by the further control device 26.
  • the information is sufficient for a lane keeping assistant, but is inadequate for a lane change assistant.
  • additional information must be available about at least one driving corridor adjacent to the current driving corridor.
  • At least steps S2 and S3 described above, in particular also step S4, are therefore carried out by the same artificial neural network.
  • the artificial neural network Basically, there are various suitable architectures for the artificial neural network that can be trained to carry out the method described above.
  • An exemplary architecture of the artificial neural network is shown in FIG.
  • the artificial neural network has a first sub-network 38 and a second sub-network 40, at least the first sub-network 38 being designed as a convolutional neural network (CNN), in particular as a deep convolutional neural network.
  • CNN convolutional neural network
  • the first subnetwork 38 and the second subnetwork 40 each have a plurality of layers 42.
  • the layers 42 within the respective subnetworks 38, 40 are completely networked with their respective neighboring layers 42, so they are so-called “fully connected” (FC) layers.
  • FC fully connected
  • the two outer layers 42 of the two subnetworks 38, 40 are also completely networked with one another, which lie next to one another at the boundary between the two subnetworks 38, 40.
  • an output layer of the first sub-network 38 is completely networked with an input layer of the second sub-network 40.
  • the artificial neural network thus comprises two interconnected subnetworks 38, 40.
  • the first subnetwork 38 is trained to extract the characteristic image features, that is to say perform step S2
  • the second subnetwork 40 is trained thereon to determine the pixels 32 on the basis of the characteristic image features extracted from the first subnetwork 38, in particular by means of a regression analysis.
  • the first subnetwork 38 therefore executes step S2
  • the second subnetwork 40 executes step S3 and possibly step S4.
  • Steps S1 and S5 can also be carried out by these two subnetworks 38, 40 or further parts of the artificial neural network.
  • the neural network In order to ensure optimal results when determining the at least one driving corridor, the neural network must of course be trained before use in the system 20. For this purpose, the following training steps described with reference to FIG. 5 are provided before use.
  • the first sub-network 38 is trained to extract the characteristic image features in the images generated by the camera 22 (step T1), that is to carry out step S2 described above.
  • the artificial neural network in particular only the first sub-network 38, is fed with target training data, which contain images generated by the camera 22 and information on actual characteristic image features present in the images.
  • the artificial neural network in particular the first sub-network 38, then extracts the characteristic image features from the target training data, more precisely from the images contained therein.
  • an error or rather a deviation between the determined characteristic image features and the actual characteristic image features is determined and the artificial neural network is fed back with the error. Weighting factors of the artificial neural network are adjusted in such a way that the error or the deviation are minimized.
  • the artificial neural network can also be trained to determine a number of existing driving corridors.
  • the training steps T1 and T2 can also contain several sub-steps or phases.
  • the artificial neural network pre-trained in training step T1 is now trained in a second training step to determine the pixels 32 based on the extracted characteristic image features.
  • the artificial neural network is fed with target training data, which contain images generated by the camera 22 and information about the actual pixels 32 present in the images.
  • the first sub-network 38 extracts the characteristic image features from the target training data, more precisely from the images contained therein, and transfers them to the second sub-network 40.
  • the second Subnetwork 40 determines the image points 32 from the target training data based on the extracted characteristic image features.
  • a measure of the error at each of the pixels 32 is the Euclidean distance of the pixel 32 determined from the respectively associated actual pixel 32 '.
  • Xi (i is a natural number) is the latitude coordinate b of the actual i-th pixel 32 'and x t is the latitude coordinate of the associated pixel 32 determined by the neural network, the error associated with this pixel 32 is determined as (x * - x) 2 . Only the latitude coordinate of the pixel 32 is taken into account, since the elevation coordinate is fixed to the respective search value.
  • the total error is calculated as the sum or as a weighted average of the errors of all pixels 32, ie the error results
  • N denotes the number of relevant boundary lines. In the case of a single driving corridor, N is 2.
  • an error function can also be used which is based on the Euclidean distance between points on the determined result curves 36 and the corresponding actual result curves 36 '.
  • the result curve 36 and the actual result curve 36 ' are initially determined based on the pixels 32 and the actual pixels 32'.
  • the Euclidean distances between the points corresponding to one another are then calculated on the result curves 36 or 36 ', points which are different from the pixels 32, that is to say which have a height coordinate different from the pixels 32, can also be considered.
  • the artificial neural network is now fed backwards with the error. Weighting factors of the second sub-network 40, but also of the first sub-network 38, are adjusted in such a way that the error or the deviation are minimized.
  • the artificial neural network trained in this way is then set up to carry out steps S1 to S5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren zur Bestimmung eines Fahrkorridors für ein Kraftfahrzeug (10) wird vorgestellt. Das Kraftfahrzeug (10) weist wenigstens eine Kamera (22) und ein Steuergerät (24) auf, wobei die Kamera (22) dazu ausgebildet ist, Bilder von einem Frontbereich (30) vor dem Kraftfahrzeug (10) zu erzeugen und an das Steuergerät (24) weiterzuleiten. Das Steuergerät (24) umfasst ein Maschinenlernmodul (28) mit einem künstlichen neuronalen Netzwerk. Das Verfahren umfasst die folgenden Schritte: Ein Bild des Frontbereichs (30) vor dem Kraftfahrzeug (10) wird von der wenigstens einen Kamera (22) erhalten. Charakteristische Bildmerkmale des Bildes werden mittels des künstlichen neuronalen Netzwerks extrahiert. Mittels desselben künstlichen neuronalen Netzwerks werden basierend auf den extrahierten charakteristischen Bildmerkmalen Bildpunkte (32) bestimmt, die den Fahrkorridor des Kraftfahrzeugs (10) und/oder wenigstens einen zum Fahrkorridor benachbarten Fahrkorridor begrenzen. Ferner wird ein System (20) zur Bestimmung eines Fahrzeugkorridors beschrieben.

Description

Verfahren sowie System zur Bestimmung eines Fahrkorridors
Die Erfindung betrifft ein Verfahren zur Bestimmung eines Fahrkorridors, ein Steuergerät für ein System zur Bestimmung eines Fahrkorridors, ein System zur Bestimmung eines Fahrkorridors, ein Computerprogramm zur Durchführung des Verfahrens sowie einen computerlesbaren Datenträger mit einem solchen Computerprogramm.
Viele moderne Kraftfahrzeuge verfügen über Fahrassistenzsysteme, die ein Subsystem oder mehrere Subsysteme des Kraftfahrzeugs wenigstens teilweise automatisiert kontrollieren. Ein Beispiel hierfür sind aktive Spurhaltesysteme, die ein ungewolltes Verlassen einer Fahrspur erkennen und diesem durch aktives Eingreifen in die Fahrzeuglenkung und/oder die Fahrzeugbeschleunigung entgegenwirken. Diese Fahrassistenzsystem steuern also eine Längs- und/oder Querbewegung des Kraftfahrzeugs wenigstens teilweise automatisiert.
Solche Fahrerassistenzsysteme basieren häufig auf zumindest einer Kamera, die Bilder von einer Umgebung des Kraftfahrzeugs erzeugt. Die Bilder werden automatisch mittels Bildverarbeitungsalgorithmen verarbeitet und das Fahrassistenzsystem steuert das Kraftfahrzeug basierend auf den verarbeiteten Bildern zumindest teilweise automatisiert, insbesondere vollständig automatisiert. Beispielsweise wird für den Spurhalteassistenten basierend auf den verarbeiteten Bildern ein Fahrkorridor ermittelt, der einer zu haltenden Spur entspricht.
Besonders in ländlichen Gebieten sind oft nicht alle Fahrbahnmarkierungen vorhanden, beispielsweise fehlt auf schmaleren Straßen die Mittelmarkierung. Jedoch gibt es auch in städtischen Gebieten Straßenabschnitte, in denen die Fahrbahnmarkierungen fehlen, beispielsweise im Bereich von Baustellen oder von Fußgängerzonen. In anderen städtischen Gebieten, insbesondere im Bereich von viel befahrenen Kreuzungen, können die Fahrbahnmarkierungen sehr komplex sein, sich überschneiden und/oder die Markierungen können von anderen Kraftfahrzeugen zeitweise verdeckt werden. Bisherige Bildverarbeitungsalgorithmen liefern nicht in allen diesen Situationen zuverlässige Ergebnisse für den Fahrkorridor des Kraftfahrzeugs.
Aufgabe der Erfindung ist es daher, ein Verfahren sowie ein System zur Bestimmung eines Fahrkorridors eines Kraftfahrzeugs bereitzustellen, die in einer Vielzahl von verschiedenen Situationen eine zuverlässige und robuste Erkennung des Fahrkorridors gewährleisten.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Bestimmung eines Fahrkorridors für ein Kraftfahrzeug. Das Kraftfahrzeug weist wenigstens eine Kamera und ein Steuergerät auf, wobei die Kamera dazu ausgebildet ist, Bilder von einem Frontbereich vor dem Kraftfahrzeug zu erzeugen und an das Steuergerät weiterzuleiten. Das Steuergerät umfasst ein Maschinenlernmodul mit einem künstlichen neuronalen Netzwerk. Das Verfahren umfasst die folgenden Schritte: ein Bild des Frontbereichs vor dem Kraftfahrzeug wird von der wenigstens einen Kamera erhalten; charakteristische Bildmerkmale des Bildes werden mittels des künstlichen neuronalen Netzwerks extrahiert; und mittels desselben künstlichen neuronalen Netzwerks werden basierend auf den extrahierten charakteristischen Bildmerkmalen Bildpunkte bestimmt, die den Fahrkorridor des Kraftfahrzeugs und/oder wenigstens einen zum Fahrkorridor benachbarten Fahrkorridor begrenzen.
Erfindungsgemäß werden alle Schritte des Verfahrens vom selben Maschinenlernmodul ausgeführt. Genauer gesagt werden sowohl die charakteristischen Bildmerkmale des Bildes als auch der Fahrkorridor vom selben neuronalen Netzwerk bestimmt. Es hat sich herausgestellt, dass auf diese Art und Weise eine besonders zuverlässige und robuste Bestimmung des Fahrkorridors und/oder benachbarter Fahrkorridore erreicht wird.
Unter einem„Fahrkorridor“ ist dabei und im Folgenden ein Bereich auf einer Straße, auf einem Weg oder Ähnlichem zu verstehen, in dem sich das Kraftfahrzeug sicher bewegen kann. Es handelt sich dabei beispielsweise um eine markierte Fahrspur oder um einen Bereich einer unmarkierten Straße oder eines Wegs, der einer Fahrspur entspricht. Dementsprechend gibt es stets einen Fahrkorridor, in dem sich das Kraftfahrzeug momentan befindet, was im Folgenden als„momentaner Fahrkorridor“ bezeichnet wird. Ferner gibt es zum Beispiel auf Straßen mit mehreren Fahrstreifen pro Fahrtrichtung Abschnitte, in denen benachbart zum momentanen Fahrkorridor des Kraftfahrzeugs wenigstens ein weiterer möglicher Fahrkorridor für das Kraftfahrzeug verläuft.
Mittels des erfindungsgemäßen Verfahrens werden diejenigen Bildpunkte bestimmt, die den momentanen Fahrkorridor des Kraftfahrzeugs und/oder wenigstens einen zum momentanen Fahrkorridor des Kraftfahrzeugs benachbarten Fahrkorridor begrenzen. Die Bildpunkte stellen dabei laterale Begrenzungen des entsprechenden Fahrkorridors dar. Aus dem Blickwinkel eines Fahrers des Kraftfahrzeugs gesehen bilden die Bildpunkte jeweils einen Teil einer linksseitigen oder einer rechtsseitigen Begrenzung des entsprechenden Fahrkorridors. Anders ausgedrückt wird also zumindest ein möglicher Fahrkorridor, vorzugsweise mehrere mögliche Fahrkorridore für das Kraftfahrzeug ermittelt, da zwei einander gegenüberliegende laterale Begrenzungen den entsprechenden Fahrkorridor festlegen.
Vorzugsweise bestimmt dasselbe künstliche neuronale Netzwerk zusätzlich eine Anzahl von vorhandenen Fahrkorridoren, insbesondere eine Anzahl von Fahrkorridoren, die zum momentanen Fahrkorridor des Kraftfahrzeugs benachbart sind.
Bei dem künstlichen neuronalen Netzwerk handelt es sich vorzugsweise um ein neuronales Netzwerk, das neben einer Eingangs- und einer Ausgangsschicht mehrere Zwischenschichten aufweist. Das künstliche neuronale Netzwerk ist dementsprechend mit Methoden des„Deep Learning“ trainiert.
Ein Aspekt der Erfindung sieht vor, dass die Extrahierung der charakteristischen Bildmerkmale einer Klassifikation von Bildbereichen des Bildes in jeweils eine oder mehrere Kategorien entspricht. Beispielsweise werden die einzelnen Bildbereiche in eine oder mehrere der folgenden Kategorien eingruppiert: Straße, keine Straße, befahrbarer Weg, unbefahrbares Terrain, Fahrbahnmarkierung, Fahrbahnbegrenzung, Verkehrszeichen, Kraftfahrzeug, Radfahrer, Fußgänger, anderer Verkehrsteilnehmer etc.. In diesem Schritt werden zumindest diejenigen Bildbereiche identifiziert und kategorisiert, die zur Bestimmung des wenigstens einen Fahrkorridors relevant sind. Beispielsweise sind Fahrbahnmarkierungen ein wichtiger Hinweis auf das Vorliegen eines Fahrkorridors, können jedoch nicht unbedingt als einziges Merkmal dafür herangezogen werden, da sie in manchen Straßenabschnitten fehlerhaft sind oder schlicht fehlen, beispielsweise im Bereich von Baustellen.
Die Klassifizierung der Bildbereiche erfolgt insbesondere mittels Bilderkennungsmethoden durch das künstliche neuronale Netzwerk. Dementsprechend ist das künstliche neuronale Netzwerk darauf trainiert, die einzelnen Bildbereiche in eine oder mehrere der oben beschriebenen Kategorien einzugruppieren.
Gemäß einem weiteren Aspekt der Erfindung umfassen die Bildpunkte eine Höhenkoordinate und eine Breitenkoordinate, wobei für das Bestimmen der Bildpunkte der Wert einer der Koordinaten, insbesondere der Höhenkoordinate auf wenigstens einen Suchwert festgesetzt wird und lediglich der Wert der anderen der Koordinaten, insbesondere der Breitenkoordinate bestimmt wird. Anders ausgedrückt werden die Bildpunkte also entlang von bestimmten Suchlinien, d.h. allen Punkten, bei denen die entsprechende Koordinate dem Suchwert entspricht, ermittelt, die in einem zur Ermittlung des wenigstens einen Fahrkorridors relevanten Bildbereich verlaufen. Die Suchlinien können dabei vorgegeben sein oder vom künstlichen neuronalen Netzwerk selbst ermittelt werden. Dementsprechend ist eine der Koordinaten der Bildpunkte bereits festgelegt und das künstliche neuronale Netzwerk muss jeweils lediglich die andere der beiden Koordinaten der Bildpunkte ermitteln, wodurch Rechenzeit eingespart wird.
Beispielsweise werden für beide laterale Begrenzungen des wenigstens einen Fahrkorridors jeweils vier Bildpunkte ermittelt. Dementsprechend werden die Bildpunkte entlang von vier Suchlinien ermittelt. Es hat sich herausgestellt, dass die Ermittlung von vier Bildpunkten pro lateraler Begrenzung des entsprechenden Fahrkorridors einen guten Kompromiss zwischen einer robusten Erkennung des Fahrkorridors und einer möglichst kurzen Rechenzeit liefert.
Vorzugsweise werden zu jedem Suchwert wenigstens zwei Bildpunkte bestimmt, wobei die Bildpunkte einer linken Begrenzung wenigstens einer der Fahrkorridore und einer rechten Begrenzung des gleichen Fahrkorridors entsprechen. Bei mehr als einem vorhandenen Fahrkorridor werden dementsprechend mehr Bildpunkte pro Suchwert ermittelt. Beispielsweise werden bei zwei vorhandenen Fahrkorridoren drei Bildpunkte pro Suchwert ermittelt, da sich die beiden Fahrkorridore diejenigen Bildpunkte, die die beiden Fahrkorridore voneinander trennen, teilen. Allgemein werden bei n vorhandenen Fahrkorridoren (n+1 ) Bildpunkte pro Suchwert ermittelt, wobei n eine natürliche Zahl größer als null ist.
Anders ausgedrückt kann die Menge an bestimmten Bildpunkten Paare aus einem Bildpunkt, der der linken Begrenzung eines Fahrkorridors zugeordnet ist, und einem Bildpunkt, der der rechten Begrenzung desselben Fahrkorridors zugeordnet ist, enthalten, wobei die Bildpunkte eines Paares eine gleiche Koordinate aufweisen. Bei der gleichen Koordinate handelt es sich, wie oben bereits erläutert, insbesondere um die Höhenkoordinate.
Insbesondere weist das künstliche neuronale Netzwerk wenigstens ein erstes Teilnetzwerk und wenigstens ein zweites Teilnetzwerk auf, wobei das erste Teilnetzwerk, das insbesondere als Convolutional Netzwerk aufgebaut ist, die charakteristischen Bildmerkmale extrahiert und/oder wobei das zweite Teilnetzwerk, das insbesondere als Netzwerk für eine Regression aufgebaut ist, die Bildpunkte bestimmt. Das künstliche neuronale Netzwerk umfasst also zwei miteinander verbundene Teilnetzwerke, wobei das erste Teilnetzwerk darauf spezialisiert ist, die charakteristischen Bildmerkmale zu extrahieren, und wobei das zweite Teilnetzwerk darauf spezialisiert ist, basierend auf den vom ersten Teilnetzwerk extrahierten charakteristischen Bildmerkmalen die Bildpunkte zu bestimmen, insbesondere mittels einer Regressionsanalyse. Es hat sich herausgestellt, dass eine Kombination der beiden Teilnetzwerke eine besonders zuverlässige und robuste Bestimmung der Bildpunkte ermöglicht.
Vorzugsweise wird basierend auf den bestimmten Bildpunkten wenigstens eine Ergebniskurve ermittelt, die den bestimmten Fahrkorridor seitlich begrenzt, insbesondere wobei die Ergebniskurve ein kubischer Spline oder ein Bezier-Spline ist. Anders ausgedrückt werden also laterale Begrenzungslinien für den entsprechenden Fahrkorridor ermittelt. Die ermittelten Bildpunkte dienen dabei als Stützpunkte zur Interpolation der wenigstens einen Ergebniskurve.
Die Ermittlung der Ergebniskurve kann ebenfalls durch das künstliche neuronale Netzwerk erfolgen. Alternativ kann die Ergebniskurve jedoch auch außerhalb des Maschinenlernmoduls erfolgen, beispielsweise von einem entsprechenden Computerprogramm durchgeführt werden, das auf dem Steuergerät läuft, da die Interpolation der Ergebniskurven basierend auf den bekannten Koordinaten der bestimmten Bildpunkte auch ohne Maschinenlernen, insbesondere ohne Deep Learning erfolgen kann. In diesem Fall liefert das Maschinenlernmodul oder besser gesagt das künstliche neuronale Netzwerk mit den Bildpunkten die Stützpunkte für die Interpolation der wenigstens einen Ergebniskurve, während die eigentliche Ergebniskurve dann nicht vom künstlichen neuronalen Netzwerk ermittelt wird.
Ein weiterer Aspekt der Erfindung sieht vor, dass das künstliche neuronale Netzwerk mit Soll-Trainingsdaten trainiert wird, wobei die Soll-Trainingsdaten mittels der Kamera erzeugte Bilder und Informationen zu in den Bildern vorhandenen tatsächlichen charakteristischen Bildmerkmalen und/oder tatsächlichen wenigstens einen Fahrkorridor begrenzenden Bildpunkten umfassen, mit den folgenden Trainingsschritten:
Vorwärtsspeisen des künstlichen neuronalen Netzwerks mit den Soll- Trainingsdaten;
Ermitteln von charakteristischen Bildmerkmalen und/oder von den wenigstens einen Fahrkorridor begrenzenden Bildpunkten mittels des künstlichen neuronalen Netzwerks;
Bestimmen eines Fehlers zwischen den ermittelten charakteristischen Bildmerkmalen und den tatsächlichen charakteristischen Bildmerkmalen und/oder Bestimmen eines Fehlers zwischen den ermittelten Bildpunkten und den tatsächlichen Bildpunkten; und
Ändern von Gewichtungsfaktoren des neuronalen Netzwerks durch Rückwärtsspeisen des künstlichen neuronalen Netzwerks mit dem Fehler.
Durch Rückwärtsspeisen des künstlichen neuronalen Netzwerks mit dem Fehler werden die Gewichtungsfaktoren des neuronalen Netzwerks vorzugsweise derart geändert, dass der Fehler minimiert wird. Natürlich kann dabei als Fehler auch„kein Fehler“ bestimmt werden. Anders ausgedrückt wird das künstliche neuronale Netzwerk also darauf trainiert, die charakteristischen Merkmale und/oder die Bildpunkte mit einem möglichst kleinen Fehler zu extrahieren bzw. zu ermitteln.
Gemäß einer möglichen Ausgestaltung der Erfindung werden zur Ermittlung des Fehlers euklidische Abstandsquadrate zwischen den ermittelten Bildpunkten und den tatsächlichen Bildpunkten und/oder zwischen Punkten auf der wenigstens einen Ergebniskurve und Punkten auf einer entsprechenden tatsächlichen Ergebniskurve herangezogen, insbesondere wobei die jeweiligen euklidischen Abstandsquadrate aufsummiert und/oder gemittelt werden. Die tatsächliche Ergebniskurve entspricht dabei der Kurve, die durch Interpolation der tatsächlichen Bildpunkte entsteht.
Vorzugsweise wird jeweils das euklidische Abstandsquadrat zwischen den ermittelten Bildpunkten und den tatsächlichen Bildpunkten bzw. zwischen den Punkten auf der wenigstens einen Ergebniskurve und den Punkten auf der entsprechenden tatsächlichen Ergebniskurve ermittelt, die, wie oben beschrieben, auf einer Suchlinie liegen.
Weiter bevorzugt enthalten die Soll-Trainingsdaten zusätzlich eine tatsächliche Anzahl an vorhandenen Fahrkorridoren, sodass das künstliche neuronale Netzwerk zusätzlich darauf trainiert wird, die Anzahl an Fahrkorridoren zu ermitteln. Insbesondere wird dabei die Anzahl der zum momentanen Fahrkorridor des Kraftfahrzeugs benachbarten Fahrkorridore ermittelt.
Gemäß einer weiteren Ausgestaltung der Erfindung ist vorgesehen, dass das künstliche neuronale Netzwerk, insbesondere das erste Teilnetzwerk, in einem ersten Trainingsschritt zunächst mit Soll-Trainingsdaten trainiert wird, die mittels der Kamera erzeugte Bilder und Informationen zu in den Bildern vorhandenen tatsächlichen charakteristischen Bildmerkmalen enthalten, und dass das künstliche neuronale Netzwerk, insbesondere das zweite Teilnetzwerk, in einem zweiten Trainingsschritt anschließend mit Soll-Trainingsdaten trainiert wird, die mittels der Kamera erzeugte Bilder und dazu korrespondierende tatsächliche wenigstens einen der Fahrkorridore begrenzende Bildpunkte enthalten.
Das künstliche neuronale Netzwerk wird also im ersten Trainingsschritt zunächst nur darauf trainiert, die charakteristischen Bildmerkmale zu extrahieren. Danach wird das künstliche neuronale Netzwerk im zweiten Trainingsschritt darauf trainiert, basierend auf den extrahierten charakteristischen Bildmerkmalen die Bildpunkte zu bestimmen, insbesondere mittels einer Regressionsanalyse. Jedoch sind die beiden Trainingsschritte nicht unabhängig voneinander, da der zweite Trainingsschritt auch Einfluss auf die Bilderkennungsfähigkeiten des künstlichen neuronalen Netzwerks, genauer gesagt auf die Extrahierung der charakteristischen Bildmerkmale hat. Es hat sich herausgestellt, dass ein auf diese Weise trainiertes künstliches neuronales Netzwerk besonders robuste und zuverlässige Ergebnisse für die Bildpunkte liefert.
Im ersten oder in einem zusätzlichen Trainingsschritt kann sich auch auf ein bestimmtes charakteristisches Bildmerkmal beschränkt werden, z.B. auf das Bildmerkmal„Straße - keine Straße“, um eine besonders zuverlässige Erkennung zu gewährleisten.
Gemäß einem weiteren Aspekt der Erfindung werden die bestimmten Bildpunkte, die eine oder mehrere Ergebniskurven und/oder weitere auf den bestimmten Bildpunkten basierende Informationen über den bestimmten Fahrkorridor an wenigstens ein Fahrassistenzsystem des Kraftfahrzeugs übermittelt. Das Fahrassistenzsystem steuert das Kraftfahrzeug dann basierend auf den übermittelten Daten und/oder Informationen zumindest teilweise automatisiert. Beim Fahrassistenzsystem handelt es sich beispielsweise um einen Bremsassistenten, um ein Spurhalteassistenzsystem und/oder um einen Spurwechselassistenzsystem.
Die Aufgabe wird ferner erfindungsgemäß gelöst durch ein Steuergerät für ein System zur Bestimmung eines Fahrkorridors für ein Kraftfahrzeug, mit einem Maschinenlernmodul, das ein künstliches neuronales Netzwerk umfasst, wobei das Steuergerät dazu ausgebildet ist, ein oben beschriebenes Verfahren durchzuführen. Das Steuergerät ist zu diesem Zweck mit einer Kamera des Kraftfahrzeugs signalübertragend verbindbar und kann Bilder von der Kamera erhalten. Bezüglich der Vorteile wird auf die obigen Erläuterungen verwiesen.
Die Aufgabe wird außerdem erfindungsgemäß gelöst durch ein System zur Bestimmung eines Fahrkorridors für ein Kraftfahrzeug, mit einem oben beschriebenen Steuergerät und wenigstens einer Kamera, die dazu ausgebildet ist, Bilder von einem Frontbereich vor dem Kraftfahrzeug zu erzeugen und an das Steuergerät weiterzuleiten. Das oben beschriebene Verfahren zur Bestimmung eines Fahrkorridors für ein Kraftfahrzeug wird also automatisch vom Steuergerät, genauer gesagt vom Maschinenlernmodul des Steuergeräts ausgeführt. Hinsichtlich der Vorteile wird auf die obigen Erläuterungen bezüglich des Verfahrens verwiesen.
Die Aufgabe wird außerdem erfindungsgemäß gelöst durch ein Computerprogramm mit Programmcodemitteln, um die Schritte eines oben beschriebenen Verfahrens durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird, insbesondere auf einer Recheneinheit eines oben beschriebenen Steuergeräts. Das oben im Kontext des Verfahrens beschriebene Maschinenlernmodul und/oder das oben im Kontext des Verfahrens beschriebene künstliche neuronale Netzwerk bilden bzw. bildet zumindest einen Teil des Computerprogramms, insbesondere das ganze Computerprogramm.
Unter „Programmcodemitteln“ sind dabei und im Folgenden computerausführbare Instruktionen in Form von Programmcode und/oder Programmcodemodulen in kompilierter und/oder in unkompilierter Form zu verstehen, die in einer beliebigen Programmiersprache und/oder in Maschinensprache vorliegen können.
Die Aufgabe wird zudem erfindungsgemäß gelöst durch einen computerlesbaren Datenträger, auf dem ein oben beschriebenes Computerprogramm gespeichert ist. Der Datenträger kann integraler Bestandteil des oben beschriebenen Steuergeräts oder vom Steuergerät separat ausgebildet sein. Der Datenträger weist einen Speicher auf, in dem das Computerprogramm gespeichert ist. Bei dem Speicher handelt es sich um eine beliebige, geeignete Art von Speicher, der beispielsweise auf magnetischer und/oder optischer Datenspeicherung basiert.
Weitere Vorteile und Eigenschaften der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den beigefügten Zeichnungen, auf die Bezug genommen wird. In diesen zeigen:
- Figur 1 schematisch ein Kraftfahrzeug mit einem erfindungsgemäßen System zur Bestimmung eines Fahrzeugkorridors; - Figur 2 ein schematisches Ablaufdiagramm der Schritte eines erfindungsgemäßen Verfahrens zur Bestimmung eines Fahrzeugkorridors;
- Figur 3 schematisch ein gemäß dem Verfahren von Figur 2 verarbeitetes Bild; - Figur 4 schematisch eine Struktur eines künstlichen neuronalen Netzwerks, das für das Verfahren von Figur 2 verwendet wird;
- Figur 5 schematisch ein Ablaufdiagramm der Trainingsschritte für das künstliche neuronale Netzwerk von Figur 4; und
- Figur 6 eine Illustration der Fehlerermittlung während der Trainingsschritte von Figur 5.
In Figur 1 ist schematisch ein Kraftfahrzeug 10 gezeigt, das sich auf einer mehrspurigen Straße 12 befindet, die eine erste Spur 14, eine zweite Spur 16 und eine dritte Spur 18 aufweist. Eine Fahrtrichtung des Kraftfahrzeugs 10 ist dabei in Figur 1 durch einen Pfeil 19 angedeutet. Die erste Spur 14 ist dabei rechtsseitig von einer Fahrbahnmarkierung RR und linksseitig von einer Fahrbahnmarkierung R begrenzt. Dementsprechend ist die zweite Spur 16 rechtsseitig von der Fahrbahnmarkierung R und linksseitig von einer Fahrbahnmarkierung L begrenzt. Die dritte Spur 18 ist rechtsseitig von der Fahrbahnmarkierung L und linksseitig von einer Fahrbahnmarkierung LL begrenzt. Die zweite Spur 16 ist die momentane Fahrspur des Kraftfahrzeugs 10, während die erste Spur 14, in Fahrtrichtung gesehen, rechts neben der zweiten Spur 16 und die dritte Spur 18 links neben der zweiten Spur 16 verläuft.
Das Kraftfahrzeug 10 weist ein System 20 zur Bestimmung eines Fahrkorridors des Kraftfahrzeugs 10 mit einer Kamera 22 und einem Steuergerät 24 auf, das mit der Kamera 22 signalübertragend verbunden ist. Auf dem Steuergerät 24 ist ein Maschinenlernmodul 28 mit einem künstlichen neuronalen Netzwerk implementiert, dessen Funktionsweise später noch näher erläutert wird.
Das künstliche neuronale Netzwerk stell ein Computerprogramm dar, das auf einem Datenträger 29 des Steuergeräts 24 gespeichert ist. Ferner weist das Kraftfahrzeug 10 ein weiteres Steuergerät 26 auf, das mit dem Steuergerät 24 signalübertragend verbunden und dazu ausgebildet ist, das Kraftfahrzeug 10 wenigstens teilweise automatisiert zu steuern, insbesondere vollständig automatisiert. Anders ausgedrückt ist auf dem weiteren Steuergerät 26 ein Fahrassistenzsystem implementiert, das eine Querbewegung und/oder eine Längsbewegung des Kraftfahrzeugs 10 wenigstens teilweise automatisiert steuern kann, insbesondere vollautomatisch.
Alternativ dazu können die beiden Steuergeräte 24, 26 auch Teilsteuergeräte eines einzigen Steuergeräts sein.
Das Fahrassistenzsystem, bei dem es sich im vorliegenden Fall beispielsweise um einen Spurhalteassistenten oder um einen Spurwechselassistenten handelt, benötigt Informationen über die Umgebung des Kraftfahrzeugs 10, um das Kraftfahrzeug 10 wenigstens teilweise automatisiert zu steuern.
Diese Informationen über die Umgebung des Kraftfahrzeugs 10 werden vom System 20 bereitgestellt. Allgemein ausgedrückt ist das System 20 dazu ausgebildet, mittels der Kamera 22 Bilder von einem Frontbereich 30 vor dem Kraftfahrzeug 10 zu erstellen, diese Bilder mittels des Steuergeräts 24 zu verarbeiten und so einen momentanen Fahrkorridor des Kraftfahrzeugs 10 und/oder wenigstens einen zum momentanen Fahrkorridor des Kraftfahrzeugs 10 benachbarten Fahrkorridor zu bestimmen.
Unter einem„Fahrkorridor“ ist dabei und im Folgenden ein Bereich auf der Straße 12, auf einem Weg oder Ähnlichem zu verstehen, in dem sich das Kraftfahrzeug 10 sicher bewegen kann. Es handelt sich dabei beispielsweise um eine der Spuren 14, 16, 18 oder um einen Bereich einer unmarkierten Straße oder eines Wegs, der einer Fahrspur entspricht. Dementsprechend ist unter dem „momentanen Fahrkorridor“ derjenige Fahrkorridor zu verstehen, in dem sich das Kraftfahrzeug 10 gerade befindet und in dem sich das Kraftfahrzeug 10 sicher weiter fortbewegen kann.
Es muss also zwischen den oben verwendeten Ausdrücken„Fahrkorridor“ und „Spur“ unterschieden werden. Bei dem Fahrkorridor handelt es sich um denjenigen Bereich der Straße 12 oder eines Weges, der vom Steuergerät 24 als sicher befahrbarer Bereich erkannt wird, während die Spuren 14, 16, 18 die von den Fahrbahnmarkierungen RR, R, L, LL begrenzten Bereiche der Straße 12 bezeichnen. Natürlich können wenigstens einer der Fahrkorridore und wenigstens eine der Spuren 14, 16, 18 zusammenfallen, dies ist aber nicht zwingend der Fall.
Die genaue Funktionsweise des Systems 20 sowie die einzelnen Schritte eines Verfahrens zur Bestimmung des Fahrkorridors für das Kraftfahrzeug 10 werden nachfolgend anhand der Figur 2 erläutert.
Mittels der Kamera 22 werden Bilder des Frontbereichs 30 vor dem Kraftfahrzeug 10 aufgenommen und an das Steuergerät 24 weitergeleitet (Schritt
S1 ).
Mittels des Maschinenlernmoduls 28, genauer gesagt mittels des künstlichen neuronalen Netzwerks werden nun charakteristische Bildmerkmale der einzelnen Bilder extrahiert (Schritt S2). Im Zuge dieser Extraktion der charakteristischen Bildmerkmale werden einzelne Bildbereiche der einzelnen Bilder in eine oder mehrere der folgenden Kategorien eingruppiert: Straße, keine Straße, befahrbarer Weg, unbefahrbares Terrain, Fahrbahnmarkierung, Fahrbahnbegrenzung, Verkehrszeichen, Kraftfahrzeug, Radfahrer, Fußgänger, anderer Verkehrsteilnehmer, etc..
In Schritt S2 werden also zumindest diejenigen Bildbereiche identifiziert und kategorisiert, die zur Bestimmung des wenigstens einen Fahrkorridors relevant sind.
Natürlich sind die in Figur 1 gezeigten Fahrbahnmarkierungen RR, R, L, LL ein Hinweis auf das Vorliegen eines Fahrkorridors. Sie werden jedoch nicht unbedingt als einziges Merkmal zur Bestimmung des wenigstens einen Fahrkorridors herangezogen, da die Fahrbahnmarkierungen RR, R, L, LL in manchen Straßenabschnitten fehlerhaft sein oder schlicht fehlen können, beispielsweise im Bereich von Baustellen.
Mittels desselben künstlichen neuronalen Netzwerks werden nun Bildpunkte 32 bestimmt, die den zumindest einen Fahrkorridor lateral begrenzen (Schritt S3). Dieser Schritt wird im Folgenden anhand von Figur 3 näher erläutert, die ein Kamerabild einer Situation zeigt, die der in Figur 1 gezeigten Situation sehr ähnlich ist. Das Kraftfahrzeug 10 befindet sich auf der mittleren, zweiten Spur 16. Links und rechts neben der zweiten Spur 16 verlaufen die dritte Spur 18 bzw. die erste Spur 14.
Die Bildpunkte 32 werden entlang von vier Suchlinien 34 bestimmt, die entlang der Breitenrichtung b des Bildes mit konstanter Höhenkoordinate hkl - hk4 durch das Bild verlaufen. Anders ausgedrückt werden die Bildpunkte 32 basierend auf vier Suchwerten ermittelt, wobei die Suchwerte die Höhenkoordinate h der jeweiligen Suchlinie 34 sind. Natürlich ist auch eine beliebige andere Zahl von Suchlinien 34 möglich.
Da der wenigstens eine Fahrkorridor eine linke eine rechte Begrenzung aufweist, wird entlang jeder der Suchlinien 34 jeweils ein Paar von zwei Bildpunkten 32 bestimmt. Dabei stellt einer der Bildpunkte 32 des Paares die linksseitige Begrenzung des Fahrkorridors und der andere der Bildpunkte 32 des Paares die rechtsseitige Begrenzung des Fahrkorridors auf Höhe der jeweiligen Suchlinie 34 dar.
In Schritt S3 werden also zumindest acht Bildpunkte 32 ermittelt, die die momentane Fahrspur des Kraftfahrzeugs 10 begrenzen.
Es sei angemerkt, dass in Figur 3 lediglich diejenigen Bildpunkte 32 gezeigt sind, die den zur zweiten Spur 16 korrespondierenden momentanen Fahrkorridor des Kraftfahrzeugs 10 begrenzen. Eine Bestimmung weiterer Bildpunkte, die weitere Fahrkorridore begrenzen, ist natürlich analog zum oben beschriebenen Fall möglich. Dabei teilen sich benachbarte Fahrkorridore diejenigen Bildpunkte 32, die die benachbarten Fahrkorridore voneinander trennen. Im Fall der in Figur 3 gezeigten drei Fahrspuren 14, 16, 18, die drei Fahrkorridoren entsprechen, würden daher 16 Bildpunkte ermittelt.
Nun werden basierend auf den bestimmten Bildpunkten 32 zumindest zwei Ergebniskurven 36 ermittelt, die den momentanen Fahrkorridor des Kraftfahrzeugs 10 lateral begrenzen (Schritt S4).
Eine der Ergebniskurven 36 begrenzt den momentanen Fahrkorridor des Kraftfahrzeugs 10 also linksseitig und wird durch eine Interpolation derjenigen vier Bildpunkte 32 ermittelt, die den momentanen Fahrkorridor linksseitig begrenzen. Analog dazu begrenzt die andere der beiden Ergebniskurven 36 den momentanen Fahrkorridor des Kraftfahrzeugs 10 rechtsseitig und wird durch eine Interpolation derjenigen vier Bildpunkte 32 ermittelt, die den momentanen Fahrkorridor rechtsseitig begrenzen.
Genauer gesagt werden die beiden Ergebniskurven 36 basierend auf den Bildkoordinaten, also der jeweiligen Höhenkoordinate h und der jeweiligen Breitenkoordinate b der Bildpunkte 32 bestimmt. Die bestimmten Bildpunkte 32 stellen also Stützstellen für die Ergebniskurven 36 dar.
Die Ergebniskurven 36 sind jeweils ein kubischer Spline, ein Bezier-Spline oder eine andere zur Interpolation der Bildpunkte 32 geeignete Art von Kurve.
Die Ermittlung der Ergebniskurven 36 kann ebenfalls durch das künstliche neuronale Netzwerk erfolgen. Alternativ können die Ergebniskurven 36 jedoch auch außerhalb des Maschinenlernmoduls 28 ermittelt werden, beispielsweise von einem entsprechenden Modul, das auf dem Steuergerät 24 läuft.
Die bestimmten Bildpunkte 32, die Ergebniskurve 36 und/oder weitere auf den bestimmten Bildpunkten 32 basierende Informationen über den momentanen Fahrzeugkorridor oder dazu benachbarte Fahrzeugkorridore werden nun an das weitere Steuergerät 26 übermittelt (Schritt S5).
Je nachdem, welche Informationen genau in dem übertragenen Signal enthalten sind, kann das Kraftfahrzeug 10 vom weiteren Steuergerät 26 unterschiedlich gesteuert werden.
Sind zum Beispiel lediglich Informationen über den momentanen Fahrkorridor enthalten, so reichen die Informationen für einen Spurhalteassistenten aus, sind jedoch für einen Spurwechselassistenten unzureichend. Für den Spurwechselassistenten müssen zusätzlich Informationen über wenigstens einen zum momentanen Fahrkorridor benachbarten Fahrkorridor vorhanden sein.
Zumindest die oben beschriebenen Schritte S2 und S3, insbesondere auch Schritt S4 werden also vom selben künstlichen neuronalen Netzwerk ausgeführt. Grundsätzlich gibt es verschiedene geeignete Architekturen für das künstliche neuronale Netzwerk, die darauf trainiert werden können, das oben beschriebene Verfahren durchzuführen. In Figur 4 ist eine beispielhafte Architektur des künstlichen neuronalen Netzwerks gezeigt. Das künstliche neuronale Netzwerk weist ein erstes Teilnetzwerk 38 und ein zweites Teilnetzwerk 40 auf, wobei zumindest das erste Teilnetzwerk 38 als Convolutional Neural Network (CNN), insbesondere als Deep Convolutional Neural Network ausgebildet ist.
Das erste Teilnetzwerk 38 und das zweite Teilnetzwerk 40 weisen jeweils mehrere Schichten 42 auf. Dabei sind die Schichten 42 innerhalb der jeweiligen Teilnetzwerke 38, 40 vollständig mit ihren jeweils benachbarten Schichten 42 vernetzt, es handelt sich also um sogenannte„fully connected“ (FC) Schichten. Die einzelnen Neuronen der jeweiligen Schichten 42 sind also jeweils mit allen Neuronen der benachbarten Schichten 42 verbunden.
Vorzugsweise sind auch die beiden außenliegenden Schichten 42 der beiden Teilnetzwerke 38, 40 vollständig miteinander vernetzt, die an der Grenze zwischen den beiden Teilnetzwerken 38, 40 nebeneinanderliegen. Anders ausgedrückt ist also eine Ausgangsschicht des ersten Teilnetzwerks 38 vollständig mit einer Eingangsschicht des zweiten Teilnetzwerks 40 vernetzt.
Das künstliche neuronale Netzwerk umfasst also zwei miteinander verbundene Teilnetzwerke 38, 40. Wie im Folgenden noch näher erläutert wird, ist das erste Teilnetzwerk 38 darauf trainiert, die charakteristischen Bildmerkmale zu extrahieren, also Schritt S2 durchzuführen, während das zweite Teilnetzwerk 40 darauf trainiert ist, basierend auf den vom ersten Teilnetzwerk 38 extrahierten charakteristischen Bildmerkmalen die Bildpunkte 32 zu bestimmen, insbesondere mittels einer Regressionsanalyse. Das erste Teilnetzwerk 38 führt also Schritt S2 aus, während das zweite Teilnetzwerk 40 Schritt S3 und ggf. Schritt S4 ausführt.
Die Schritte S1 und S5 können auch von diesen beiden Teilnetzwerken 38, 40 oder weiteren Teilen des künstlichen neuronalen Netzwerks durchgeführt werden.
Um optimale Ergebnisse bei der Bestimmung des wenigstens einen Fahrkorridors zu gewährleisten, muss das neuronale Netzwerk natürlich vor dem Einsatz im System 20 trainiert werden. Dazu sind vor dem Einsatz die folgenden anhand von Figur 5 beschriebenen Trainingsschritte vorgesehen. Zunächst wird das erste Teilnetzwerk 38 darauf trainiert, die charakteristischen Bildmerkmale in den mittels der Kamera 22 erzeugten Bildern zu extrahieren (Schritt T1 ), also den oben beschriebenen Schritt S2 durchzuführen.
Zu diesem Zweck wird das künstliche neuronale Netzwerk, insbesondere nur das erste Teilnetzwerk 38 mit Soll-Trainingsdaten gespeist, die mittels der Kamera 22 erzeugte Bilder und Informationen zu in den Bildern vorhandenen tatsächlichen charakteristischen Bildmerkmalen enthalten.
Das künstliche neuronale Netzwerk, insbesondere das erste Teilnetzwerk 38, extrahiert dann aus den Soll-T rainingsdaten, genauer gesagt aus den darin enthaltenen Bildern, die charakteristischen Bildmerkmale.
Nun wird ein Fehler oder besser gesagt eine Abweichung zwischen den ermittelten charakteristischen Bildmerkmalen und den tatsächlichen charakteristischen Bildmerkmalen bestimmt und das künstliche neuronale Netzwerk wird mit dem Fehler rückwärts gespeist. Dabei werden Gewichtungsfaktoren des künstlichen neuronalen Netzwerks derart angepasst, dass der Fehler bzw. die Abweichung minimiert werden.
Analog dazu kann im Trainingsschritt T1 das künstliche neuronale Netzwerk auch dazu trainiert werden, eine Anzahl an vorhandenen Fahrkorridoren zu ermitteln.
Die Trainingsschritte T1 und T2 können auch mehrere Unterschritte oder Phasen enthalten.
Das in Trainingsschritt T1 vortrainierte künstliche neuronale Netzwerk wird nun in einem zweiten Trainingsschritt darauf trainiert, basierend auf den extrahierten charakteristischen Bildmerkmalen die Bildpunkte 32 zu bestimmen.
Zu diesem Zweck wird das künstliche neuronale Netzwerk mit Soll- Trainingsdaten gespeist, die mittels der Kamera 22 erzeugte Bilder und Informationen zu in den Bildern vorhandenen tatsächlichen Bildpunkten 32 enthalten. Das erste Teilnetzwerk 38 extrahiert aus den Soll-T rainingsdaten, genauer gesagt aus den darin enthaltenen Bildern, die charakteristischen Bildmerkmale und übergibt diese an das zweite Teilnetzwerk 40. Das zweite Teilnetzwerk 40 bestimmt aus den Soll-Trainingsdaten basierend auf den extrahierten charakteristischen Bildmerkmalen die Bildpunkte 32.
Nun wird ein Fehler zwischen den ermittelten Bildpunkten 32 und den tatsächlichen Bildpunkten 32 bestimmt, wie anhand von Figur 6 veranschaulicht wird. Ein Maß für den Fehler an jedem einzelnen der Bildpunkte 32 ist hierbei der euklidische Abstand des ermittelten Bildpunkts 32 vom jeweils zugehörigen tatsächlichen Bildpunkt 32‘.
Ist also Xi (i ist eine natürliche Zahl) die Breitenkoordinate b des tatsächlichen i-ten Bildpunkts 32‘ und xt die Breitenkoordinate des zugehörigen vom neuronalen Netzwerk ermittelten Bildpunkts 32, so ermittelt sich der zu diesem Bildpunkt 32 zugehörige Fehler zu (x* - x )2. Dabei wird nur die Breitenkoordinate des Bildpunkts 32 berücksichtigt, da die Höhenkoordinate auf den jeweiligen Suchwert festgelegt ist.
Der gesamte Fehler errechnet sich als Summe oder als gewichtetes Mittel der Fehler aller Bildpunkte 32, d.h. der Fehler ergibt sich zu
Dabei bezeichnet N die Zahl der relevanten Begrenzungslinien. Im Falle eines einzelnen Fahrkorridors ist also N gleich 2.
Alternativ zur Fehlerfunktion L2 kann auch eine Fehlerfunktion verwendet werden, die auf dem euklidischen Abstand zwischen Punkten auf den ermittelten Ergebniskurven 36 und den entsprechenden tatsächlichen Ergebniskurven 36‘ basiert.
In diesem Fall wird also zunächst basierend auf den Bildpunkten 32 und den tatsächlichen Bildpunkten 32‘ die Ergebniskurve 36 bzw. die tatsächliche Ergebniskurve 36‘ bestimmt. Anschließend werden die euklidischen Abstände der zueinander korrespondierenden Punkte auf den Ergebniskurven 36 bzw. 36‘ berechnet, wobei auch Punkte betrachtet werden können, die von den Bildpunkten 32 verschieden sind, also eine von den Bildpunkten 32 verschiedene Höhenkoordinate aufweisen. In beiden oben beschriebenen Fällen wird das künstliche neuronale Netzwerk nun mit dem Fehler rückwärts gespeist. Dabei werden Gewichtungsfaktoren des zweiten Teilnetzwerks 40, aber auch des ersten Teilnetzwerks 38 derart angepasst, dass der Fehler bzw. die Abweichung minimiert werden. Es sei darauf hingewiesen, dass nach den oben beschriebenen Trainingsschritten eine Grenze zwischen den beiden Teilnetzwerken 38, 40 möglicherweise nicht mehr einwandfrei feststellbar ist, da im zweiten Trainingsschritt T2 auch Gewichtungsfaktoren des ersten Teilnetzwerk 38 angepasst werden, sodass die Grenze zwischen den beiden Teilnetzwerken 38, 40 verschwimmt.
Das auf diese Weise trainierte künstliche neuronale Netzwerk ist dann eingerichtet, die Schritte S1 bis S5 durchzuführen.

Claims

Patentansprüche
1. Verfahren zur Bestimmung eines Fahrkorridors für ein Kraftfahrzeug (10), das wenigstens eine Kamera (22) und ein Steuergerät (24) aufweist, wobei die Kamera (22) dazu ausgebildet ist, Bilder von einem Frontbereich (30) vor dem Kraftfahrzeug (10) zu erzeugen und an das Steuergerät (24) weiterzuleiten, und wobei das Steuergerät (24) ein Maschinenlernmodul (28) mit einem künstlichen neuronalen Netzwerk umfasst, mit den folgenden Schritten:
Erhalten eines Bildes des Frontbereichs (30) vor dem Kraftfahrzeug (10) von der wenigstens einen Kamera (22);
Extrahieren charakteristischer Bildmerkmale des Bildes mittels des künstlichen neuronalen Netzwerks; und
Bestimmen, mittels desselben künstlichen neuronalen Netzwerks, von Bildpunkten (32), die den Fahrkorridor des Kraftfahrzeugs (10) und/oder wenigstens einen zum Fahrkorridor benachbarten Fahrkorridor begrenzen, basierend auf den extrahierten charakteristischen Bildmerkmalen.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Extrahierung der charakteristischen Bildmerkmale einer Klassifikation von Bildbereichen des Bildes in jeweils eine oder mehrere Kategorien entspricht.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bildpunkte (32) eine Höhenkoordinate und eine Breitenkoordinate umfassen, wobei für das Bestimmen der Bildpunkte (32) der Wert einer der Koordinaten, insbesondere der Höhenkoordinate auf wenigstens einen Suchwert festgesetzt wird und lediglich der Wert der anderen der Koordinaten, insbesondere der Breitenkoordinate bestimmt wird.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zu jedem Suchwert wenigstens zwei Bildpunkte (32) bestimmt werden, wobei die Bildpunkte (32) einer linken Begrenzung wenigstens eines der Fahrkorridore und einer rechten Begrenzung des gleichen Fahrkorridors entsprechen.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Menge an bestimmten Bildpunkten (32) Paare aus einem Bildpunkt (32), der der linken Begrenzung eines Fahrkorridors zugeordnet ist, und einem Bildpunkt (32), der der rechten Begrenzung des selben Fahrkorridors zugeordnet ist, enthält, wobei die Bildpunkte eines Paares eine gleiche Koordinate aufweisen.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk wenigstens ein erstes Teilnetzwerk (38) und wenigstens ein zweites Teilnetzwerk (40) aufweist, wobei das erste Teilnetzwerk (38), das insbesondere als Convolutional Netzwerk aufgebaut ist, die charakteristischen Bildmerkmale extrahiert und/oder wobei das zweite Teilnetzwerk (40), das insbesondere als Netzwerk für eine Regression aufgebaut ist, die Bildpunkte (32) bestimmt.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass basierend auf den bestimmten Bildpunkten (32) wenigstens eine Ergebniskurve (36) ermittelt wird, die den bestimmten Fahrkorridor seitlich begrenzt, insbesondere wobei die Ergebniskurve (36) ein kubischer Spline oder ein Bezier-Spline ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk mit Soll-Trainingsdaten trainiert wird, wobei die Soll-Trainingsdaten mittels der Kamera (22) erzeugte Bilder und Informationen zu in den Bildern vorhandenen tatsächlichen charakteristischen Bildmerkmalen und/oder tatsächlichen wenigstens einen Fahrkorridor begrenzenden Bildpunkten (32‘) umfassen, mit den folgenden Trainingsschritten:
Vorwärtsspeisen des künstlichen neuronalen Netzwerks mit den Soll- Trainingsdaten;
Ermitteln von charakteristischen Bildmerkmalen und/oder von den wenigstens einen Fahrkorridor begrenzenden Bildpunkten (32) mittels des künstlichen neuronalen Netzwerks;
Bestimmen eines Fehlers zwischen den ermittelten charakteristischen Bildmerkmalen und den tatsächlichen charakteristischen Bildmerkmalen und/oder Bestimmen eines Fehlers zwischen den ermittelten Bildpunkten (32) und den tatsächlichen Bildpunkten (32‘); und Ändern von Gewichtungsfaktoren des neuronalen Netzwerks durch Rückwärtsspeisen des künstlichen neuronalen Netzwerks mit dem Fehler.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass zur Ermittlung des Fehlers euklidische Abstandsquadrate zwischen den ermittelten Bildpunkten (32) und den tatsächlichen Bildpunkten (32‘) und/oder zwischen Punkten auf der wenigstens einen Ergebniskurve (36) und Punkten auf einer entsprechenden tatsächlichen Ergebniskurve (36‘) herangezogen werden, insbesondere wobei die jeweiligen euklidischen Abstandsquadrate aufsummiert und/oder gemittelt werden.
10. Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, dass die Soll-Trainingsdaten zusätzlich eine tatsächliche Anzahl an vorhandenen Fahrkorridoren enthalten, sodass das künstliche neuronale Netzwerk zusätzlich darauf trainiert wird, die Anzahl an Fahrkorridoren zu ermitteln.
1 1 . Verfahren nach einem der Ansprüche 5 bis 10, dadurch gekennzeichnet, dass das künstliche neuronale Netzwerk, insbesondere das erste Teilnetzwerk (38), in einem ersten Trainingsschritt zunächst mit Soll-Trainingsdaten trainiert wird, die mittels der Kamera (22) erzeugte Bilder und Informationen zu in den Bildern vorhandenen tatsächlichen charakteristischen Bildmerkmalen enthalten, und dass das künstliche neuronale Netzwerk, insbesondere das zweite Teilnetzwerk (40), in einem zweiten Trainingsschritt anschließend mit Soll- T rainingsdaten trainiert wird, die mittels der Kamera (22) erzeugte Bilder und dazu korrespondierende tatsächliche wenigstens einen der Fahrkorridore begrenzende Bildpunkte (32‘) enthalten.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die bestimmten Bildpunkte (32), die eine oder mehrere Ergebniskurven (36) und/oder weitere auf den bestimmten Bildpunkten (32) basierende Informationen über den bestimmten Fahrkorridor an wenigstens ein Fahrassistenzsystem des Kraftfahrzeugs (10) übermittelt werden.
13. Steuergerät (24) für ein System (20) zur Bestimmung eines Fahrkorridors für ein Kraftfahrzeug (10), mit einem Maschinenlernmodul (28), das ein künstliches neuronales Netzwerk umfasst, wobei das Steuergerät (24) dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
14. System (20) zur Bestimmung eines Fahrkorridors für ein Kraftfahrzeug (10), mit einem Steuergerät (24) nach Anspruch 13 und wenigstens einer Kamera (22), die dazu ausgebildet ist, Bilder von einem Frontbereich (30) vor dem Kraftfahrzeug (10) zu erzeugen und an das Steuergerät (24) weiterzuleiten.
15. Computerprogramm mit Programmcodemitteln, um die Schritte eines
Verfahrens nach einem der Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird, insbesondere auf einer Recheneinheit eines Steuergeräts (24) nach Anspruch 13.
16. Computerlesbarer Datenträger, auf dem ein Computerprogramm nach
Anspruch 15 gespeichert ist.
EP19812933.0A 2018-11-22 2019-11-21 Verfahren sowie system zur bestimmung eines fahrkorridors Withdrawn EP3884427A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018129485.9A DE102018129485A1 (de) 2018-11-22 2018-11-22 Verfahren sowie System zur Bestimmung eines Fahrkorridors
PCT/EP2019/082060 WO2020104579A1 (de) 2018-11-22 2019-11-21 Verfahren sowie system zur bestimmung eines fahrkorridors

Publications (1)

Publication Number Publication Date
EP3884427A1 true EP3884427A1 (de) 2021-09-29

Family

ID=68733022

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19812933.0A Withdrawn EP3884427A1 (de) 2018-11-22 2019-11-21 Verfahren sowie system zur bestimmung eines fahrkorridors

Country Status (5)

Country Link
US (1) US12283088B2 (de)
EP (1) EP3884427A1 (de)
CN (1) CN113168516A (de)
DE (1) DE102018129485A1 (de)
WO (1) WO2020104579A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021133089A1 (de) * 2021-12-14 2023-06-15 Cariad Se Vorrichtung zur Ermittlung einer Topographie einer Fahrzeugumgebung, Fahrzeug und Verfahren
DE102024104238A1 (de) * 2024-02-15 2025-08-21 Volkswagen Aktiengesellschaft Ermittlung von Fahrstreifen

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011056671A1 (de) * 2011-12-20 2013-06-20 Conti Temic Microelectronic Gmbh Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10528824B2 (en) * 2017-12-11 2020-01-07 GM Global Technology Operations LLC Artificial neural network for lane feature classification and localization

Also Published As

Publication number Publication date
WO2020104579A1 (de) 2020-05-28
CN113168516A (zh) 2021-07-23
US20220004781A1 (en) 2022-01-06
US12283088B2 (en) 2025-04-22
DE102018129485A1 (de) 2020-05-28

Similar Documents

Publication Publication Date Title
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE102016203723A1 (de) Verfahren und System zum Bestimmen der Pose eines Fahrzeugs
AT521647B1 (de) Verfahren und System zur Datenaufbereitung, zum Trainieren eines künstlichen neuronalen Netzes und zum Analysieren von Sensordaten
WO2020127010A1 (de) Verfahren sowie system zum steuern eines kraftfahrzeugs
DE102018111935A1 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102019214558A1 (de) Projektionsinformations-erkennungsvorrichtung auf basis eines künstlichen neuronalen netzwerks und verfahren derselben
DE102024129386A1 (de) Verfahren und vorrichtung zur fahrerabsichtsprognose
DE102017127600A1 (de) Verfahren zum automatischen Parken für ein Kraftfahrzeug mit einem Fahrunterstützungssystem
EP3785169A1 (de) Verfahren und vorrichtung zur umsetzung eines eingangsbildes einer ersten domäne in ein ausgangsbild einer zweiten domäne
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
DE102024201831A1 (de) Verfahren zum Erstellen von hochaufgelösten Umgebungskarten für ein Fahrzeug mit einer autonomen Fahrfunktion
WO2024240427A1 (de) Verfahren zur erstellung einer digitalen karte
EP3884427A1 (de) Verfahren sowie system zur bestimmung eines fahrkorridors
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
DE102021114935A1 (de) Verfahren zum Bestimmen von zumindest einer Fahrstreifenbegrenzung einer Fahrbahn in einem Bild mittels eines Assistenzsystems, omputerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
EP4526842B1 (de) Verfahren zum steuern einer robotervorrichtung
DE102022126904A1 (de) Nachbarfahrspurdetektion auf der Basis von Fahrspurmodellen
DE102021124680A1 (de) Verfahren zur Erfassung von Straßenbegrenzungen durch eine Erfassungsvorrichtung eines Fahrzeugs, Erfassungsvorrichtung und Fahrzeug
WO2023247356A1 (de) Verfahren und assistenzsystem zum unterstützen einer fahrzeugführung basierend auf einem fahrschlauch und einer begrenzungsschätzung und kraftfahrzeug
DE102024100647B4 (de) Verfahren zum autonomen oder teilautonomen Führen eines Kraftfahrzeugs in Bezug auf ein externes Objekt sowie Kraftfahrzeug
EP3772017A1 (de) Bahnsignalerkennung für autonome schienenfahrzeuge
DE102020208421A1 (de) Verfahren sowie Steuergerät zum Steuern eines Kraftfahrzeugs
DE102020200875A1 (de) Verfahren zum Bereitstellen von Sensordaten durch eine Sensorik eines Fahrzeugs
DE102019115788A1 (de) Automatische Identifizierung einer Ego-Fahrspur und Anpassung einer Fahrtrajektorie für eine Ego-Fahrzeug in Abhängigkeit von der Ego-Fahrspur
DE102023211080A1 (de) Computerimplementiertes Verfahren zum Verarbeiten von Sensordaten in einem Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210521

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230419

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20231031