EP4327241A1 - Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung - Google Patents

Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung

Info

Publication number
EP4327241A1
EP4327241A1 EP22719508.8A EP22719508A EP4327241A1 EP 4327241 A1 EP4327241 A1 EP 4327241A1 EP 22719508 A EP22719508 A EP 22719508A EP 4327241 A1 EP4327241 A1 EP 4327241A1
Authority
EP
European Patent Office
Prior art keywords
free
movement device
camera
training
marked target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22719508.8A
Other languages
English (en)
French (fr)
Inventor
Thomas Winkler
Ferdinand KAISER
Christoph Brand
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4327241A1 publication Critical patent/EP4327241A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system

Definitions

  • the invention relates to a method and a device for detecting individual free marked target areas, such as parking/landing/docking areas, from images of a camera system of a movement device by a machine learning system and a method for training the machine learning system.
  • EP 2486513 B1 shows a driver assistance system for a motor vehicle with a camera for detecting lane markings;
  • a device for detecting a parking or stopping mode of the vehicle is provided; furthermore, when the vehicle is in parking or stopping mode, a control unit receives image data of the surroundings of the vehicle from the camera and evaluates these with regard to lane markings indicating parking and/or stopping bans, with the Control unit controls a signaling device in such a way that the signaling device outputs a warning message if a lane marking indicating a parking ban or a no-stopping zone is detected in the vicinity of the stopped or parked vehicle.
  • a camera it is also possible to use several cameras or image recording units with different viewing directions (e.g. areas to the side of the vehicle) and installation positions (e.g. in the exterior rear-view mirrors).
  • DE 102018214915 A1 shows a system and a method for a vehicle to detect a parking space in the direction of travel.
  • the gap must have at least a predefined length and/or at least a predefined width corresponding to the vehicle length or width.
  • a sensor is set up to determine an outer contour of boundaries.
  • the sensor can be a single sensor, e.g. a camera, or a large number of sensors, e.g. several cameras, or also several types of sensors, for example a camera and a radar sensor.
  • a map is designed to associate the outline of the boundaries with a location on the map.
  • a mapping module is set up to match a rectangle with of the predefined length and width in the gap between the boundaries such that if the rectangle is placeable in the gap, the identified gap is suitable to receive the vehicle.
  • the boundaries may include lane markings.
  • Road markings are, for example, restricted areas or zebra crossings or parking lot boundaries.
  • road markings can be taken into account in a different way than the outer contour. For example, a gap that is large enough from the perimeter, but no longer large enough considering the parking lot limitations, could require a driver of the vehicle to make an “ignore parking lot limitations” decision.
  • EP 3731138 A1 shows an image processing device and a vehicle camera system with which corner markings at one end of a parking space marking can be recognized via edge recognition. A preliminary parking space frame is then set and verified based on the detected corner markings. This allows free parking spaces to be identified.
  • a top view image is generated using the static camera calibration and the flat world assumption to transform curved lines (fisheye domain) into straight lines (virtual pinhole camera). Parking lines are recognized on this image by classical image processing (e.g. Hough transformation), based on which parking space candidates are detected on a model-based basis.
  • a second Algorithm e.g. occupancy grid extracts a free space detection. A free parking space can then be detected with the aid of this second piece of information.
  • the central requirement of this possible concept is the correct calibration of the camera and a flat environment. If the calibration of the camera is incorrect, e.g. due to the vehicle being loaded on one side, or if the surroundings are not flat (parking on sloping surfaces), the quality of the top view image and thus the quality of the parking space detection is reduced.
  • a very sparse object-based point cloud information is usually used for the free space detection, which provides very little information for homogeneous surfaces such as road surface and the function can only be enabled on the basis of rigid assumptions.
  • a method for training a machine learning system for segmenting and identifying individual free marked target areas, such as parking spaces for vehicles, landing pads for aircraft or drones, docking areas for spaceships or robots, from an image of an environment-capturing camera system of a movement device (10) as part of a semantic segmentation of the image provides the following.
  • Training data is provided that includes training input images and associated training target segmentations.
  • parameters of the machine learning system are adjusted in such a way that, when the training input images are entered, the machine learning system generates output data that are similar to the training target segmentations. Similar can mean that the differences between the generated output data and the training target segmentations are small.
  • the adaptation can be done by minimizing a function that mathematically describes these differences.
  • the training target segmentations include at least a first segment (eg position and extent or size of the segment) which corresponds to the individual free marked target area.
  • a first segment should in each case be exactly one individual (ie one instance of a) free marked target area correspond to. Marked can mean, for example, that the target area is marked by a boundary line or is otherwise visually recognizable as a target area.
  • the training target segmentations include at least one second segment that corresponds to at least one other class of the detected environment of the movement device. In most cases there can be several second segments corresponding to different classes.
  • the machine learning system includes, for example, an artificial neural network whose parameters (e.g. weights) are adjusted using the training data.
  • the training target segmentations indicate a type of first segment. If the target area corresponds to a parking space, a disabled parking space, women's parking space, electric vehicle parking space and/or a parking space for families with children can be specified as the type of parking space.
  • the second segments include objects in the vicinity of the movement device and at least one class information item of the object is specified.
  • class information of the second (semantic) segments are:
  • Ground markings can also be provided as objects, e.g. lane markings, parking lot markings 52, ground arrows, ground traffic symbols, stop lines, etc.
  • the camera system includes a camera with fisheye optics.
  • the fisheye optics camera can have a detection angle of more than 180°, for example approximately 195°.
  • the training input images are images of the fisheye optics camera. These can be used without rectification (correction of the optical imaging properties of the fisheye optics).
  • the training target segmentations also correspond to the fisheye image. This embodiment offers the advantage that a Segmentation based on fisheye optics images makes the method very robust against rotations of the camera system.
  • the control unit can support a movement of the movement device to the free target area or carry it out autonomously, i.e. fully automatically.
  • the segments can be translated into information about the geometry of the real environment, for example using a precisely calibrated camera system. It can also be assumed that the surrounding surface on which the movement device is located is essentially flat.
  • the camera system can comprise a plurality of (fish-eye) cameras which are arranged and configured in such a way that a 360° detection of the surroundings of the moving device takes place.
  • control unit can provide support for moving the movement device to the free target area by means of a visual display on the basis of the segments that have been output. For example, the environment of the movement device be visualized and the free target area can be highlighted visually. This visualization can be shown in a display of the moving device.
  • control unit provides support for moving the movement device to the free target area on the basis of the segments output by means of acoustic, haptic measures or measures that partially control the movement of the movement device (e.g. steering or braking assistance during a parking process).
  • control unit moves the movement device to the free target area in a fully automated manner on the basis of the segments that have been output, e.g. autonomous or fully automated parking.
  • information for locating the free marked target areas is transmitted (wirelessly) by the control unit to an infrastructure device external to the movement device on the basis of the output segments corresponding to individual free marked target areas.
  • the infrastructure device can, for example, relate to a control center in a multi-storey car park or a backbone (cloud) of a telematics provider. This means that currently free parking spaces can be marked on a map and offered to other road users via V2X.
  • the means of movement is a vehicle and the free marked target area is a free parking space or an area for inductive charging of an (in this case) electric vehicle. This allows the electric vehicle to be positioned precisely over the inductive charging surface (the inductive charging pad).
  • a further object of the invention relates to a device or a system for segmenting and identifying individual free marked target areas from images of a camera system of a moving device.
  • the device includes
  • An input unit which is designed to receive at least one image of the camera system
  • an output unit which is designed to output a first segment, which corresponds to the individual free marked target area, and second segments of at least one other class of the detected environment of the movement device, to a control unit.
  • the device or the data processing unit can in particular be a microcontroller or processor, a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array) and the like include more and software for performing the appropriate method steps.
  • CPU central processing unit
  • GPU graphics processing unit
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the invention also relates to a movement means that includes the camera system, the control unit and a device according to the invention.
  • the invention also relates to a computer program element which, when a data processing unit is programmed with it, instructs the data processing unit to carry out a method for segmenting and identifying individual free marked target areas from images of a camera system of a movement device.
  • the invention further relates to a computer-readable storage medium on which such a program element is stored.
  • the present invention can thus be implemented in digital electronic circuitry, computer hardware, firmware or software.
  • the invention enables direct, high-precision detection and vectorization of instantiated, free parking spaces using neural networks for more effective automation of automatic parking processes.
  • Flierzu can extend an existing list of detectable classes (curb, street, person, car, lane marking) to include the "parking space" class, generate label data and train the neural network on the basis of corresponding training data.
  • the area between the parking lines is detected and output directly by the algorithm.
  • a separate detection of delimiting parking lines can take place within the scope of the lane marking class.
  • the point clouds are merged into clusters in order to provide the subsequent environment model with a geometric description in the form of a polygon and to enable trajectory planning.
  • height information indirectly derived from the classification of static and dynamic objects, can be output to support trajectory planning / parking functions.
  • the parking area as such is detected directly by the neural network used and can be trained and adapted to all possible variations worldwide with manageable effort (recording, labeling, tracking). This approach also deals directly with situations that would make parking impossible (people, objects in the parking area). Since only really free areas are used as free parking spaces during training.
  • Areas of application of the invention relate to all types of marked target areas that have to be controlled with high precision.
  • FIG. 1 shows a first schematic representation of a device according to the invention in one embodiment
  • FIG. 2 shows a second schematic representation of a device according to the invention in an embodiment in a vehicle
  • a device 1 according to the invention for detecting individual free marked target areas from image data from a number of cameras of an all-round view camera system can have a number of units or circuit components.
  • the device 1 has a plurality of (individual) cameras 2-i, which each generate camera images or video data.
  • the device 1 has four cameras 2-i for generating camera images.
  • the number of cameras 2-i can vary for different applications.
  • the device 1 according to the invention has at least two cameras for generating camera images.
  • the device 1 contains a data processing unit 3, which processes the camera images generated by the cameras 2-i. For example, the camera images can be combined to form an overall image. As shown in FIG.
  • the data processing unit 3 has an artificial neural network 4 .
  • the artificial neural network 4 was trained using a machine learning method in such a way that it semantically segments input image data (Ini) from the cameras (2-i) and thereby instantiates free, marked target areas, such as free parking spaces with a boundary marking.
  • the results of the semantic segmentation are output from the image processing unit 3 to a control unit 5 .
  • the control unit can support a movement of the movement device to a detected free target area or control an autonomous movement of the movement device to the target area.
  • FIG. 2 shows a further schematic representation of a device 1 according to the invention in one embodiment.
  • the device 1 shown in FIG. 2 is used in a surround view system of a vehicle 10, in particular a passenger car or a truck.
  • the four different cameras 2-1, 2-2, 2-3, 2-4 can be located on different sides of the vehicle 10 and have corresponding viewing areas (dashed lines) in front of V, behind H, to the left of L and to the right of R, respectively of the vehicle(s) 10 .
  • the first vehicle camera 2-1 is located at a front of the vehicle 10, the second vehicle camera 2-2 at a rear of the vehicle 10, the third vehicle camera 2-3 at the left side of the vehicle 10, and the fourth vehicle camera 2-4 at the right-hand side of the vehicle 10.
  • the vehicle cameras 2-i are what are known as fish-eye cameras, which have a viewing angle of at least 195°.
  • the vehicle cameras 2 - i can transmit the camera images or camera image frames or video data to the data processing unit 3 via an Ethernet connection.
  • the data processing unit 3 can from the camera images of the vehicle cameras 2-i a composite surround view camera image that has a Control unit 5 and a display can be displayed to the driver and / or a passenger. Free parking spaces can be highlighted in the display. Display is a way of supporting the driver when heading for the marked parking area.
  • control unit 5 can (partly) take over the control (accelerating, braking, changing the direction of travel forwards/backwards, steering) of the vehicle, so that the vehicle drives (partially) autonomously into a free parking space.
  • This embodiment corresponds to a surround view-based "environment perception” (environmental perception) that enables an instantiated parking area extraction.
  • FIG. 3 shows a system with an artificial neural network 4 for the semantic segmentation and identification of individual, free, marked target areas from camera images.
  • the upper part shows a very schematic image (R-4) from a fisheye optics camera, showing, for example, a parking lot with marking lines, vehicles, road surfaces and street lamps, trees and bushes and buildings in the background.
  • R-4 very schematic image
  • the artificial neural network 4 learns to assign a segmentation (S-4) to this image, as shown in part in the lower part of FIG.
  • classes are assigned to each pixel by means of a semantic segmentation.
  • Object classes such as vehicles 30 parked on the left-hand side, are of particular importance.
  • Parking marking lines 32 can also be assigned within the scope of the semantic segmentation.
  • the surface of a parking lot does not necessarily differ from the road surface.
  • the artificial neural network 4 is trained to identify individual (instances of) free marked parking spaces 35 as part of the segmentation. In the present case, there are several individual free parking spaces 35 to the right of the vehicle 30 parked furthest to the right and a single free parking space 35 to the left of this vehicle 30. After completion of the training, the artificial neural network assigns a previously unknown fisheye camera image to a corresponding segmentation with identified parking space instances. 4 schematically shows a bird's-eye view of a parking area 44, for example in front of a supermarket or on one level of a multi-storey car park. The parking lot area 44 has marking lines 52 that define (individual) parking lots 46 . The ego vehicle 20 arrives at the parking area 44 and needs a free parking space 46.
  • Other vehicles 50 are already parked in individual marked parking spaces. Ideally, the other vehicles 50 are within the lines 52 of the parking lots where they are parked.
  • the ego vehicle 20 takes pictures (R-4) with at least one (fisheye optics) camera (2-1; 2-2; 2-3; 2-4) while it is moving, whereby the parking area 44, the marking lines 52 and the other vehicles 50 are detected.
  • the images (R-4) from the vehicle camera (2-1; 2-2; 2-3; 2-4) are processed by a data processing unit 3.
  • the trained artificial neural network 4 of the data processing unit 3 determines segments from the images that are assigned to a semantic class.
  • classes of semantic segments are, for example:
  • Objects such as: buildings, signs, plants, vehicles 50, two-wheelers, trailers, containers, people, animals and also ground markings, e.g. lane markings, parking lot markings 52, ground arrows, ground traffic symbols, stop lines, etc.
  • the artificial neural network is able to identify individual free parking spaces 46 within markings 52 as part of the semantic segmentation. As a result, the ego vehicle 20 can automatically park in a free parking space 46 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion von einzelnen freien markierten Zielflächen (46), wie z.B. Park-/Lande-/Andockplätzen, aus Bildern (R-4) eines Kamerasystems (2-i) einer Bewegungsvorrichtung (10) durch ein maschinelles Lernsystem sowie ein Verfahren zum Trainieren des maschinellen Lernsystems. Das Verfahren zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen (46) umfasst die Schritte: - Erfassen mindestens eines Bildes (R-4) von der Umgebung der Bewegungsvorrichtung (10) durch das Kamerasystem (2-i); - Segmentierung (S-4) der einzelnen freien markierten Zielflächen (46) aus dem mindestens einen Bild (R-4) mittels eines nach einem der vorhergehenden Ansprüche trainierten maschinellen Lernsystems; und - Ausgeben eines ersten Segments (35), das der einzelnen freien markierten Zielfläche (46) entspricht, und zweiter Segmente (30; 32) mindestens einer weiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung (10), an eine Steuereinheit (5).

Description

Beschreibung
Detektion von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion von einzelnen freien markierten Zielflächen, wie z.B. Park-/Lande-/Andockplätzen, aus Bildern eines Kamerasystems einer Bewegungsvorrichtung durch ein maschinelles Lernsystem sowie ein Verfahren zum Trainieren des maschinellen Lernsystems.
EP 2486513 B1 zeigt ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Kamera zur Erkennung von Fahrbahnmarkierungen; erfindungsgemäß ist eine Einrichtung zur Erkennung eines Park- oder Haltemodus des Fahrzeugs vorgesehen, ferner empfängt im Park- oder Haltemodus des Fahrzeugs ein Steuergerät Bilddaten des Umfelds des Fahrzeugs von der Kamera und wertet diese hinsichtlich Park- und/oder Halteverbote anzeigende Fahrbahnmarkierungen aus, wobei das Steuergerät eine Signalisierungsvorrichtung derart ansteuert, dass die Signalisierungsvorrichtung eine Warnmeldung ausgibt, falls im Umfeld des haltenden oder parkenden Fahrzeugs eine ein Parkverbot oder ein Halteverbot anzeigende Fahrbahnmarkierung detektiert wird. Anstelle von einer Kamera ist auch der Einsatz mehrerer Kameras bzw. Bildaufnahmeeinheiten mit unterschiedlichen Blickrichtungen (z.B. Bereiche seitlich des Fahrzeugs) und Einbaupositionen (z.B. in den Außenrückspiegeln) möglich.
DE 102018214915 A1 zeigt ein System und ein Verfahren für ein Fahrzeug zur Erkennung einer Parklücke in Fahrtrichtung. Die Lücke muss mindestens eine vordefinierte Länge und/oder mindestens eine vordefinierte Breite entsprechend der Fahrzeuglänge bzw. -breite aufweisen. Ein Sensor ist dazu eingerichtet ist, eine Außenkontur von Begrenzungen zu bestimmen. Dabei kann der Sensor ein einzelner Sensor sein, z.B. eine Kamera, oder eine Vielzahl von Sensoren, z.B. mehrere Kameras, oder auch mehrere Arten von Sensoren, beispielsweise eine Kamera und ein Radar-Sensor.
Eine Karte ist dazu eingerichtet, die Außenkontur der Begrenzungen einem Ort in der Karte zuzuordnen. Ein Zuordnungsmodul ist dazu eingerichtet, ein Rechteck mit der vordefinierten Länge und der vordefinierten Breite in der Lücke zwischen den Begrenzungen anzuordnen, so dass, wenn das Rechteck in der Lücke anordbar ist, die identifizierte Lücke geeignet ist, das Fahrzeug aufzunehmen.
Die Begrenzungen können Fahrbahnmarkierungen umfassen.
Fahrbahnmarkierungen sind beispielsweise Sperrflächen oder Zebrasteifen oder auch Parkplatzbegrenzungen. Dabei können Fahrbahnmarkierungen in manchen Ausführungsformen in anderer Weise berücksichtigt werden als die Außenkontur. Beispielsweise könnte eine Lücke, die von den Außenkonturen her groß genug ist, die aber unter Berücksichtigung der Parkplatzbegrenzungen nicht mehr groß genug ist, von einem Fahrer des Fahrzeugs eine Entscheidung „Parkplatzbegrenzungen ignorieren“ verlangen.
EP 3731138 A1 zeigt eine Bildverarbeitungsvorrichtung und ein Fahrzeugkamerasystem, mit dem über eine Kantenerkennung Eckmarkierungen an einem Ende einer Parkplatzmarkierung erkannt werden können. Ein vorläufiger Parkplatzrahmen wird dann auf Grundlage der erkannten Eckmarkierungen gesetzt und verifiziert. Dadurch können freie Parkplätze identifiziert werden.
Es ist eine Aufgabe der Erfindung, verbesserte Lösungen zum Identifizieren von freien Zielflächen in Bildern eines Kamerasystems bereitzustellen.
Die Lösung ist Gegenstand der unabhängigen Patentansprüche. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Patentansprüche.
Ausgangspunkt der Lösungsentwicklung ist die Beobachtung von Problemen bei möglichen Konzepten im Bereich der Automatisierung des Parkens.
Eine Möglichkeit besteht darin, Algorithmen zur Parklückendetektion auf Grundlage einer separaten Detektion von Parklinien und Freiraum zu verwenden. Im ersten Schritt wird unter Verwendung der statischen Kamerakalibrierung und der Flache-Welt-Annahme ein Draufsichtbild erzeugt, um gekrümmte Linien (Fischaugen-Domäne) in gerade Linien zu überführen (virtuelle Lochkamera). Auf diesem Bild werden durch klassische Bilderverarbeitung (z.B. Hough-Transformation) Parklinien erkannt, anhand derer modelbasiert Parklücken-Kandidaten detektiert werden. Zusätzlich wird über einen zweiten Algorithmus (z.B. Occupancy-Grid) eine Freiraumerkennung extrahiert. Mit Hilfe dieser zweiten Information kann dann eine freie Parklücke erkannt werden.
Zentrale Voraussetzung dieses möglichen Konzepts ist die korrekte Kalibrierung der Kamera und eine flache Umgebung. Ist die Kalibrierung der Kamera inkorrekt, z.B. durch einseitige Beladung des Fahrzeugs, oder die Umgebung nicht flach (Parken an geneigten Flächen), reduziert sich die Qualität des Draufsichtbilds und damit die Güte der Parklückenerkennung. Zusätzlich wird für die Freiraumerkennung in der Regel eine sehr spärliche objekt-basierte Punktwolken-Information verwendet, welche für homogene Oberflächen, wie Straßenbelag, nur sehr wenig Information liefert und die Funktion nur Anhand von starren Annahmen ermöglicht werden kann.
Deshalb wird im Rahmen der Erfindung ein neuartiges Lösungskonzept verfolgt.
Ein erfindungsgemäßes Verfahren zum Trainieren eines maschinellen Lernsystems zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen, wie z.B. Parkplätze für Fahrzeuge, Landeplätze für Flugzeuge oder Drohnen, Andockplätze für Raumschiffe oder Roboter, aus einem Bild eines umgebungserfassenden Kamerasystems einer Bewegungsvorrichtung (10) im Rahmen einer semantischen Segmentierung des Bildes sieht folgendes vor. Trainingsdaten werden bereitgestellt, die Trainings-Eingabebilder und zugeordnete Trainings-Zielsegmentierungen umfassen. Mittels der Trainingsdaten werden Parameter des maschinellen Lernsystems derart angepasst werden, dass das maschinelle Lernsystem bei Eingabe der Trainings-Eingabebilder Ausgabedaten erzeugt, die den Trainings-Zielsegmentierungen ähnlich sind. Ähnlich kann bedeuten, dass die Unterschiede zwischen den erzeugten Ausgabedaten und den Trainings-Zielsegmentierungen gering sind. Die Anpassung kann durch eine Minimierung einer Funktion erfolgen, die diese Unterschiede rechnerisch beschreibt. Die Trainings-Zielsegmentierungen umfassen mindestens ein erstes Segment (z.B. Position und Ausdehnung bzw. Größe des Segments), das der einzelnen freien markierten Zielfläche entspricht. Ein erstes Segment soll dabei jeweils genau einer einzelnen (d.h. einer Instanz einer) freien markierten Zielfläche entsprechen. Markiert kann beispielsweise bedeuten, dass die Zielfläche durch eine Begrenzungslinie markiert ist oder anderweitig als Zielfläche optisch erkennbar ist. Die Trainings-Zielsegmentierungen umfassen mindestens ein zweites Segment, das mindestens einer weiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung entspricht. In den meisten Fällen können mehrere zweite Segmente vorliegen, die unterschiedlichen Klassen entsprechen.
Das maschinelle Lernsystem umfasst beispielsweise ein künstliches neuronales Netzwerk, dessen Parameter (z.B. Gewichte) mittels der Trainingsdaten angepasst werden.
In einer Ausführungsform gegen die Trainings-Zielsegmentierungen einen Typ eines ersten Segments an. Sofern die Zielfläche einem Parkplatz entspricht, kann als Typ des Parkplatz beispielsweise ein Behindertenparkplatz, Frauenparkplatz, Elektrofahrzeugparkplatz und/oder ein Parkplatz für Familien mit Kindern angegeben werden.
Gemäß einer Ausführungsvariante umfassen die zweiten Segmente Objekte in der Umgebung der Bewegungsvorrichtung und es wird mindestens eine Klasseninformation des Objekts angegeben. Beispiele für Klasseninformation der zweiten (semantischen) Segmente sind:
Bebauung, Schilder, Pflanzen, Fahrzeuge, Zweiräder, Anhänger, Container, Personen, Tiere, etc. Auch Bodenmarkierungen können als Objekte vorgesehen sein, z.B. Fahrspurbegrenzungslinien, Parkplatzbegrenzungslinien 52, Bodenpfeile, Bodenverkehrssymbole, Haltelinien etc.
In einer Ausführungsform umfasst das Kamerasystem eine Kamera mit einer Fischaugenoptik. Die Fischaugenoptikkamera kann einen Erfassungswinkel von mehr als 180°, z.B. etwa 195° aufweisen. Dann sind die Trainings-Eingabebilder Bilder der Fischaugenoptikkamera. Diese können ohne Rektifizierung (Korrektur der optischen Abbildungseigenschaften der Fischaugenoptik) verwendet werden. In diesem Fall entsprechen auch die Trainings-Zielsegmentierungen der Fischaugen-Abbildung. Diese Ausführungsform bietet den Vorteil, dass eine Segmentierung auf der Basis von Fischaugenoptikbildern das Verfahren sehr robust gegenüber Rotationen des Kamerasystems macht.
Ein erfindungsgemäßes (computerimplementiertes) Verfahren zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung, umfasst die Schritte:
- Erfassen mindestens eines Bildes von der Umgebung der Bewegungsvorrichtung durch das Kamerasystem;
- Segmentierung der einzelnen freien markierten Zielflächen aus dem mindestens einen Bild mittels eines nach einem der vorhergehenden Ansprüche trainierten maschinellen Lernsystems,
- Ausgeben eines ersten Segments, das der (identifizierten) einzelnen freien markierten Zielfläche entspricht, und zweiter Segmente mindestens einerweiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung, an eine Steuereinheit. Die Steuereinheit kann auf der Grundlage der empfangenen Segmente eine Bewegung der Bewegungsvorrichtung zu der freien Zielfläche unterstützen oder autonom, d.h. vollautomatisiert durchführen. Hierzu können die Segmente in Informationen zur Geometrie der realen Umgebung übersetzt werden, beispielsweise über ein präzise kalibriertes Kamerasystem. Auch kann die Annahme getroffen werden, dass die Umgebungsoberfläche, auf der sich die Bewegungsvorrichtung befindet, im Wesentlich eben ist. Manche Kamerasysteme bieten besondere Möglichkeiten der 3D-Rekonstruktion der erfassten Umgebung, z.B. Stereoverfahren via Triangulation bei zwei Einzelkameras mit überlappendem Sichtbereich.
In einer Ausführungsform kann das Kamerasystem mehrere (Fischaugen-) Kameras umfassen, die derart angeordnet und konfiguriert sind, dass eine 360° Erfassung der Umgebung der Bewegungsvorrichtung erfolgt.
Gemäß einer Ausführungsvariante kann durch die Steuereinheit auf der Grundlage der ausgegebenen Segmente eine Unterstützung zum Bewegen der Bewegungsvorrichtung zu der freien Zielfläche durch eine optische Anzeige erfolgen. Beispielsweise kann die Umgebung der Bewegungsvorrichtung visualisiert werden und die freie Zielfläche kann dabei visuell hervorgehoben werden. Diese Visualisierung kann in einem Display der Bewegungsvorrichtung angezeigt werden.
In einer Ausführungsform erfolgt durch die Steuereinheit auf der Grundlage der ausgegebenen Segmente eine Unterstützung zum Bewegen der Bewegungsvorrichtung zu der freien Zielfläche durch akustische, haptische oder die Bewegung der Bewegungsvorrichtung teilweise steuernde Maßnahmen (z.B. Lenk oder Bremsunterstützung bei einem Einparkvorgang).
Gemäß einer Ausführungsvariante erfolgt durch die Steuereinheit auf der Grundlage der ausgegebenen Segmente ein vollautomatisiertes Bewegen der Bewegungsvorrichtung zu der freien Zielfläche erfolgt, z.B. ein autonomes bzw. vollautomatisiertes Einparken.
In einer Ausführungsform wir durch die Steuereinheit auf der Grundlage der ausgegebenen Segmente, die einzelnen freien markierten Zielflächen entsprechen, eine Information zur Lokalisierung der freien markierten Zielflächen an eine Infrastruktureinrichtung außerhalb der Bewegungsvorrichtung (drahtlos) übermittelt wird. Die Infrastruktureinrichtung kann beispielsweise ein Kontrollzentrum eines Parkhauses betreffen oder ein Backbone (Cloud) eines Telematik-Anbieters. Dadurch können aktuell freien Parkflächen in einer Karte markiert und anderen Verkehrsteilnehmern über V2X angeboten werden.
Gemäß einer Ausführungsvariante ist das Bewegungsmittel ein Fahrzeug und die freie markierte Zielfläche ist ein freier Parkplatz oder eine Fläche zum induktiven Laden eines (in diesem Falle) elektrischen Fahrzeugs. Dadurch kann das Elektrofahrzeug präzise über der induktiven Ladefläche (dem induktiven Charging Pad) positioniert werden.
Ein weiterer Gegenstand der Erfindung betrifft eine Vorrichtung bzw. ein System zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung. Die Vorrichtung umfasst
- eine Eingabeeinheit, die zum Empfangen mindestens eines Bildes des Kamerasystems ausgebildet ist;
- eine Datenverarbeitungseinheit, die zum Ausführen eines erfindungsgemäßen Verfahrens ausgebildet ist; und
- eine Ausgabeeinheit, die ausgebildet ist zum Ausgeben eines ersten Segments, das der einzelnen freien markierten Zielfläche entspricht, und zweiter Segmente mindestens einer weiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung, an eine Steuereinheit.
Die Vorrichtung bzw. die Datenverarbeitungseinheit kann insbesondere einen Mikrocontroller oder -Prozessor, eine Zentrale Verarbeitungseinheit (CPU), ein Grafische Verarbeitungseinheit (GPU), einen Digital Signal Processor (DSP), einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen.
Die Erfindung betrifft ferner ein Bewegungsmittel, das das Kamerasystem, die Steuereinheit und eine erfindungsgemäße Vorrichtung umfasst.
Die Erfindung betrifft weiterhin ein Computer Programmelement, welches, wenn damit eine Datenverarbeitungseinheit programmiert wird, die Datenverarbeitungseinheit dazu anweist, ein Verfahren zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung durchzuführen.
Die Erfindung betrifft weiterhin ein Computerlesbares Speichermedium, auf dem ein solches Programmelement gespeichert ist.
Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Hardware, Firmware oder Software implementiert sein. Mit anderen Worten ermöglicht die Erfindung eine direkte, hochpräzise Detektion und Vektorisierung instanziierter, freier Parkplätze mittels Verwendung neuronaler Netzwerke, zur effektiveren Automatisierung von automatischen Einparkvorgängen. Sowohl Labeling als auch Detektion, direkt auf Fischaugen(195°)-Images, ohne zusätzliche (Top-View)-Rektifizierung, verbessern die Genauigkeit der Form von freien markierten Zielflächen.
Ein Aspekt betrifft die direkte Detektion freier Parkflächen durch semantische Segmentierung in der Fischaugen-Domäne. Flierzu kann eine bestehende Liste an detektierbaren Klassen (Bordstein, Straße, Person, Auto, Fahrbahnmarkierung) um die Klasse „Parklücke“ erweitert, Labeldaten erzeugt und das neuronale Netz auf Basis entsprechender Trainingsdaten trainiert.
Dabei wird der Bereich zwischen den Parklinien detektiert und direkt vom Algorithmus ausgegeben. Eine separate Detektion von begrenzenden Parklinien kann im Rahmen der Klasse Fahrbahnmarkierung stattfinden.
Im letzten Schritt werden die Punktwolken zu Clustern fusioniert, um dem nachfolgenden Environment Modell eine geometrische Beschreibung in Form eines Polygons zur Verfügung zu stellen und die Trajektorienplanung zu ermöglichen.
Zusätzlich können noch Höheninformationen, indirekt abgeleitet aus der Klassifizierung der statischen und dynamischen Objekte, zur Unterstützung der Trajektorienplanung / Parkfunktion, ausgegeben werden.
Wesentliche Vorteile der Erfindung werden darin gesehen, dass die direkte Parklückendetektion bekannte Verfahren vereinfacht, da bei bekannten Verfahren die Parklücke erst aufwändig und fehleranfällig die Parklücke mittels vorhandener Parkmarker gebildet werden muss, inkl. manueller Anpassungen bzgl. der hohen Variabilität der Linienmarkierungen weltweit (weiße Linien, rote Pflastersteine, etc.).
Bei der direkten Parklückendetektion hingegen wird die Parkfläche als solches direkt durch das verwendete neuronale Netz detektiert und kann mittels Training auf alle möglichen Variationen weltweit bei überschaubarem Aufwand (Recording, Labeling, Tracking) trainiert und angepasst werden. Dieser Ansatz behandelt auch direkt Situationen, die ein Einparken unmöglich machen würden (Personen, Gegenstände auf der Parkfläche). Da nur wirklich freie Bereiche als freie Parkflächen im Training verwendet werden.
Anwendungsgebiete der Erfindung betreffen alle Arten von markierten Zielflächen, die hochpräzise angesteuert werden müssen. Z.B. automatisierte Induktions-Ladeflächen für Elektrofahrzeuge, Hubschrauberlandeplätze, Drop-Zones- für automatisierte Paketlieferungen, etc.
Im Folgenden werden Ausführungsbeispiele und Fig. näher beschrieben. Dabei zeigen
Fig. 1 : eine erste schematische Darstellung einer erfindungsgemäßen Vorrichtung in einer Ausgestaltung;
Fig. 2: eine zweite schematische Darstellung einer erfindungsgemäßen Vorrichtung in einer Ausgestaltung in einem Fahrzeug;
Fig. 3: ein System mit einem neuronalen Netz zur Detektion von einzelnen freien markierten Zielflächen; und
Fig. 4: ein Umgebungsszenario, in dem einzelne freie markierte Parkplätze detektiert werden.
Wie man aus Fig. 1 erkennen kann, kann eine erfindungsgemäße Vorrichtung 1 zur Detektion von einzelnen freien markierten Zielflächen aus Bilddaten von mehreren Kameras eines Rundumsichtkamerasystems mehrere Einheiten bzw. Schaltungskomponenten aufweisen. Bei dem in Fig. 1 dargestellten Ausführungsbeispiel weist die Vorrichtung 1 mehrere (Einzel-) Kameras 2-i auf, die jeweils Kamerabilder bzw. Videodaten erzeugen. Bei dem in Fig. 1 dargestellten Ausführungsbeispiel weist die Vorrichtung 1 vier Kameras 2-i zur Erzeugung von Kamerabildern auf. Die Anzahl der Kameras 2-i kann für unterschiedliche Anwendungen variieren. Die erfindungsgemäße Vorrichtung 1 weist mindestens zwei Kameras zur Erzeugung von Kamerabildern auf. Die Vorrichtung 1 enthält eine Datenverarbeitungseinheit 3, welche die von den Kameras 2-i erzeugten Kamerabilder verarbeitet. Beispielsweise können die Kamerabilder zu einem Gesamtbild zusammengesetzt werden. Wie in Fig. 1 dargestellt, weist die Datenverarbeitungseinheit 3 ein künstliches neuronales Netzwerk 4 auf. Das künstliche neuronale Netzwerk 4 wurde mittels eines maschinellen Lernverfahrens dahingehend trainiert, dass es Eingangsbilddaten (Ini) der Kameras (2-i) semantisch segmentiert und dabei freie markierte Zielflächen, wie z.B. freie Parkplätze mit einer Begrenzungsmarkierung, instantiiert. Die Ergebnisse der semantischen Segmentierung werden von der Bildverarbeitungseinheit 3 an eine Steuereinheit 5 ausgegeben. Die Steuereinheit kann eine Bewegung der Bewegungsvorrichtung zu einer detektierten freien Zielfläche unterstützen oder eine autonome Bewegung der Bewegungsvorrichtung zu der Zielfläche steuern.
Fig. 2 zeigt eine weitere schematische Darstellung einer erfindungsgemäßen Vorrichtung 1 in einer Ausgestaltung. Die in Fig. 2 dargestellte Vorrichtung 1 wird in einem Surround View System eines Fahrzeugs 10, insbesondere eines Personenkraftwagens oder eines Lastkraftwagens, eingesetzt. Hierbei können sich die vier verschiedenen Kameras 2-1 , 2-2, 2-3, 2-4 an verschiedenen Seiten des Fahrzeugs 10 befinden und weisen entsprechende Sichtbereiche (gestrichelte Linien) vor V, hinter H, links L und rechts R dem bzw. des Fahrzeug(s) 10 auf. Beispielsweise befindet sich die erste Fahrzeugkamera 2-1 an einer Vorderseite des Fahrzeugs 10, die zweite Fahrzeugkamera 2-2 an einer Hinterseite des Fahrzeugs 10, die dritte Fahrzeugkamera 2-3 an der linken Seite des Fahrzeugs 10 und die vierte Fahrzeugkamera 2-4 an der rechten Seite des Fahrzeugs 10. Bei den Fahrzeugkameras 2-i handelt es sich bei einer möglichen Ausführungsform um sogenannte Fischaugenkameras, die einen Blickwinkel von mindestens 195° aufweisen. Die Fahrzeugkameras 2-i können die Kamerabilder bzw. Kamera-Bild-Frames bzw. Videodaten bei einer möglichen Ausführungsform über eine Ethernet-Verbindung an die Datenverarbeitungseinheit 3 übertragen. Die Datenverarbeitungseinheit 3 kann aus den Kamerabildern der Fahrzeugkameras 2-i ein zusammengesetztes Surround-View-Kamerabild, das über eine Steuereinheit 5 und ein Display dem Fahrer und/oder einem Passagier angezeigt werden kann. Bei der Anzeige können freie Parkplätze hervorgehoben werden. Anzeigen ist eine Möglichkeit, den Fahrer beim Ansteuern der markierten Parkfläche zu unterstützen. Bei (teil-) automatisierten Fahrzeugen, kann die Steuereinheit 5 die Steuerung (Beschleunigen, Bremsen, Fahrtrichtung vorwärts/rückwärts ändern, Lenken) des Fahrzeugs (teilweise) übernehmen, so dass das Fahrzeug (teil-) autonom auf einen freien Parkplatz fährt.
Diese Ausführungsform entspricht einer Surround View basierten „Environment Perception“ (Umgebungswahrnehmung), die eine instanziierte Parkflächen Extraktion ermöglicht.
Fig. 3 zeigt ein System mit einem künstlichen neuronalen Netzwerk 4 zur semantischen Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen aus Kamerabildern.
Im oberen Teil ist sehr schematisch ein Bild (R-4) einer Fischaugenoptikkamera dargestellt, auf dem z.B. ein Parkplatzgelände mit Markierungslinien, Fahrzeugen, Fahrbahnflächen sowie im Hintergrund Straßenlampen, Bäumen und Sträuchern und Gebäuden zu erkennen sind. Das künstliche neuronalen Netzwerk 4 lernt im Rahmen des Trainings, diesem Bild eine Segmentierung (S-4) zuzuordnen, wie sie auszugsweise im unteren Teil von Fig. 3 dargestellt ist. Hier werden mittels einer semantischen Segmentierung jedem Pixel Klassen zugeordnet. Von Bedeutung sind insbesondere Objektklassen, wie z.B. die auf der linken Seite parkenden Fahrzeuge 30. Auch Parkmarkierungslinien 32 können im Rahmen der semantischen Segmentierung zugeordnet werden. Dagegen unterscheidet sich die Oberfläche eines Parkplatzes nicht zwingend von der Fahrbahnoberfläche. Das künstliche neuronale Netzwerk 4 ist jedoch dahingehend trainiert, dass es einzelne (Instanzen von) freie markierte Parkplätze 35 im Rahmen der Segmentierung identifiziert. Vorliegend befinden sich mehrere einzelne freie Parkplätze 35 rechts des am weitesten rechts parkenden Fahrzeugs 30 und ein einzelner freier Parkplatz 35 links dieses Fahrzeugs 30. Nach Abschluss des Trainings ordnet das künstliche neuronale Netzwerk einem bislang unbekannten Fischaugenkamerabild eine entsprechende Segmentierung mit identifizierten Parkplatzinstanzen zu. Fig. 4 zeigt schematisch eine Sicht aus der Vogelperspektive auf ein Parkplatzgelände 44, beispielsweise vor einem Supermarkt oder auf einer Ebene eines Parkhauses. Das Parkplatzgelände 44 weist Markierungslinien 52 auf, die (einzelne) Parkplätze 46 definieren. Das Ego-Fahrzeug 20 kommt auf dem Parkgelände 44 an und hat Bedarf an einem freien Parkplatz 46. Andere Fahrzeuge 50 sind auf einzelnen markierten Parkplätzen bereits abgestellt. Im Idealfall befinden sich die anderen Fahrzeuge 50 innerhalb der Linien 52 der Parkplätze, auf denen sie abgestellt wurden. Das Ego-Fahrzeug 20 nimmt während es sich bewegt Bilder (R-4) mit mindestens einer (Fischaugenoptik-) Kamera (2-1 ; 2-2; 2-3; 2-4) auf, wodurch das Parkplatzgelände 44, die Markierungslinien 52 und die weiteren Fahrzeuge 50 erfasst werden.
Die Bilder (R-4) der Fahrzeugkamera (2-1 ; 2-2; 2-3; 2-4) werden durch eine Datenverarbeitungseinheit 3 prozessiert. Das trainierte künstliche neuronale Netzwerk 4 der Datenverarbeitungseinheit 3 ermittelt Segmente aus den Bildern, die einer semantischen Klasse zugeordnet sind.
Beispiele für Klassen von semantischen Segmenten sind beispielsweise:
Objekte, wie z.B.: Bebauung, Schilder, Pflanzen, Fahrzeuge 50, Zweiräder, Anhänger, Container, Personen, Tiere und auch Bodenmarkierungen, z.B. Fahrspurbegrenzungslinien, Parkplatzbegrenzungslinien 52, Bodenpfeile, Bodenverkehrssymbole, Haltelinien etc.
Aufgrund des anhand von Fig. 3 erläuterten Trainings ist das künstliche neuronale Netzwerk in der Lage, einzelne freie Parkplätze 46 innerhalb von Markierungen 52 im Rahmen der semantischen Segmentierung zu identifizieren. Dadurch kann das Ego-Fahrzeug 20 automatisiert auf einem freien Parkplatz 46 einparken.

Claims

Patentansprüche
1. Verfahren zum Trainieren eines maschinellen Lernsystems zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen (46) aus einem Bild eines umgebungserfassenden Kamerasystems (2-i) einer Bewegungsvorrichtung (10) im Rahmen einer semantischen Segmentierung des Bildes, wobei Trainingsdaten bereitgestellt werden, die Trainings-Eingabebilder (R-4) und zugeordnete Trainings-Zielsegmentierungen (S-4) umfassen, und mittels der Trainingsdaten (R-4, S-4) Parameter des maschinellen Lernsystems derart angepasst werden, dass das maschinelle Lernsystem bei Eingabe der Trainings-Eingabebilder (R-4) Ausgabedaten erzeugt, die den Trainings-Zielsegmentierungen (S-4) ähnlich sind, wobei die Trainings-Zielsegmentierungen (S-4) umfassen:
- ein erstes Segment (35), das der einzelnen freien markierten Zielfläche (46) entspricht, und
- mindestens ein zweites Segment (30; 32) mindestens einer weiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung (10).
2. Verfahren nach Anspruch 1 , wobei die Trainings-Zielsegmentierungen (S-4) zusätzlich einen Typ eines ersten Segments (35) angeben.
3. Verfahren nach Anspruch 1 oder 2, wobei die zweiten Segmente (30; 32) Objekte (50; 52) umfassen und mindestens eine Klasseninformation des Objekts.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Kamerasystem (2-i) eine Kamera (2-1 ; 2-2; 2-3; 2-4) mit Fischaugenoptik umfasst, und wobei die Trainings-Eingabebilder (R-4) Bilder der Fischaugenoptikkamera sind.
5. Verfahren zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen (46) aus Bildern (R-4) eines Kamerasystems (2-i) einer Bewegungsvorrichtung (10), umfassend die Schritte: - Erfassen mindestens eines Bildes (R-4) von der Umgebung der Bewegungsvorrichtung (10) durch das Kamerasystem (2-i);
- Segmentierung (S-4) der einzelnen freien markierten Zielflächen (46) aus dem mindestens einen Bild (R-4) mittels eines nach einem der vorhergehenden Ansprüche trainierten maschinellen Lernsystems,
- Ausgeben eines ersten Segments (35), das der einzelnen freien markierten Zielfläche (46) entspricht, und zweiter Segmente (30; 32) mindestens einerweiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung (10), an eine Steuereinheit (5).
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Kamerasystem (2-i) mindestens eine Kamera (2-1 ; 2-2; 2-3; 2-4) mit einer Fischaugenoptik umfasst.
7. Verfahren nach Anspruch 6, wobei die Segmentierung (S-4) auf dem Bild (R-4) der Fischaugenoptikkamera durchgeführt wird.
8. Verfahren nach Anspruch 6 oder 7, wobei das Kamerasystem (2-i) mehrere Kameras (2-1 ; 2-2; 2-3; 2-4) umfasst, die derart angeordnet und konfiguriert sind, dass eine 360° Erfassung der Umgebung der Bewegungsvorrichtung (10) erfolgt.
9. Verfahren nach einem der Ansprüche 5 bis 8, wobei durch die Steuereinheit (5) auf der Grundlage der ausgegebenen Segmente (30; 32; 35) eine Unterstützung zum Bewegen der Bewegungsvorrichtung (10) zu der freien Zielfläche (46) durch eine optische Anzeige erfolgt.
10. Verfahren nach einem der Ansprüche 5 bis 9, wobei durch die Steuereinheit (5) auf der Grundlage der ausgegebenen Segmente (30; 32; 35) eine Unterstützung zum Bewegen der Bewegungsvorrichtung (10) zu der freien Zielfläche (46) durch akustische, haptische oder die Bewegung der Bewegungsvorrichtung teilweise steuernde Maßnahmen erfolgt.
11 . Verfahren nach einem der Ansprüche 5 bis 8, wobei durch die Steuereinheit (5) auf der Grundlage der ausgegebenen Segmente (30; 32; 35) ein vollautomatisiertes Bewegen der Bewegungsvorrichtung (10) zu der freien Zielfläche (46) erfolgt.
12. Verfahren nach einem der Ansprüche 5 bis 11 , wobei durch die Steuereinheit (5) auf der Grundlage der ausgegebenen Segmente (35), die einzelnen freien markierten Zielflächen entsprechen, eine Information zur Lokalisierung der freien markierten Zielflächen an eine Infrastruktureinrichtung außerhalb der Bewegungsvorrichtung übermittelt wird.
13. Verfahren nach einem der Ansprüche 5 bis 12, wobei das Bewegungsmittel ein Fahrzeug ist und die freie markierte Zielfläche ein freier Parkplatz oder eine Fläche zum induktiven Laden eines elektrischen Fahrzeugs ist.
14. Vorrichtung bzw. System zur Segmentierung und Identifizierung von einzelnen freien markierten Zielflächen (46) aus Bildern (R-4) eines Kamerasystems (2-i) einer Bewegungsvorrichtung (10), umfassend
- eine Eingabeeinheit, die zum Empfangen mindestens eines Bildes (R-4) ausgebildet ist;
- eine Datenverarbeitungseinheit (3), die zum Ausführen des Verfahrens nach einem der Ansprüche 5 bis 13 ausgebildet ist; und
- eine Ausgabeeinheit, die zum Ausgeben eines ersten Segments (35), das der einzelnen freien markierten Zielfläche (46) entspricht, und zweiter Segmente (30; 32) mindestens einer weiteren Klasse der erfassten Umgebung der Bewegungsvorrichtung (10), an eine Steuereinheit (5) ausgebildet ist.
15. Bewegungsmittel (10), umfassend das Kamerasystem (2-i), die Steuereinheit (5) und eine Vorrichtung nach Anspruch 14.
EP22719508.8A 2021-04-22 2022-04-19 Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung Pending EP4327241A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021204030.6A DE102021204030A1 (de) 2021-04-22 2021-04-22 Detektion von einzelnen freien markierten Zielflächen aus Bildern eines Kamerasystems einer Bewegungsvorrichtung
PCT/DE2022/200073 WO2022223087A1 (de) 2021-04-22 2022-04-19 Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung

Publications (1)

Publication Number Publication Date
EP4327241A1 true EP4327241A1 (de) 2024-02-28

Family

ID=81392888

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22719508.8A Pending EP4327241A1 (de) 2021-04-22 2022-04-19 Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung

Country Status (5)

Country Link
US (1) US20240371179A1 (de)
EP (1) EP4327241A1 (de)
JP (1) JP7685614B2 (de)
DE (1) DE102021204030A1 (de)
WO (1) WO2022223087A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7783279B2 (ja) * 2020-09-08 2025-12-09 フォーティートゥ ドット インコーポレイテッド 人工神経網を用いた走行映像に対する車両搭乗可能領域判断方法及び装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100654765B1 (ko) * 2005-09-26 2006-12-08 삼성전자주식회사 헤드구동장치와 이를 포함하는 잉크젯 프린터 및 그데이터처리방법
JP5105481B2 (ja) * 2008-05-27 2012-12-26 国立大学法人鳥取大学 車線検出装置、車線検出方法、及び車線検出プログラム
DE102009048323A1 (de) 2009-10-05 2011-04-07 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Kamera zur Erkennung von Fahrbahnmarkierungen
US10395125B2 (en) * 2016-10-06 2019-08-27 Smr Patents S.A.R.L. Object detection and classification with fourier fans
JP2017140890A (ja) 2016-02-09 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
DE102018214915A1 (de) 2018-09-03 2020-03-05 Continental Teves Ag & Co. Ohg System zur Erkennung einer Parklücke in Fahrtrichtung
US10984659B2 (en) 2018-09-13 2021-04-20 Volvo Car Corporation Vehicle parking availability map systems and methods
CN111169468B (zh) 2018-11-12 2023-10-27 北京魔门塔科技有限公司 一种自动泊车的系统及方法
CN109840883B (zh) * 2019-01-10 2022-12-23 达闼机器人股份有限公司 一种训练物体识别神经网络的方法、装置及计算设备
US11567514B2 (en) * 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
DE112020000369T5 (de) * 2019-03-16 2021-10-21 Nvidia Corporation Objekterfassung unter verwendung von verzerrten polygonen, die zur parkplatzerfassung geeignet ist
JP7288793B2 (ja) 2019-04-25 2023-06-08 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN111274343B (zh) * 2020-01-20 2023-11-24 阿波罗智能技术(北京)有限公司 一种车辆定位方法、装置、电子设备及存储介质
DE102020103741A1 (de) * 2020-02-13 2021-08-19 Car.Software Estonia As Verfahren zur räumlichen Charakterisierung wenigstens einer Fahrzeugabbildung
CN112330601B (zh) * 2020-10-15 2024-03-19 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质
US11721111B2 (en) * 2020-10-16 2023-08-08 Verizon Connect Development Limited Systems and methods for detecting objects in an image of an environment
FR3118671A1 (fr) * 2021-01-06 2022-07-08 Psa Automobiles Sa Méthodes et systèmes pour masquer des données visuelles à caractère personnel enregistrées pour tester une fonction d'aide à la conduite

Also Published As

Publication number Publication date
JP7685614B2 (ja) 2025-05-29
JP2024517614A (ja) 2024-04-23
WO2022223087A1 (de) 2022-10-27
US20240371179A1 (en) 2024-11-07
DE102021204030A1 (de) 2022-10-27

Similar Documents

Publication Publication Date Title
DE112018000968B4 (de) Bildanzeigesystem, Bildanzeigeverfahren und Aufzeichnungsmedium
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102019114622B4 (de) Erfassung und planare darstellung dreidimensionaler fahrspuren in einer strassenszene
DE102013213039A1 (de) Assistenzsystem und Assistenzverfahren zur Unterstützung bei der Steuerung eines Kraftfahrzeugs
DE102019216206A1 (de) Vorrichtung und Verfahren zum Bestimmen einer Kehrtwendestrategie eines autonomen Fahrzeugs
DE102020113848A1 (de) Ekzentrizitätsbildfusion
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102011084084A1 (de) Anzeigeverfahren und Anzeigesystem für ein Fahrzeug
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
DE102022125914A1 (de) Fusion von bilddaten und lidar-daten zur verbesserten objekterkennung
DE102016211730A1 (de) Verfahren zur Vorhersage eines Fahrbahnverlaufs einer Fahrbahn
EP3704631A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102016119729A1 (de) Steuern eines Personenbeförderungsfahrzeugs mit Rundumsichtkamerasystem
DE102021213180B4 (de) Verfahren zur automatischen Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs und Benachrichtigungssystem für ein Fahrzeug
DE102014214507B4 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
EP4327241A1 (de) Detektion von einzelnen freien markierten zielflächen aus bildern eines kamerasystems einer bewegungsvorrichtung
DE102014214505B4 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102016120066A1 (de) Computer-implementiertes Verfahren zum Kontrollieren bzw. Testen eines Objekterkennungssystems
DE102020213146B3 (de) Kamerasystem zur Umfelderfassung für ein Fahrzeug sowie Verfahren zum Betrieb eines derartigen Kamerasystems
DE102018210712A1 (de) System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung
DE102019128948A1 (de) Bestimmung eines Verkehrsampelleuchtzustands
DE102022113810A1 (de) Verfahren und vorrichtung zum steuern eines automatisierten kraftfahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231122

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20251107