DE102023101022A1 - Unterstützter fahrzeugbetrieb mit verbesserter objektdetektion - Google Patents

Unterstützter fahrzeugbetrieb mit verbesserter objektdetektion Download PDF

Info

Publication number
DE102023101022A1
DE102023101022A1 DE102023101022.0A DE102023101022A DE102023101022A1 DE 102023101022 A1 DE102023101022 A1 DE 102023101022A1 DE 102023101022 A DE102023101022 A DE 102023101022A DE 102023101022 A1 DE102023101022 A1 DE 102023101022A1
Authority
DE
Germany
Prior art keywords
vehicle
coupler
controller
image data
trailer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102023101022.0A
Other languages
English (en)
Inventor
David Michael Herman
Akshay Vaidya
Larry Sanders
Binduhasini Sairamesh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102023101022A1 publication Critical patent/DE102023101022A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1407—General lighting circuits comprising dimming circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R1/1207—Mirror assemblies combined with other articles, e.g. clocks with lamps; with turn indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/026—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation combined with automatic distance control, i.e. electronic tow bar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20—Fog lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/22—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for reverse drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/14—Tractor-trailers, i.e. combinations of a towing vehicle and one or more towed vehicles, e.g. caravans; Road trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/203—Presence of trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein Fahrzeugsteuersystem offenbart, beinhaltend eine Kamera, die dazu konfiguriert ist, Bilddaten zu erfassen, die ein Sichtfeld in der Nähe des Fahrzeugs abbilden. Das Fahrzeugsteuersystem beinhaltet ferner eine Vielzahl von Lichtquellen in Verbindung mit dem Fahrzeug und eine Steuerung. Die Steuerung ist dazu konfiguriert, eine Vielzahl von Leuchten in einem abwechselnden Muster zu aktivieren und Licht, das von mindestens einem Objekt reflektiert wird, mit der Kamera zu einem Zeitpunkt und entsprechend dem abwechselnden Muster der Vielzahl von Leuchten zu erfassen. Als Reaktion auf Variationen des Lichts, das von dem abwechselnden Muster auf das mindestens eine Objekt auftrifft, ist die Steuerung dazu konfiguriert, einen Abstand des Objekts zu identifizieren.

Description

  • GEBIET DER OFFENBARUNG
  • Die vorliegende Offenbarung betrifft im Allgemeinen ein System zum Unterstützen eines Fahrzeug-Anhänger-Kupplungsvorgangs. Insbesondere betrifft die vorliegende Offenbarung ein System zur verbesserten Objektdetektion für unterstützten Fahrzeugbetrieb.
  • ALLGEMEINER STAND DER TECHNIK
  • Das Kuppeln eines Anhängers an ein Fahrzeug kann schwierig und zeitaufwändig sein. Insbesondere kann Ausrichten einer Kupplungskugel eines Fahrzeugs mit der gewünschten Anhängerkupplung abhängig vom Ausgangsstandort des Anhängers relativ zu dem Fahrzeug ein wiederholtes Vor- und Zurückfahren in Koordination mit mehreren Lenkmanövern erforderlich machen, um das Fahrzeug angemessen zu positionieren. Ferner kann die Anhängerkupplung für einen entscheidenden Teil des zur richtigen Kupplungskugelausrichtung erforderlichen Fahrens nicht sichtbar sein und kann die Kupplungskugel unter normalen Umständen zu keinem Zeitpunkt von dem Fahrer tatsächlich gesehen werden. Dieser Mangel an Sichtlinien macht eine Ableitung der Positionierung der Kupplungskugel und der Anhängerkupplung auf Grundlage von Erfahrungen mit einem bestimmten Fahrzeug und Anhänger erforderlich und kann dennoch mehrmaliges Anhalten und Aussteigen aus dem Fahrzeug erforderlich machen, um die Ausrichtung zu bestätigen oder eine angemessene Korrektur für eine nachfolgende Reihe an Manövern zu beachten. Dementsprechend sind weitere Verbesserungen wünschenswert.
  • KURZDARSTELLUNG DER OFFENBARUNG
  • Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Fahrzeugsteuersystem offenbart, das eine Kamera umfasst, die dazu konfiguriert ist, ein Sichtfeld in der Nähe des Fahrzeugs zu erfassen. Das Fahrzeugsteuersystem umfasst ferner eine Vielzahl von Lichtquellen in Verbindung mit dem Fahrzeug und eine Steuerung. Die Steuerung ist dazu konfiguriert, eine Vielzahl von Leuchten in einem abwechselnden Muster zu aktivieren und Licht, das von mindestens einem Objekt reflektiert wird, mit der Kamera zu einem Zeitpunkt und entsprechend dem abwechselnden Muster der Vielzahl von Leuchten zu erfassen. Als Reaktion auf Variationen des Lichts, das von dem abwechselnden Muster auf das mindestens eine Objekt auftrifft, ist die Steuerung dazu konfiguriert, Tiefeninformationen für mindestens ein Pixel der Bilddaten entsprechend dem Standort des mindestens einen Objekts zu identifizieren.
  • Beispiele für verschiedene Aspekte der Offenbarung können ein beliebiges oder eine Kombination der folgenden Merkmale beinhalten:
    • - die Steuerung identifiziert einen Abstand von dem Fahrzeug zu dem mindestens einen Objekt durch Verarbeiten der Tiefeninformationen und der Bilddaten;
    • - das mindestens eine Objekt umfasst mindestens eines von einer Oberflächenkontur eines Betriebsgeländes, einem Hindernis entlang eines Wegs des Fahrzeugs oder einem Navigationsziel, zu dem das Fahrzeug durch die Steuerung navigiert wird;
    • - die Vielzahl von Lichtquellen ist über einen vorbestimmten Abstand räumlich getrennt;
    • - das flimmernde Lichtmuster wird durch die Steuerung aktiviert, indem die Lichtquellen über die räumliche Trennung abwechselnd aktiviert werden;
    • - die Bilddaten, die ein Sichtfeld in der Nähe des Fahrzeugs abbilden, werden mit einer Einzelbildrate erfasst und die Beleuchtungsfrequenz stellt eine Beleuchtungsdauer jeder der Lichtquellen bereit, die sich über eine Belichtungszeit der Kamera bei der Einzelbildrate erstreckt;
    • - die Beleuchtungsfrequenz ist größer als ein Flimmerfusionsschwellenwert;
    • - der Flimmerfusionsschwellenwert der Beleuchtungsfrequenz beträgt mindestens 50 Hz;
    • - die Vielzahl von Lichtquellen umfasst eine erste Lichtquelle und eine zweite Lichtquelle in Verbindung mit gegenüberliegenden Abschnitten des Fahrzeugs;
    • - die Lichtquellen umfassen eine Kombination aus zwei oder mehr Rückleuchten, Rückfahrleuchten, Fahrtrichtungsanzeigern, Scheinwerfern, Nebelscheinwerfern und Zusatzleuchten des Fahrzeugs;
    • - die Kamera ist mit einem nach hinten gerichteten Abschnitt des Fahrzeugs verbunden und erfasst ein nach hinten gerichtetes Sichtfeld;
    • - die Kamera steht in Verbindung mit mindestens einem von einem Hecktürabschnitt und einer mittigen hochgesetzten Bremsleuchte des Fahrzeugs;
    • - mindestens ein Radarsensor, der dazu konfiguriert ist, Radardaten zu erfassen;
    • - die Steuerung identifiziert ferner das Objekt als einen Koppler eines Anhängers in mindestens einem von den Radardaten und den Bilddaten;
    • - die Steuerung detektiert eine Kopplerposition des Kopplers relativ zu dem Fahrzeug mit den Radardaten;
    • - die Steuerung steuert ferner ein Navigationssystem des Fahrzeugs, das das Fahrzeug innerhalb eines vorbestimmten Abstands von dem Anhänger als Reaktion auf die Radardaten positioniert;
    • - die Steuerung aktiviert ferner die Vielzahl von Leuchten in dem abwechselnden Muster als Reaktion darauf, dass sich das Fahrzeug innerhalb des vorbestimmten Abstands von dem Anhänger befindet;
    • - die Steuerung detektiert die Kopplerposition mit Bilddaten von der Kamera, die das abwechselnde Muster der Vielzahl von Leuchten abbilden;
    • - die Variationen der Beleuchtung des Kopplers des Anhängers, die in den Bilddaten abgebildet sind, werden durch die Steuerung verarbeitet, um eine Vielzahl von Oberflächenvektoren zu detektieren, die Konturen des Kopplers identifizieren;
    • - die Steuerung erzeugt ferner eine Matrix der Oberflächenvektoren relativ zu dem Ursprung jeder der Vielzahl von Lichtquellen;
    • - die Steuerung verarbeitet die Matrix, um den Abstand von dem Fahrzeug zu dem Koppler zu identifizieren,
    • - ein Lenksteuersystem, das dazu konfiguriert ist, einen Lenkwinkel einer Vielzahl von gelenkten Rädern eines Fahrzeugs zu steuern; und
    • - die Steuerung steuert ferner eine Fahrzeugausrichtungsroutine, die eine Position des Fahrzeugs und den Lenkwinkel einstellt, was eine Anhängerkupplung des Fahrzeugs mit einer Kopplerposition eines Anhängers ausrichtet.
  • Gemäß einem anderen Aspekt der vorliegenden Offenbarung umfasst ein Verfahren zum Steuern eines Fahrzeugs Aktivieren einer Vielzahl von räumlich getrennten Leuchten des Fahrzeugs in einem abwechselnden Muster mit einer Beleuchtungsfrequenz. Das flimmernde Lichtmuster wird durch abwechselndes Aktivieren der Lichtquellen über die räumliche Trennung aktiviert. Das Verfahren beinhaltet ferner Erfassen von Licht, das von mindestens einem Objekt reflektiert wird, mit einer Kamera in Verbindung mit dem Fahrzeug zu einem Zeitpunkt und entsprechend dem abwechselnden Muster und der Beleuchtungsfrequenz. Als Reaktion auf Variationen des Lichts, das von dem abwechselnden Muster auf das Objekt auftrifft, identifiziert das Verfahren ferner einen Abstand von dem Fahrzeug zu dem Objekt.
  • Beispiele für verschiedene Aspekte der Offenbarung können ein beliebiges oder eine Kombination der folgenden Verfahrensschritte oder Merkmale beinhalten:
    • - die Beleuchtungsfrequenz ist größer als ein Flimmerfusionsschwellenwert;
    • - Detektieren eines Abstands des Objekts relativ zu dem Fahrzeug;
    • - Navigieren des Fahrzeugs innerhalb eines vorbestimmten Abstands von dem Objekt; und
    • - Aktivieren der Vielzahl von räumlich getrennten Leuchten des Fahrzeugs als Reaktion darauf, dass sich das Fahrzeug innerhalb des vorbestimmten Abstands von dem Objekt befindet.
  • Gemäß noch einem anderen Aspekt der vorliegenden Offenbarung umfasst ein Fahrzeugsteuersystem eine Kamera, die dazu konfiguriert ist, ein Sichtfeld in der Nähe des Fahrzeugs und eine Vielzahl von Lichtquellen in Verbindung mit dem Fahrzeug zu erfassen. Die Lichtquellen sind über einen vorbestimmten Abstand in Verbindung mit dem Fahrzeug getrennt. Das System stellt ferner eine Steuerung bereit, die die Vielzahl von Lichtquellen in einem abwechselnden Muster über die räumliche Trennung mit einer Beleuchtungsfrequenz aktiviert, die größer als ein Flimmerfusionsschwellenwert ist. Die Steuerung erfasst ferner Licht, das von einem Koppler eines Anhängers reflektiert wird, mit der Kamera zu einem Zeitpunkt und entsprechend dem abwechselnden Muster und der Beleuchtungsfrequenz. Als Reaktion auf Variationen des Lichts, das von dem abwechselnden Muster auf den Koppler auftrifft, identifiziert die Steuerung eine Kopplerposition des Kopplers des Anhängers relativ zu dem Fahrzeug.
  • In verschiedenen Aspekten der Offenbarung kann das Steuersystem ferner eine Lenksteuerung umfassen, die dazu konfiguriert ist, einen Lenkwinkel einer Vielzahl von gelenkten Rädern des Fahrzeugs zu steuern. In derartigen Fällen kann die Steuerung ferner dazu konfiguriert sein, die Lenksteuerung zu steuern, um das Fahrzeug entlang eines Ausrichtungswegs zu navigieren, der das Fahrzeug innerhalb eines vorbestimmten Abstands von der Kopplerposition positioniert. Die Steuerung kann ferner eine Vielzahl von Lichtquellen in dem abwechselnden Muster als Reaktion darauf aktivieren, dass sich das Fahrzeug innerhalb des vorbestimmten Abstands befindet.
  • Diese und andere Aspekte, Aufgaben und Merkmale der vorliegenden Offenbarung werden für den Fachmann bei Lektüre der folgenden Beschreibung, Patentansprüche und beigefügten Zeichnungen verständlich und ersichtlich.
  • Figurenliste
  • In den Zeichnungen gilt:
    • 1 ist eine perspektivische Ansicht eines Fahrzeugs in einer abgekuppelten Position relativ zu einem Anhänger;
    • 2 ist eine Darstellung eines Systems gemäß einem Aspekt der Offenbarung zum Unterstützen einer Ausrichtung des Fahrzeugs mit einem Anhänger in einer Position zum Kuppeln des Anhängers an das Fahrzeug;
    • 3 ist eine Draufsicht eines Fahrzeugs während eines Schrittes der Ausrichtungssequenz mit dem Anhänger;
    • 4 ist eine Draufsicht eines Fahrzeugs, das die Ausrichtungssequenz mit dem Anhänger steuert;
    • 5 ist eine Darstellung eines Fahrzeugs, das sich einem Koppler eines Anhängers nähert, die ein erstes Kopplerpositionsdetektionsverfahren zeigt;
    • 6 ist eine Darstellung eines Fahrzeugs, das sich einem Koppler eines Anhängers nähert, die ein zweites Kopplerpositionsdetektionsverfahren zeigt;
    • 7A ist eine Darstellung eines Fahrzeugs, die ein photometrisches Stereodetektionsverfahren zum Identifizieren einer Kopplerposition eines Anhängers zeigt;
    • 7B ist eine Darstellung eines Fahrzeugs, die ein photometrisches Stereodetektionsverfahren zum Identifizieren einer Kopplerposition eines Anhängers zeigt;
    • 7C ist eine Darstellung eines Fahrzeugs, die ein photometrisches Stereodetektionsverfahren zum Identifizieren einer Kopplerposition eines Anhängers zeigt;
    • 8A ist ein Ablaufdiagramm, das ein Verfahren zum Steuern einer Fahrzeugausrichtungsroutine durch Umsetzen eines photometrischen Stereodetektionsverfahren innerhalb eines vorbestimmten Abstands von einem Koppler zeigt;
    • 8B ist ein Ablaufdiagramm, das ein Verfahren zum Steuern einer Fahrzeugausrichtungsroutine in Fortsetzung von 8A zeigt; und
    • 8C ist ein Ablaufdiagramm, das ein Verfahren zum Steuern einer Fahrzeugausrichtungsroutine in Fortsetzung von 8A und 8B gemäß der Offenbarung zeigt.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Für die Zwecke der Beschreibung in dieser Schrift beziehen sich die Ausdrücke „oberes“, „unteres“, „rechtes“, „linkes“, „hinteres“, „vorderes“, „vertikales“, „horizontales“, „inneres“, „äußeres“ und Ableitungen davon auf die Vorrichtung in ihrer Ausrichtung in 1. Es versteht sich jedoch, dass die Vorrichtung verschiedene alternative Ausrichtungen annehmen kann, sofern nicht ausdrücklich das Gegenteil vorgegeben ist. Zudem versteht sich, dass die in der beigefügten Zeichnung veranschaulichten und in der nachfolgenden Beschreibung beschriebenen konkreten Vorrichtungen und Prozesse lediglich beispielhafte Ausführungsformen der in den beigefügten Patentansprüchen definierten erfindungsgemäßen Konzepte sind. Somit sind konkrete Abmessungen und andere physische Eigenschaften im Zusammenhang mit den in dieser Schrift offenbarten Ausführungsformen nicht als einschränkend zu betrachten, sofern die Patentansprüche nicht ausdrücklich etwas Anderes vorgeben. Sofern nicht anderweitig vorgegeben, versteht es sich des Weiteren, dass die Erörterung eines bestimmten Merkmals oder einer bestimmten Komponente, das/die sich in oder entlang einer gegebenen Richtung oder dergleichen erstreckt, nicht bedeutet, dass das Merkmal oder die Komponente einer geraden Linie oder Achse in einer solchen Richtung folgt oder sich nur in einer solchen Richtung oder auf einer solchen Ebene ohne andere Richtungskomponenten oder -abweichungen erstreckt, sofern nicht anderweitig vorgegeben.
  • Unter allgemeiner Bezugnahme auf die 1-4 bezeichnet das Bezugszeichen 10 ein Kupplungsunterstützungssystem (auch als „Kupplungsassistenzsystem“ bezeichnet) für ein Fahrzeug 12. In verschiedenen Ausführungsformen beinhaltet das Kupplungsunterstützungssystem 10 eine Steuerung 14, die dazu ausgelegt ist, Positionsdaten eines Kopplers 16 eines Anhängers 18 zu erfassen. Die Steuerung 14 kann konfiguriert sein, um einen Fahrzeugpfad 20 abzuleiten, um eine Kupplungskugel 22 des Fahrzeugs 12 mit dem Koppler 16 auszurichten. Das Ableiten des Fahrzeugpfades 20 kann eine Vielfalt von Schritten beinhalten, einschließlich Detektieren und Ausgleichen einer Änderung einer Kopplerposition 24, um das Fahrzeug 12 zu steuern, um eine Anhängerkupplungsposition 26 zu lokalisieren, die mit dem Koppler 16 ausgerichtet ist. Der Fahrzeugpfad 20 kann eine Vielzahl von Segmenten 28 umfassen, die Änderungen der Betriebsrichtung oder Lenkrichtung des Fahrzeugs 12 entsprechen können. In verschiedenen Ausführungsformen kann das Ableiten des Fahrzeugpfades 20 Navigieren um störende Objekte oder Strukturen, Betreiben über unebenem Gelände, Folgen eines gewünschten Pfades, der durch einen Fahrzeugführer oder Benutzer U angegeben wird, usw. beinhalten. Dementsprechend kann die Offenbarung das Kupplungsunterstützungssystem 10 so bereitstellen, dass eine verbesserte Navigation des Fahrzeugs 12 und/oder Interaktion mit dem Koppler 16 bereitgestellt wird, sodass der Anhänger 18 effektiv ohne Komplikation mit dem Fahrzeug 12 verbunden werden kann.
  • In einigen Umsetzungen kann das System 10 dazu konfiguriert sein, eine oder mehrere Bildverarbeitungstechniken zu nutzen, um die Kopplerposition 24 in Bilddaten, die in einem Sichtfeld detektiert werden, das von dem Fahrzeug nach hinten gerichtet ist, genau zu identifizieren. Zusätzlich zu den Bilddaten kann die Steuerung 14 sensorische Informationen von einem oder mehreren Näherungssensoren 30 oder Abstandssensoren (z. B. Radarsensoren, Ultraschallsensoren usw.) empfangen. Im Allgemeinen kann die Steuerung 14 den Koppler 16 des Anhängers 18 in unterschiedlichen Sensordaten (z. B. Bilddaten, Näherungs- oder Radardaten usw.) in Abhängigkeit von dem Abstand Dc des Kopplers 16 und den Umgebungsbedingungen (z. B. Umgebungslicht, Signalrauschen, Objektreflektivität usw.) detektieren. Dementsprechend stellt die Offenbarung einen Detektionsprozess bereit, der selektiv unterschiedliche Unterroutinen auf Grundlage des Abstands Dc des Kopplers 16 und der Umgebungsbedingungen, unter denen das Fahrzeug 12 betrieben wird, aktiviert, um Betriebsfehler zu begrenzen und einen robusten Betrieb zu verbessern.
  • In Bezug auf den allgemeinen Betrieb des Kupplungsunterstützungssystems 10, wie in dem Systemdiagramm aus 2-4 veranschaulicht, beinhaltet das System 10 verschiedene Sensoren und Vorrichtungen, die fahrzeugstatusbezogene Informationen erlangen oder anderweitig bereitstellen. Diese Informationen beinhalten Positionierungsinformationen von einem Positionsbestimmungssystem 32, das eine Koppelnavigationsvorrichtung 34 oder zusätzlich oder alternativ ein globales Positionsbestimmungssystem (GPS) beinhalten kann, um einen Koordinatenstandort des Fahrzeugs 12 auf Grundlage des einen oder der mehreren Standorte der Vorrichtungen innerhalb des Positionsbestimmungssystem 32 zu bestimmen. Insbesondere kann die Koppelnavigationsvorrichtung 34 den Koordinatenstandort des Fahrzeugs 12 innerhalb eines lokalisierten Koordinatensystems 36 zumindest auf Grundlage der Fahrzeuggeschwindigkeit und des Lenkwinkels δ ermitteln und verfolgen, wie in 3 gezeigt. Andere Fahrzeuginformationen, die durch das Kupplungsunterstützungssystem 10 empfangen werden, können eine Geschwindigkeit des Fahrzeugs 12 von einem Geschwindigkeitssensor 38 und eine Gierrate des Fahrzeugs 12 von einem Gierratensensor 40 beinhalten.
  • Wie ferner in 2 gezeigt, steht eine Ausführungsform des Kupplungsunterstützungssystems 10 mit dem Lenksystem 50 des Fahrzeugs 12 in Kommunikation. Bei dem Lenksystem 50 kann es sich um ein Servolenksystem 50 handeln, das einen Lenkmotor 52 beinhaltet, um die gelenkten Räder 54 (1) des Fahrzeugs 12 zu betätigen, um das Fahrzeug 12 auf eine Weise zu bewegen, dass sich die Fahrzeuggierrate gemäß der Fahrzeuggeschwindigkeit und dem Lenkwinkel δ verändert. In der veranschaulichten Ausführungsform ist das Servolenksystem 50 ein elektrisches Servolenksystem (electric power-assisted steering system - EPAS-System), das einen elektrischen Lenkmotor 52 zum Drehen der gelenkten Räder 54 in einen Lenkwinkel δ auf Grundlage eines Lenkbefehls beinhaltet, wobei der Lenkwinkel δ von einem Lenkwinkelsensor 56 des Servolenksystems 50 erfasst werden kann. Der Lenkbefehl kann durch das Kupplungsunterstützungssystem 10 zum autonomen Lenken während eines Anhängerkupplungsausrichtungsmanövers bereitgestellt werden und kann alternativ manuell über eine Drehposition (z. B. einen Lenkradwinkel) eines Lenkrades des Fahrzeugs 12 bereitgestellt werden.
  • In der veranschaulichten Ausführungsform ist das Lenkrad des Fahrzeugs 12 mechanisch mit den gelenkten Rädern 54 des Fahrzeugs 12 gekoppelt, sodass sich das Lenkrad zusammen mit den gelenkten Rädern 54 bewegt, wodurch ein manuelles Eingreifen mit dem Lenkrad während des autonomen Lenkens verhindert wird. Genauer ist ein Drehmomentsensor 58 an dem Servolenksystem 50 bereitgestellt, der Drehmoment an dem Lenkrad erfasst, das nicht von einer autonomen Steuerung des Lenkrades erwartet wird und somit auf ein manuelles Eingreifen hinweist. In dieser Konfiguration kann das Kupplungsunterstützungssystem 10 den Fahrer warnen, das manuelle Eingreifen mit dem Lenkrad zu unterbrechen und/oder das autonome Lenken zu unterbrechen. In alternativen Ausführungsformen weisen einige Fahrzeuge ein Servolenksystem 50 auf, das es ermöglicht, dass ein Lenkrad teilweise von der Bewegung der gelenkten Räder 54 eines derartigen Fahrzeugs entkoppelt wird.
  • Unter weiterer Bezugnahme auf 2 stellt das Servolenksystem 50 der Steuerung 14 des Kupplungsunterstützungssystems 10 Informationen bezüglich einer Drehposition der gelenkten Räder 54 des Fahrzeugs 12 bereit, einschließlich eines Lenkwinkels δ. Die Steuerung 14 verarbeitet in der veranschaulichten Ausführungsform den aktuellen Lenkwinkel zusätzlich zu verschiedenen Bedingungen des Fahrzeugs 12, um das Fahrzeug 12 entlang des gewünschten Wegs 20 zu führen (3). Es ist denkbar, dass das Kupplungsunterstützungssystem 10 in zusätzlichen Beispielen einer integrierten Komponente des Servolenksystems 50 entsprechen kann. Zum Beispiel kann das Servolenksystem 50 einen Kupplungsunterstützungsalgorithmus zum Erzeugen von Fahrzeuglenkinformationen und -befehlen in Abhängigkeit von allen oder einem Abschnitt der Informationen beinhalten, die von einem Bildgebungssystem 60, dem Servolenksystem 50, einem Fahrzeugbremssteuersystem 62, einem Antriebsstrangsteuersystem 64 und anderen Fahrzeugsensoren und -vorrichtungen sowie einer Mensch-Maschine-Schnittstelle (MMS) 66 empfangen werden, wie nachfolgend erörtert.
  • Wie zudem in 2 veranschaulicht kann das Fahrzeugbremssteuersystem 62 zudem mit der Steuerung 14 kommunizieren, um dem Kupplungsunterstützungssystem 10 Bremsinformationen bereitzustellen, wie etwa eine Fahrzeugraddrehzahl, und um Bremsbefehle von der Steuerung 14 zu empfangen. Das Bremssteuersystem 62 kann dazu ausgelegt sein, Betriebsbremsen 62a und eine Feststellbremse 62b zu steuern. Die Feststellbremse 62b kann einem elektronischen Feststellbremssystem entsprechen, das mit der Steuerung 14 in Kommunikation stehen kann. Dementsprechend kann die Steuerung 14 im Betrieb dazu konfiguriert sein, die Bremsen 62a und 62b zu steuern sowie Fahrzeuggeschwindigkeitsinformationen zu detektieren, die anhand von einzelnen Radgeschwindigkeitssensoren bestimmt werden können, die durch das Bremssteuersystem 62 überwacht werden. Die Fahrzeuggeschwindigkeit kann außerdem durch das Antriebsstrangsteuersystem 64, den Geschwindigkeitssensor 38 und/oder das Positionierungssystem 32, neben anderen denkbaren Mitteln, bestimmt werden. In einigen Ausführungsformen können auch einzelne Raddrehzahlen verwendet werden, um eine Fahrzeuggierrate zu bestimmen, die dem Kupplungsunterstützungssystem 10 alternativ oder zusätzlich zu dem Fahrzeuggierratensensor 40 bereitgestellt werden können.
  • Das Kupplungsunterstützungssystem 10 kann ferner Fahrzeugbremsinformationen an dem Bremssteuersystem 62 bereitstellen, um es dem Kupplungsunterstützungssystem 10 zu ermöglichen, ein Bremsen des Fahrzeugs 12 während eines Zurücksetzens des Anhängers 18 zu steuern. Zum Beispiel kann das Kupplungsunterstützungssystem 10 die Geschwindigkeit des Fahrzeugs 12 während der Ausrichtung des Fahrzeugs 12 mit dem Koppler 16 des Anhängers 18 steuern, was die Möglichkeit eines Kontakts mit dem Anhänger 18 reduzieren kann, und kann das Fahrzeug 12 an einem bestimmten Endpunkt 70 des Wegs 20 vollständig zum Halten bringen. In dieser Schrift ist offenbart, dass das Kupplungsunterstützungssystem 10 zusätzlich oder alternativ ein Alarmsignal entsprechend einer Benachrichtigung eines tatsächlichen, bevorstehenden und/oder erwarteten Kontakts mit einem Teil des Anhängers 18 ausgeben kann. Das Antriebsstrangsteuersystem 64, wie in der in 2 veranschaulichten Ausführungsform gezeigt, kann außerdem mit dem Kupplungsunterstützungssystem 10 interagieren, um eine Geschwindigkeit und Beschleunigung des Fahrzeugs 12, während dieses teilweise oder autonom mit dem Anhänger 18 ausgerichtet wird, zu steuern. Wie vorstehend angeführt kann die Steuerung der Geschwindigkeit des Fahrzeugs 12 vorteilhaft sein, um zu verhindern, dass ein Kontakt mit dem Anhänger 18 erfolgt.
  • Wie zuvor erörtert, kann das Kupplungsunterstützungssystem 10 mit einer Mensch-Maschine-Schnittstelle (MMS) 66 des Fahrzeugs 12 kommunizieren. Die MMS 66 kann eine Fahrzeuganzeige 72 beinhalten, wie etwa eine an der Mittelkonsole montierte Navigations- oder Unterhaltungsanzeige (1). Die MMS 66 beinhaltet ferner eine Eingabevorrichtung, die durch Konfigurieren der Anzeige 72 als Teil eines Touchscreens 74 mit einer Schaltung 76 umgesetzt sein kann, um eine Eingabe entsprechend eines Standorts über die Anzeige 72 zu empfangen. Andere Formen der Eingabe, darunter ein oder mehrere Joysticks, digitale Eingabepads oder dergleichen, können anstelle des oder zusätzlich zu dem Touchscreen 74 verwendet werden. Ferner kann das Kupplungsunterstützungssystem 10 über drahtlose Kommunikation mit einer anderen Ausführungsform der MMS 66 kommunizieren, wie etwa mit einem/r oder mehreren Handgeräten oder tragbaren Vorrichtungen 80 (1), einschließlich eines oder mehrerer Smartphones. Die tragbare Vorrichtung 80 kann ebenfalls die Anzeige 72 beinhalten, um einem Benutzer U ein oder mehrere Bilder und andere Informationen anzuzeigen. Zum Beispiel kann die tragbare Vorrichtung 80 ein oder mehrere Bilder des Anhängers 18 auf der Anzeige 72 anzeigen und kann ferner dazu ausgelegt sein, Remote-Benutzereingaben über die Touchscreen-Schaltung 76 zu empfangen. Des Weiteren kann die tragbare Vorrichtung 80 Rückkopplungsinformationen bereitstellen, wie etwa optische, akustische und taktile Warnungen.
  • In einigen Ausführungsformen kann das Kupplungsunterstützungssystem 10 ferner mit einer oder mehreren Indikatorvorrichtungen 78 in Kommunikation stehen. Die Indikatorvorrichtungen 78 können herkömmlichen Fahrzeugindikatoren entsprechen, wie etwa einer Hupe 78a des Fahrzeugs, Leuchten, einem Lautsprechersystem 78c, Fahrzeugzubehörgeräten 78d usw. In einigen Ausführungsformen können die Indikatorvorrichtungen 78 ferner ein oder mehrere Zubehörgeräte 78d beinhalten, die Kommunikationsvorrichtungen, Fernsteuerungen und einer Vielfalt von Vorrichtungen entsprechen können, die einen Status und operative Rückmeldungen zwischen dem Benutzer U und dem Fahrzeug 12 bereitstellen können. Zum Beispiel können in einigen Ausführungsformen die MMS 66, die Anzeige 72 und der Touchscreen 74 durch die Steuerung 14 gesteuert werden, um Statusaktualisierungen bereitzustellen, die den Betrieb identifizieren, oder Anweisungen oder Rückmeldungen empfangen, um das Kupplungsunterstützungssystem 10 zu steuern. Zusätzlich kann die tragbare Vorrichtung 80 in einigen Ausführungsformen mit der Steuerung 14 in Kommunikation stehen und dazu ausgelegt sein, eine oder mehrere Warnungen oder Nachrichten im Zusammenhang mit dem Betrieb des Kupplungsunterstützungssystems 10 anzuzeigen oder anderweitig anzugeben.
  • Unter weiterer Bezugnahme auf die in 2 gezeigte Ausführungsform ist die Steuerung 14 mit einem Mikroprozessor 82 ausgelegt, um Logik und Routinen, die in einem Speicher 84 gespeichert sind, zu verarbeiten, die Informationen von den vorstehend beschriebenen Sensoren und Fahrzeugsystemen empfangen, einschließlich des Bildgebungssystems 60, des Servolenksystems 50, des Fahrzeugbremssteuersystems 62, des Antriebsstrangsteuersystems 64 und anderer Fahrzeugsensoren und -vorrichtungen. Die Steuerung 14 kann Fahrzeuglenkinformationen und -befehle in Abhängigkeit von allen oder einem Teil der empfangenen Informationen erzeugen. Danach können die Fahrzeuglenkinformationen und -befehle dem Servolenksystem 50 bereitgestellt werden, um das Lenken des Fahrzeugs 12 zu beeinflussen, um einen befohlenen Fahrweg 20 (3) zur Ausrichtung mit dem Koppler 16 des Anhängers 18 zu erreichen. Die Steuerung 14 kann den Mikroprozessor 82 und/oder eine andere analoge und/oder digitale Schaltung zum Verarbeiten einer oder mehrerer Routinen beinhalten. Zudem kann die Steuerung 14 den Speicher 84 zum Speichern einer oder mehrerer Routinen beinhalten, einschließlich einer Bildverarbeitungsroutine 86 und/oder Anhängerkupplungsdetektionsroutine, einer Wegableitungsroutine 88 und einer Betriebsroutine 90.
  • Es versteht sich, dass die Steuerung 14 eine eigenständige dedizierte Steuerung oder eine geteilte Steuerung sein kann, die in andere Steuerfunktionen integriert ist, wie etwa in ein Fahrzeugsensorsystem, in das Servolenksystem 50 und andere denkbare bordeigene oder bordexterne Fahrzeugsteuersysteme integriert. Es sollte ferner angemerkt werden, dass die Bildverarbeitungsroutine 86 durch einen dedizierten Prozessor ausgeführt werden kann, zum Beispiel innerhalb eines eigenständigen Bildgebungssystems für das Fahrzeug 12, das die Ergebnisse seiner Bildverarbeitung an andere Komponenten und Systeme des Fahrzeugs 12 einschließlich des Mikroprozessors 82 ausgeben kann. Ferner kann ein beliebiges/beliebiger System, Computer, Prozessor oder dergleichen, das/der Bildverarbeitungsfunktionalität abschließt, wie zum Beispiel die hierin beschriebene, hierin als ein „Bildprozessor“ bezeichnet werden, unabhängig von anderer Funktionalität, die es/er ebenfalls umsetzen kann (darunter gleichzeitig mit dem Ausführen des Bildverarbeitungsablaufs 86).
  • Das System 10 kann zudem das Bildgebungssystem 60 beinhalten, das eine oder mehrere Außenkameras beinhaltet. Beispiele für Außenkameras sind in 4 veranschaulicht und beinhalten die hintere Kamera 60a, die Kamera 60b einer mittigen hochgesetzten Bremsleuchte (center high-mount stop light camera - CHMSL-Kamera) und die zur Seite zeigenden Kameras 60c und 60d, obwohl andere Anordnungen einschließlich zusätzlicher oder alternativer Kameras möglich sind. In einem Beispiel kann das Bildgebungssystem 60 eine hintere Kamera 60a allein beinhalten oder kann derart konfiguriert sein, dass das System 10 in einem Fahrzeug mit mehreren Außenkameras nur die hintere Kamera 60a nutzt. In einem anderen Beispiel können die verschiedenen in dem Bildgebungssystem 60 beinhalteten Kameras 60a-60d derart positioniert sein, dass sie sich im Allgemeinen in ihren jeweiligen Sichtfeldern überlappen, die in der abgebildeten Anordnung die Sichtfelder 92a, 92b, 92c und 92d beinhalten, um jeweils der hinteren Kamera 60a, der Kamera 60b der mittigen hochgesetzten Bremsleuchte (CHMSL) und den zur Seite zeigenden Kameras 60c bzw. 60d zu entsprechen. Auf diese Art und Weise können Bilddaten von zwei oder mehr der Kameras in der Bildverarbeitungsroutine 86 oder in einem anderen dedizierten Bildprozessor innerhalb des Bildgebungssystems 60 zu einem einzelnen Bild kombiniert werden.
  • Als ein Beispiel für das Kombinieren von Bilddaten von mehreren Kameras können die Bilddaten dazu verwendet werden, stereoskopische Bilddaten abzuleiten, die verwendet werden können, um eine dreidimensionale Szene des Bereichs oder der Bereiche innerhalb von überlappenden Bereichen der verschiedenen Sichtfelder 92a, 92b, 92c und 92d zu rekonstruieren, einschließlich etwaiger Objekte (zum Beispiel Hindernissen oder des Kopplers 16) darin. In einer Ausführungsform kann die Verwendung von zwei Bildern, die das gleiche Objekt beinhalten, verwendet werden, um einen Standort des Objekts relativ zu den zwei Bildquellen zu bestimmen, vorausgesetzt, eine räumliche Beziehung zwischen den Bildquellen ist bekannt. In dieser Hinsicht kann der Bildverarbeitungsablauf 86 eine bekannte Programmierung und/oder Funktionalität verwenden, um ein Objekt innerhalb von Bilddaten von den verschiedenen Kameras 60a, 60b, 60c und 60d innerhalb des Bildgebungssystems 60 zu identifizieren. In jedem Beispiel kann die Bildverarbeitungsroutine 86 Informationen bezüglich der Positionierung einer beliebigen der an dem Fahrzeug 12 vorhandenen oder durch das System 10 genutzten Kameras 60a, 60b, 60c und 60d beinhalten, einschließlich zum Beispiel relativ zu einer Mitte 96 (1) des Fahrzeugs 12, sodass die Positionen der Kameras 60a, 60b, 60c und 60d relativ zu der Mitte 96 und/oder zueinander für Objektpositionierungsberechnungen verwendet werden können und zu Objektpositionsdaten führen, zum Beispiel relativ zu der Mitte 96 des Fahrzeugs 12 oder andere Merkmale des Fahrzeugs 12, wie etwa die Kupplungskugel 22 (1), wobei Positionen bezogen auf die Mitte 96 des Fahrzeugs 12 bekannt sind.
  • Zusätzlich zu oder als Alternative zu einem stereoskopischen Bildgebungsverfahren kann das System 10 dazu konfiguriert sein, Tiefeninformationen eines oder mehrerer Objekte, die in einem einzelnen Sichtfeld einer der Kameras 60 erfasst sind, über eine photometrische Stereobildgebungstechnik zu detektieren. Im Betrieb kann das System eine Vielzahl von Lichtquellen 94 in Verbindung mit dem Fahrzeug 12, die über einen vorbestimmten Abstand räumlich getrennt sind, aktivieren. Der vorbestimmte Abstand kann sich auf die Trennung der Lichtquellen 94 beziehen, die über eine Karosserie oder Struktur des Fahrzeugs gespiegelt oder getrennt sind. In dieser Konfiguration kann jede der Lichtquellen 94 einen vorbestimmten Abstand jeweils zueinander, zu der Kamera 60 (z. B. der hinteren Kamera 60a, der CHMSL-Kamera 60b usw.) und zu der Kupplungskugel 22 aufweisen. Dementsprechend kann, wenn die Lichtquellen zusammen mit der Kamera aktiviert werden, die Kopplerposition 24 durch die Steuerung 14 relativ zu der Kamera 60 und der Kupplungskugel 22 berechnet werden. Auf diese Weise kann die Steuerung 14 eine photometrische Stereobildgebungstechnik anwenden, um die Kopplerposition 24 relativ zu der Anhängerkupplungsposition 26 zu identifizieren, um den Fahrzeugweg 20 zu berechnen.
  • Die Lichtquellen 94 können verschiedenen Betriebsleuchten und/oder Zusatzleuchten in Verbindung mit dem Fahrzeug 12 entsprechen. Die Lichtquellen 94 können eine Kombination aus zwei oder mehr Rückleuchten 94a, Rückfahrleuchten 94b, Fahrtrichtungsanzeigern 94c, CHMSL 94d, Scheinwerfern 94e, Nebelscheinwerfern, Zusatzleuchten 94f oder anderen Leuchten für ein Fahrzeug beinhalten. Im Allgemeinen kann die Steuerung 14 zwei oder mehr der Lichtquellen, die über einen bekannten Abstand räumlich getrennt sind, in einem abwechselnden Muster aktivieren, um die photometrische Stereobildgebungstechnik zu erreichen. Im Betrieb kann die Steuerung 14 die Lichtquelle mit einer Frequenz betreiben, die einen Flimmerfusionsschwellenwert übersteigt. In einigen Fällen kann ein Flimmerfusionsschwellenwert größer als 60 Hz sein und kann größer als 80 Hz oder 100 Hz sein. Im Betrieb kann die Steuerung 14 einen Zeitpunkt von Belichtungen der Kamera 60 steuern, um sie mit dem Zeitpunkt der Beleuchtungsfrequenz der Lichtquellen 94 auszurichten. Auf diese Weise kann die Steuerung 14 reflektiertes Licht von verschiedenen Oberflächen des Objekts (z. B. des Anhängers 18 und des Kopplers 16), das durch die Kamera 60 erfasst wird, maximieren und Umgebungslicht, das in dem entsprechenden Sichtfeld 92 (z. B. 92a, 92b) der jeweiligen Kamera 60 (z. B. 60a, 60b) natürlich oder künstlich vorhanden ist, minimieren. Auf Grundlage der Bilddaten, die das reflektierte Licht abbilden, kann die Steuerung 14 Konturen des Betriebsgeländes, ein Navigationsziel und/oder Hindernisse entlang des Fahrzeugwegs 20 detektieren. In einigen Beispielen kann das Objekt dem Koppler 16 des Anhängers 18 entsprechen. In derartigen Fällen kann die Steuerung 14 Konturen des Anhängers 18 und/oder des Kopplers 16 detektieren und Flächennormalenvektoren für Pixel, die den Konturen entsprechen, schätzen. Die Flächennormalenvektoren können dann dazu genutzt werden, die Tiefe oder den Abstand der Pixel zu schätzen, die den Koppler 16 und den Anhänger 18 darstellen. Weitere Details eines beispielhaften photometrischen Stereobildverfahrens werden unter Bezugnahme auf 5-8 erörtert.
  • In einigen Fällen kann ein Bildgebungssystem 60 in Kombination mit einem Array oder einer Reihe von Näherungssensoren 30 oder, allgemeiner, mit Sensoren verwendet werden, die für den Betrieb nicht auf sichtbares Licht angewiesen sind. Zum Beispiel kann die Steuerung 14 die Bilddaten in Kombination mit Daten von dem/den Näherungssensor(en) 30 verarbeiten, um verbesserte Bilddaten zu erzeugen, die dazu verwendet werden können, den Abstand Dc zu dem Koppler 16 sowie zu anderen Objekten in dem Betriebsbereich des Fahrzeugs 12 zu identifizieren. Die kombinierten Bild- und Näherungsdaten können im Allgemeinen als erweiterte Bilddaten bezeichnet werden. Durch Überwachen der erweiterten Bilddaten kann die Steuerung 14 die Kopplerposition 24 überwachen, sodass das System 10 die Kupplungskugel 22 genau mit dem Koppler 16 des Anhängers 18 ausrichten kann. In einigen Fällen können die Näherungssensoren 30 Ultraschallsensoren beinhalten, die die Nähe von Objekten in einem nahen Bereich (z. B. weniger als 5 m) genau identifizieren können. In einigen Beispielen können die Näherungssensoren 30 einem oder mehreren Radarsensoren entsprechen, die im W-Band des elektromagnetischen Spektrums von 75-110 GHz und bei Wellenlängen von 2,4-4 mm betrieben werden können. Beispiele für Radartechnologien, die durch das System 10 umgesetzt werden können, beinhalten Nahbereichsradar (short range radar - SRR) mit einer Reichweite von bis zu ungefähr 30 m und Fernbereichsradar (long range radar - LRR) mit Reichweiten, die 100 m übersteigen. Dementsprechend können die Näherungssensoren 30 in Kombination mit dem Bildgebungssystem 60 umgesetzt sein, um Objekte, die für die Navigation des Fahrzeugs 12 relevant sind, genau zu detektieren.
  • Die Bildverarbeitungsroutine 86 kann konkret dazu programmiert oder anderweitig dazu konfiguriert sein, den Koppler 16 in Bilddaten zu lokalisieren. In einem Beispiel kann die Bildverarbeitungsroutine 86 den Koppler 16 innerhalb der Bilddaten auf Grundlage von gespeicherten oder anderweitig bekannten optischen Eigenschaften des Kopplers 16 oder von Anhängerkupplungen im Allgemeinen identifizieren. In einer weiteren Ausführungsform kann eine Markierung in Form eines Aufklebers oder dergleichen an einer vorgegebenen Position relativ zu dem Koppler 16 auf eine ähnliche Art und Weise an dem Anhänger 18 angebracht sein, wie sie in der gemeinsam übertragenen US-Patentschrift Nr. 9,102,271 beschrieben ist, deren gesamte Offenbarung durch diesen Verweis hierin aufgenommen ist. In einer derartigen Ausführungsform kann die Bildverarbeitungsroutine 86 mit identifizierenden Eigenschaften der Markierung zum Lokalisieren in Bilddaten sowie der Positionierung des Kopplers 16 relativ zu einer solchen Markierung programmiert sein, sodass die Position 24 des Kopplers 16 auf Grundlage der Stelle der Markierung bestimmt werden kann.
  • Zusätzlich oder alternativ kann die Steuerung 14 eine Bestätigung des bestimmten Kopplers 16 über eine Aufforderung auf dem Touchscreen 74 einholen. Falls die Bestimmung des Kopplers 16 nicht bestätigt wird, kann eine weitere Bildverarbeitung bereitgestellt oder eine Benutzereinstellung der Position 24 des Kopplers 16 entweder unter Verwendung des Touchscreens 74 oder einer anderen Eingabe ermöglicht werden, um es dem Benutzer U zu ermöglichen, die abgebildete Position 24 des Kopplers 16 auf dem Touchscreen 74 zu bewegen, was die Steuerung 14 dazu verwendet, die Bestimmung der Position 24 des Kopplers 16 hinsichtlich des Fahrzeugs 12 auf Grundlage der vorstehend beschriebenen Verwendung von Bilddaten einzustellen. Alternativ kann der Benutzer U die Position 24 der Kupplungsvorrichtung 16 in einem auf der MMS 66 dargestellten Bild optisch bestimmen und eine Berührungseingabe bereitstellen, ähnlich wie in der gemeinschaftlich erteilten US-Patentschrift Nr.10,266,023 beschrieben, deren gesamte Offenbarung durch Bezugnahme in diese Schrift aufgenommen ist. Die Bildverarbeitungsroutine 86 kann dann die Stelle der Berührungseingabe mit dem Koordinatensystem 36 korrelieren, das auf die auf der Anzeige 72 angezeigten Bilddaten angewendet wird, was wie in 3 gezeigt abgebildet werden kann.
  • Wie in 3 gezeigt können die Bildverarbeitungsroutine 86 und die Betriebsroutine 90 zusammen verwendet werden, um den Weg 20 zu bestimmen, entlang dem das Kupplungsunterstützungssystem 10 das Fahrzeug 12 führen kann, um die Kupplungskugel 22 und den Koppler 16 des Anhängers 18 auszurichten. In dem gezeigten Beispiel kann eine anfängliche Position des Fahrzeugs 12 relativ zu dem Anhänger 18 derart sein, dass sich der Koppler 16 lediglich in dem Sichtfeld 92c der zu Seite zeigenden Kamera 60c befindet, wobei das Fahrzeug 12 seitlich zu dem Anhänger 18 positioniert ist, aber wobei der Koppler 16 fast in Längsrichtung mit der Anhängerkupplungskugel 22 ausgerichtet ist. Auf diese Weise kann der Bildverarbeitungsablauf 86 bei einer Initialisierung des Kupplungsunterstützungssystems 10, zum Beispiel durch eine Benutzereingabe auf dem Touchscreen 74, den Koppler 16 innerhalb der Bilddaten der Kamera 60c identifizieren und die Position 24 des Kopplers 16 relativ zu der Kupplungskugel 22 schätzen. Die Position 24 des Kopplers 16 kann durch das System 10 unter Verwendung der Bilddaten in Übereinstimmung mit dem Empfangen von Brennweiteninformationen innerhalb der Bilddaten identifiziert werden, um einen Abstand Dc zu dem Koppler 16 und einen Winkel αc des Versatzes zwischen dem Koppler 16 und der Längsachse des Fahrzeugs 12 zu bestimmen. Diese Informationen können zudem in Anbetracht der Position 24 des Kopplers 16 innerhalb des Sichtfelds der Bilddaten verwendet werden, um die Höhe Hc des Kopplers 16 zu bestimmen oder zu schätzen. Sobald die Positionierung Dc, αc des Kopplers 16 bestimmt und gegebenenfalls durch den Benutzer U bestätigt worden ist, kann die Steuerung 14 die Kontrolle zumindest über das Fahrzeuglenksystem 50 übernehmen, um die Bewegung des Fahrzeugs 12 entlang des gewünschten Pfades 20 zu steuern, um die Kupplungskugelposition 26 der Fahrzeugkupplungskugel 22 mit dem Koppler 16 auszurichten.
  • Unter weiterer Bezugnahme auf 3 und 4 mit zusätzlicher Bezugnahme auf 2 kann die Steuerung 14, nachdem sie die Positionierung Dc, αc des Kopplers 16 geschätzt hat, wie vorstehend erörtert, in einem Beispiel die Wegableitungsroutine 88 ausführen, um den Fahrzeugweg 20 zu bestimmen, um die Fahrzeugkupplungskugel 22 mit dem Koppler 16 auszurichten. Insbesondere kann die Steuerung 14 verschiedene Eigenschaften des Fahrzeugs 12 auf dem Speicher 84 gespeichert haben, einschließlich des Radstands W, des Abstands von der Hinterachse zu der Kupplungskugel 22, die hier als die Deichsellänge L bezeichnet wird, sowie des maximalen Winkels δmax, in den die gelenkten Räder 54 gedreht werden können. Wie gezeigt, können der Radstand W und der aktuelle Lenkwinkel δ verwendet werden, um einen entsprechenden Einlenkradius ρ für das Fahrzeug 12 gemäß der folgenden Gleichung zu bestimmen: ρ = 1 W  tan δ
    Figure DE102023101022A1_0001
    wobei der Radstand W fest ist und der Lenkwinkel δ wie vorstehend erörtert durch die Steuerung 14 durch Kommunikation mit dem Lenksystem 50 gesteuert werden kann. Auf diese Weise wird der kleinstmögliche Wert für den Einlenkradius ρmin wie folgt bestimmt, wenn der maximale Lenkwinkel δmax bekannt ist: ρ min = 1 W  tan  δ max
    Figure DE102023101022A1_0002
  • Die Wegableitungsroutine 88 kann dazu programmiert sein, den Fahrzeugweg 20 abzuleiten, um einen bekannten Standort der Fahrzeugkupplungskugel 22 mit der geschätzten Position 24 des Kopplers 16 auszurichten, wobei der bestimmte minimale Einlenkradius ρmin berücksichtigt wird, um zu ermöglichen, dass durch den Weg 20 der bzw. die geringstmögliche(n) Raum und Manöver verwendet werden. Auf diese Weise kann die Wegableitungsroutine 88 die Position des Fahrzeugs 12, die auf der Mitte 96 des Fahrzeugs 12, einem Standort entlang der Hinterachse, dem Standort der Koppelnavigationsvorrichtung 34 oder einem anderen bekannten Standort in dem Koordinatensystem 36 basieren kann, verwenden, um sowohl einen lateralen Abstand zu dem Koppler 16 als auch einen vorderen oder hinteren Abstand zu dem Koppler 16 zu bestimmen und einen Weg 20 abzuleiten, durch den die erforderliche Seitwärts- und Vorwärts-Rückwärtsbewegung des Fahrzeugs 12 innerhalb der Grenzen des Lenksystems 50 erzielt wird. Bei der Ableitung des Wegs 20 wird ferner die Positionierung der Kupplungskugel 22 auf Grundlage der Länge L relativ zu dem nachverfolgten Standort des Fahrzeugs 12 (der dem Schwerpunkt 96 des Fahrzeugs 12, dem Standort eines GPS-Empfängers oder einem anderen vorgegebenem bekannten Bereich entsprechen kann) berücksichtigt, um die notwendige Positionierung des Fahrzeugs 12 zum Ausrichten der Kupplungskugel 22 mit dem Koppler 16 zu bestimmen.
  • Wie vorstehend erörtert kann das Kupplungsunterstützungssystem 10 Bilddaten für die Bildverarbeitungsroutine 86 bereitstellen, die durch die Bildverarbeitungsroutine 86 verwendet werden können (durch den vorstehend beschriebenen Prozess oder durch andere verfügbare Prozesse), um die Höhe Hb der Kupplungskugel 22 (d. h. eine vertikale Komponente der Daten, einschließlich der Position 24 des Kopplers 16) zu bestimmen. Die Bilddaten können von einer oder mehreren der Kameras 60a-d des Bildgebungssystems 60 erfasst werden. Ferner kann das Kupplungsunterstützungssystem 10 die Höhe Hb der Kupplungskugel 22 im Speicher 84 gespeichert haben oder anderweitig bestimmen. In einem Beispiel kann ein Benutzer U während einer anfänglichen Einstellungsroutine für das Kupplungsunterstützungssystem 10 dazu aufgefordert werden, die Kupplungskugel 22 durch Zusammenbauen einer Kugelhalterung, einschließlich der Kupplungskugel 22, mit einem Empfänger, der an der Rückseite des Fahrzeugs 12 positioniert ist, zu installieren. Der Benutzer U kann aufgefordert werden, die Höhe Hb der Kupplungskugel 22 (wie etwa bis zu der Oberseite oder dem Mittelpunkt davon) zu messen und diesen Messwert zum Beispiel über die MMS 66 in den Speicher 84 einzugeben. Auf diese Weise kann eine Anzahl unterschiedlicher Höhenmessungen für eine Vielzahl von Kupplungskugeln, die in Verbindung mit dem bestimmten Fahrzeug 12 verwendet werden, in dem Speicher 84 gespeichert werden und durch den Benutzer U ausgewählt werden. In einigen Ausführungsformen kann sich die Kupplungskugel 22 innerhalb des Sichtfelds 92a der hinteren Kamera 60a befinden, sodass Bilddaten verarbeitet werden können, um die Höhe Hb der Kupplungskugel 22 auf Echtzeit- oder auf Abrufbasis zu bestimmen.
  • Unter Bezugnahme auf 5-8 wird eine verbesserte Vorrichtung und ein verbessertes Verfahren zum Identifizieren eines Objekts in der Nähe des Fahrzeugs 12 unter Bezugnahme auf das beispielhafte System 10 erörtert. Wie zuvor erörtert, kann die Steuerung 14 dazu konfiguriert sein, den Koppler 16 durch Nutzen unterschiedlicher sensorischer Verfahren und Vorrichtungen in unterschiedlichen Abständen zu detektieren. Zum Beispiel können einige Detektionsverfahren eine höhere Genauigkeit der Detektion von Objekten oder Hindernissen, auf die das Fahrzeug 12 treffen kann, in Abhängigkeit vom Abstand der Objekte, der lokalen Beleuchtung und anderen Umgebungsbedingungen bereitstellen. In Bezug auf den Koppler 16 kann das System 10 eine erste sensorische Detektionsvorrichtung oder ein erstes sensorisches Detektionsverfahren umsetzen, um die Kopplerposition 24 innerhalb eines ersten Abstandsbereichs des Kopplerabstands Dc zu detektieren. Sobald der geschätzte Abstand Dc zu dem Koppler 16 kleiner als ein vorbestimmter Abstandsschwellenwert 100 ist, kann die Steuerung 14 eine zweite sensorische Detektionsvorrichtung oder ein zweites sensorisches Detektionsverfahren nutzen, um die Kopplerposition 24 innerhalb eines zweiten Abstandsbereichs des Abstands Dc zu detektieren.
  • Das erste Detektionsverfahren des Systems 10 kann eine oder mehrere der Kameras 60a-d des Bildgebungssystems 60 sowie die Näherungssensoren 30 (z. B. einen Radar- oder Lasersensor) umsetzen, um die Kopplerposition 24 in dem ersten Abstandsbereich (z. B. ein Abstand von mehr als 5 m) zu detektieren. Das zweite Detektionsverfahren des Systems 10 kann auch eine oder mehrere der Kameras 60a-d in Kombination mit den Lichtquellen 94a-f umsetzen, um die Kopplerposition 24 über ein stereometrisches Bildgebungsverfahren zu detektieren. Das zweite Detektionsverfahren kann aktiviert werden, wenn der Kopplerabstand Dc innerhalb des vorbestimmten Abstands 100 liegt. Der effektive Abstand zum Anwenden des zweiten Detektionsverfahrens kann zuerst begrenzt werden, da die photometrische Stereobildgebung erfordern kann, dass das Licht, das auf den Anhänger 18 auftrifft, leicht durch das Bildgebungssystem 60 detektiert wird. Zusätzlich kann der Betriebsbereich des zweiten Verfahrens begrenzt sein, da die räumliche Trennung der Lichtquellen 94 unzureichend sein kann, um den Koppler 16 des Anhängers 18 über lange Abstände gerichtet zu beleuchten. Der vorbestimmte Abstand kann von den lokalen Beleuchtungsbedingungen, der Trennung der Lichtquellen 94, der Intensität der Lichtquellen 94 und der Leistung des Bildgebungssystems 60 abhängig sein. Dementsprechend kann der vorbestimmte Abstand für spezifische Fahrzeugmodelle auf Grundlage spezifischer Leistungs- und Abmessungseigenschaften identifiziert werden.
  • Unter Bezugnahme auf 5, 6 und 7 wird der Betrieb des Systems 10 im Allgemeinen in Bezug auf das Fahrzeug beschrieben, das in einer halbautonomen Konfiguration betrieben wird. Wie gezeigt, wird das Fahrzeug 12 durch die Steuerung 14 des Systems 10 entlang des Fahrzeugwegs 20 navigiert, um die Kupplungskugel 22 mit dem Koppler 16 des Anhängers 18 auszurichten. Wie in 5 gezeigt, befindet sich das Fahrzeug 12 in einem ersten Abstandsbereich, in dem der Abstand zu dem Koppler Dc größer als ein Abstandsschwellenwert 100 ist. In derartigen Fällen kann die Steuerung 14 Bilddaten von einer oder mehreren der Kameras 60a-60d des Bildgebungssystems 60 sowie einem oder mehreren der Näherungssensoren 30 verarbeiten, um die Kopplerposition 24 des Kopplers 16 zu schätzen. Wenn sich das Fahrzeug zum Beispiel jenseits des Abstandsschwellenwerts 100 befindet, kann die Steuerung 14 eine oder mehrere der Kameras 60a-60d des Bildgebungssystems 60 allein oder in Kombination mit dem Näherungssensor 30 umsetzen, um den Abstand Dc zu dem Koppler 16 zu identifizieren.
  • Wie in 5 gezeigt, entspricht der Näherungssensor 30 einem Fahrzeugradarsensor 102, der als Nahbereichsradar (SRR) mit einer Reichweite von ungefähr 30 Metern umgesetzt sein kann. Im Betrieb kann der Radarsensor 102 Tiefen- oder Bereichsinformationen sowie Winkelinformationen kommunizieren, die die Nähe und Richtung von Objekten innerhalb eines Abtastbereichs hinter dem Fahrzeug 12 innerhalb des Sichtfelds 92b identifizieren. Dementsprechend kann die Steuerung, wenn sich das Fahrzeug 12 jenseits des Abstandsschwellenwerts 100 befindet, den Anhänger 18 in den Bilddaten identifizieren, die in einem oder mehreren der durch das Bildgebungssystem 60 erfassten Sichtfelder 92a-92d dargestellt sind, um den Anhänger 18 und eine allgemeine Richtung des Kopplers 16 zu identifizieren. Zusätzlich kann die Steuerung 14 Radarsensordaten von dem Radarsensor 102 verarbeiten, um den Abstand zu entsprechenden Aspekten der Bilddaten zu schätzen, insbesondere den Abstand Dc zu dem Koppler 16. Nach dem Schätzen der Kopplerposition 24 und des Abstands Dc zu dem Koppler 16 kann die Steuerung 14 die Wegableitungsroutine 88 und die Betriebsroutine 90 anwenden, um das Fahrzeug 12 innerhalb des vorbestimmten Abstandsschwellenwerts 100 des Kopplers 16 zu navigieren.
  • Wie in 6 abgebildet, kann die Steuerung 14, sobald sich das Fahrzeug 12 dem Koppler 16 des Anhängers 18 innerhalb des Abstandsschwellenwerts 100 genähert hat, ein zweites Detektionsverfahren umsetzen, das die Kopplerposition 24 und den Kopplerabstand Dc genauer detektieren kann. Wie in 6, 7A und 7B gezeigt, kann das zweite oder Nahbereichsdetektionsverfahren eine oder mehrere der Lichtquellen 94 des Fahrzeugs umsetzen, um den Koppler 16 und den Anhänger 18 mit variierenden Lichtmustern zu beleuchten. In dem Beispiel, das in 6 abgebildet ist, können die Lichtquellen 94 die Rückleuchten 94a, die Rückfahrleuchten 94b, die Fahrtrichtungsanzeiger 94c und/oder verschiedene Segmente der Zusatzleuchte 94f beinhalten, von denen jedes nach hinten gerichtet ist und das Sichtfeld 92b der CHMSL-Kamera 60b beleuchtet. In dieser Konfiguration kann die Steuerung 14 selektiv eine Vielzahl der Lichtquellen 94 aktivieren, die über einen seitlichen Abstand senkrecht zu dem hinteren Sichtfeld räumlich getrennt sein können. Zum Beispiel kann der Koppler 16 durch Emissionen 108, 110, 112 beleuchtet werden, die von einem ersten Seitenabschnitt 104a, einem zweiten Seitenabschnitt 104b bzw. einem Zwischenabschnitt 104c ausgegeben werden. Auf diese Weise kann der Koppler 16 durch Lichtquellen 94, die sich über eine Breite des Fahrzeugs 12 erstrecken, mit einem Muster und zu einem Zeitpunkt beleuchtet werden, die jede von der ersten Emission 108, der zweiten Emission 110 und der dritten Emission 112 während eines nicht- überlappenden Zeitintervalls aktiviert.
  • Durch Beleuchten des Objekts (z. B. Anhänger 18, Koppler 16) mit den unterschiedlichen Emissionen 108, 110, 112 in unterschiedlichen Zeitintervallen können die Oberflächen und das reflektierte Licht, die den Emissionen 108, 110, 112 zugeordnet sind, unterschiedliche Konturen oder Oberflächenmerkmale in den Bilddaten offenbaren. Durch Ausrichten des Zeitpunkts der Kamera 60b mit der Beleuchtung der Emissionen 108, 110, 112 kann die Szene im Sichtfeld 92b deutlich beleuchtet werden, wodurch die Oberflächenmerkmale hervorgehoben werden, die senkrecht zu den Vektoren der Emissionen 108, 110, 112 sind. Wie gezeigt, sind die Vektoren der Emissionen 108, 110, 112 als Pfeile abgebildet. Auf diese Weise kann eine Frequenz der Beleuchtung zeitlich mit den Bilddaten ausgerichtet werden, um das Licht, das jeder der Emissionen 108, 110, 112 zugeordnet ist, in separaten Belichtungsintervallen abzubilden, die mit dem Muster der Emissionen 108, 110, 112 ausgerichtet sind. Auf Grundlage der aus diesem Prozess erfassten Bilddaten kann die Steuerung 14 den Abstand Dc zu dem Koppler 16 oder verschiedenen Objekten, die in dem Sichtfeld 92b beleuchtet sind, durch Nutzen einer photometrischen Stereodetektionsroutine identifizieren. Obwohl in Bezug auf die CHMSL-Kamera 60b erörtert, versteht es sich, dass die hintere Kamera 60a oder andere Kameras des Bildgebungssystems 60 ähnlich umgesetzt sein können, um die Tiefe von Objekten und Gelände in der Nähe des Fahrzeugs 12 zu detektieren.
  • Wie in den 6, 7A, 7B und 7C abgebildet, kann die erste Emission 108 von dem Rücklicht 94a an dem ersten Seitenabschnitt 104a emittiert werden und kann die zweite Emission 110 von der Rückleuchte 94a an dem zweiten Seitenabschnitt 104b des Fahrzeugs 12 emittiert werden. Zusätzlich zu den Rückfahrleuchten 94b kann die Zusatzleuchtenquelle 94f an einem Zwischenabschnitt 104c zwischen den Seitenabschnitten 104a und 104b positioniert sein. Die Zusatzleuchtenquelle 94f kann einem Lichtbalken entsprechen, der dazu konfiguriert sein kann, eine Vielzahl von Segmenten (siehe 1), die sich entlang einer Breite des Fahrzeugs 12 zwischen den Seitenabschnitten 104a, 104b erstreckt, zu beleuchten. In dieser Konfiguration kann die Steuerung 14 ein oder mehrere Segmente der Zusatzleuchtenquelle 94f aktivieren, um Lichtemissionen von verschiedenen Stellen zu projizieren, die sich über die Breite und Höhe des Fahrzeugs 12 erstrecken. Auf diese Weise kann die Steuerung 14 ein Ziel (z. B. den Koppler 16) von verschiedenen Zwischenstellen beleuchten, die zwischen den Seitenabschnitten 104a, 104b des Fahrzeugs 12 positioniert sind. Zusätzlich kann die Steuerung 14 die CHMSL 94d selektiv aktivieren, um den Koppler 16 von noch einem weiteren Zwischenabschnitt 104c des Fahrzeugs zu beleuchten. Dementsprechend kann die Steuerung 14 zusätzliche Lichtquellen des Fahrzeugs 12 aktivieren, um den Koppler 16 des Anhängers 18 zu beleuchten, obwohl die Emissionen 104a, 104b, 104c in Bezug auf spezifische Lichtquellen 94 erörtert werden.
  • Wie in 7A, 7B und 7C abgebildet, wird ein beispielhaftes Beleuchtungsmuster, das von den Fahrzeugleuchten 94 ausgegeben wird, um den Koppler 16 zu beleuchten, in dem Sichtfeld 92b gezeigt. 7A zeigt die erste Emission 108, die von der Rückleuchte 94a an dem ersten Seitenabschnitt 104 ausgegeben wird, und die resultierende erste Reflexion 114, die von dem Koppler 16 reflektiert wird. 7B zeigt die dritte Emission 112, die von der Zusatzleuchte 94f ausgegeben wird, und die resultierende dritte Reflexion 118 von dem Koppler 16. Zuletzt zeigt 7C die zweite Emission 110, die von der Rückleuchte 94a an dem zweiten Seitenabschnitt 106 ausgegeben wird, und die resultierende zweite Reflexion 116, die von dem Koppler 16 reflektiert wird. Im Allgemeinen kann die Beleuchtung des Objekts (z. B. des Anhängers 18) in dem Sichtfeld 92b sequentiell mit einer Frequenz beleuchtet werden, die ungefähr einer Dauer einer Belichtungszeit für ein Bild der Kamera 60b bei einer Einzelbildrate entspricht. In einigen Fällen kann die Beleuchtungsfrequenz sogar die Einzelbildrate übersteigen, sodass die Bilddaten, die jede der Emissionen 108, 110, 112 abbilden, in den Bilddaten über mehrere Einzelbilder hinweg abgebildet werden. Zum Beispiel kann eine Einzelbildrate ungefähr 30 Bilder pro Sekunde (frames per second - FPS) betragen und die Beleuchtungsfrequenz kann ungefähr 10 Hz betragen. Wie später erörtert, können in einigen Fällen Lichtquellen an dem Fahrzeug 12 integriert sein, die dazu konfiguriert sind, Licht bei Nah-Infrarotwellenlängen (z. B. 680 nm bis 2500 nm) oder Infrarotwellenlängen (z. B. 700 nm bis 1 mm) zu emittieren. Im Allgemeinen kann sichtbares Licht, wie in dieser Schrift erörtert, Wellenlängen im Bereich von ungefähr 400 nm bis 700 nm entsprechen. In derartigen Umsetzungen kann das von den Kameras des Bildgebungssystems 60 erfasste Licht gefiltert werden, um die Wellenlängen des von den Lichtquellen ausgegebenen Lichts hervorzuheben.
  • Wie in dieser Schrift erwähnt, kann der Ausdruck „ungefähr“ Werten entsprechen, die denen ähnlich sind, die spezifiziert sind, um Variationen im Betrieb, Fehler oder Verzögerungen in Bezug auf den Zeitpunkt zu berücksichtigen. Im Allgemeinen können derartige Näherungswerte Zeitbereichen von +/- 5 % bis 10 % oder mehr entsprechen, die durch Einschließen von Programmierungs- und/oder Verarbeitungsverzögerungen oder -pausen bei der Erfassung und Verarbeitung der Bilddaten ausgeglichen werden können. Dementsprechend kann die Ausrichtung der Beleuchtungsfrequenz mit der Einzelbildrate, wie beschrieben, ungefähr sein oder eine wesentliche oder effektive Ausrichtung der Belichtung der Bilddaten gegenüber der Beleuchtung der Emissionen 108, 110, 112 bereitstellen. In einigen Fällen kann die Ausrichtung der Belichtungen der Einzelbilder nicht 1:1 der Beleuchtungsfrequenz entsprechen. Zum Beispiel können mehrere Einzelbilder von Bilddaten über einen Zeitraum erfasst werden, der einer einzelnen Beleuchtung der Lichtquellen 94 mit der Beleuchtungsfrequenz entspricht. Alternativ kann jedes der Einzelbilder eine Vielzahl von Beleuchtungsimpulsen von einer der Lichtquellen 94 (z. B. zwei Instanzen der ersten Emission 108) beinhalten. In dieser Konfiguration kann ein erstes Einzelbild Bilddaten beinhalten, die die mehreren Emissionen von einer der Lichtquellen 94 von einem ersten Ursprungspunkt abbilden, und ein zweites Einzelbild kann Bilddaten beinhalten, die die mehreren Emissionen von einer der Lichtquellen 94 von einem zweiten Ursprungspunkt abbilden, wobei jeder der Ursprungspunkte räumlich mit einem vorbestimmten oder bekannten Abstand getrennt ist. Auf diese Weise kann die Steuerung 14 die Einzelbildrate der durch die Kamera 60b des Bildgebungssystems erfassten Bilddaten steuern, um sich auf eine Reihe von Arten effektiv, im Wesentlichen oder ungefähr zeitlich mit der Beleuchtungsfrequenz auszurichten.
  • In einigen Fällen kann die Steuerung 14 die Lichtquellen 94 aktivieren, um ein oder mehrere Objekte in dem Sichtfeld 92b mit einer Rate zu beleuchten, die für das menschliche Auge im Allgemeinen nicht wahrnehmbar ist. Zum Beispiel kann die Steuerung 14 jede der ersten, zweiten und dritten Emission 108, 110, 112 in einem Beleuchtungsmuster mit einer Beleuchtungsfrequenz, die über einem Flimmerfusionsschwellenwert liegen kann (z. B. ungefähr 50 Hz oder 60 Hz), schnell oszillieren lassen. Zusammen mit der Aktivierung des Lichtmusters jeder der Emissionen 108, 110, 112 kann die Steuerung 14 Bilder mit Belichtungszeiten erfassen, die mit der Frequenz des von den Lichtquellen 94 emittierten abwechselnden Musters ausgerichtet sind. Auf diese Weise kann die Steuerung 14 Bilddaten erfassen, die die Reflexionen abbilden, die sich aus jeder der ersten, zweiten und dritten Emission 108, 110, 112 ergeben. Eine photometrische Bildverarbeitungsroutine kann dann auf die Bilddaten angewendet werden, um die relative Tiefe jedes der Pixel zu detektieren, die den Koppler 16 und den Anhänger 18 in den Bilddaten darstellen.
  • Wie zuvor erörtert, kann das abwechselnde Muster, das von den Lichtquellen 94 ausgegeben wird, mit einer Rate umgesetzt sein, die über einem Flimmerfusionsschwellenwert liegt. Der Deutlichkeit halber kann der Flimmerfusionsschwellenwert einer Frequenz entsprechen, bei der ein flimmernder oder intermittierender Lichtreiz für einen menschlichen Beobachter konstant oder nicht flackernd zu sein scheint, während die Kamera gleichzeitig dazu in der Lage ist, das Lichtreaktionsverhalten der Oberflächen im Zeitverlauf genau zu erfassen. Im Allgemeinen kann ein Flimmerfusionsschwellenwert einer Frequenz über 60 Hz oder 80 Hz entsprechen und kann mit einer Vielzahl von Lichtquellen umgesetzt sein. Zum Beispiel können Lichtemitterdioden(LED)-Lichtquellen bei Frequenzen über 80 Hz umgesetzt sein. Zusätzlich kann die Belichtungszeit der Kamera (z. B. CHMSL-Kamera 60b) des Bildgebungssystems 60 ausgewählt werden, um eine Hochfrequenzbilderfassung bereitzustellen, die mit der Beleuchtungsfrequenz von jeder der Lichtquellen 94 ausgerichtet sein kann. Auf diese Weise kann das System 10 vorsehen, dass die Lichtquellen 94 des Fahrzeugs mit einem einzelnen Bildgeber oder einer einzelnen Kamera umgesetzt werden, um Tiefeninformationen für jedes der Pixel in den Bilddaten, die in dem Sichtfeld 92b abgebildet sind, über die photometrische Stereobildgebungsroutine zu identifizieren, wie hierin erörtert. Weitere Details der Detektions- und Navigationsroutine des Systems werden nun unter Bezugnahme auf die in 8A, 8B und 8C gezeigten Ablaufdiagramme erörtert.
  • Nun unter Bezugnahme auf 8A, 8B und 8C sind Ablaufdiagramme gezeigt, die ein Verfahren 130 zum Detektieren von Objekten entlang eines Wegs eines halbautonomen Kupplungsunterstützungsfahrzeugs veranschaulichen. Im Betrieb kann das Verfahren 130 als Reaktion auf eine Aktivierung einer Anhängerkupplungsunterstützungsanforderung durch einen Benutzer des Fahrzeugs 12 eingeleitet werden (132). Sobald sie aktiviert ist, kann das Verfahren 130 anfänglich mit dem Radarsensor 102 einen Abstand zu dem Anhänger schätzen (134). In Schritt 136 kann das Verfahren 130 bestimmen, ob der Anhänger 18 detektiert wird. Wenn der Anhänger in Schritt 136 nicht detektiert wird, kann ein Detektionsfehler identifiziert und einem Benutzer über die MMS 66 gemeldet werden (138). Wenn der Anhänger 18 in den Radardaten detektiert wird, kann das Verfahren 130 weiterhin den Abstand zwischen dem Fahrzeug 12 und dem Anhänger 18 messen und die Wegableitungs- und Betriebsroutinen 88 und 90 anwenden, um das Fahrzeug 12 in Richtung des Anhängers 18 zu navigieren (140). Das Verfahren 130 kann den Abstand zu dem Anhänger 18 über den Radarsensor 102 weiter überwachen und in Richtung des Anhängers 18 navigieren, bis der Abstand zu dem Anhänger 18 (z. B. der Abstand Dc zu dem Koppler 16) unter dem Abstandsschwellenwert 100 liegt (142).
  • Sobald das Fahrzeug 12 innerhalb des Abstandsschwellenwerts 100 identifiziert wurde, kann die Steuerung 14 eine oder mehrere der Kameras (z. B. die hintere Kamera 60a, die CHMSL-Kamera 60b usw.) aktivieren und die nach hinten gerichteten Szenen in einem der entsprechenden Sichtfelder 92a, 92b erfassen (144). Die von der Kamera (z. B. CHMSL-Kamera 60b) kommunizierten Bilddaten können dann durch die Steuerung 14 in ein Luminanzhistogramm umgewandelt werden, das eine Helligkeit der in dem Sichtfeld 92b erfassten Szene angibt (146). Sobald die Szenenhelligkeit bestimmt ist, kann die Steuerung 14 in Schritt 148 bestimmen, ob die Szenenhelligkeit über einem Umgebungslichtschwellenwert liegt. Wenn die Helligkeit den Umgebungsschwellenwert übersteigt, kann das Verfahren 130 mit Schritt 150 fortfahren und eine alternative Detektionsroutine aktivieren. Die alternative Detektionsroutine kann einer bildbasierten Detektionsroutine ohne photometrische Stereobildgebungsverbesserung entsprechen (150). Wenn die Helligkeit nicht über dem Umgebungsschwellenwert liegt, kann das Verfahren 130 mit Schritt 152 fortfahren, um ein photometrisches Stereodetektionsverfahren zu aktivieren, wie unter Bezugnahme auf 8B und Bezugszeichen A weiter erörtert.
  • Unter Bezugnahme auf 8B bezieht sich das Bezugszeichen A auf die Einleitung einer photometrischen Detektionsroutine 160. Die photometrische Detektionsroutine 160 kann durch sequentielles Aktivieren der Vielzahl von Lichtquellen 94 in einem räumlich getrennten Beleuchtungsmuster beginnen (162). Wie zuvor erörtert, kann die sequentielle Beleuchtung der Lichtquellen 94 (z. B. Rückleuchten 94a, Zusatzleuchte 94f usw.) mit einer Beleuchtungsfrequenz aktiviert werden. Dementsprechend, um das mit den Emissionen von den Lichtquellen 94 assoziierte Licht zu erfassen, kann die Steuerung 14 die Kamera (z. B. die CHMSL-Kamera 60b) des Bildgebungssystems 60 steuern, um Bilder mit Belichtungen zu erfassen, die der Beleuchtungsfrequenz und der Sequenz des Beleuchtungsmusters entsprechen (164). Auf Grundlage der Bilddaten und des Zeitpunkts/des Ursprungs der entsprechenden Emissionen der Beleuchtungssequenz kann die Detektionsroutine 160 als Reaktion auf die sequentielle Beleuchtung Oberflächenvektoren berechnen, die Normalenvektoren entsprechen, die dem von den Oberflächen des Kopplers 16 des Anhängers 18 reflektierten Licht zugeordnet sind. Die Oberflächennormalenvektoren können in einer Matrix gespeichert werden, die Beschränkungen für die Tiefe jedes der Pixel angibt, die den Oberflächennormalen zugeordnet sind (166). Wenn die Matrix die ausgefüllten Oberflächennormalenwerte beinhaltet, kann die Steuerung 14 eine Matrixgleichung lösen, um Z-Werte oder Tiefenwerte zu berechnen, die dem Abstand jedes der Pixel relativ zu der Kamera 60b zugeordnet sind. Um die Genauigkeit der Tiefenschätzung für jedes der Pixel in Schritt 166 zu verbessern, kann die Steuerung 14 Umgebungsdaten 168 einbeziehen, die die Position der Sonne auf Grundlage des geografischen Standorts des Fahrzeugs 12 und des Kompasskurses des Fahrzeug 12 beinhalten können. Ferner können bekannte geometrische Beschränkungen, wie etwa die Höhe der Kamera zum Boden und die kontinuierliche Art einer Straßenoberfläche, dazu verwendet werden, eine Tiefenschätzung in Bezug auf ein Fahrzeugkoordinatensystem zu berechnen.
  • Die Tiefenergebnisse können ferner auf Grundlage eines Signal-Rausch-Verhältnisses oder anderer Filterverfahren gefiltert werden, die außerhalb liegende Ergebnisse aus den geschätzten Tiefeninformationen in der Szene entfernen oder abschwächen können (170). In einigen Umsetzungen können die Bilddaten zusätzlich nach einer oder mehreren Farben oder Wellenlängen gefiltert werden, die den Lichtquellen 94 des Fahrzeugs 12 zugeordnet sind, die zum Beleuchten des Ziels verwendet werden. Zum Beispiel können die Lichtquellen 94 dazu konfiguriert sein, Licht bei Nah-Infrarotwellenlängen (z. B. 680 nm bis 2500 nm) oder Infrarotwellenlängen (z. B. 700 nm bis 1 mm) zu emittieren, das von typischem umgebendem, sichtbarem Licht von der Sonne oder künstlichen Lichtquellen (z. B. Straßenlaternen) unterschieden und gefiltert werden kann. Im Allgemeinen kann sichtbares Licht, wie in dieser Schrift erörtert, Wellenlängen im Bereich von ungefähr 400 nm bis 700 nm entsprechen. In derartigen Beispielen kann die Steuerung 14 den Bilddatenfokus auf eine(n) oder mehrere spezifische Farbkanäle, Wellenlängen oder Wellenlängenbereiche filtern, die den Reflexionen 114, 116, 118 entsprechen können, die aus den Emissionen 108, 110, 112 resultieren. In einigen Fällen können die Tiefenergebnisse auch über einen Filter des optischen Flusses oder eine Schätzung des optischen Flusses gefiltert werden, was besonders vorteilhaft beim Filtern von bewegungsbezogenen Variationen in den Pixeldaten sein kann, die nicht der Bewegung des Fahrzeugs 12 oder des Anhängers 18 zugeordnet sind. Dementsprechend kann die Steuerung 14 vor dem Nutzen der Tiefenergebnisse aus Schritt 166 die Bilddaten filtern, um die Zuverlässigkeit zu verifizieren und zu verbessern.
  • In einigen Fällen können die Bilddaten teilweise durch ein oder mehrere Objekte verdeckt sein. Gleichermaßen können Abschnitte der Bilddaten Ergebnisse liefern, die aufgrund von Hindernissen (z. B. Schmutz, Öl, Staub, Objekten), die in den Bilddaten verschwimmen oder sich als Verdeckungen manifestieren, zur Erkennung ungeeignet sind. In derartigen Fällen kann die Steuerung 14 eine Maske über Abschnitte der Bilddaten anwenden, die für das Zielobjekt zur Ausrichtung (z. B. den Koppler 16) nicht repräsentativ sind. Im Betrieb kann die Steuerung 14 Hindernisse als Abschnitte der Bilddaten identifizieren, die nicht dem optischen Fluss der Szene entsprechen. Zusätzlich können Hindernisse auf Grundlage von Signal-Rausch-Filterung, Ähnlichkeiten des Erscheinungsbilds und verschiedener Detektions-/Filtertechniken identifiziert werden. Dementsprechend kann die Steuerung 14 die Bilddaten, welche die Szene zeigen, auf verschiedene Arten verbessern, maskieren und/oder filtern, um die Genauigkeit und die Zuverlässigkeit der photometrischen Detektionsroutine 160 zu verbessern.
  • Wie in Bezug auf Schritt 168 erörtert, können die Umgebungsdaten durch die Steuerung 14 dazu genutzt werden, Umgebungslicht/natürliches Licht zu filtern oder zu berücksichtigen. Wenn zum Beispiel eine Umgebungslichtquelle oder externe Lichtquelle (z. B. Straßenlaterne, Sonne usw.) in den Bilddaten detektiert wird, kann eine Komponente der Beleuchtung des Kopplers 16, die während der photometrischen Stereobildgebungsroutine detektiert wird, eingestellt werden, um die entsprechende Umgebungsbeleuchtung zu berücksichtigen oder aus dem Bild zu filtern. Zusätzlich kann, wenn die Umgebungsdaten eine Position der Sonne angeben, die Steuerung 14 dazu konfiguriert sein, die Richtung des natürlichen Lichts von der Sonne in Kombination mit einer Kompasspeilung des Fahrzeugs 12 zu nutzen, um den Ursprung des Lichts, das der Sonne zugeordnet ist, zu schätzen. Auf Grundlage der Richtung Lichtemissionen, die der Sonne zugeordnet sind, kann die Steuerung 14 die natürliche Beleuchtung als eine Lichtquelle für das photometrische Stereobildgebungsverfahren umsetzen. Zum Beispiel kann die Steuerung 14 in Schritt 168 Belichtungen mit der Kamera 60b erfassen, ohne dass beliebige Lichtquellen 94 des Fahrzeugs 12 aktiviert sind, und die entsprechenden Bilddaten als eine Komponente der Oberflächennormalenmatrix nutzen, um die Tiefe zu schätzen. Auf diese Weise kann Umgebungslicht oder natürliches Licht mit einem bekannten Ursprung relativ zu dem Fahrzeug 12 genutzt werden, um die Lichtquellen 94 zu ergänzen, um die photometrische Stereotiefendetektion für die Bilddaten umzusetzen. In einem anderen Beispiel kann die Kamera ein Bild nur mit Umgebungsbeleuchtung erfassen und dann die Änderung für jede nachfolgende Fahrzeugbeleuchtung berechnen. Ferner kann die Berechnung eine Änderung der spektralen Leistungsdichte in Abhängigkeit von dem Anstand von der Fahrzeugbeleuchtungsquelle berücksichtigen und somit die Änderung der Intensitätserfassung in dem Bild normalisieren.
  • Sobald die Daten gefiltert oder modifiziert sind, kann ein verbessertes Bild der Szene berechnet werden, das die Tiefe und den entsprechenden Abstand jedes der in dem Bild dargestellten Pixel identifiziert (172). Das verbesserte Bild stellt eine genaue Schätzung des Abstands von der Kamera 60b zu dem Koppler 16 des Anhängers 18 bereit. Mit diesen Informationen kann die Steuerung 14 den Abstand Dc von der Kupplungskugel 22 zu der Kopplerposition 24 auf Grundlage der bekannten Beziehung zwischen der Kupplungskugel 22 und der Kamera 60b identifizieren. Allgemeiner ausgedrückt können die verbesserten Bilddaten in einer Konfidenzmatrix, die jedes Pixel darstellt, in Schritt 174 von der photometrischen Detektionsroutine 160 ausgegeben werden. Nach Abschluss der photometrischen Detektionsroutine 160 kann das Verfahren 130 mit Bezugszeichen B fortfahren, was unter Bezugnahme auf 8C weiter erörtert ist.
  • Nun unter Bezugnahme auf 8C kann das Verfahren 130 die photometrische Detektionsroutine 160 fortsetzen und die verbesserten Bilddaten umsetzen, um die Führung des Fahrzeugs 12 entlang des Fahrzeugwegs 20 zu unterstützen. Im Anschluss an Bezugszeichen B kann das Verfahren 130 damit fortfahren, den Anhänger 18 in den verbesserten Bilddaten zu detektieren (180). Wie zuvor erwähnt, können die verbesserten Bilddaten eine Konfidenzmetrik beinhalten, die mit einer Toleranz in Schritt 182 verglichen werden kann. Wenn ein Geräuschpegel größer als die Toleranz ist, kann das Verfahren 130 eine alternative Kupplungsunterstützungsroutine anwenden, die ein Bildgebungsverfahren beinhalten kann, das natürliches Licht oder Umgebungslicht nutzt (184). Wenn das Geräusch in Schritt 182 innerhalb der Toleranz liegt, kann das Verfahren 130 damit fortfahren, die erweiterten Bilddaten auf signifikante Variationen in der Tiefe zu scannen, die Hindernissen, Unebenheiten, Wasser usw. entlang des Fahrzeugwegs 20 entsprechen können (185). Die in Schritt 185 beschriebenen Hindernisse können Variationen in der Tiefe entsprechen, die nicht dem Anhänger 18 zugeordnet sind. Dementsprechend kann das Verfahren 130 eine Hindernisdetektion auf Grundlage der Tiefenschätzungsergebnisse aus den Bilddaten bereitstellen, um die Wegableitungsroutine 88 zu verbessern.
  • Bei Detektion eines Hindernisses kann die Steuerung die Wegableitungsroutine 88 anwenden, um auf Grundlage des Wenderadius ρmin zu bestimmen, ob das Hindernis vermeidbar ist, um zu ermöglichen, dass der Weg 20 um das Hindernis herum navigiert (186). Wenn das Hindernis nicht vermeidbar ist, kann die Steuerung 14 die Routine zum unterstützten Fahrzeugbetrieb deaktivieren und über die MMS 66 eine Benachrichtigung an den Benutzer ausgeben (188). Wenn das Hindernis vermeidbar ist, kann das Verfahren 130 damit fortfahren, einen Azimutabstand des Kopplers 16 relativ zu der Kupplungskugel 22 des Fahrzeugs 12 zu berechnen (190). Der Azimutabstand beinhaltet eine Winkelmessung der ungefähren Höhe des Kopplers 16 relativ zu der Kupplungskugel 22. Dementsprechend kann der Navigationsbetrieb des Fahrzeugs 12 in Schritt 188 deaktiviert werden, wenn der Azimutabstand größer als ein vordefinierter Grenzwert oder negativ ist. Wenn in Schritt 192 bestimmt wird, dass der Azimutabstand negativ ist, ist die Höhe Hc der Kupplung 16 kleiner als die Höhe der Kupplungskugel 22, was angibt, dass die Höhe Hc der Kupplung 16 unzureichend ist, um die Kupplungskugel 22 freizumachen. Alternativ, wenn der Azimutabstand größer als der Grenzwert ist, kann das Verfahren 130 in Schritt 188 gleichermaßen deaktiviert werden, da eine Variation der Kopplerhöhe Hc die Höhe der Kupplungskugel 22 übersteigt. Die Höhenvariation zwischen der Kupplungskugel 22 und dem Koppler 16 kann auf Variationen des Geländes des Weges 20 zwischen dem Fahrzeug 12 und dem Anhänger 18 zurückzuführen sein. Auf Grundlage von Schritt 192 können Behinderungen oder Hindernisse für automatisierte Navigationsschritte der Betriebsroutine 90 identifiziert werden, die andernfalls unentdeckt bleiben könnten, sodass der halbautonome Betrieb eines Fahrzeugs 12 in Schritt 188 deaktiviert werden kann.
  • Im Anschluss an Schritt 192, wenn nicht identifiziert wird, dass der Azimutabstand den Grenzwert übersteigt oder negativ ist, kann das Verfahren 130 damit fortfahren, die Wegableitungsroutine 88 auf Grundlage der Kopplerposition 24 und des Abstands Dc zu dem Koppler 16, der aus den verbesserten Bilddaten identifiziert wurde, anzuwenden (194). Wenn der Fahrzeugweg 20 identifiziert ist, kann die Steuerung 14 das Antriebsstrangsystem 64, das Bremssteuersystem 62 und das Lenksystem 50 steuern, um das Fahrzeug 12 entlang des Wegs 20 zu manövrieren (196). Zusätzlich zu den durch das Bildgebungssystem 60 erfassten Bilddaten können Daten von den Näherungssensoren 30 (z. B. Ultraschall, Radar usw.) in Kombination mit den photometrischen Stereobilddaten umgesetzt werden, um die Detektion der Objekte und Hindernisse in der Szene weiter zu verbessern. Wenn sich das Fahrzeug 12 dem Anhänger 18 nähert, kann die Steuerung 14 damit fortfahren, die Position der Kupplungskugel 22 relativ zu der Kopplerposition 24 zu überwachen, um zu bestimmen, ob eine genaue Ausrichtung zwischen dem Fahrzeug 12 und dem Anhänger 18 erreicht ist (198). Bis das Fahrzeug 12 zur Verbindung mit dem Anhänger 18 ausgerichtet ist, kann das Verfahren 130 damit fortfahren, die Detektionsroutine 160 über die Bezugszeichen A anzuwenden. Sobald die Steuerung 14 identifiziert, dass die Kupplungskugel 22 mit der Kopplerposition 24 ausgerichtet ist, kann die Steuerung 14 die Feststellbremse 62b aktivieren und den Benutzer einstellen oder anweisen, das Fahrzeug 12 in einer geparkten Konfiguration zu platzieren (200).
  • Wie durch die Offenbarung bereitgestellt, stellt die photometrische Detektionsroutine 160 die Berechnung von Tiefendaten bereit, die Szenen zugeordnet sind, welche die Umgebung um das Fahrzeug 12 herum abbilden, während nur eine monoskopische Kamera (z. B. die Kameras 60a-d) erforderlich ist. Zusätzlich kann die Offenbarung bereitstellen, dass die sequentielle Beleuchtung, die erforderlich ist, um die photometrische Detektionsroutine 160 zu bewirken, ohne visuelle Ablenkung umgesetzt wird. Dementsprechend stellt die Offenbarung ein verbessertes Detektionsverfahren bereit, um einen halbautonomen Fahrzeugbetrieb zu unterstützen, indem Merkmale umgesetzt werden, die bereits in verschiedene Fahrzeuge integriert sein können. Auf diese Weise kann das System erweiterte Detektionsmerkmale bereitstellen, ohne dass spezialisierte Hardware eingeführt werden muss.
  • Für die Zwecke dieser Offenbarung bedeutet der Ausdruck „gekoppelt“ (in allen seinen Formen, koppeln, Kopplung, gekoppelt usw.) im Allgemeinen, dass zwei (elektrische oder mechanische) Komponenten direkt oder indirekt miteinander verbunden sind. Ein derartiges Verbinden kann dem Wesen nach stationär oder beweglich sein. Ein derartiges Verbinden kann erreicht werden, indem die beiden (elektrischen oder mechanischen) Komponenten und beliebige zusätzliche dazwischenliegende Elemente einstückig als ein einzelner einheitlicher Körper miteinander oder mit den beiden Komponenten gebildet werden. Ein derartiges Verbinden kann, sofern nicht anders vorgegeben, dem Wesen nach permanent sein oder dem Wesen nach entfernbar oder lösbar sein.
  • Es ist ebenso wichtig festzuhalten, dass die Konstruktion und Anordnung der Elemente der Offenbarung, wie sie in den beispielhaften Ausführungsformen gezeigt sind, lediglich veranschaulichend sind. Wenngleich nur einige wenige Ausführungsformen der vorliegenden Innovationen in dieser Offenbarung im Detail beschrieben wurden, ist für einen Fachmann, der diese Offenbarung untersucht, ohne Weiteres ersichtlich, dass viele Modifikationen möglich sind (z. B. Variationen hinsichtlich Größen, Abmessungen, Strukturen, Formen und Proportionen der verschiedenen Elemente, Werten von Parametern, Montageanordnungen, Verwendung von Materialien, Farben, Ausrichtungen usw.), ohne wesentlich von den neuartigen Lehren und Vorteilen des beschriebenen Gegenstandes abzuweichen. Beispielsweise können Elemente, die als einstückig ausgebildet dargestellt sind, aus mehreren Teilen oder Elementen konstruiert sein, die als mehrere Teile dargestellt sind, einstückig ausgebildet sein, der Betrieb der Schnittstellen kann umgekehrt oder sonst unterschiedlich sein, die Länge oder Breite der Strukturen und/oder Elemente oder Verbinder oder anderer Elemente des Systems kann variiert werden, die Art oder Anzahl der Einstellpositionen, die zwischen den Elementen bereitgestellt sind, kann variiert werden. Es ist anzumerken, dass die Elemente und/oder Baugruppen des Systems aus einer breiten Vielfalt von Materialien konstruiert sein können, die ausreichende Festigkeit oder Haltbarkeit bereitstellen, in einer breiten Vielfalt von Farben, Texturen und Kombinationen. Dementsprechend ist beabsichtigt, dass alle derartigen Modifikationen im Umfang der vorliegenden Innovationen eingeschlossen sind. Andere Substitutionen, Modifikationen, Änderungen und Weglassungen können an der Ausgestaltung, den Betriebsbedingungen und der Anordnung der gewünschten und anderer beispielhafter Ausführungsformen vorgenommen werden, ohne vom Wesen der vorliegenden Innovationen abzuweichen.
  • Es versteht sich, dass beliebige beschriebene Prozesse oder Schritte innerhalb beschriebener Prozesse mit anderen offenbarten Prozessen oder Schritten kombiniert werden können, um Strukturen innerhalb des Umfangs der vorliegenden Offenbarung zu bilden. Die in dieser Schrift offenbarten beispielhaften Strukturen und Prozesse dienen der Veranschaulichung und sind nicht als einschränkend auszulegen.
  • Gemäß der vorliegenden Erfindung wird ein Detektionssystem für ein Fahrzeug bereitgestellt, aufweisend: eine Kamera, die dazu konfiguriert ist, Bilddaten zu erfassen, die ein Sichtfeld in der Nähe des Fahrzeugs abbilden; eine Vielzahl von Lichtquellen in Verbindung mit dem Fahrzeug; und eine Steuerung, die: die Vielzahl von Lichtquellen in einem abwechselnden Muster mit einer Beleuchtungsfrequenz aktiviert; die Bilddaten, die Licht abbilden, das von mindestens einem Objekt reflektiert wird, zu einem Zeitpunkt und entsprechend dem abwechselnden Muster und der Beleuchtungsfrequenz erfasst; und als Reaktion auf Variationen des Lichts, das von dem abwechselnden Muster auf das mindestens eine Objekt auftrifft, Tiefeninformationen für mindestens ein Pixel der Bilddaten, das einem Standort des mindestens einen Objekts entspricht, identifiziert.
  • Gemäß einer Ausführungsform identifiziert die Steuerung ferner einen Abstand von dem Fahrzeug zu dem mindestens einen Objekt durch Verarbeiten der Tiefeninformationen und der Bilddaten.
  • Gemäß einer Ausführungsform umfasst das mindestens eine Objekt mindestens eines von einer Oberflächenkontur eines Betriebsgeländes, einem Hindernis entlang eines Wegs des Fahrzeugs oder einem Navigationsziel, zu dem das Fahrzeug durch die Steuerung navigiert wird.
  • Gemäß einer Ausführungsform ist die Vielzahl von Lichtquellen über einen vorbestimmten Abstand räumlich getrennt.
  • Gemäß einer Ausführungsform wird das abwechselnde Muster durch die Steuerung aktiviert, indem die Lichtquellen über die räumliche Trennung abwechselnd aktiviert werden.
  • Gemäß einer Ausführungsform werden die Bilddaten, die das Sichtfeld in der Nähe des Fahrzeugs abbilden, mit einer Einzelbildrate erfasst und steuert die Beleuchtungsfrequenz eine Beleuchtungsdauer jeder der Lichtquellen, die sich über eine Belichtungszeit der Kamera bei der Einzelbildrate erstreckt.
  • Gemäß einer Ausführungsform ist die Beleuchtungsfrequenz größer als ein Flimmerfusionsschwellenwert von mindestens 50 Hz.
  • Gemäß einer Ausführungsform umfasst die Vielzahl von Lichtquellen eine erste Lichtquelle und eine zweite Lichtquelle in Verbindung mit gegenüberliegenden Abschnitten des Fahrzeugs.
  • Gemäß einer Ausführungsform umfassen die Lichtquellen eine Kombination aus zwei oder mehr Rückleuchten, Rückfahrleuchten, Fahrtrichtungsanzeigern, Scheinwerfern, Nebelscheinwerfern oder Zusatzleuchten des Fahrzeugs.
  • Gemäß einer Ausführungsform ist das Sichtfeld von dem Fahrzeug nach hinten gerichtet und steht die Kamera in Verbindung mit mindestens einem von einem Kofferraumdeckel, einer Heckklappe, einem Hecktürabschnitt oder einer mittigen hochgesetzten Bremsleuchte des Fahrzeugs.
  • Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch mindestens einen Radarsensor, der dazu konfiguriert ist, Radardaten zu erfassen, wobei die Steuerung ferner: das Objekt als einen Koppler eines Anhängers in mindestens einem von den Radardaten und den Bilddaten identifiziert; eine Kopplerposition des Kopplers relativ zu dem Fahrzeug mit den Radardaten detektiert; und ein Navigationssystem des Fahrzeugs steuert, das das Fahrzeug innerhalb eines vorbestimmten Abstands von dem Anhänger als Reaktion auf die Radardaten positioniert.
  • Gemäß einer Ausführungsform führt die Steuerung ferner Folgendes durch: Aktivieren der Vielzahl von Leuchten in dem abwechselnden Muster als Reaktion darauf an, dass sich das Fahrzeug innerhalb eines vorbestimmten Abstands von einem Anhänger befindet; und Identifizieren einer Kopplerposition eines Kopplers des Anhängers mit Bilddaten von der Kamera, die das abwechselnde Lichtmuster von der Vielzahl von Leuchten abbilden.
  • Gemäß einer Ausführungsform werden die Variationen der Beleuchtung des Kopplers des Anhängers, die in den Bilddaten abgebildet sind, durch die Steuerung verarbeitet, um eine Vielzahl von Oberflächenvektoren zu detektieren, die Konturen des Kopplers identifizieren.
  • Gemäß einer Ausführungsform führt die Steuerung ferner Folgendes durch: Erzeugen einer Matrix der Flächenvektoren relativ zu einem Ursprung jeder der Vielzahl von Lichtquellen; und Verarbeiten der Matrix, um den Abstand von dem Fahrzeug zu dem Koppler zu identifizieren.
  • Gemäß einer Ausführungsform ist die Erfindung ferner durch Folgendes gekennzeichnet: ein Lenksteuersystem, das dazu konfiguriert ist, einen Lenkwinkel einer Vielzahl von gelenkten Rädern eines Fahrzeugs zu steuern, und wobei die Steuerung ferner eine Fahrzeugausrichtungsroutine steuert, die eine Position des Fahrzeugs einstellt, und wobei der Lenkwinkel eine Anhängerkupplung des Fahrzeugs mit dem Standort des Objekts ausrichtet.
  • Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Steuern eines Fahrzeugs Folgendes: Aktivieren einer Vielzahl von räumlich getrennten Leuchten des Fahrzeugs in einem Muster mit einer Beleuchtungsfrequenz, wobei das Muster durch Aktivieren der Lichtquellen über die räumliche Trennung gesteuert wird; Erfassen von Licht, das von mindestens einem Objekt reflektiert wird, mit einer Kamera zu einem Zeitpunkt und entsprechend dem Muster und der Beleuchtungsfrequenz; und Identifizieren eines Abstands zu dem Objekt von dem Fahrzeug als Reaktion auf Variationen des Lichts, das von den in dem Muster aktivierten Leuchten auf das Objekt auftrifft.
  • In einem Aspekt der Erfindung ist die Beleuchtungsfrequenz größer als ein Flimmerfusionsschwellenwert.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Detektieren eines Abstands zu dem Objekt relativ zu dem Fahrzeug; Navigieren des Fahrzeugs innerhalb eines vorbestimmten Abstands von dem Objekt; und Aktivieren der Vielzahl von räumlich getrennten Leuchten des Fahrzeugs als Reaktion darauf, dass sich das Fahrzeug innerhalb der vorbestimmten Abstands von dem Objekt befindet.
  • Gemäß der vorliegenden Erfindung wird ein Steuersystem eines Fahrzeugs bereitgestellt, aufweisend: eine Kamera, die dazu konfiguriert ist, Bilddaten zu erfassen, die ein Sichtfeld in der Nähe des Fahrzeugs abbilden; eine Vielzahl von Lichtquellen in Verbindung mit dem Fahrzeug, wobei die Vielzahl von Lichtquellen über einen vorbestimmten Abstand räumlich getrennt ist; und eine Steuerung, die: die Vielzahl von Lichtquellen in einem abwechselnden Muster über die räumliche Trennung mit einer Beleuchtungsfrequenz, die größer als eine Flimmerfusionsschwellenwert ist, aktiviert; die Bilddaten, die Licht darstellen, das von einem Koppler eines Anhängers reflektiert wird, zu einem Zeitpunkt und entsprechend der Beleuchtungsfrequenz erfasst; und als Reaktion auf Variationen des Lichts, das von dem abwechselnden Muster auf den Koppler auftrifft, eine Kopplerposition des Kopplers des Anhängers relativ zu dem Fahrzeug identifiziert.
  • Gemäß einer Ausführungsform umfasst das System ferner Folgendes: eine Lenksteuerung, die dazu konfiguriert ist, einen Lenkwinkel einer Vielzahl von gelenkten Rädern eines Fahrzeugs zu steuern; und wobei die Steuerung ferner: die Lenksteuerung steuert, um das Fahrzeug entlang eines Ausrichtungswegs zu navigieren, der das Fahrzeug innerhalb eines vorbestimmten Abstands von der Kopplerposition positioniert; und die Vielzahl von Leuchten in dem abwechselnden Muster als Reaktion darauf aktiviert, dass sich das Fahrzeug innerhalb des vorbestimmten Abstands befindet.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 9102271 [0029]
    • US 10266023 [0030]

Claims (15)

  1. Detektionssystem für ein Fahrzeug, umfassend: eine Kamera, die dazu konfiguriert ist, Bilddaten zu erfassen, die ein Sichtfeld in der Nähe des Fahrzeugs abbilden; eine Vielzahl von Lichtquellen in Verbindung mit dem Fahrzeug; und eine Steuerung, die: die Vielzahl von Lichtquellen in einem abwechselnden Muster mit einer Beleuchtungsfrequenz aktiviert; die Bilddaten, die Licht abbilden, das von mindestens einem Objekt reflektiert wird, zu einem Zeitpunkt und entsprechend dem abwechselnden Muster und der Beleuchtungsfrequenz erfasst; und als Reaktion auf Variationen des Lichts, das von dem abwechselnden Muster auf das mindestens eine Objekt auftrifft, Tiefeninformationen für mindestens ein Pixel der Bilddaten entsprechend einem Standort des mindestens einen Objekts identifiziert.
  2. System nach Anspruch 1, wobei die Steuerung ferner: einen Abstand von dem Fahrzeug zu dem mindestens einen Objekt durch Verarbeiten der Tiefeninformationen und der Bilddaten identifiziert.
  3. System nach Anspruch 1, wobei das mindestens eine Objekt mindestens eines von einer Oberflächenkontur eines Betriebsgeländes, einem Hindernis entlang eines Wegs des Fahrzeugs oder einem Navigationsziel, zu dem das Fahrzeug durch die Steuerung navigiert wird, umfasst.
  4. System nach Anspruch 1, wobei die Vielzahl von Lichtquellen über einen vorbestimmten Abstand räumlich getrennt ist.
  5. System nach Anspruch 4, wobei das abwechselnde Muster durch die Steuerung aktiviert wird, indem die Lichtquellen über die räumliche Trennung abwechselnd aktiviert werden.
  6. System nach Anspruch 4, wobei die Bilddaten, die das Sichtfeld in der Nähe des Fahrzeugs abbilden, mit einer Einzelbildrate erfasst werden und die Beleuchtungsfrequenz eine Beleuchtungsdauer jeder der Lichtquellen steuert, die sich über eine Belichtungszeit der Kamera bei der Einzelbildrate erstreckt.
  7. System nach Anspruch 4, wobei die Beleuchtungsfrequenz größer als ein Flimmerfusionsschwellenwert von mindestens 50 Hz ist.
  8. System nach einem der Ansprüche 1-4, wobei die Vielzahl von Lichtquellen eine erste Lichtquelle und eine zweite Lichtquelle in Verbindung mit gegenüberliegenden Abschnitten des Fahrzeugs umfasst.
  9. System nach einem der Ansprüche 1-4, wobei die Lichtquellen eine Kombination aus zwei oder mehr Rückleuchten, Rückfahrleuchten, Fahrtrichtungsanzeigern, Scheinwerfern, Nebelscheinwerfern oder Zusatzleuchten des Fahrzeugs umfassen.
  10. System nach einem der Ansprüche 1-4, wobei das Sichtfeld von dem Fahrzeug nach hinten gerichtet ist und die Kamera mit mindestens einem von einem Kofferraumdeckel, einer Heckklappe, einem Hecktürabschnitt oder einer mittigen hochgesetzten Bremsleuchte des Fahrzeugs in Verbindung steht.
  11. System nach einem der Ansprüche 1-4, ferner umfassend mindestens einen Radarsensor, der dazu konfiguriert ist, Radardaten zu erfassen, wobei die Steuerung ferner: das Objekt als einen Koppler eines Anhängers in mindestens einem von den Radardaten und den Bilddaten identifiziert; eine Kopplerposition des Kopplers relativ zu dem Fahrzeug mit den Radardaten detektiert; und ein Navigationssystem des Fahrzeugs steuert, das das Fahrzeug innerhalb eines vorbestimmten Abstands von dem Anhänger als Reaktion auf die Radardaten positioniert.
  12. System nach einem der Ansprüche 1-4, wobei die Steuerung ferner: die Vielzahl von Leuchten in dem abwechselnden Muster als Reaktion darauf aktiviert, dass sich das Fahrzeug innerhalb eines vorbestimmten Abstands von einem Anhänger befindet; und eine Kopplerposition eines Kopplers des Anhängers mit Bilddaten von der Kamera, die das abwechselnde Lichtmuster von der Vielzahl von Leuchten abbilden, identifiziert.
  13. System nach Anspruch 12, wobei die Variationen der Beleuchtung des Kopplers des Anhängers, die in den Bilddaten abgebildet sind, durch die Steuerung verarbeitet werden, um eine Vielzahl von Oberflächenvektoren zu detektieren, die Konturen des Kopplers identifizieren.
  14. System nach Anspruch 13, wobei die Steuerung ferner: eine Matrix der Oberflächenvektoren relativ zu einem Ursprung jeder der Vielzahl von Lichtquellen erzeugt; und die Matrix verarbeitet, um den Abstand von dem Fahrzeug zu dem Koppler zu identifizieren.
  15. System nach einem der Ansprüche 1-4, ferner umfassend: ein Lenksteuersystem, das dazu konfiguriert ist, einen Lenkwinkel einer Vielzahl von gelenkten Rädern eines Fahrzeugs zu steuern, und wobei die Steuerung ferner: eine Fahrzeugausrichtungsroutine steuert, die eine Position des Fahrzeugs und den Lenkwinkel einstellt, was eine Anhängerkupplung des Fahrzeugs mit dem Standort des Objekts ausrichtet.
DE102023101022.0A 2022-01-19 2023-01-17 Unterstützter fahrzeugbetrieb mit verbesserter objektdetektion Pending DE102023101022A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/578,622 US20230230387A1 (en) 2022-01-19 2022-01-19 Assisted vehicle operation with improved object detection
US17/578,622 2022-01-19

Publications (1)

Publication Number Publication Date
DE102023101022A1 true DE102023101022A1 (de) 2023-07-20

Family

ID=86990777

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023101022.0A Pending DE102023101022A1 (de) 2022-01-19 2023-01-17 Unterstützter fahrzeugbetrieb mit verbesserter objektdetektion

Country Status (3)

Country Link
US (1) US20230230387A1 (de)
CN (1) CN116461259A (de)
DE (1) DE102023101022A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116908828B (zh) * 2023-09-12 2023-12-19 永林电子股份有限公司 一种车用尾灯距离感应控制方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102271B2 (en) 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method
US10266023B2 (en) 2017-05-01 2019-04-23 Ford Global Technologies, Llc System to automate hitching a trailer

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023786A1 (de) * 2012-12-05 2014-06-18 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Scheinwerferanordnung für ein Kraftfahrzeug
US11097579B2 (en) * 2018-11-08 2021-08-24 Ford Global Technologies, Llc Compensation for trailer coupler height in automatic hitch operation
US20230204781A1 (en) * 2021-12-28 2023-06-29 Nio Technology (Anhui) Co., Ltd. Time of flight cameras using passive image sensors and existing light sources

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102271B2 (en) 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method
US10266023B2 (en) 2017-05-01 2019-04-23 Ford Global Technologies, Llc System to automate hitching a trailer

Also Published As

Publication number Publication date
US20230230387A1 (en) 2023-07-20
CN116461259A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
DE102008013457B4 (de) Verfahren zum Vorhersagen einer Bewegungsbahn eines Anhängers
DE102017111530A1 (de) Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten
DE102008029612B4 (de) System und Verfahren zum Berechnen eines Anhängerkupplungs-Gelenkwinkels
DE102019124152A1 (de) Kupplungsunterstützungssystem
DE102004025252B4 (de) Anordnung zur Bestimmung des Gespannwinkels eines Gliederzugs
DE102020121899A1 (de) System zum ausrichten einer standort-kennung einer fahrzeugkupplung mit einem anhängerkoppler
DE102018220325A1 (de) Projektionsvorrichtung
DE102018220296A1 (de) Fahrzeugsteuergerät und Verfahren
DE102019117132A1 (de) System und verfahren zur erkennung von und reaktion auf störung zwischen anhängerverbindungsstück und anhängerkupplungskugel
DE102020127261A1 (de) Ausrichtungspositionsanpassung für attelkupplungsanhänger im kupplungsunterstützungsbetrieb
DE102014204872B4 (de) Verfahren und Anzeigesystem zum Anzeigen von Umgebungsinformationen eines Fahrzeugs
US10744943B1 (en) System and method for trailer alignment
DE102014118204B4 (de) Distanzermittlungssystem für ein fahrzeug unter verwendung von holografischen techniken
DE102020124985A1 (de) Unterscheiden zwischen nahem anhänger und verbundenem anhänger
DE102019121124A1 (de) Kupplungsunterstützungssystem
DE102020130507A1 (de) Verfahren und vorrichtung zur bestimmung eines gelenkwinkels in einem kraftfahrzeug
DE102017223098A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Relativwinkels zwischen zwei Fahrzeugen
DE102021128907A1 (de) System und verfahren zum trainieren von anhängerdetektionssystemen
DE102020105656A1 (de) Verfahren und vorrichtung für gelenkspiegel für anhänger in einem kraftfahrzeug
DE102019120599A1 (de) System und verfahren zur höhenverstellung von anhängern
DE102020107023A1 (de) System und verfahren zur anhängerausrichtung
DE102023101022A1 (de) Unterstützter fahrzeugbetrieb mit verbesserter objektdetektion
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE102020205468A1 (de) Autonomes und/oder assistiertes Kuppeln eines Anhängers unter Berücksichtigung des Höhenprofils des Untergrunds
DE102013103953A1 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE