EP4436835A1 - Fahrerassistenzsystem für ein nutzfahrzeug mit einem anhänger und verfahren zur steuerung eines solchen systems - Google Patents

Fahrerassistenzsystem für ein nutzfahrzeug mit einem anhänger und verfahren zur steuerung eines solchen systems

Info

Publication number
EP4436835A1
EP4436835A1 EP22814051.3A EP22814051A EP4436835A1 EP 4436835 A1 EP4436835 A1 EP 4436835A1 EP 22814051 A EP22814051 A EP 22814051A EP 4436835 A1 EP4436835 A1 EP 4436835A1
Authority
EP
European Patent Office
Prior art keywords
trailer
image processing
assistance system
processing unit
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP22814051.3A
Other languages
English (en)
French (fr)
Inventor
Andreas Goers
Tobias KLINGER
Olaf Mentzendorff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF CV Systems Global GmbH
Original Assignee
ZF CV Systems Global GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF CV Systems Global GmbH filed Critical ZF CV Systems Global GmbH
Publication of EP4436835A1 publication Critical patent/EP4436835A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/08—Bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • Driver assistance system for a commercial vehicle with a trailer and method for controlling such a system
  • the invention relates to a driver assistance system for a commercial vehicle with a trailer, which can be used for observing and/or monitoring a space located behind a driver's cab of the commercial vehicle.
  • the invention also relates to a method for controlling such a system.
  • Camera-based reversing assistance systems and camera-based cargo area monitoring systems for commercial vehicles are known in various embodiments.
  • driver assistance systems of this type are generally only integrated in trailers of towing vehicle/trailer vehicle combinations that belong together.
  • vehicle combinations with changing trailers such as tractors with semi-trailers
  • the trailer vehicle often lacks important prerequisites for equipping or retrofitting the trailer with such a system.
  • an existing data connection is not suitable for the transmission of large amounts of data, such as those that occur when manoeuvring, for example, when taking pictures and picture sequences in the rear area of the trailer.
  • TailGUARD The "TailGUARD” system described in WABCO's publication no. 815 020 21 1.3 (03.2020) "TailGUARDTM for Truck & Bus Applications, System Description" is already known. "TailGUARD” is an optional extension of an electronic trailer braking system (TEBS: from English Electronic Braking System for Trailers; electronic braking system for trailers). “TailGUARD” is a reversing assistance system built into a trailer vehicle, which uses ultrasonic sensors to detect obstacles in the rear area of the trailer in a close range of up to two meters.
  • TEBS electronic Braking System for Trailers
  • Telebraking system for trailers electronic braking system for trailers
  • “TailGUARD” supports the driver when reversing by warning when approaching objects, braking independently if necessary and stopping the vehicle autonomously at a safe distance from the detected object to avoid collisions with pedestrians, loading ramps, barriers, trees, forklifts, cars or others Avoid objects behind the vehicle.
  • the distance to detected objects can be indicated via a display with LED bars in the driver's cabin dashboard and/or via flashing lane departure warning lights.
  • OptiLink is application software (app) for mobile devices which, in conjunction with an electronic control unit (“OptiLink-ECU”), enables various trailer vehicle functions to be controlled.
  • OptiLink-ECU electronice control unit
  • the system provides easy access to various functions of the electronic trailer braking system, including the 'TailGUARD' system.
  • DE 10 2018 120 333 A1 shows a method for monitoring a loading space in a vehicle using an optical sensor installed in the loading space and a control unit with software for carrying out the method.
  • the control device has wireless or wired interfaces for the optical sensor and for a graphical user interface of a computer.
  • the optical sensor is a camera, for example.
  • the control unit is a brake control unit of an electronic brake system.
  • the computer is, for example, a mobile phone or a navigation computer with application software and a screen as a graphical user interface.
  • the brake control unit receives an image from the camera and uses it to generate a grid image from which the occupancy or a change in occupancy of the loading space can be identified according to a grid stored in the brake control unit.
  • the raster image is displayed on the graphical user interface.
  • the invention is based on the object of presenting an improved driver assistance system for a commercial vehicle with a trailer, which can be installed or retrofitted in an operationally reliable and convenient manner and at low cost. Another task is to describe a method for controlling such a driver assistance system.
  • the invention therefore initially relates to a driver assistance system for a commercial vehicle with a trailer, which can be used to observe and/or monitor a space located behind a driver's cab of the commercial vehicle, and which has the following:
  • At least one optical or acoustic sensor which is arranged behind the driver's cab of the commercial vehicle
  • the image processing unit can use the recorded images or image sequences to detect objects and analyze them with regard to their size, position and movement in relation to a vehicle-fixed coordinate system and generate compressed object information therefrom,
  • an electronic control unit which has a data input side and a data output side and is arranged separately from the image processing unit
  • the electronic control unit for transmitting the object information generated by the image processing unit is connected or can be connected to the image processing unit on the data input side via the first data connection,
  • terminal device is wirelessly connected or can be connected to the data output side of the electronic control unit via the second data connection
  • - And application software can be installed on the terminal device, by means of which the object information provided by the image processing unit and transmitted via the electronic control unit to the terminal device as a graphically reduced, spatial or two-dimensional geometric representation can be mapped on the user interface.
  • An optical sensor is understood here to be a sensor that converts optical information transmitted by electromagnetic waves into signals that can be evaluated electrically.
  • the electromagnetic spectrum of an optical sensor includes ultraviolet, visible and infrared light.
  • An acoustic sensor is understood here to mean a sensor that converts acoustic information transmitted by sound waves into signals that can be evaluated electrically.
  • the sound wave spectrum of a sound sensor here preferably includes ultrasonic waves, but is not limited to them.
  • An electronic terminal is understood to be a communication device that can be connected wirelessly to a data network or to a radio link and has a graphical user interface or can be connected to one.
  • Such electronic terminals can be smartphones, mobile phones, navigation devices, entertainment systems, personal computers, tablets, notebooks, etc., for example.
  • the graphical user interface mentioned is therefore the display or the screen of the electronic terminal device.
  • the electronic device can therefore be a mobile device or a device installed in the driver's cab of the towing vehicle.
  • image compression is understood here to mean electronic and software-based image processing in which a quantity of digital data is reduced in order to shorten the transmission time of the data and to reduce the storage space required.
  • the invention provides an advanced driver assistance system (ADAS; engl. Advanced Driver Assistance System) for a trailer vehicle, which provides a reliable and convenient graphic display of obstacles. ings in the rear area of the trailer and/or the load within a loading space on an electronic device.
  • ADAS advanced driver assistance system
  • the driver assistance system advantageously combines sensor-based object detection with wireless communication for object data transmission between the trailer vehicle and the electronic terminal or the towing vehicle.
  • the driver assistance system can be easily and inexpensively installed on a trailer vehicle or retrofitted there, since it does not require the establishment of a powerful wired connection between the towing vehicle and the towed vehicle. In particular, no standardized wired video data connection is required, which is often not available.
  • the image data from the sensor is processed in an image processing unit (IPU) which is preferably arranged close to the optical sensor on the trailer vehicle.
  • IPU image processing unit
  • the image processing unit generates compressed object information, which significantly reduces the amount of image data that occurs and still contains the essential information about the objects captured by means of the images. This significant reduction in the image data in the image processing unit is particularly advantageous since it enables the compressed object information to be transmitted via a simple and inexpensive data connection and is nevertheless reliable.
  • one of the main tasks of the image processing unit is to detect objects by sensors and to reduce the transmission bandwidth, i.e. the amount of data to be transmitted per second, by limiting it to its essential content.
  • the sensory object detection should meet the guidelines already mentioned in accordance with the "Principles for the testing and certification of reversing assistance systems for commercial vehicles” (GS-VL-40, 04.2019, testing and certification body in the German statutory accident insurance (DGUV)).
  • the aim is to achieve as high an update rate as possible.
  • the image processing unit reads the images recorded by the sensor and analyzes the detected objects with regard to their position, their size and their state of motion in relation to a vehicle-fixed 3D coordinate system.
  • the image processing unit can use known image processing methods, such as the SfM method (Structure from Motion), with which 3D information can be obtained by overlapping images recorded with a time delay, or the difference image method (frame differencing; individual image differentiation) , which can be used to detect changes in objects in an image sequence.
  • SfM method Structure from Motion
  • difference image method frame differencing; individual image differentiation
  • the compressed object information is transmitted to an electronic control unit, which can send data wirelessly on the data output side and can receive data wirelessly or by wire on the data input side.
  • the electronic control unit works essentially as a signal amplifier and can be designed as a separate compact component independently of the image processing unit and can be arranged on the trailer vehicle.
  • the image processing can therefore be carried out entirely on the trailer vehicle. In principle, therefore, no modifications are required on the towing vehicle in order to be able to use the driver assistance system having the features of the invention.
  • the control unit receives the compressed object information, advantageously prepares it into data packets and sends these data packets, for example using a communications protocol that is as uninterrupted as possible, such as UDP (User Datagram Protocol) via a Wi-Fi radio interface within a wireless local area network (WLAN) or via a Bluetooth connection.
  • a communications protocol such as UDP (User Datagram Protocol) via a Wi-Fi radio interface within a wireless local area network (WLAN) or via a Bluetooth connection.
  • the data packets can be received on a terminal outside or inside the driver's cab of the towing vehicle, for example on a smartphone, on which application software (app) developed or further developed for the driver assistance system is installed.
  • application software the objects detected by sensors are processed according to the transmitted object information as a simple before geometric figures are processed spatially or flatly and placed in relation to the trailer vehicle.
  • control unit it is possible and advantageous to connect the control unit to an existing wired bus system of the vehicle, for example to a CAN 5V bus, on the data input side.
  • a bus system is usually installed in trailer vehicles that are equipped with an electronic braking system (EBS).
  • EBS electronic braking system
  • EBS electronic braking system
  • a control unit for signal transmission of various functions for displaying and controlling trailer parameters, such as tire pressure, axle load or level control, can also already be present in the trailer vehicle.
  • Such an existing control unit can optionally also be used for transmitting the object information of the image processing unit or can be designed with an extension. This is made possible in particular by the fact that the image data are first reduced by the image processing unit so that the control unit cannot be overloaded.
  • this is designed for use as a reversing assistance system and is used when maneuvering the trailer to detect obstacles in a rear and/or lateral area of the trailer.
  • at least one optical or acoustic sensor is arranged at the rear of the trailer, which detects a rear and/or a lateral space of the trailer.
  • the driver assistance system according to the invention expands the detection options, in particular in that obstacles can be displayed to the driver three-dimensionally with their size and position relative to the vehicle. This makes it easier for the driver to precisely maneuver the trailer backwards.
  • an optical or acoustic sensor directed to the rear ie in the reversing direction, can be arranged at the rear end of the trailer vehicle.
  • This sensor can be activated, for example, by engaging a reverse gear in order to detect obstacles in the path of the trailer. It is advantageous if this sensor is designed in such a way that it detects a large horizontal angular range, that is to say a large field of vision, which extends as far as possible into the lateral area of the trailer.
  • the driver assistance system is designed for use as a cargo space monitoring system and is used to monitor a cargo space in the trailer, with at least one optical or acoustic sensor being arranged in the cargo space.
  • a sensor can be installed in the cargo space of the trailer, which takes pictures or image sequences of the cargo space or of the load. The recorded images can be converted into a graphically reduced image of the load and displayed using the image processing unit.
  • the driver assistance system can therefore have a first sensor for monitoring the rear area and, in addition, a second sensor for monitoring the luggage compartment.
  • the driver assistance system according to the invention can thus be operated both as a reversing assistance system and as a cargo space monitoring system.
  • the cargo space monitor and the reversing assistant can both be operated in parallel with the driver assistance system, with the reversing assistant being expediently prioritized when reversing and the cargo space monitor being able to be interrupted at least temporarily.
  • the electronic control unit is arranged in the front area of the trailer, ie close to the driver's cab of the towing vehicle.
  • the end device will be in the driver's field of vision when reversing, so that the obstacles that appear on the graphical user interface of the end device can be visually perceived immediately.
  • the end device is therefore usually located in the driver's cab of the towing vehicle.
  • the end device if it is a mobile device, can be located outside the driver's cab of the towing vehicle when the trailer is being maneuvered by the driver by remote control.
  • this has at least one optical or acoustic sensor from the group consisting of a single-image camera, video camera, TOF camera, stereo camera, radar sensor, lidar sensor, ultrasonic sensor. Accordingly, sensors with different physical measuring principles can be used in the driver assistance system, depending on the requirement for the observation and/or monitoring function.
  • a wide-angle camera with a fish-eye lens can be used for the reversing assistance system, for example. This means that objects to the rear of the trailer can be detected at a horizontal angle of more than 180°.
  • a stereo camera can be provided as an alternative embodiment of the sensor.
  • a stereo camera has two synchronized lenses that simultaneously capture two half-frames that create a 3D image.
  • a more precise determination of the position of detected objects relative to the vehicle can be achieved.
  • the blind spot along the line of movement of a reversing trailer is eliminated, for which the mentioned SfM method is suitable.
  • a TOF camera is a 3D camera that works with a time-of-flight (TOF) method.
  • TOF time-of-flight
  • the running time of a light pulse which the light needs from the camera to an object and back again. With a single shot, the distance for each pixel of an illuminated scene can be precisely determined.
  • a radar sensor can be provided as a further alternative embodiment of a sensor.
  • a radar sensor emits a bundled electromagnetic wave as a radar signal and evaluates an echo reflected from an object in order to locate the object in question by distance and angle and, if necessary, to identify it.
  • a lidar sensor can be provided (lidar: Light Detection And Flanging).
  • lidar Light Detection And Flanging
  • Such sensors work on a similar principle as radar sensors, but with laser beams. These sensors are already being used on vehicles in the field of automated and/or driverless driving.
  • An ultrasonic sensor can be provided as a further alternative embodiment of a sensor.
  • the “TailGUARD” system from ZF (formerly WABCO) mentioned at the beginning uses several of these sensors to detect obstacles.
  • an artificial light source is additionally arranged, which can illuminate the field of view of the optical sensor during the recording of an image or an image sequence.
  • a method for controlling a driver assistance system for a trailer of a commercial vehicle is provided, the driver assistance system having the features of at least one of the device claims.
  • the procedure is characterized by
  • images and/or image sequences of the space observed or monitored by the sensor are recorded by the at least one optical or acoustic sensor
  • - Compressed object information is generated from the analysis result, which contains the size, the position and optionally the movement status of each object considered by the image processing unit,
  • this representation contains the detected objects as spatial geometric figures or as planar geometric figures as well as their size, position and state of motion.
  • the images or image sequences recorded by the sensor with the objects detected therein are first analyzed in the image processing unit and transmitted as compressed object information by wire, for example via an existing bus system of a trailer brake system, or wirelessly via a radio link to the control unit.
  • the control unit acts as a signal amplifier, which sends the object information to the end device as a processed and amplified signal via a radio connection, for example via WLAN or Bluetooth.
  • the detected objects are represented as spatial geometric figures, for example as cuboids, cylinders, pyramids, spheres or bars in a spatial representation made visible on the graphical user interface of the end device.
  • the spatial representation refers to a fixed coordinate system of the trailer vehicle.
  • an even more data-reduced display is possible, in which a predetermined uniform size is assigned to the cuboids or geometric figures.
  • This representation can serve as a first orientation for the driver as to where there are obstacles in the rear area of the trailer.
  • the advantage of this is the comparatively small amount of data to be transmitted, so that a less powerful data connection is sufficient.
  • this bus system is loaded only relatively lightly.
  • the driver assistance system can be activated automatically, sensor-controlled, event-controlled or manually.
  • a sensor is arranged with a lateral field of vision
  • spatial areas can also be provided with different priorities. For example, a low priority is given to an area centrally behind the vehicle when driving forward, while a high priority is given to an area immediately to the side of the vehicle.
  • the lateral areas on the right and left can still be weighted differently, depending on whether a left or right direction indicator of the vehicle is actuated.
  • a visual, acoustic and/or haptic collision warning is given using the application software of the terminal device and that, in order to avoid a collision, an automatic Emergency braking is initiated using a trailer braking system.
  • a possible collision during reversing can be predicted when an obstacle appears in the predicted path of the trailer. If a collision is classified as imminent, a warning cascade can be triggered first. For example, visual feedback can take place in that the cuboid displayed on the user interface, which represents the object in question, is markedly colored, for example in red and/or flashes.
  • a red frame can be displayed at the edges of the user interface or the background can be colored completely in a transparent red.
  • the colors of the visual warning, as well as the intensity of the audible or haptic warning, can vary according to the level of danger. For example, the yellow color can indicate that there are obstacles in the field of view, and the red color indicates that a collision is imminent. Warning tones may vary in pitch and/or volume depending on the hazard detected. If a collision is judged to be imminent, it can be avoided or at least mitigated by automatically activating the trailer brakes if an electronic braking system is present.
  • the geometric figures appearing on the graphical user interface of the terminal device and/or a frame and/or a background of the user interface depends on the size, position and/or movement state of the objects in question and depends on a Collision warning are displayed in different colors and/or in variable colors.
  • each figure can be color-coded individually and depending on its momentary outermost point in space towards the trailer.
  • the motion status of the detected objects can be analyzed. If a relevant object is recognized that is moving on its own, this can be distinguished from a stationary object by means of a different coloring and can be highlighted.
  • a grid or line pattern is displayed on the graphical user interface of the terminal, which is projected onto a displayed base area.
  • a grid or line pattern with the geometric figures depicted therein, which are derived from the objects detected by sensors, can support the driver in understanding the depicted scene. This can give the driver an orientation aid when initiating driving maneuvers when reversing.
  • a grid with a predetermined fixed cell size can be projected onto the base area and made visible on the user interface, with each cell corresponding to a 1 m x 1 m section of the observed and monitored space.
  • a pattern of lines may be projected onto the ground plane, the line spacings of the lines shown corresponding to certain equidistant horizontal distances in the observed and monitored space with respect to the trailer.
  • a real background image is displayed on the graphical user interface of the terminal device, into which the geometric figures that represent the detected objects are projected. If very powerful data connections are available between the image processing unit and the electronic control unit and between the electronic control unit and the terminal device, it is therefore also possible to project the geometric figures that represent the detected objects into a real background image of the optical sensor.
  • a watchdog function can be provided, which monitors the data transmission and generates a warning message when a significant interruption in data transmission between the image processing unit and the electronic control unit and/or between the electronic control unit and the terminal device is detected.
  • a diagnostic tool into the driver assistance system according to the invention, which determines latencies or gaps in data transmission in order to determine outdated data or to recognize that an image displayed on the user interface does not reflect the current situation.
  • a diagnostic tool is, for example, the known IP ping method, with which test signals can be used to check whether a specific device can be reached with an IP address in a network. If latency is detected, a warning can be generated in the smartphone app, for example represented by a yellow or red border appearing along the edges of the display in addition to a note such as "no data".
  • the driver assistance system works as a cargo space monitoring system, with a charge occupancy, a charge shift and/or a change in occupancy being monitored and displayed on the graphical user interface of the terminal device.
  • the driver assistance system makes it possible to monitor the condition of the load in the trailer's cargo area. For example, the degree of occupancy or the distribution of the load in the hold can be displayed.
  • an unwanted load displacement or a theft-related load removal can be detected and signaled to the driver.
  • the driver can set a perspective angle of the display on the graphical user interface of the terminal using the application software or choose between a three-dimensional and a two-dimensional display and switch.
  • the invention also relates to a commercial vehicle with a trailer, which has a driver assistance system for observing and/or monitoring a space located behind a driver's cab, which is constructed according to one of the device claims and can be operated to carry out a method according to one of the method claims.
  • driver assistance system that can be used as a reversing assistance system and as a cargo area monitoring system for a trailer of a vehicle combination according to the invention in a schematic representation
  • FIG. 3 shows a schematic representation of a rear area of the trailer according to FIG. 1 divided into several areas with different priorities
  • FIG. 4 shows the vehicle combination according to FIG. 1 in a schematic plan view with the load arranged in the loading space of the trailer.
  • the vehicle combination 2 shown here as an example is a semi-trailer combination consisting of a towing vehicle 4, here a semi-trailer tractor with a driver's cab 6, and a trailer 8, here a semi-trailer with a box body 12 and a loading space 14 present therein.
  • the driver assistance system 16 is essentially arranged in the trailer 8 and has at least a first optical sensor 18, in this case a first camera for monitoring the rear area, additionally a second optical sensor 22, in this case a second camera for monitoring the luggage compartment, an image processing unit 24, a first data connection 26 , an electronic control unit 28, a second data connection 30 and a terminal 32.
  • the first optical sensor 18 is arranged on the rear 10 of the trailer 8 and has a wide-angle lens 20, for example a so-called fisheye lens (fisheye lens) with which images and image sequences of a rear area 36 behind the trailer 8 can be recorded.
  • the second optical sensor 22 is arranged inside the cargo hold 14 . Images and image sequences of the loading space 14 can be recorded by means of the second sensor 22 .
  • the end device 32 is a smartphone with a graphical user interface 34 or display.
  • the terminal 32 communicates wirelessly with the control unit 28 via the second data connection 30, in this case a WLAN connection.
  • a Bluetooth connection would also be possible.
  • Application software, or app for short, is installed on terminal 32, by means of which the object information generated by image processing unit 24 and transmitted by control unit 28 to terminal 32 can be displayed as a graphically reduced, three-dimensional or two-dimensional geometric representation.
  • FIG. 2 shows an example of such a spatial representation 40 on the graphical user interface 34 of the terminal device 32 when the driver assistance system 16 is used as a reversing assistance system.
  • An image sequence recorded by the first optical sensor 18 of the rear space 36 of the trailer 8 when reversing is analyzed by the image processing unit 24 .
  • four objects were detected, which are relevant as obstacles in the anticipated travel path of trailer 8 .
  • the object information transmitted to the terminal 32 is converted into the spatial representation 40 shown by the application software of the terminal 32 .
  • the four detected real objects are shown as four cuboid geometric figures 44a, 44b, 44c, 44d.
  • the sizes and positions of the geometric figures 44a, 44b, 44c, 44d relative to the trailer 8 can be seen.
  • Due to the extremely wide field of view of the wide-angle lens 20 the spatial representation 40 resulting therefrom appears correspondingly strongly distorted in perspective.
  • the spatial representation 40 is underlaid with a grid 42 by means of the application software.
  • the horizontal grid lines correspond to equidistant distances in the captured rear space 36.
  • the second figure 44b shown hatched in FIG. 2 differs from the other three figures 44a, 44c, 44d in that the object in question is a moving object.
  • the image processing unit 24 has shown this by analyzing an image sequence with two or more consecutive recordings. This figure 44b appears on the user interface 34 in a different color, shown gray here.
  • Fig. 3 shows the rear area 36 of the trailer 8 with a subdivision into a central partial area 46 and, seen in the forward direction, into a vehicle-close right lateral partial area 48r, a vehicle-close left lateral partial area 48I, a vehicle-distant right lateral partial area 50r and a vehicle-distant left lateral partial area Section 50r.
  • the software of the image processing unit 24 and/or the application software can have a routine which carries out this subdivision and assigns a priority to each of the sub-areas 46, 48r, 48I, 50r, 50I.
  • the central sub-area 46 when reversing, the central sub-area 46 is assigned a high priority, the lateral sub-areas 48r, 48I close to the vehicle are assigned a medium priority and the lateral sub-areas 50r, 50I far from the vehicle are assigned a low priority.
  • different priorities can be assigned to the left and right partial areas 48r, 48I, 50r, 50I.
  • the image processing unit 24 classifies the detected objects 51a, 51b, 51c, 51d, 51e, 51f as relevant and makes a specific selection with a limitation on the number of objects in each of the partial areas 46, 48r, 48I, 50r, 50I.
  • FIG. 4 shows the loading space 14 of the trailer 8 with a load 52 located therein, which consists of four load units 52a, 52b, 52c, 52d in the example shown. Also shown is a graphically reduced representation 54 of the charging Space 14 and the four cargo units 52a, 52b, 52c, 52d on the graphical user interface 34 of the terminal 32 when using the driver assistance system 16 as a cargo space monitoring system.
  • the recordings of the second optical sensor 22 from the loading space 14 are processed by the image processing unit 24 into object information which contains the size and position of the load 52 or the individual load units 52a, 52b, 52c, 52d.
  • the object information is sent to the terminal 32 via the control unit 28 .
  • a grid 56 is highlighted on the graphical user interface 34, with the aid of which the degree of occupancy and the load distribution of the load 52 in the loading space 14 can be derived relatively easily.
  • Charge shifts or a distance between the charge units 52a, 52b, 52c, 52d can also be detected by means of an analysis of image sequences.
  • tractor unit Towing vehicle, tractor unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

Fahrerassistenzsystem (16) für ein Nutzfahrzeug (2) mit einem Anhänger (8), welches zur Beobachtung und/oder zur Überwachung eines hinter einer Fahrerkabine (6) befindlichen Raumes (14, 36) nutzbar ist und Folgendes aufweist: - mindestens einen optischen oder akustischen Sensor (18, 20, 22), welcher hinter der Fahrerkabine angeordnet ist, - wobei mit diesem Sensor Bilder und Bildsequenzen innerhalb eines Sichtfeldes des Sensors aufnehmbar sind, - eine Bildverarbeitungseinheit (24), welche mit dem optischen oder akustischen Sensor elektrisch verbunden ist, - wobei in der Bildverarbeitungseinheit eine Bildverarbeitungssoftware zur Bilddatenanalyse und zur Bildkomprimierung abgespeichert ist, - und wobei die Bildverarbeitungseinheit mittels der aufgenommenen Bilder oder Bildsequenzen Objekte erfassen und hinsichtlich ihrer Größe, Position und Bewegung in Bezug auf ein fahrzeugfestes Koordinatensystem analysieren und daraus eine komprimierte Objektinformation erzeugen kann, - eine erste drahtgebundene oder drahtlose Datenverbindung (26), - eine elektronische Steuereinheit (28), welche eine Dateneingangsseite sowie eine Datenausgangsseite aufweist und separat von der Bildverarbeitungseinheit angeordnet ist, - wobei die elektronische Steuereinheit zum Übertragen der von der Bildverarbeitungseinheit erzeugten Objektinformation dateneingangsseitig über die erste Datenverbindung mit der Bildverarbeitungseinheit verbunden oder verbindbar ist, - eine zweite drahtlose Datenverbindung (30), und - ein elektronisches Endgerät (32) mit einer Benutzeroberfläche (34), welches außerhalb des Anhängers positioniert ist, sowie mit weiteren Merkmalen.

Description

Fahrerassistenzsystem für ein Nutzfahrzeug mit einem Anhänger und Verfahren zur Steuerung eines solchen Systems
Beschreibung
Die Erfindung betrifft ein Fahrerassistenzsystem für ein Nutzfahrzeug mit einem Anhänger, welches zur Beobachtung und/oder zur Überwachung eines hinter einer Fahrerkabine des Nutzfahrzeugs befindlichen Raumes nutzbar ist. Außerdem betrifft die Erfindung ein Verfahren zur Steuerung eines solchen Systems.
Kamerabasierende Rückfahrassistenzsysteme sowie kamerabasierende Laderaum- überwachungssysteme für Nutzfahrzeuge sind in verschiedenen Ausführungsformen bekannt. Allerdings sind derartige Fahrerassistenzsysteme in der Regel lediglich in Anhängern von fest zusammengehörigen Zugfahrzeug-Anhängefahrzeug- Kombinationen integriert. In Fahrzeugkombinationen mit wechselnden Anhängern, wie beispielsweise Zugmaschinen mit Sattelaufliegern, fehlen häufig am Anhängefahrzeug wichtige Voraussetzungen, um den Anhänger mit einem derartigen System ausrüsten oder nachrüsten zu können. Oft ist eine genormte Datenverbindung zwischen ziehendem Fahrzeug und gezogenem Fahrzeug nicht vorhanden. Oder eine vorhandene Datenverbindung ist zur Übertragung großer Datenmengen, wie sie beispielsweise bei der Aufnahme von Bildern und Bildsequenzen im rückwärtigen Bereich des Anhängers beim Manövrieren anfallen, nicht geeignet. Häufig kommt es zu Störungen in der Übertragung von Kamerabildern an einen Monitor im Armaturenbrett in der Fahrerkabine des Zugfahrzeugs oder es ist kein entsprechend ausgebildeter Monitor in der Fahrerkabine vorhanden. Die Installation eines zusätzlichen Anhänger-Datenkabels und/oder eines fest eingebauten Monitors in der Fahrerkabine ist aufwendig und teuer. Andererseits passieren gerade beim Rückwärtsrangieren mit Anhängern häufig Schäden durch Kollisionen mit Hindernissen. In der Praxis steht oft keine Hilfsperson zum Einweisen des Fahrers zur Verfügung, sodass die Gefahr von Rangierschäden besonders hoch ist. Daher wird in der Praxis ein geeignetes Fahrerassistenzsystem häufig vermisst.
Bereits bekannt ist das in der Veröffentlichung Nr. 815 020 21 1 .3 (03.2020) „TailGUARD™ für Truck & Bus Applikationen, Systembeschreibung” des Unternehmens WABCO beschriebene „TailGUARD“-System. „TailGUARD“ ist eine optionale Erweiterung eines in der Veröffentlichung Nr. 815 020 093.3 (09. 2018) „TEBS E Versionen EO bis E5.5 Systembeschreibung“ des Unternehmens WABCO beschriebenen elektronischen Anhängerbremssystems (TEBS: aus engl. Electronic Braking System for Trailers; elektronisches Bremssystem für Anhänger). „TailGUARD“ ist demnach ein in einem Anhängefahrzeug eingebautes Rückfahrassistenzsystem, welches mittels Ultraschallsensoren Hindernisse im rückwärtigen Raum des Anhängers in einem Nahfeld von bis zu zwei Metern erkennt. „TailGUARD“ unterstützt den Fahrer bei der Rückwärtsfahrt, indem es bei Annäherung an Objekte warnt, erforderlichenfalls eigenständig bremst und das Fahrzeug autonom in einem sicheren Abstand zum erkannten Objekt stoppt, um Kollisionen mit Fußgängern, Laderampen, Schranken, Bäumen, Gabelstaplern, Autos oder anderen Objekten hinter dem Fahrzeug zu vermeiden. Der Abstand zu erkannten Objekten kann über eine Anzeige mit LED-Balken im Armaturenbrett der Fahrerkabine und/oder über blinkende Spurhalteleuchten angezeigt werden.
Das erwähnte bekannte Anhängerbremssystem kann zusätzlich mit dem ebenfalls in der Veröffentlichung Nr. 815 020 093.3 (09. 2018) des Unternehmens WABCO beschriebenen „OptiLink“-System erweitert werden. „OptiLink“ ist eine Anwendungssoftware (App) für Mobilgeräte, die in Verbindung mit einer elektronischen Steuereinheit („OptiLink-ECU“) eine Steuerung verschiedener Funktionen des Anhängefahrzeugs ermöglicht. Das System bietet einen einfachen Zugriff auf verschiedene Funktionen des elektronischen Anhängerbremssystems, unter anderem auf das „TailGUARD'-System.
Allerdings ist das „TailGUARD'-System nicht ohne weiteres mit den neuesten Richtlinien gemäß der „Grundsätze für die Prüfung und Zertifizierung von Rückfahrassis- tenzsystemen für Nutzfahrzeuge“ (GS-VL-40 (04.2019), Prüf- und Zertifizierungsstelle in der Deutschen Gesetzlichen Unfallversicherung (DGUV)) kompatibel. Insbesondere werden weder die Position in Bezug zum Fahrzeug noch die Größe eines erkannten Objektes angezeigt.
Außerdem sind Systeme zur Laderaumüberwachung eines Anhängefahrzeugs bekannt. Die DE 10 2018 120 333 A1 zeigt ein Verfahren zur Überwachung eines Laderaums in einem Fahrzeug unter Verwendung eines im Laderaum installierten optischen Sensors sowie ein Steuergerät mit einer Software zur Durchführung des Verfahrens. Das Steuergerät weist drahtlose oder drahtgebundene Schnittstellen für den optischen Sensor und für eine grafische Benutzeroberfläche eines Computers auf. Bei dem optischen Sensor handelt es sich beispielsweise um eine Kamera. Bei dem Steuergerät handelt es sich um ein Bremsensteuergerät eines elektronischen Bremssystems. Bei dem Computer handelt es sich beispielsweise um ein Mobiltelefon oder einen Navigationscomputer mit einer Anwendungssoftware sowie mit einem Bildschirm als grafische Benutzeroberfläche. Das Bremsensteuergerät empfängt zu einem bestimmten Zeitpunkt ein Bild der Kamera und erzeugt daraus ein Rasterbild, aus dem die Belegung oder eine Belegungsänderung des Laderaumes gemäß einem in dem Bremsensteuergerät abgespeicherten Rasters erkennbar ist. Das Rasterbild wird auf der grafischen Benutzeroberfläche angezeigt.
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, ein verbessertes Fahrerassistenzsystem für ein Nutzfahrzeug mit einem Anhänger vorzustellen, welches betriebssicher und komfortabel sowie kostengünstig installierbar oder nachrüstbar ist. Eine weitere Aufgabe besteht darin, ein Verfahren zur Steuerung eines derartigen Fahrerassistenzsystems zu beschreiben.
Die Lösung dieser Aufgaben ergibt sich aus den Merkmalen der unabhängigen Ansprüche, während vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung den jeweils zugeordneten Unteransprüchen entnehmbar sind. Die Erfindung betrifft demnach zunächst ein Fahrerassistenzsystem für ein Nutzfahrzeug mit einem Anhänger, welches zur Beobachtung und/oder zur Überwachung eines hinter einer Fahrerkabine des Nutzfahrzeugs befindlichen Raumes nutzbar ist, und welches Folgendes aufweist:
- mindestens einen optischen oder akustischen Sensor, welcher hinter der Fahrerkabine des Nutzfahrzeugs angeordnet ist,
- wobei mit diesem Sensor Bilder und Bildsequenzen innerhalb eines Sichtfeldes des Sensors aufnehmbar sind,
- eine Bildverarbeitungseinheit, welche mit dem optischen oder akustischen Sensor elektrisch verbunden ist,
- wobei in der Bildverarbeitungseinheit eine Bildverarbeitungssoftware zur Bilddatenanalyse und zur Bildkomprimierung abgespeichert ist,
- und wobei die Bildverarbeitungseinheit mittels der aufgenommenen Bilder oder Bildsequenzen Objekte erfassen und hinsichtlich ihrer Größe, Position und Bewegung in Bezug auf ein fahrzeugfestes Koordinatensystem analysieren und daraus eine komprimierte Objektinformation erzeugen kann,
- eine erste drahtgebundene oder drahtlose Datenverbindung,
- eine elektronische Steuereinheit, welche eine Dateneingangsseite sowie eine Datenausgangsseite aufweist und separat von der Bildverarbeitungseinheit angeordnet ist,
- wobei die elektronische Steuereinheit zum Übertragen der von der Bildverarbeitungseinheit erzeugten Objektinformation dateneingangsseitig über die erste Datenverbindung mit der Bildverarbeitungseinheit verbunden oder verbindbar ist,
- eine zweite drahtlose Datenverbindung, und
- ein elektronisches Endgerät mit einer elektronischen grafischen Benutzeroberfläche, welches außerhalb des Anhängers positioniert ist,
- wobei das Endgerät über die zweite Datenverbindung mit der Datenausgangseite der elektronischen Steuereinheit drahtlos verbunden oder verbindbar ist,
- und wobei auf dem Endgerät eine Anwendungssoftware installierbar ist, mittels welcher die von der Bildverarbeitungseinheit zur Verfügung gestellte und über die elektronische Steuereinheit auf das Endgerät übertragene Objektinformation als eine grafisch reduzierte, räumliche oder flächige geometrische Darstellung auf der Benutzeroberfläche abbildbar ist.
Unter einem optischen Sensor wird hier ein Sensor verstanden, der durch elektromagnetische Wellen übertragene optische Informationen in elektrisch auswertbare Signale umwandelt. Das elektromagnetische Spektrum eines optischen Sensors umfasst hier ultraviolettes, sichtbares und infrarotes Licht.
Unter einem akustischen Sensor wird hier ein Sensor verstanden, der durch Schallwellen übertragene akustische Informationen in elektrisch auswertbare Signale umwandelt. Das Schallwellenspektrum eines Schallsensors umfasst hier vorzugsweise Ultraschallwellen, ist aber nicht darauf beschränkt.
Unter einem elektronischen Endgerät wird ein Kommunikationsgerät verstanden, welches drahtlos an ein Datennetz oder an eine Funkverbindung anschließbar ist und eine grafische Benutzeroberfläche aufweist oder mit einer solchen verbindbar ist. Solche elektronischen Endgeräte können beispielsweise Smartphones, Mobiltelefone, Navigationsgeräte, Unterhaltungsanlagen, Personal-Computer, Tablets, Notebooks etc. sein. Die erwähnte grafische Benutzeroberfläche ist demnach das Display beziehungsweise der Bildschirm des elektronischen Endgeräts. Das elektronische Endgerät kann demnach ein mobiles Gerät oder ein in der Fahrerkabine des Zugfahrzeugs installiertes Gerät sein.
Unter dem Begriff der Bildkomprimierung wird hier eine elektronische und softwarebasierte Bildverarbeitung verstanden, bei welcher eine Menge digitaler Daten reduziert wird, um die Übertragungszeit der Daten zu verkürzen und den benötigten Speicherplatz zu verringern.
Durch die Erfindung wird ein fortschrittliches Fahrerassistenzsystem (ADAS; engl. Advanced Driver Assistance System) für ein Anhängefahrzeug zur Verfügung gestellt, welches eine betriebssichere und komfortable grafische Anzeige von Hinder- nissen im rückwärtigen Umfeld des Anhängers und/oder von der Ladung innerhalb eines Laderaums an einem elektronischen Endgerät ermöglicht.
Das Fahrerassistenzsystem kombiniert vorteilhaft eine sensorbasierte Objekterfassung mit einer drahtlosen Kommunikation zur Objektdatenübertragung zwischen dem Anhängefahrzeug und dem elektronischen Endgerät beziehungsweise dem Zugfahrzeug. Das Fahrerassistenzsystem kann einfach und kostengünstig an einem Anhängefahrzeug installiert oder dort nachgerüstet werden, da es nicht den Aufbau einer leistungsfähigen drahtgebundenen Verbindung zwischen dem ziehenden und dem gezogenen Fahrzeug benötigt. Insbesondere ist keine standardisierte drahtgebundene Videodatenverbindung erforderlich, die häufig nicht vorhanden ist.
Die Verarbeitung der Bilddaten des Sensors erfolgt in einer Bildverarbeitungseinheit (IPU; engl. Image Processing Unit), welche vorzugsweise nahe zum optischen Sensor an dem Anhängefahrzeug angeordnet ist. Die Bildverarbeitungseinheit erzeugt eine komprimierte Objektinformation, welche die Menge der anfallenden Bilddaten erheblich reduziert und dennoch die wesentlichen Informationen über die mittels der Bilder erfassten Objekte enthält. Diese signifikante Reduzierung der Bilddaten in der Bildverarbeitungseinheit ist besonders vorteilhaft, da sie die Übertagung der komprimierten Objektinformation über eine einfache sowie kostengünstige Datenverbindung ermöglicht und dennoch zuverlässig ist.
Demnach ist es eine Hauptaufgabe der Bildverarbeitungseinheit Objekte sensorisch zu erfassen und die Übertragungsbandbreite, also die zu übertragende Datenmenge pro Sekunde durch Begrenzung auf deren wesentlichen Inhalt zu reduzieren. Die sensorische Objekterfassung soll den bereits eingangs erwähnten Richtlinien gemäß der „Grundsätze für die Prüfung und Zertifizierung von Rückfahrassistenzsystemen für Nutzfahrzeuge“ (GS-VL-40, 04.2019, Prüf- und Zertifizierungsstelle in der Deutschen Gesetzlichen Unfallversicherung (DGUV)) genügen. Dabei soll eine möglichst hohe Aktualisierungsrate erreicht werden. Um die Objektinformation zu erhalten, liest die Bildverarbeitungseinheit die von dem Sensor aufgenommenen Bilder und analysiert die erfassten Objekte hinsichtlich ihrer Position, ihrer Größe und ihres Bewegungszustands in Bezug auf ein fahrzeugfestes 3D-Koordinatensystem. Für die Objekterfassung kann die Bildverarbeitungseinheit bekannte Bildverarbeitungsverfahren verwenden, wie beispielsweise das SfM- Verfahren (engl. Structure from Motion), mit dem 3D-lnformationen durch die Überlappung zeitversetzt aufgenommener Bilder gewonnen werden können, oder das Differenzbildverfahren (engl. frame differencing; Einzelbildunterscheidung), mit dem Änderungen von Objekten in einer Bildsequenz erkannt werden können.
Die komprimierte Objektinformation wird zu einer elektronischen Steuereinheit übertragen, welche datenausgangsseitig drahtlos Daten senden kann und dateneingangsseitig Daten drahtlos oder drahtgebunden empfangen kann.
Die elektronische Steuereinheit arbeitet im Wesentlichen als ein Signalverstärker und kann unabhängig von der Bildverarbeitungseinheit als ein separates kompaktes Bauteil ausgebildet sein sowie am Anhängefahrzeug angeordnet werden. Die Bildverarbeitung kann also vollständig am Anhängefahrzeug erfolgen. Es sind somit grundsätzlich keine Modifikationen am Zugfahrzeug erforderlich, um das die Merkmale der Erfindung aufweisende Fahrerassistenzsystem nutzen zu können.
Die Steuereinheit empfängt die komprimierte Objektinformation, bereitet diese vorteilhaft zu Datenpaketen auf und versendet diese Datenpakete, beispielsweise mittels eines möglichst unterbrechungssicheren Kommunikationsprotokolls wie UDP (engl. User Datagram Protocol) über eine Wi-Fi-Funkschnittstelle innerhalb eines drahtlosen lokalen Netzwerks (WLAN) oder über eine Bluetooth-Verbindung.
Die Datenpakete können auf einem Endgerät außerhalb oder innerhalb der Fahrerkabine des Zugfahrzeugs, beispielsweise auf einem Smartphone empfangen werden, auf dem eine für das Fahrerassistenzsystem entwickelte oder weiterentwickelte Anwendungssoftware (App) installiert ist. In dieser Anwendungssoftware werden die sensorisch erfassten Objekte gemäß der übertragenen Objektinformation als einfa- ehe geometrische Figuren räumlich oder flächig sichtbar aufbereitet und in Beziehung zu dem Anhängefahrzeug setzt. Dadurch entsteht eine anwenderfreundliche räumliche oder flächige Darstellung, welche auf einer grafischen Benutzeroberfläche oder auf einem einfachen Display angezeigt werden kann. Aufgrund der reduzierten zu übertragenden Datenmengen kann die Anzeige schnell und zumindest nahezu verzögerungsfrei fortlaufend aktualisiert werden.
Es ist möglich und vorteilhaft, die Steuereinheit dateneingangsseitig an ein vorhandenes drahtgebundenes Bussystem des Fahrzeugs, beispielsweise an einen CAN-5V-Bus anzuschließen. Ein solches Bussystem ist meistens in Anhängefahrzeugen verbaut, welche mit einem elektronischen Bremssystem (EBS) ausgestattet sind. Es kann auch bereits eine Steuereinheit für die Signalübertragung verschiedener Funktionen zur Anzeige und Steuerung von Anhängerparametern, wie Reifendruck, Achslast oder Niveauregelung, in dem Anhängefahrzeug vorhanden sein. Eine derartige vorhandene Steuereinheit kann gegebenenfalls zusätzlich zum Übertragen der Objektinformation der Bildverarbeitungseinheit verwendet oder mit einer Erweiterung ausgebildet werden. Dies wird insbesondere dadurch ermöglicht, dass die Bilddaten zunächst durch die Bildverarbeitungseinheit reduziert werden, sodass die Steuereinheit nicht überlastet werden kann.
Gemäß einer ersten Ausführungsform des die Merkmale der Erfindung aufweisenden Fahrerassistenzsystems ist dieses zur Nutzung als Rückfahrassistenzsystem ausgebildet und dient beim Manövrieren des Anhängers zur Erkennung von Hindernissen eines rückwärtigen und/oder eines seitwärtigen Raumes des Anhängers. Hierzu ist mindestens ein optischer oder akustischer Sensor am Heck des Anhängers angeordnet, welcher einen rückwärtigen und/oder einen seitwärtigen Raum des Anhängers sensorisch erfasst. Im Vergleich zu bestehenden Rückfahrassistenten erweitert das erfindungsgemäße Fahrerassistenzsystem die Erkennungsmöglichkeiten insbesondere dadurch, dass dem Fahrer Hindernisse dreidimensional mit Größe und Position relativ zum Fahrzeug angezeigt werden können. Dadurch wird dem Fahrer das rückwärtsgerichtete exakte Manövrieren des Anhängers erleichtert. Demnach kann an dem rückseitigen Ende des Anhängefahrzeugs ein nach hinten, also in Rückfahrrichtung gerichteter optischer oder akustischer Sensor angeordnet sein. Dieser Sensor kann beispielsweise durch das Einlegen eines Rückwärtsganges aktiviert werden, um Hindernisse im Fahrweg des Anhängers zu erkennen. Es ist vorteilhaft, wenn dieser Sensor derart ausgebildet ist, dass er einen großen horizontalen Winkelbereich, also ein großes Sichtfeld, welches sich möglichst weit bis in den seitlichen Bereich des Anhängers erstreckt, erfasst.
Gemäß einer zweiten Ausführungsform kann vorgesehen sein, dass das Fahrerassistenzsystem zur Nutzung als Laderaumüberwachungssystem ausgebildet ist und zur Überwachung eines Laderaums in dem Anhänger dient, wobei mindestens ein optischer oder akustischer Sensor in dem Laderaum angeordnet ist. Demnach kann im Laderaum des Anhängers ein Sensor installiert sein, welcher Bilder oder Bildsequenzen von dem Laderaum beziehungsweise von der Ladung aufnimmt. Die aufgenommenen Bilder können mittels der Bildverarbeitungseinheit in ein grafisch reduziertes Abbild der Ladung umgewandelt und angezeigt werden. Das Fahrerassistenzsystem kann also einen ersten Sensor für die Rückraumbeobachtung und zusätzlich einen zweiten Sensor für die Laderaumüberwachung aufweisen.
Das erfindungsgemäße Fahrerassistenzsystem kann somit sowohl als ein Rückfahrassistenzsystem als auch als ein Laderaumüberwachungssystem betrieben werden. Die Laderaumüberwachung und der Rückfahrassistent können grundsätzlich beide mit dem Fahrerassistenzsystem parallel betrieben werden, wobei zweckmäßigerweise bei einer Rückwärtsfahrt der Rückfahrassistent priorisiert und die Laderaumüberwachung zumindest temporär unterbrochen werden kann.
Gemäß einer weiteren Ausführungsform der Erfindung kann vorgesehen sein, dass die elektronische Steuereinheit im Frontbereich des Anhängers, also nahe zu der Fahrerkabine des Zugfahrzeugs angeordnet ist.
Es ist vorteilhaft, die drahtlose Signalstrecke zwischen der Steuereinheit und dem elektronischen Endgerät möglichst kurz zu halten. Dadurch wird die Zuverlässigkeit der Übertragung der Objektinformation auf das Endgerät erhöht. Das Endgerät wird sich bei einer Rückwärtsfahrt im Sichtfeld des Fahrers befinden, damit dieser Hindernisse, welche auf der grafischen Benutzeroberfläche des Endgeräts erscheinen, unmittelbar optisch wahrnehmen kann. Das Endgerät wird also in der Regel in der Fahrerkabine des Zugfahrzeugs angeordnet sein. Alternativ dazu kann sich das Endgerät, sofern es sich um ein mobiles Gerät handelt, bei einem ferngesteuerten Manövrieren des Anhängers bei dem Fahrer außerhalb der Fahrerkabine des Zugfahrzeugs befinden.
Gemäß einer Weiterbildung des erfindungsgemäßen Fahrerassistenzsystems kann vorgesehen sein, dass dieses mindestens einen optischen oder akustischen Sensor aus der Gruppe Einzelbildkamera, Videokamera, TOF-Kamera, Stereokamera, Radarsensor, Lidar-Sensor, Ultraschallsensor aufweist. Demnach können bei dem Fahrerassistenzsystem je nach Anforderung an die Beobachtungs- und/oder Überwa- chungsfunktion Sensoren mit verschiedenen physikalischen Messprinzipien zum Einsatz kommen.
In einer ersten Ausführung eines Sensors kann beispielsweise für das Rückfahrassistenzsystem eine Weitwinkelkamera mit einem Fischaugen-Objektiv (auch: Fisheye- Objektiv) verwendet werden. Damit können Objekte im rückwärtigen Umfeld des Anhängers in einem horizontalen Winkel von mehr als 180° erfasst werden.
Als eine dazu alternative Ausführung des Sensors kann eine Stereokamera vorgesehen sein. Eine Stereokamera weist zwei synchronisierte Objektive auf, die gleichzeitig zwei Halbbilder aufnehmen, aus denen eine 3D-Abbildung entsteht. Dadurch kann eine genauere Positionsbestimmung von erfassten Objekten relativ zum Fahrzeug erreicht werden. Zudem wird der tote Winkel entlang der Bewegungslinie eines zurückstoßenden Anhängers beseitigt, wozu das erwähnte SfM-Verfahren geeignet ist.
Als eine andere alternative Ausführung eines Sensors kann eine TOF-Kamera vorgesehen sein. Eine TOF-Kamera ist eine 3D-Kamera, die mit einem Laufzeitverfahren (TOF; engl. Time Of Flight) arbeitet. Dabei wird die Laufzeit eines Lichtpulses, welche das Licht von der Kamera zu einem Objekt und wieder zurück braucht, gemessen. Mit einer einzigen Aufnahme kann für jeden Bildpunkt einer ausgeleuchteten Szene jeweils dessen Abstand genau ermittelt werden.
Als eine weitere alternative Ausführung eines Sensors kann ein Radarsensor vorgesehen sein. Ein Radarsensor sendet eine gebündelte elektromagnetische Welle als Radarsignal aus und wertet ein von einem Objekt reflektiertes Echo aus, um das betreffende Objekt nach Entfernung und Winkel zu orten sowie gegebenenfalls zu identifizieren.
Als eine zusätzliche alternative Ausführung eines Sensors kann ein Lidar-Sensor vorgesehen sein (Lidar: engl. Light Detection And Flanging). Derartige Sensoren arbeiten nach einem ähnlichen Prinzip wie Radarsensoren, jedoch mit Laserstrahlen. Diese Sensoren werden bereits an Fahrzeugen im Bereich automatisiertes und/oder fahrerloses Fahren eingesetzt.
Als eine weitere alternative Ausführung eines Sensors kann ein Ultraschallsensor vorgesehen sein. Das bereits eingangs erwähnte „TailGUARD“-System des Unternehmens ZF (früher WABCO) verwendet mehrere dieser Sensoren zur Hinderniserkennung.
Gemäß einer weiteren Ausführungsform kann vorgesehen sein, dass zusätzlich eine künstliche Lichtquelle angeordnet ist, die während der Aufnahme eines Bildes oder einer Bildsequenz das Sichtfeld des optischen Sensors ausleuchten kann. Durch eine künstliche Ausleuchtung des Sichtfelds des Sensors kann eine gleichbleibend hohe Qualität der Aufnahmen unabhängig von den Schwankungen der natürlichen Helligkeit erreicht werden.
Zur Lösung der verfahrensbezogenen Aufgabe ist ein Verfahren zur Steuerung eines Fahrerassistenzsystems für einen Anhänger eines Nutzfahrzeugs vorgesehen, wobei das Fahrerassistenzsystem die Merkmale von wenigstens einem der Vorrichtungsansprüche aufweist. Das Verfahren ist dadurch gekennzeichnet,
- dass bei einer Aktivierung des Fahrerassistenzsystems von dem mindestens einen optischen oder akustischen Sensor Bilder und/oder Bildsequenzen des von dem Sensor beobachteten oder überwachten Raumes aufgenommen werden,
- dass mittels dieser Aufnahmen Objekte, welche sich in dem beobachteten oder überwachten Raum befinden, mittels der Bildverarbeitungseinheit erfasst sowie hinsichtlich ihrer Größe und Position sowie optional hinsichtlich ihres Bewegungszustands in Bezug auf ein fahrzeugfestes Koordinatensystem analysiert werden,
- dass aus dem Analyseergebnis eine komprimierte Objektinformation erzeugt wird, welche die Größe, die Position und optional den Bewegungszustand jedes von der Bildverarbeitungseinheit berücksichtigten Objekts beinhaltet,
- dass diese Objektinformation über die elektronische Steuereinheit auf das Endgerät übertragen wird, und
- dass die auf das Endgerät übertragene Objektinformation mittels der Anwendungssoftware als eine grafisch reduzierte, räumliche oder flächige Darstellung auf der grafischen Benutzeroberfläche abgebildet wird,
- wobei diese Darstellung die erfassten Objekte als räumliche geometrische Figuren oder als ebene geometrische Figuren sowie deren Größe, Position und Bewegungszustand enthält.
Bei dem erfindungsgemäßen Verfahren werden demnach die von dem Sensor aufgenommenen Bilder oder Bildsequenzen mit den darin erfassten Objekten zunächst in der Bildverarbeitungseinheit analysiert und als eine komprimierte Objektinformation drahtgebunden, beispielsweise über ein vorhandenes Bussystem eines Anhängerbremssystems, oder drahtlos über eine Funkverbindung zu der Steuereinheit übertragen. Die Steuereinheit fungiert als ein Signalverstärker, welcher die Objektinformation als ein aufbereitetes und verstärktes Signal über eine Funkverbindung, beispielsweise per WLAN oder Bluetooth, an das Endgerät sendet.
Die erfassten Objekte werden als räumliche geometrische Figuren, beispielsweise als Quader, Zylinder, Pyramiden, Kugeln oder Balken in einer räumlichen Darstellung auf der grafischen Benutzeroberfläche des Endgeräts sichtbar gemacht. Die räumliche Darstellung bezieht sich auf ein festes Koordinatensystem des Anhängefahrzeugs. Dabei entspricht die Größe beispielsweise der dargestellten Quader in Breite, Höhe und Tiefe sowie deren Position zum Anhänger den Maßen beziehungsweise den Positionen der betreffenden erfassten Objekte.
Alternativ dazu ist eine noch weiter datenreduzierte Darstellung möglich, bei der den Quadern beziehungsweise geometrischen Figuren eine vorgegebene einheitliche Größe zugeordnet wird. Diese Darstellung kann dem Fahrer als eine erste Orientierung dienen, wo sich im rückwärtigen Raum des Anhängers Hindernisse befinden. Vorteilhaft daran ist die vergleichsweise geringe zu übertragende Datenmenge, sodass eine weniger leistungsfähige Datenverbindung ausreicht. Insbesondere dann, wenn ein vorhandenes digitales Bussystem für die Datenübertragung zwischen der Bildverarbeitungseinheit und der Steuereinheit genutzt wird, wird dieses Bussystem nur relativ gering belastet.
Außerdem ist es möglich, die erwähnte 3D-Darstellung auf eine 2D-Darstellung zu reduzieren. Dabei können anstelle von räumlichen Figuren einfache ebene geometrische Figuren, wie beispielsweise Rechtecke, Dreiecke, Kreise, Abstandsbalken oder ähnliche Figuren auf der Benutzeroberfläche angezeigt werden.
Die Aktivierung des Fahrerassistenzsystems kann automatisch, sensorgesteuert, ereignisgesteuert oder manuell erfolgen.
Weiter kann vorgesehen sein, dass das Fahrerassistenzsystem als ein Rückfahrassistenzsystem arbeitet, welches beim Manövrieren des Anhängers zur Erkennung von Hindernissen eines rückwärtigen und/oder eines seitwärtigen Raumes des Anhängers dient, wobei das Sichtfeld des optischen oder akustischen Sensors in Teilbereiche unterschiedlicher Priorität unterteilt wird und wobei in jedem Teilbereich jeweils eine vorgegebene Anzahl von hindernisrelevanten Objekten berücksichtigt wird. Es ist demnach vorteilhaft, den rückwärtigen Raum des Anhängers beim Rangieren in Bereiche zu unterteilen und die Darstellung auf den wesentlichen Inhalt in den jeweiligen Bereichen zu reduzieren. Dadurch wird eine gute Übersichtlichkeit der Darstellung erreicht und die zu übertragende Datenmenge auf ein notwendiges Maß begrenzt. Beispielsweise kann zentral hinter dem Anhänger ein Bereich hoher Priorität festgelegt werden, in dem die höchste Anzahl von als relevant eingestuften Objekten angezeigt wird. Einem schräg hinter dem Anhänger gelegenen Bereich kann eine mittlere Priorität mit einer mittleren Anzahl von als relevant eingestuften Objekten zugeordnet werden. Einem weiter außen gelegenen Bereich kann eine niedrige Priorität mit nur wenigen als relevant eingestuften Objekten zugeordnet werden.
Es ist auch möglich, zusätzlich bei einer Vorwärtsfahrt das Fahrerassistenzsystem einzusetzen. Wenn ein Sensor mit einem seitlichen Sichtfeld angeordnet ist, können hierbei ebenfalls Raumbereiche mit verschiedenen Prioritäten versehen werden. Beispielsweise wird einem zentral hinter dem Fahrzeug gelegenen Bereich bei einer Vorwärtsfahrt eine niedrige Priorität eingeräumt, während ein unmittelbar seitlich des Fahrzeugs gelegener Bereich eine hohe Priorität erhält. Zudem können die seitlichen Bereiche rechts und links noch unterschiedlich gewichtet werden, und zwar abhängig von der Betätigung eines linken oder rechten Fahrtrichtungsanzeigers des Fahrzeugs.
Gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass im Falle einer möglichen rückwärtigen Kollision mit einem Hindernis in einem prognostizierten Fahrweg des Nutzfahrzeugs mittels der Anwendungssoftware des Endgeräts eine visuelle, akustische und/oder haptische Kollisionswarnung erfolgt und dass zur Vermeidung einer Kollision eine automatische Notbremsung mittels eines Anhängerbremssystems eingeleitet wird.
Demnach kann eine mögliche Kollision während einer Rückwärtsfahrt vorausgesagt werden, wenn ein Hindernis in dem voraussichtlichen Fahrweg des Anhängers auftaucht. Wird eine Kollision als mittelbar bevorstehend eingestuft, kann zunächst eine Warn-Kaskade ausgelöst werden. Eine visuelle Rückmeldung kann beispielsweise erfolgen, indem der auf der Benutzeroberfläche angezeigte Quader, welcher das betreffende Objekt repräsentiert, sich markant einfärbt, beispielsweise in Rot und/oder blinkt.
Außerdem oder alternativ dazu kann ein roter Rahmen an den Rändern der Benutzeroberfläche angezeigt werden oder sich der Hintergrund vollständig in einem transparenten Rot einfärben. Die Farben der visuellen Warnung, ebenso wie die Intensität der akustischen oder haptischen Warnung, können entsprechend dem Grad der Gefahr variieren. Beispielsweise kann die gelbe Farbe anzeigen, dass Hindernisse im Sichtfeld vorhanden sind, und die rote Farbe zeigt an, dass eine Kollision droht. Warntöne können in ihrer Tonhöhe und/oder in ihrer Lautstärke in Abhängigkeit von der erkannten Gefahr variieren. Wird eine Kollision als unmittelbar bevorstehend eingestuft, kann diese durch eine automatische Aktivierung der Anhängerbremsen beim Vorhandensein eines elektronischen Bremssystems vermieden oder zumindest abgeschwächt werden.
Gemäß einer weiteren Ausführungsform der Erfindung kann vorgesehen sein, dass die auf der grafischen Benutzeroberfläche des Endgeräts erscheinenden geometrische Figuren und/oder ein Rahmen und/oder ein Hintergrund der Benutzeroberfläche abhängig von der Größe, Position und/oder Bewegungszustand der betreffenden Objekte sowie abhängig von einer Kollisionswarnung farblich verschieden und/oder farblich veränderlich abgebildet werden.
Demnach können verschiedene Farbschemata für die Darstellung der geometrischen Figuren vorgesehen und wählbar sein. Im einfachsten Fall können alle Figuren einheitlich eingefärbt sein. Beispielsweise kann sich die Farbe einheitlich für alle Figuren abhängig vom Abstand des zum Anhänger nächstgelegenen Objekts ändern. Gemäß einer Weiterbildung eines Farbschemas kann jede Figur einzeln und abhängig von ihrem momentan äußersten Punkt im Raum zum Anhänger hin gesehen farblich kodiert sein. Außerdem kann der Bewegungszustand der erfassten Objekte analysiert werden. Wird ein relevantes Objekt erkannt, das eine Eigenbewegung ausführt, kann dieses beispielsweise von einem feststehenden Objekt durch eine andere Einfärbung unterschieden und hervorgehoben werden.
Gemäß einer weiteren Ausführungsform der Erfindung kann vorgesehen sein, dass auf der grafischen Benutzeroberfläche des Endgeräts ein Raster oder Linienmuster angezeigt wird, welches auf eine dargestellte Grundfläche projiziert wird.
Ein Raster oder Linienmuster mit den darin abgebildeten, aus den sensorisch erfassten Objekten abgeleiteten geometrischen Figuren kann dem Fahrer beim Verständnis der abgebildeten Szene unterstützen. So kann dies beim Rückwärtsfahren dem Fahrer eine Orientierungshilfe beim Einleiten von Fahrmanövern geben. Beispielsweise kann ein Raster mit einer vorgegebenen festen Zellengröße auf die Grundfläche projiziert und auf der Benutzeroberfläche sichtbar gemacht werden, wobei jede Zelle einem Ausschnitt des beobachteten und überwachten Raumes von 1 m x 1 m entspricht. Alternativ dazu kann ein Linienmuster auf die Grundfläche projiziert werden, wobei die Linienabstände der gezeigten Linien bestimmten horizontalen äquidistanten Abständen in dem beobachteten und überwachten Raum bezüglich des Anhängers entsprechen.
Gemäß einer weiteren Ausführungsform der Erfindung kann vorgesehen sein, dass auf der grafischen Benutzeroberfläche des Endgeräts ein reales Hintergrundbild dargestellt wird, in welches die geometrischen Figuren, welche die erfassten Objekte repräsentieren, hinein projiziert werden. Falls sehr leistungsfähige Datenverbindungen zwischen der Bildverarbeitungseinheit und der elektronischen Steuereinheit sowie zwischen der elektronischen Steuereinheit und dem Endgerät zur Verfügung stehen, ist es demnach auch möglich, die geometrischen Figuren, welche die erfassten Objekte darstellen, in ein reales Hintergrundbild des optischen Sensors hinein zu projizieren. Gemäß einer anderen Weiterbildung des Verfahrens kann eine Wächterfunktion vorgesehen sein, welche die Datenübertragung überwacht und bei einer erkannten signifikanten Unterbrechung der Datenübertragung zwischen der Bildverarbeitungseinheit und der elektronischen Steuereinheit und/oder zwischen der elektronischen Steuereinheit und dem Endgerät eine Warnmeldung erzeugt.
Es ist bekannt, dass bei Fahrerassistenzsystemen immer wieder Unterbrechungen in einer drahtlosen Kommunikation auftreten können. Daher ist es vorteilhaft, ein Diagnosewerkzeug in das erfindungsgemäße Fahrerassistenzsystem zu integrieren, welches Latenzzeiten oder Lücken in der Datenübertragung feststellt, um veraltete Daten zu bestimmen, beziehungsweise um zu erkennen, dass ein angezeigtes Bild auf der Benutzeroberfläche nicht die aktuelle Situation wiedergibt. Ein derartiges Diagnosewerkzeug ist beispielsweise das bekannte IP-Ping-Verfahren, mit dem mit Hilfe von Testsignalen überprüft werden kann, ob ein bestimmtes Gerät mit einer IP-Adresse in einem Netzwerk erreichbar ist. Wenn Latenzzeiten erkannt werden, kann eine Warnung in der Smartphone-App erzeugt werden, beispielsweise dargestellt durch eine Einblendung eines gelben oder roten Rahmens entlang der Kanten des Displays zusätzlich zu einem Hinweistext wie „keine Daten“.
Zweckmäßigerweise werden zwei Ping-Tests durchgeführt, um zwischen Latenzzeiten, welche zwischen der Bildverarbeitungseinheit und der Steuereinheit einerseits und zwischen der Steuereinheit und dem Endgerät andererseits auftreten,, zu unterscheiden sowie gegebenenfalls jeweils einen entsprechenden Fehlercode anzuzeigen. Im Falle von häufig auftretenden Störungen kann die Komprimierungsrate der aufgenommenen Bilder in der Bildverarbeitungseinheit angepasst werden, sodass eine weniger detailreiche, aber dennoch ausreichende Darstellung auf der Benutzeroberfläche entsteht.
Gemäß einer anderen Weiterbildung des Verfahrens ist vorgesehen, dass das Fahrerassistenzsystem als ein Laderaumüberwachungssystem arbeitet, wobei eine Ladungsbelegung, eine Ladungsverschiebung und/oder eine Belegungsänderung überwacht sowie auf der grafischen Benutzeroberfläche des Endgeräts gezeigt wird. Das Fahrerassistenzsystem ermöglicht dabei eine Überwachung des Zustands der Ladung im Laderaum des Anhängers. Beispielsweise kann der Grad der Belegung oder die Verteilung der Ladung im Laderaum angezeigt werden. Außerdem kann durch Vergleichen zeitlich beabstandet aufgenommener Bilder des Laderaums eine unerwünschte Ladungsverschiebung oder eine diebstahlbezogene Ladungsentfernung erkannt sowie dem Fahrer signalisiert werden.
Gemäß einer weiteren Ausführungsform der Erfindung kann vorgesehen sein, dass der Fahrer oder die Fahrerin einen perspektivischen Winkel der Darstellung auf der grafischen Benutzeroberfläche des Endgeräts mittels der Anwendungssoftware einstellen oder zwischen einer räumlichen und einer flächigen Darstellung wählen sowie umschalten kann.
Schließlich betrifft die Erfindung auch ein Nutzfahrzeug mit Anhänger, welches ein Fahrerassistenzsystem zur Beobachtung und/oder Überwachung eines hinter einer Fahrerkabine befindlichen Raumes aufweist, welches gemäß einem der Vorrichtungsansprüche aufgebaut und zur Durchführung eines Verfahrens nach einem der Verfahrensansprüche betreibbar ist.
Die Erfindung wird nachstehend anhand von in den beigefügten Zeichnungen dargestellten Ausführungsbeispielen näher erläutert. In den Zeichnungen zeigt
Fig. 1 ein als Rückfahrassistenzsystem und als Laderaumüberwachungssystem nutzbares Fahrerassistenzsystem für einen Anhänger eines Fahrzeuggespanns gemäß der Erfindung in einer schematischen Darstellung,
Fig. 2 ein mehrere Hindernisse enthaltender Rückraum des Anhängers gemäß
Fig. 1 in einer grafisch reduzierten perspektivischen Darstellung,
Fig. 3 einer in mehrere Bereiche unterschiedlicher Priorität unterteilter Rückraum des Anhängers gemäß Fig. 1 in einer schematischen Darstellung, und
Fig. 4 das Fahrzeuggespann gemäß Fig. 1 in einer schematischen Draufsicht mit in dem Laderaum des Anhängers angeordneter Ladung. Einige Bauelemente in den Figuren stimmen in ihrem Aufbau und/oder in ihrer Funktion überein, so dass sie zur Vereinfachung mit denselben Bezugsziffern bezeichnet sind.
Bei dem hier beispielhaft dargestellten Fahrzeuggespann 2 handelt es sich um einen Sattelzug, der aus einem Zugfahrzeug 4, hier einer Sattelzugmaschine mit einer Fahrerkabine 6, sowie einem Anhänger 8, hier einem Sattelauflieger mit einem Kastenaufbau 12 und einem darin vorhandenen Laderaum 14, besteht.
Das erfindungsgemäße Fahrerassistenzsystem 16 ist im Wesentlichen in dem Anhänger 8 angeordnet und weist mindestens einen ersten optischen Sensor 18, vorliegend eine erste Kamera zur Rückraumüberwachung, zusätzlich einen zweiten optischen Sensor 22, vorliegend eine zweite Kamera zur Laderaumüberwachung, eine Bildverarbeitungseinheit 24, eine erste Datenverbindung 26, eine elektronische Steuereinheit 28, eine zweite Datenverbindung 30 sowie ein Endgerät 32 auf.
Der erste optische Sensor 18 ist am Heck 10 des Anhängers 8 angeordnet und weist ein Weitwinkelobjektiv 20 auf, beispielsweise ein sogenanntes Fischaugen-Objektiv (Fisheye-Objektiv), mit dem Bilder und Bildsequenzen eines Rückraums 36 hinter dem Anhänger 8 aufgenommen werden können. Der zweite optische Sensor 22 ist im Inneren des Laderaums 14 angeordnet. Mittels des zweiten Sensors 22 können Bilder und Bildsequenzen des Laderaums 14 aufgenommen werden.
Die Bildverarbeitungseinheit 24 ist im Inneren des Anhängers 8 nahe an dessen Heck 10 angeordnet und mit den beiden optischen Sensoren 18, 22 elektrisch verbunden. Mittels der Bildverarbeitungseinheit 24 können die von den optischen Sensoren 18, 22 aufgenommenen Bilder derart analysiert und komprimiert werden, dass jeweils eine Objektinformation erzeugt wird, welche die Größe sowie die Position und den Bewegungszustand von mit den Aufnahmen erfassten Objekten in Bezug auf ein fahrzeugfestes Koordinatensystem enthält.
Die elektronische Steuereinheit 28 ist im Bereich der Front 38 des Anhängers 8 angeordnet und über die erste Datenverbindung 26 mit der Bildverarbeitungseinheit 24 verbunden. Im gezeigten Beispiel ist die erste Datenverbindung 26 als eine Kabelverbindung ausgebildet. Beispielsweise kann diese Datenverbindung 26 Teil eines vorhandenen Datenbusses eines nicht dargestellten elektronischen Bremssystems des Anhängers 8 sein und für die Verbindung von der Bildverarbeitungseinheit 22 und der Steuereinheit 28 zur Übertragung der Objektinformation genutzt werden. Alternativ dazu ist eine drahtlose Funkverbindung möglich. Der Aufbau der elektronischen Steuereinheit 28 kann beispielsweise an der eingangs erwähnten „OptiLink“- ECU angelehnt oder eine Weiterentwicklung dieser „OptiLink“-ECU sein.
Das Endgerät 32 ist in diesem Beispiel ein Smartphone mit einer grafischen Benutzeroberfläche 34 beziehungsweise Display. Das Endgerät 32 kommuniziert mit der Steuereinheit 28 drahtlos über die zweite Datenverbindung 30, vorliegend eine WLAN-Verbindung. Alternativ dazu wäre auch eine Bluetooth-Verbindung möglich. Auf dem Endgerät 32 ist eine Anwendungssoftware, kurz App genannt, installiert, mittels der die von der Bildverarbeitungseinheit 24 erzeugte und von der Steuereinheit 28 auf das Endgerät 32 übertragene Objektinformation als eine grafisch reduzierte, räumliche oder flächige geometrische Darstellung abgebildet werden kann.
Fig. 2 zeigt beispielhaft eine derartige räumliche Darstellung 40 auf der grafischen Benutzeroberfläche 34 des Endgeräts 32 bei einer Nutzung des Fahrerassistenzsystems 16 als Rückfahrassistenzsystem. Ein von dem ersten optischen Sensor 18 aufgenommene Bildsequenz des Rückraums 36 des Anhängers 8 bei einer Rückwärtsfahrt wird von der Bildverarbeitungseinheit 24 analysiert. Im vorliegenden Beispiel wurden vier Objekte erfasst, welche als Hindernisse im voraussichtlichen Fahrweg des Anhängers 8 relevant sind.
Die auf das Endgerät 32 übertragene Objektinformation wird von der Anwendungssoftware des Endgeräts 32 in die gezeigte räumliche Darstellung 40 umgesetzt. In dieser Darstellung sind die vier erfassten realen Objekte als vier quaderförmige geometrische Figuren 44a, 44b, 44c, 44d abgebildet. In der Darstellung 40 sind die Größen und Positionen der geometrischen Figuren 44a, 44b, 44c, 44d relativ zum Anhänger 8 erkennbar. Aufgrund des extrem weiten Sichtfelds des Weitwinkelobjektivs 20 erscheint die daraus resultierende räumliche Darstellung 40 perspektivisch entsprechend stark verzerrt. Für eine bessere Orientierung ist der räumlichen Darstellung 40 mittels der Anwendungssoftware ein Raster 42 unterlegt. Die horizontalen Rasterlinien entsprechen äquidistanten Abständen in dem aufgenommenen Rückraum 36.
Die in der Fig. 2 schraffiert dargestellte zweite Figur 44b unterscheidet sich von den anderen drei Figuren 44a, 44c, 44d dadurch, dass es sich bei dem betreffenden Objekt um ein sich bewegendes Objekt handelt. Dies hat die Bildverarbeitungseinheit 24 durch die Analyse einer Bildsequenz mit zwei oder mehr aufeinanderfolgen Aufnahmen ergeben. Auf der Benutzeroberfläche 34 erscheint diese Figur 44b in einer anderen, hier grau dargestellten Farbe.
Fig. 3 zeigt der Rückraum 36 des Anhängers 8 mit einer Unterteilung in einen zentralen Teilbereich 46 sowie, in Vorwärtsrichtung gesehen, in einen fahrzeugnahen rechten seitlichen Teilbereich 48r, einen fahrzeugnahen linken seitlichen Teilbereich 48I, einen fahrzeugfernen rechten seitlichen Teilbereich 50r und einen fahrzeugfernen linken seitlichen Teilbereich 50r. Die Software der Bildverarbeitungseinheit 24 und/oder die Anwendungssoftware können eine Routine aufweisen, welche diese Unterteilung vornimmt und den genannten Teilbereichen 46, 48r, 48I, 50r, 50I jeweils eine Priorität zuordnet. Beispielsweise wird bei Rückwärtsfahrt dem zentralen Teilbereich 46 eine hohe Priorität, den fahrzeugnahen seitlichen Teilbereichen 48r, 48I eine mittlere Priorität und den fahrzeugfernen seitlichen Teilbereichen 50r, 50I ein niedrige Priorität zugewiesen. Zusätzlich können den linken und rechten Teilbereichen 48r, 48I, 50r, 50I je nach Fahrsituation jeweils unterschiedliche Prioritäten zugewiesen werden. Anhand dieser Prioritäten stuft die Bildverarbeitungseinheit 24 die erfassten Objekte 51 a, 51 b, 51 c, 51 d, 51 e, 51 f als relevant ein und trifft eine bestimmte Auswahl mit einer Begrenzung der Anzahl von Objekten in jedem der Teilbereiche 46, 48r, 48I, 50r, 50I.
Fig. 4 zeigt den Laderaum 14 des Anhängers 8 mit einer darin befindlichen Ladung 52, welche in dem gezeigten Beispiel aus vier Ladungseinheiten 52a, 52b, 52c, 52d besteht. Weiterhin gezeigt ist eine grafisch reduzierte Darstellung 54 des Lade- raums 14 und der vier Ladungseinheiten 52a, 52b, 52c, 52d auf der grafischen Benutzeroberfläche 34 des Endgeräts 32 bei einer Nutzung des Fahrerassistenzsystems 16 als Laderaumüberwachungssystem. Dafür werden die Aufnahmen des zweiten optischen Sensors 22 aus dem Laderaum 14 mittels der Bildverarbeitungseinheit 24 in eine Objektinformation verarbeitet, welche die Größe und Position der Ladung 52 beziehungsweise der einzelnen Ladungseinheiten 52a, 52b, 52c, 52d enthält. Die Objektinformation wird über die Steuereinheit 28 an das Endgerät 32 gesendet. Auf der grafischen Benutzeroberfläche 34 ist ein Raster 56 unterlegt, mit dessen Hilfe sich der Belegungsgrad sowie die Lastverteilung der Ladung 52 im Laderaum 14 relativ leicht ableiten lassen. Mittels einer Analyse von Bildsequenzen können zudem Ladungsverschiebungen oder eine Entfernung der Ladungseinheiten 52a, 52b, 52c, 52d erkannt werden.
Bezugszeichenliste (Teil der Beschreibung)
Nutzfahrzeug, Fahrzeuggespann, Sattelzug
Zugfahrzeug, Sattelzugmaschine
Fahrerkabine
Anhänger, Sattelauflieger
Heck des Anhängers
Kastenaufbau des Anhängers
Raum hinter der Fahrerkabine; Laderaum des Anhängers Fahrerassistenzsystem, Rückfahrassistenzsystem, Laderaumüber- wachungssystem
Erster optischer Sensor, Kamera
Weitwinkelobjektiv der Kamera 20
Zweiter optischer Sensor, Kamera 22
Bildverarbeitungseinheit
Erste Datenverbindung, Datenbus
Elektronische Steuereinheit
Zweite Datenverbindung, WLAN, Bluetooth
Endgerät, Smartphone
Grafische Benutzeroberfläche des Endgeräts
Raum hinter der Fahrerkabine; Rückraum hinter dem Anhänger Frontbereich des Anhängers
Darstellung des Rückraums 36 auf der Benutzeroberfläche
Raster des Rückraums auf der Benutzeroberfläche a Erste figürliche Darstellung eines ersten Objekts des Rückraumsb Zweite figürliche Darstellung eines zweiten Objekts des Rückraumsc Dritte figürliche Darstellung eines dritten Objekts des Rückraumsd Vierte figürliche Darstellung eines vierten Objekts des Rückraums Zentraler Teilbereich des Rückraums I Linker fahrzeugnaher Seitenbereich r Rechter fahrzeugnaher Seitenbereich I Linker fahrzeugferner Seitenbereich r Rechter fahrzeugferner Seitenbereich a - 51 f Objekte im Rückraum hinter dem Anhänger Ladung im Laderaum a Erste Ladungseinheit b Zweite Ladungseinheit c Dritte Ladungseinheit d Vierte Ladungseinheit Darstellung des Laderaums auf der Benutzeroberfläche Raster des Laderaums auf der Benutzeroberfläche

Claims

Patentansprüche
1 . Fahrerassistenzsystem (16) für ein Nutzfahrzeug (2) mit einem Anhänger (8), welches zur Beobachtung und/oder zur Überwachung eines hinter einer Fahrerkabine (6) des Nutzfahrzeugs (2) befindlichen Raumes (14, 36) nutzbar ist, und welches Folgendes aufweist:
- mindestens einen optischen oder akustischen Sensor (18, 20, 22), welcher hinter der Fahrerkabine (6) des Nutzfahrzeugs angeordnet ist,
- wobei mit diesem Sensor (18, 20, 22) Bilder und Bildsequenzen innerhalb eines Sichtfeldes des Sensors (18, 20, 22) aufnehmbar sind,
- eine Bildverarbeitungseinheit (24), welche mit dem optischen oder akustischen Sensor (18, 20, 22) elektrisch verbunden ist,
- wobei in der Bildverarbeitungseinheit (24) eine Bildverarbeitungssoftware zur Bilddatenanalyse und zur Bildkomprimierung abgespeichert ist,
- und wobei die Bildverarbeitungseinheit (24) mittels der aufgenommenen Bilder oder Bildsequenzen Objekte erfassen und hinsichtlich ihrer Größe, Position und Bewegung in Bezug auf ein fahrzeugfestes Koordinatensystem analysieren und daraus eine komprimierte Objektinformation erzeugen kann,
- eine erste drahtgebundene oder drahtlose Datenverbindung (26),
- eine elektronische Steuereinheit (28), welche eine Dateneingangsseite sowie eine Datenausgangsseite aufweist und separat von der Bildverarbeitungseinheit (24) angeordnet ist,
- wobei die elektronische Steuereinheit (28) zum Übertragen der von der Bildverarbeitungseinheit (24) erzeugten Objektinformation dateneingangsseitig über die erste Datenverbindung (26) mit der Bildverarbeitungseinheit (24) verbunden oder verbindbar ist,
- eine zweite drahtlose Datenverbindung (30), und
- ein elektronisches Endgerät (32) mit einer elektronischen grafischen Benutzeroberfläche (34), welches außerhalb des Anhängers (8) positioniert ist, - wobei das Endgerät (32) über die zweite Datenverbindung (30) mit der Datenausgangseite der elektronischen Steuereinheit (28) drahtlos verbunden oder verbindbar ist,
- und wobei auf dem Endgerät (32) eine Anwendungssoftware installierbar ist, mittels welcher die von der Bildverarbeitungseinheit (24) zur Verfügung gestellte und über die elektronische Steuereinheit (28) auf das Endgerät (32) übertragene Objektinformation als eine grafisch reduzierte, räumliche oder flächige geometrische Darstellung (40, 42, 44a, 44b, 44c, 44d, 54, 56) auf der Benutzeroberfläche (34) abbildbar ist.
2. Fahrerassistenzsystem nach Anspruch 1 , dadurch gekennzeichnet, dass das Fahrerassistenzsystem (16) zur Nutzung als Rückfahrassistenzsystem ausgebildet ist und beim Manövrieren des Anhängers (8) zur Erkennung von Hindernissen eines rückwärtigen und/oder eines seitwärtigen Raumes (36) des Anhängers (8) dient, wobei mindestens ein optischer oder akustischer Sensor (18, 20) am Heck (10) des Anhängers (8) angeordnet ist, welcher einen rückwärtigen und/oder einen seitwärtigen Raum (36) des Anhängers (8) sensorisch erfasst.
3. Fahrerassistenzsystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (16) zur Nutzung als Laderaumüberwachungssys- tem ausgebildet ist und zur Überwachung eines Laderaums (14) in dem Anhänger (8) dient, wobei mindestens ein optischer oder akustischer Sensor (22) in dem Laderaum (14) angeordnet ist.
4. Fahrerassistenzsystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die elektronische Steuereinheit (28) im Frontbereich (38) des Anhängers (8) angeordnet ist.
5. Fahrerassistenzsystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass dieses mindestens einen optischen oder akustischen Sensor (18, 20, 22) aus der Gruppe Einzelbildkamera, Videokamera, TOF-Kamera, Stereokamera, Radarsensor, Lidar-Sensor, Ultraschallsensor aufweist.
6. Fahrerassistenzsystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass dieses zusätzlich eine künstliche Lichtquelle aufweist, welche während der Aufnahme eines Bildes oder einer Bildsequenz das Sichtfeld des optischen Sensors (18, 20, 22) ausleuchten kann.
7. Verfahren zur Steuerung eines Fahrerassistenzsystems (16) für einen Anhänger (8) eines Nutzfahrzeugs (2), mit den Merkmalen nach wenigstens einem der Ansprüche 1 bis 6, dadurch gekennzeichnet,
- dass bei einer Aktivierung des Fahrerassistenzsystems (16) von dem mindestens einen optischen oder akustischen Sensor (18, 20, 22) Bilder und/oder Bildsequenzen des von dem Sensor (18, 20, 22) beobachteten oder überwachten Raumes (14, 36) aufgenommen werden,
- dass mittels dieser Aufnahmen Objekte, welche sich in dem beobachteten oder überwachten Raum befinden, mittels der Bildverarbeitungseinheit (24) erfasst sowie hinsichtlich ihrer Größe und Position sowie optional hinsichtlich ihres Bewegungszustands in Bezug auf ein fahrzeugfestes Koordinatensystem analysiert werden,
- dass aus dem Analyseergebnis eine komprimierte Objektinformation erzeugt wird, welche die Größe, die Position und optional den Bewegungszustand jedes von der Bildverarbeitungseinheit (24) berücksichtigten Objekts beinhaltet,
- dass diese Objektinformation über die elektronische Steuereinheit (28) auf das Endgerät (32) übertragen wird, und
- dass die auf das Endgerät (32) übertragene Objektinformation mittels der Anwendungssoftware als eine grafisch reduzierte, räumliche oder flächige Darstellung (40, 42, 44a, 44b, 44c, 44d, 54, 56) auf der grafischen Benutzeroberfläche (34) abgebildet wird, - wobei diese Darstellung (40, 42, 44a, 44b, 44c, 44d, 54, 56) die erfassten Objekte als räumliche geometrische Figuren oder als ebene geometrische Figuren sowie deren Größe, Position und Bewegungszustand enthält.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die dargestellten räumlichen geometrischen Figuren Quader, Zylinder, Pyramiden, Kugeln oder Balken oder ähnliche Figuren sind.
9. Verfahren nach einem der Ansprüche 7 und 8, dadurch gekennzeichnet, dass die dargestellten ebenen geometrischen Figuren Rechtecke, Dreiecke, Kreise, Abstandsbalken oder ähnliche Figuren sind.
10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Aktivierung des Fahrerassistenzsystems (16) automatisch, sensorgesteuert, ereignisgesteuert oder manuell erfolgt.
1 1 . Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (16) als ein Rückfahrassistenzsystem arbeitet, welches beim Manövrieren des Anhängers (8) zur Erkennung von Hindernissen eines rückwärtigen und/oder eines seitwärtigen Raumes (36) des Anhängers (8) dient, wobei das Sichtfeld des optischen oder akustischen Sensors (18, 20) in Teilbereiche (46, 48I, 48r, 50I, 50r) unterschiedlicher Priorität unterteilt wird, und wobei in jedem Teilbereich (46, 48I, 48r, 50I, 50r) jeweils eine vorgegebene Anzahl von hindernisrelevanten Objekten berücksichtigt wird.
12. Verfahren nach einem der Ansprüche 7 bis 1 1 , dadurch gekennzeichnet, dass im Falle einer möglichen rückwärtigen Kollision mit einem Hindernis in einem prognostizierten Fahrweg des Nutzfahrzeugs (2) mittels der Anwendungssoftware des Endgeräts (32) eine visuelle, akustische und/oder haptische Kollisionswarnung erfolgt, und dass zur Vermeidung einer Kollision eine automatische Notbremsung mittels eines Anhängerbremssystems eingeleitet wird.
13. Verfahren nach einem der Ansprüche 7 bis 12, dadurch gekennzeichnet, dass die auf der grafischen Benutzeroberfläche (34) des Endgeräts (32) erscheinenden geometrische Figuren (44a, 44b, 44c, 44d) und/oder ein Rahmen und/oder ein Hintergrund der Benutzeroberfläche (34) abhängig von der Größe, Position und/oder Bewegungszustand der betreffenden Objekte sowie abhängig von einer Kollisionswarnung farblich verschieden und/oder farblich veränderlich abgebildet werden.
14. Verfahren nach einem der Ansprüche 7 bis 13, dadurch gekennzeichnet, dass auf der grafischen Benutzeroberfläche (34) des Endgeräts (32) ein Raster oder Linienmuster angezeigt wird, welches auf eine dargestellte Grundfläche projiziert wird.
15. Verfahren nach einem der Ansprüche 7 bis 14, dadurch gekennzeichnet, dass auf der grafischen Benutzeroberfläche (34) des Endgeräts (32) ein reales Hintergrundbild dargestellt wird, in welches die geometrischen Figuren (44a, 44b, 44c, 44d), welche die erfassten Objekte repräsentieren, hinein projiziert werden.
16. Verfahren nach einem der Ansprüche 7 bis 15, dadurch gekennzeichnet, dass eine Wächterfunktion vorgesehen ist, welche die Datenübertragung überwacht und bei einer erkannten signifikanten Unterbrechung der Datenübertragung zwischen der Bildverarbeitungseinheit (24) und der elektronischen Steuereinheit (28) und/oder zwischen der elektronischen Steuereinheit (28) und dem Endgerät (32) eine Warnmeldung erzeugt.
17. Verfahren nach einem der Ansprüche 7 bis 16, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (16) als ein Laderaumüberwachungssystem arbeitet, wobei eine Ladungsbelegung, eine Ladungsverschiebung und/oder eine Belegungsänderung überwacht sowie auf der grafischen Benutzeroberfläche (34) des Endgeräts (32) gezeigt wird.
18. Verfahren nach einem der Ansprüche 7 bis 17, dadurch gekennzeichnet, dass der Fahrer oder die Fahrerin einen perspektivischen Winkel der Darstellung (40, 42, 44a, 44b, 44c, 44d, 54, 56) auf der grafischen Benutzeroberfläche (34) des Endgeräts (32) mittels der Anwendungssoftware einstellen oder zwischen einer räumlichen und einer flächigen Darstellung wählen und umschalten kann.
19. Nutzfahrzeug (2) mit Anhänger (8), welches ein Fahrerassistenzsystem (16) zur Beobachtung und/oder Überwachung eines hinter einer Fahrerkabine (6) befindlichen Raumes (14, 36) aufweist, das gemäß einem der Vorrichtungsansprüche aufgebaut und zur Durchführung eines Verfahrens nach einem der Verfahrensansprüche betreibbar ist.
EP22814051.3A 2021-11-25 2022-11-09 Fahrerassistenzsystem für ein nutzfahrzeug mit einem anhänger und verfahren zur steuerung eines solchen systems Withdrawn EP4436835A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021130882.8A DE102021130882A1 (de) 2021-11-25 2021-11-25 Fahrerassistenzsystem für ein Nutzfahrzeug mit einem Anhänger und Verfahren zur Steuerung eines solchen Systems
PCT/EP2022/081186 WO2023094144A1 (de) 2021-11-25 2022-11-09 Fahrerassistenzsystem für ein nutzfahrzeug mit einem anhänger und verfahren zur steuerung eines solchen systems

Publications (1)

Publication Number Publication Date
EP4436835A1 true EP4436835A1 (de) 2024-10-02

Family

ID=84365657

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22814051.3A Withdrawn EP4436835A1 (de) 2021-11-25 2022-11-09 Fahrerassistenzsystem für ein nutzfahrzeug mit einem anhänger und verfahren zur steuerung eines solchen systems

Country Status (5)

Country Link
US (1) US20250010798A1 (de)
EP (1) EP4436835A1 (de)
CN (1) CN118284542A (de)
DE (1) DE102021130882A1 (de)
WO (1) WO2023094144A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023003044A1 (de) 2023-07-24 2025-01-30 Mercedes-Benz Group AG Verfahren zur Darstellung einer Verkehrssituation auf einer fahrzeuginternen Anzeigevorrichtung und Fahrzeug
DE102024104870A1 (de) * 2024-02-21 2025-08-21 Zf Cv Systems Global Gmbh Fahrzeug und Verfahren zum Betreiben eines Fahrzeugs
WO2026074303A1 (en) 2024-10-02 2026-04-09 Kocsi Otto Blind spot monitoring apparatus for a trailer connected to a tow vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005027638A1 (de) * 2005-05-12 2006-11-23 Kuhnke Gmbh Kamerasystem für ein Fahrzeug
US20170262717A1 (en) * 2015-04-08 2017-09-14 Spireon, Inc. Camera array system and method to detect a load status of a semi-trailer truck

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359782B2 (en) * 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
DE102006028627B4 (de) 2006-04-28 2012-10-25 Sick Ag Verfahren zur Fahrzeug- und/oder Ladungsüberwachung
DE102014108684B4 (de) * 2014-06-20 2024-02-22 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
US10701299B2 (en) * 2014-08-18 2020-06-30 Jaguar Land Rover Limited Display system and method
US9616923B2 (en) * 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
US9860445B2 (en) * 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture
US10373378B2 (en) * 2015-06-26 2019-08-06 Paccar Inc Augmented reality system for vehicle blind spot prevention
EP3355293A1 (de) * 2017-01-27 2018-08-01 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Sensoranordnung und verfahren zur erfassung eines objektes um einen anhänger eines fahrzeugs
GB2568749B (en) * 2017-11-28 2020-09-02 Jaguar Land Rover Ltd Imaging apparatus and method
US10761534B2 (en) * 2018-01-30 2020-09-01 Uatc, Llc Fused sensor view for self-driving truck
JP7060418B2 (ja) * 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7147300B2 (ja) * 2018-07-05 2022-10-05 株式会社アイシン 牽引支援装置
DE102018120333A1 (de) * 2018-08-21 2020-02-27 Wabco Europe Bvba Verfahren zur Überwachung des Laderaums in einem Fahrzeug
CA3295543A1 (en) 2018-09-28 2026-03-02 I.D. Systems, Inc. Cargo sensors, cargo-sensing units, cargo-sensing systems, and methods of using the same
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching
US11580930B2 (en) * 2019-12-12 2023-02-14 Mason Electric Co. Ruggedized remote control display latency and loss of signal detection for harsh and safety-critical environments
CN117440908A (zh) * 2020-10-31 2024-01-23 华为技术有限公司 用于自动驾驶系统中基于图神经网络的行人动作预测的方法和系统
US11443413B2 (en) * 2020-12-09 2022-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle camera system for outside view and trailer aid
US11733910B2 (en) * 2021-08-31 2023-08-22 Micron Technology, Inc. Memory sub-system data loss prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005027638A1 (de) * 2005-05-12 2006-11-23 Kuhnke Gmbh Kamerasystem für ein Fahrzeug
US20170262717A1 (en) * 2015-04-08 2017-09-14 Spireon, Inc. Camera array system and method to detect a load status of a semi-trailer truck

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2023094144A1 *

Also Published As

Publication number Publication date
DE102021130882A1 (de) 2023-05-25
CN118284542A (zh) 2024-07-02
WO2023094144A1 (de) 2023-06-01
US20250010798A1 (en) 2025-01-09

Similar Documents

Publication Publication Date Title
EP4436835A1 (de) Fahrerassistenzsystem für ein nutzfahrzeug mit einem anhänger und verfahren zur steuerung eines solchen systems
EP1302076B1 (de) Vorrichtung und verfahren zur überwachung der umgebung eines objekts
DE10128792B4 (de) Kollisionsschutz für Fahrzeuge
EP2953113B1 (de) Verfahren und anordnung zur warnung von verkehrsteilnehmern, die ein stillstehendes fahrzeug passieren
DE102017100004A1 (de) Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug
WO2013045374A1 (de) Verfahren zur rechnergestützten verarbeitung des nahfeldes eines fahrzeugs
EP2766237A1 (de) Vorrichtung zur unterstützung eines fahrers beim fahren eines fahrzeugs oder zum autonomen fahren eines fahrzeugs
WO2008061890A1 (de) Verfahren zur drahtlosen kommunikation zwischen fahrzeugen
WO2001025054A1 (de) Einrichtung zur überwachung der umgebung eines einparkenden fahrzeugs
DE102009048493A1 (de) Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
DE102009027755A1 (de) Verfahren zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung
EP3592604B1 (de) Kraftfahrzeug mit einem beleuchtungsmodul zur generierung einer symbolik
DE102012108563A1 (de) Verfahren und Vorrichtungen zur Kollisionswarnung bei Fahrstreifenwechseln
DE102010052406A1 (de) Verfahren zur Vermeidung oder Verminderung von Fahrzeugkollisionen
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102013001326A1 (de) Kraftwagen mit Car-to-X-Funktionalität
DE102010034142A1 (de) Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs und Fahrerassistenzsystem
DE102015007491A1 (de) Verfahren zum Betrieb eines Fahrerinformationssystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102011010860A1 (de) Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
EP2555178B1 (de) Verfahren zum Erfassen von Objekten seitlich eines Nutzfahrzeugs und Nutzfahrzeug mit einem Erfassungssystem zum Ausführen des Verfahrens
DE102018116106A1 (de) Videoübertragung für ein ankommendes linksabbiegendes fahrzeug
DE102019216598A1 (de) Verfahren zum Überwachen einer Umgebung eines Fahrzeugs und System zum Überwachen einer Umgebung eines Fahrzeugs
EP3621051B1 (de) Signalanlage für fahrzeugverband
DE102014214506A1 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102017129713A1 (de) Verfahren zur Verringerung des Gefahrenpotentials infolge von eingeschränkter Sicht im Straßenverkehr

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240417

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20250226

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250627