DE102019206582A1 - Device, system, method and computer program for speed control of a vehicle - Google Patents

Device, system, method and computer program for speed control of a vehicle Download PDF

Info

Publication number
DE102019206582A1
DE102019206582A1 DE102019206582.1A DE102019206582A DE102019206582A1 DE 102019206582 A1 DE102019206582 A1 DE 102019206582A1 DE 102019206582 A DE102019206582 A DE 102019206582A DE 102019206582 A1 DE102019206582 A1 DE 102019206582A1
Authority
DE
Germany
Prior art keywords
vehicle
speed
data
objects
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019206582.1A
Other languages
German (de)
Inventor
Bastian Volpert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019206582.1A priority Critical patent/DE102019206582A1/en
Publication of DE102019206582A1 publication Critical patent/DE102019206582A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B60W2300/121—Fork lift trucks, Clarks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/10—Weight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/201—Dimensions of vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Structural Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Civil Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung (100), ein System (200), ein Verfahren und ein Computerprogram zur Geschwindigkeitsregelung eines Fahrzeugs (1). Weiterhin betrifft die Erfindung ein Fahrzeug (1) mit einer solchen Vorrichtung (100) zur Geschwindigkeitsregelung des Fahrzeugs (1). Vorzugsweise bezieht sich die Erfindung auf Arbeitsmaschinen, wie etwa ein Flurförderfahrzeug, eine Bau- oder eine Landmaschine.The present invention relates to a device (100), a system (200), a method and a computer program for regulating the speed of a vehicle (1). The invention also relates to a vehicle (1) with such a device (100) for regulating the speed of the vehicle (1). The invention preferably relates to work machines, such as an industrial truck, a construction machine or an agricultural machine.

Description

Technisches GebietTechnical area

Die vorliegende Erfindung betrifft eine Vorrichtung, ein System, ein Verfahren und ein Computerprogram zur Geschwindigkeitsregelung eines Fahrzeugs. Weiterhin betrifft die Erfindung ein Fahrzeug mit einer solchen Vorrichtung zur Geschwindigkeitsregelung des Fahrzeugs. Vorzugsweise bezieht sich die Erfindung auf Arbeitsmaschinen, wie etwa ein Flurförderfahrzeug, eine Bau- oder eine Landmaschine.The present invention relates to a device, a system, a method and a computer program for regulating the speed of a vehicle. The invention also relates to a vehicle with such a device for regulating the speed of the vehicle. The invention preferably relates to work machines, such as an industrial truck, a construction machine or an agricultural machine.

Stand der TechnikState of the art

Zum Realisieren von Fahrerassistenzsystemen wird zum Erkennen von Umfeldsituationen häufig Umfeldsensorik auf einem Fahrzeug verwendet. Dies kann dem Fahrer bzw. dem Fahrzeug erlauben, Zustände im Fahrzeugumfeld zu erfassen, zu erkennen und entsprechend auf Gefahren zu reagieren. Heutige autonome Transportsysteme im Logistikbereich navigieren üblicherweise über 2D-Lidarsensoren. Letztere sind meistens oben am Transportsystem für eine gute Rundumsicht angebracht. Diese Sensoren dienen zur Lokalisierung, Kartenerstellung und Navigation. Hindernisse und Objekte unterhalb des Erfassungsbereichs des Sensors werden nicht erkannt. Deswegen werden im unteren Fahrzeugbereich üblicherweise zusätzliche Lasersensoren zur Fußgängererkennung angebracht, die beim Erkennen von Fußgängern eine Verzögerung beziehungsweise Stillstand des autonomen Transportsystems auslösen.To implement driver assistance systems, environmental sensors are often used on a vehicle to recognize situations in the surroundings. This can allow the driver or the vehicle to record and recognize conditions in the vehicle environment and to react accordingly to hazards. Today's autonomous transport systems in the logistics sector usually navigate using 2D lidar sensors. The latter are usually attached to the top of the transport system for a good all-round view. These sensors are used for localization, map creation and navigation. Obstacles and objects below the detection range of the sensor are not recognized. For this reason, additional laser sensors for pedestrian detection are usually attached in the lower area of the vehicle, which trigger a deceleration or standstill of the autonomous transport system when pedestrians are detected.

Aus der DE 102015209857 A1 ist ein Notbremssystem für ein Fahrzeug bekannt, welches auf einer sensorgestützten Umfelderfassung basiert. Sensorgestützte Umfelderfassung dient dabei dem Erfassen und Erkennen eines Fußgängers, um eine Notbremsung einzuleiten.From the DE 102015209857 A1 an emergency braking system for a vehicle is known which is based on a sensor-based environment detection. Sensor-supported environment detection is used to detect and detect a pedestrian in order to initiate emergency braking.

Darstellung der ErfindungPresentation of the invention

Der vorliegenden Erfindung liegt die Aufgabe zugrunde es zu ermöglichen, dass Fahrzeuge möglichst schnell auf Objekte/Hindernisse reagieren können. Insbesondere sollen eine Vorrichtung, ein System, ein Verfahren und ein Computerprogram zur Regelung der Geschwindigkeit eines Fahrzeugs bereitgestellt werden, wobei die Geschwindigkeitsregelung möglichst in Echtzeit reagieren kann. Weiterhin soll ein entsprechendes Fahrzeug, vorzugsweise eine bereits genannte Arbeitsmaschine, mit einer solchen Geschwindigkeitsregelung bereitgestellt werden.The present invention is based on the object of enabling vehicles to react as quickly as possible to objects / obstacles. In particular, a device, a system, a method and a computer program are to be provided for regulating the speed of a vehicle, the speed regulation being able to react in real time as far as possible. Furthermore, a corresponding vehicle, preferably an already mentioned work machine, is to be provided with such a speed control.

In einem ersten Aspekt betrifft die Erfindung eine Vorrichtung zur Geschwindigkeitsregelung eines beladbaren Fahrzeugs mit einer Ermittlungseinheit zum Ermitteln, anhand von Sensordaten, von Umgebungsabstandsdaten betreffend Abstände zwischen dem Fahrzeug und den Objekten in der Umgebung des Fahrzeugs und von Beladungsabstandsdaten betreffend Abstände zwischen einer Beladung des Fahrzeugs und Objekten in der Umgebung des Fahrzeugs, und einer Steuereinheit zur Ermittlung und Ausgabe eines Steuersignals zur Regelung der Geschwindigkeit des Fahrzeugs basierend auf den Umgebungsabstandsdaten, den Beladungsabstandsdaten und Fahrzeugdaten betreffend den Istwert der Geschwindigkeit des Fahrzeugs.In a first aspect, the invention relates to a device for regulating the speed of a loadable vehicle with a determination unit for determining, on the basis of sensor data, environmental distance data relating to distances between the vehicle and the objects in the vicinity of the vehicle and loading distance data relating to distances between a load of the vehicle and Objects in the vicinity of the vehicle, and a control unit for determining and outputting a control signal for regulating the speed of the vehicle based on the environmental distance data, the loading distance data and vehicle data relating to the actual value of the speed of the vehicle.

In einem weiteren Aspekt betrifft die Erfindung eine Vorrichtung zur Geschwindigkeitsregelung eines Fahrzeugs, mit einer Ermittlungseinheit zum Ermitteln, anhand von Sensordaten, von Umgebungsabstandsdaten betreffend Abstände zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs, und einer Steuereinheit zur Ermittlung und Ausgabe eines Steuersignals zur Regelung der Geschwindigkeit des Fahrzeugs basierend auf den Umgebungsabstandsdaten, Fahrzeugdaten und einer Latenzzeit betreffend eine Zeitdauer zum Erkennen eines Objekts durch einen Sensor und/oder eine Zeitdauer zur Ansteuerung einer Fahrzeugbremse des Fahrzeugs.In a further aspect, the invention relates to a device for controlling the speed of a vehicle, with a determination unit for determining, using sensor data, environmental distance data relating to distances between the vehicle and objects in the vicinity of the vehicle, and a control unit for determining and outputting a control signal for regulation the speed of the vehicle based on the environmental distance data, vehicle data and a latency period relating to a time period for detecting an object by a sensor and / or a time period for activating a vehicle brake of the vehicle.

In einem weiteren Aspekt betrifft die Erfindung ein entsprechendes System zum Erkennen von Objekten in der Umgebung eines Fahrzeugs und Geschwindigkeitsregelung des Fahrzeugs, umfassend einen oder mehrere Sensoren zum Erkennen von Objekten in der Umgebung des Fahrzeugs und eine Vorrichtung nach einem der vorhergehenden Ansprüche zur Geschwindigkeitsregulierung des autonomen Fahrzeugs.In a further aspect, the invention relates to a corresponding system for detecting objects in the vicinity of a vehicle and speed control of the vehicle, comprising one or more sensors for detecting objects in the vicinity of the vehicle and a device according to one of the preceding claims for speed control of the autonomous vehicle Vehicle.

Die vorliegende Erfindung bezieht sich ferner auf einsprechende Verfahren zur Geschwindigkeitsregelung eines Fahrzeugs.The present invention also relates to a corresponding method for speed control of a vehicle.

Weiterhin umfasst die vorliegende Erfindung ein Computerprogramm, umfassen Programm Codemittel, um einen Computer zu veranlassen, die Schritte des genannten Verfahrens auszuführen, wenn das Computerprogramm auf dem Computer ausgeführt wird. Das Computerprogramm kann auf einem geeigneten nicht transitorischen Medium, wie beispielsweise einem optischen Speichermedium oder einem Festkörpermedium, das zusammen mit oder als Teil anderer Hardware geliefert wird, gespeichert/verteilt werden, aber auch in anderer Form, beispielsweise über das Internet oder andere drahtgebundene oder drahtlose Telekommunikationssysteme.Furthermore, the present invention comprises a computer program, programs comprise code means for causing a computer to carry out the steps of the method mentioned when the computer program is carried out on the computer. The computer program can be stored / distributed on a suitable non-transitory medium, such as an optical storage medium or a solid-state medium, which is supplied together with or as part of other hardware, but also in other forms, for example via the Internet or other wired or wireless Telecommunication systems.

Die vorliegende Erfindung bezieht sich zudem auf ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zur Geschwindigkeitsregelung des Fahrzeugs. Das Fahrzeug kann grundsätzlich ein autonomes, teilautonomes oder nicht autonomes Fahrzeug sein. Das Fahrzeug kann fernes ein Fahrzeug sein, welches zum Transportieren von Personen und/oder Gütern ausgebildet ist. Das Fahrzeug kann beispielsweise ein bemanntes oder unbemanntes Transportfahrzeug oder Arbeitsfahrzeug sein, beispielsweise aus dem Bereich der Logistik. In einer Ausführungsform ist das Fahrzeug ein autonomes Flurförderfahrzeug, also ein (führerlos fahrbares oder bemanntes) beladbares Fahrzeug. Ein derartiges Fahrzeug kann beispielsweise ein Gabelstapler sein.The present invention also relates to a vehicle with a device according to the invention for regulating the speed of the Vehicle. The vehicle can basically be an autonomous, partially autonomous or non-autonomous vehicle. The vehicle can also be a vehicle which is designed to transport people and / or goods. The vehicle can for example be a manned or unmanned transport vehicle or work vehicle, for example from the field of logistics. In one embodiment, the vehicle is an autonomous industrial truck, that is to say a (driverlessly drivable or manned) loadable vehicle. Such a vehicle can be a forklift, for example.

Der Erfindung liegt der Gedanke zugrunde, einerseits Kollisionen des Fahrzeugs mit Objekten in der Umgebung zu vermeiden und möglichst auf Gefahrensituationen in Echtzeit zu reagieren, und andererseits die Fahrzeit nicht unnötig zu verlängern. Dies wird erfindungsgemäß erreicht durch die Verwendung von Beladungsabstandsdaten und/oder Latenzzeiten zur Berechnung eines Steuersignals für die Regelung der Geschwindigkeit des Fahrzeugs.The invention is based on the idea of, on the one hand, avoiding collisions of the vehicle with objects in the vicinity and, if possible, reacting to dangerous situations in real time, and, on the other hand, not unnecessarily extending the driving time. This is achieved according to the invention through the use of loading distance data and / or latency times to calculate a control signal for regulating the speed of the vehicle.

Beim Betreiben etwa eines Gabelstaplers ist das Vermeiden von Arbeitsunfällen mit Personen, welche sich im Umfeld des Gabelstaplers aufhalten, von besonderer Bedeutung, da so die Arbeitssicherheit im Umfeld des Gabelstaplers erhöht werden kann. Ferner soll für derartige Fahrzeuge die Fahrtgeschwindigkeit möglichst kontinuierlich angepasst werden, um Unfälle zu vermeiden. Häufig tritt die Situation auf, dass der Fahrweg nahezu die Fahrzeugbreite aufweist, d.h. nur wenige Zentimeter rechts und links vom Fahrzeug Platz ist. Dies kann insbesondere dann zum Problem werden, wenn die Fahrzeugbreite veränderlich ist, wie zum Beispiel bei einem Gabelstapler, der eine Last aufnimmt, die breiter als er selbst ist, oder bei einer Landmaschine, an die ein Arbeitsgerät mit größerer Breite als der Breite des eigentlichen Fahrzeugs angekoppelt hat.When operating a forklift truck, for example, it is particularly important to avoid accidents at work with people in the vicinity of the forklift truck, as this can increase work safety in the vicinity of the forklift truck. Furthermore, the speed of travel should be adjusted as continuously as possible for such vehicles in order to avoid accidents. Often the situation arises that the route is almost the width of the vehicle, i.e. there is only space a few centimeters to the right and left of the vehicle. This can be a problem in particular when the vehicle width is variable, such as with a forklift that picks up a load that is wider than it is itself, or with an agricultural machine to which an implement with a width greater than the width of the actual one is attached Has coupled the vehicle.

Die erfindungsgemäße Vorrichtung umfasst gemäß einem Aspekt eine Ermittlungseinheit zum Ermitteln, anhand von Sensordaten, von Umgebungsabstandsdaten betreffend Abstände zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs. Bei den Objekten kann es sich sowohl um Gegenstände als auch Subjekte/Personen handeln, da es ein Ziel der vorliegenden Erfindung ist, Kollisionen des Fahrzeugs mit jeglicher Art von Objekten zu vermeiden. Die Objekte befinden sich in einer Umgebung des Fahrzeugs, wobei es sich vorzugsweise um ein Umfeld des Fahrzeugs (insbesondere in Fahrtrichtung vor und seitlich neben dem Fahrzeug) handelt, welches für Arbeitsmaschinen häufig einen geringen Abstand zwischen Wänden, Objekten, Fahrbahnbegrenzung und Fahrzeug aufweist.According to one aspect, the device according to the invention comprises a determination unit for determining, on the basis of sensor data, environmental distance data relating to distances between the vehicle and objects in the vicinity of the vehicle. The objects can be both objects and subjects / persons, since it is an aim of the present invention to avoid collisions of the vehicle with any type of object. The objects are located in the vicinity of the vehicle, which is preferably an environment of the vehicle (in particular in front of and to the side of the vehicle in the direction of travel) which, for work machines, often has a small distance between walls, objects, lane boundary and vehicle.

Die Ermittlungseinheit ermittelt weiterhin Beladungsabstandsdaten betreffend Abstände zwischen einer Beladung des Fahrzeugs und den Objekten in der Umgebung des Fahrzeugs. Wie bereits zuvor erwähnt, handelt es sich bei dem Fahrzeug beispielsweise um einen Gabelstapler, welcher eine Beladung von einem Ort A an einen Ort B transportiert, wobei die aufgrund der Beladung veränderliche Fahrzeugbreite ein Problem darstellen kann und die Geschwindigkeit je nach Beladung gegebenenfalls unterschiedlich geregelt werden muss, insbesondere wenn der Abstand zwischen Beladung und einem Objekt sich verringert.The determination unit also determines loading distance data relating to distances between a load on the vehicle and the objects in the vicinity of the vehicle. As already mentioned, the vehicle is, for example, a forklift truck that transports a load from a location A to a location B, whereby the vehicle width, which changes due to the load, can be a problem and the speed may be regulated differently depending on the load must, especially when the distance between the load and an object is reduced.

Die Vorrichtung umfasst ferner eine Steuereinheit zur Ermittlung und Ausgabe eines Steuersignals zur Regelung der Geschwindigkeit des Fahrzeugs. Die Geschwindigkeit des Fahrzeugs wird basierend auf den Umgebungsabstandsdaten, Beladungsabstandsdaten und Fahrzeugdaten reguliert. Letztgenannte Fahrzeugdaten betreffen hierbei den Istwert der Geschwindigkeit des Fahrzeugs. Bewegt sich beispielsweise ein autonomes Fahrzeug mit einer Geschwindigkeit von nur 5 km/h parallel durch einen Fahrweg mit 10 cm Abstand zwischen Wand/Fahrbahnbegrenzung und breitester Stelle des Fahrzeugs, bleiben bei plötzlicher Fahrtrichtungsänderung nur 0,07 Sekunden Reaktionszeit (umfassend insbesondere die Zeit für die Betätigung der Aktuatorik und die Bremszeit) um zu erkennen, dass das Fahrzeug angehalten werden muss, und um das Fahrzeug auch anzuhalten. Deshalb ist es wichtig für derartige beladbare Fahrzeuge, die Geschwindigkeit des Fahrzeugs nicht nur aufgrund der Umgebungsabstandsdaten und der Beladungsabstandsdaten, sondern auch unter Berücksichtigung der Fahrzeugdaten betreffend den Istwert der Geschwindigkeit des Fahrzeugs zu regeln.The device further comprises a control unit for determining and outputting a control signal for regulating the speed of the vehicle. The speed of the vehicle is regulated based on the surrounding distance data, loading distance data and vehicle data. The last-mentioned vehicle data relate to the actual value of the speed of the vehicle. If, for example, an autonomous vehicle moves at a speed of only 5 km / h in parallel through a route with a 10 cm distance between the wall / lane boundary and the widest part of the vehicle, only 0.07 seconds of reaction time remain in the event of a sudden change in direction (including in particular the time for the Actuation of the actuators and the braking time) to recognize that the vehicle must be stopped and to stop the vehicle. It is therefore important for such loadable vehicles to regulate the speed of the vehicle not only on the basis of the environmental distance data and the loading distance data, but also taking into account the vehicle data relating to the actual value of the speed of the vehicle.

In einer Ausgestaltung bzw. in einem alternativen Aspekt ist die Steuereinheit der Vorrichtung ausgestaltet, das Steuersignal unter Berücksichtigung einer Latenzzeit zu ermitteln, die eine Zeitdauer zum Erkennen eines Objekts durch einen Sensor und/oder eine Zeitdauer zur Ansteuerung einer Fahrzeugbremse des Fahrzeugs umfasst. Die Zeitdauer zum Erkennen eines Objekts durch einen Sensor sowie die Zeitdauer zur Ansteuerung einer Fahrzeugbremse sind typischerweise stets ähnlich und in einem bestimmten Zeitbereich aufzufinden, sodass eine derartige Latenzzeit berücksichtigt werden kann, um das Steuersignal zur Regelung der Geschwindigkeit des Fahrzeugs entsprechen der Latenzzeit anzupassen.In one embodiment or in an alternative aspect, the control unit of the device is designed to determine the control signal taking into account a latency period that includes a period of time for detecting an object by a sensor and / or a period of time for actuating a vehicle brake of the vehicle. The time period for detecting an object by a sensor and the time period for activating a vehicle brake are typically always similar and can be found in a certain time range so that such a latency period can be taken into account in order to adapt the control signal for regulating the speed of the vehicle to the latency period.

Gemäß einer weiteren Ausgestaltung ist die Steuereinheit ferner ausgestaltet, das Steuersignal unter Berücksichtigung eines aktuellen Bremswegs des Fahrzeugs zu ermitteln. Da die Steuereinheit die Geschwindigkeit des Fahrzeugs unter anderem basierend auf den Fahrzeugdaten betreffend den Istwert der Geschwindigkeit des Fahrzeugs reguliert, ist die aktuelle Geschwindigkeit des Fahrzeugs der Steuereinheit stets bekannt, sodass die Steuereinheit in der Lage ist, den aktuellen Bremsweg auf Basis der aktuellen Geschwindigkeit des Fahrzeugs zu ermitteln. Dieser Bremsweg wird kontinuierlich berücksichtigt, um das Steuersignal zur Regelung der Geschwindigkeit kontinuierlich anzupassen.According to a further embodiment, the control unit is also designed to determine the control signal taking into account a current braking distance of the vehicle. Since the control unit regulates the speed of the vehicle based on the vehicle data relating to the actual value of the speed of the vehicle, among other things, the current speed of the vehicle is Control unit always known, so that the control unit is able to determine the current braking distance based on the current speed of the vehicle. This braking distance is continuously taken into account in order to continuously adapt the control signal for regulating the speed.

In einer weiteren Ausgestaltung ist die Steuereinheit ausgestaltet, das Steuersignal unter Berücksichtigung von Beladungsmassedaten betreffend eine Masse der Beladung des Fahrzeugs zu ermitteln. Die erfindungsgemäße Vorrichtung zur Geschwindigkeitsregelung des Fahrzeugs kann z.B. bei Arbeitsmaschinen, wie zum Beispiel einem Gabelstapler, eingesetzt werden, die eine große Masse an Beladung aufnehmen können. Die zusätzliche Masse der Beladung kann zu einer deutlich erhöhten Trägheit des Fahrzeugs führen, sodass der Bremsweg des Fahrzeugs sich dementsprechend ändert. Die Beladungsmassedaten können hierbei beispielsweise von einem Gewichtssensor ermittelt werden und von der Steuereinheit ausgewertet werden, um die Geschwindigkeit dementsprechend zu regulieren. Alternativ können Beladungsmassedaten auf von einem Benutzer eingegeben werden oder von der Beladung (etwa von einem an der Beladung angebrachten RFID Chip oder Barcode) übertragen werden.In a further embodiment, the control unit is designed to determine the control signal taking into account loading mass data relating to a mass of the vehicle's load. The device according to the invention for regulating the speed of the vehicle can e.g. be used in working machines, such as a forklift truck, that can take a large mass of load. The additional mass of the load can lead to a significantly increased inertia of the vehicle, so that the braking distance of the vehicle changes accordingly. The loading mass data can be determined here, for example, by a weight sensor and evaluated by the control unit in order to regulate the speed accordingly. Alternatively, load mass data can be entered by a user or transferred from the load (for example from an RFID chip or barcode attached to the load).

In einer weiteren Ausgestaltung weist die Vorrichtung eine Kommunikationsschnittstelle auf, die das Empfangen von Sensordaten eines oder mehrerer in der Umgebung des Fahrzeugs angeordneter Sensoren ermöglicht. Die Vorrichtung kann dabei so ausgestaltet sein, dass sie Sensordaten von Sensoren, die direkt am Fahrzeug angebracht sind, und/oder Sensordaten von Sensoren, die nicht direkt am Fahrzeug angeordnet sind, empfangen kann. Letztere Sensoren können dabei so ausgestaltet und angeordnet sein, dass sie in der Lage sind, Umgebungsbereiche zu vermessen bzw. zu beobachten, die durch die am Fahrzeug angebrachten Sensoren nicht vermessen bzw. zu beobachten werden können. Durch die von solchen Sensoren bereitgestellten Sensordaten über die Kommunikationsschnittstelle ist die Vorrichtung dann in der Lage, auf zunächst unvorhersehbare Hindernisse, Objekte und andere Gegebenheiten (beispielweise ein aus einer nicht einsehbaren Seitenstraße kommendes Fahrzeug) vorzeitig zu reagieren, um dementsprechend die Geschwindigkeit zu regulieren.In a further embodiment, the device has a communication interface that enables the reception of sensor data from one or more sensors arranged in the vicinity of the vehicle. The device can be configured in such a way that it can receive sensor data from sensors that are directly attached to the vehicle and / or sensor data from sensors that are not directly arranged on the vehicle. The latter sensors can be designed and arranged in such a way that they are able to measure or observe environmental areas that cannot be measured or observed by the sensors attached to the vehicle. Using the sensor data provided by such sensors via the communication interface, the device is then able to react ahead of time to initially unpredictable obstacles, objects and other conditions (e.g. a vehicle coming from a side street that is not visible) in order to regulate the speed accordingly.

In einer weiteren Ausgestaltung ist die Steuereinheit ausgestaltet, basierend auf den Umgebungsabstandsdaten die Abstände zwischen dem Fahrzeug und den Objekten in der Umgebung und/oder den Beladungsabstandsdaten die Abstände zwischen der Beladung des Fahrzeugs und den Objekten in der Umgebung jeweils mit einem vorbestimmten Referenzabstandswert zu vergleichen. Weiterhin ist die Steuereinheit in dieser Ausgestaltung ausgestaltet das Steuersignal zur Reduzierung der Geschwindigkeit des Fahrzeugs zu ermitteln und auszugeben, falls mindestens einer der besagten Abstände kleiner als ein jeweiliger Referenzabstandswert ist.In a further embodiment, the control unit is designed to compare the distances between the vehicle and the objects in the vicinity and / or the loading distance data, based on the environmental distance data, to compare the distances between the loading of the vehicle and the objects in the vicinity with a predetermined reference distance value. Furthermore, the control unit in this embodiment is designed to determine and output the control signal for reducing the speed of the vehicle if at least one of the said distances is smaller than a respective reference distance value.

In einer bevorzugten weiteren Ausgestaltung benutzt die Steuereinheit Referenzabstandswerte für unterschiedliche Geschwindigkeitswerte zur Reduzierung der Geschwindigkeit des Fahrzeugs. Ist beispielsweise bei einer Geschwindigkeit von 5 km/h ein Abstand zwischen Fahrzeug und einem Objekt gemessen worden, welcher größer als ein bestimmter zugehöriger Referenzabstandswert ist, so wird die Geschwindigkeit des Fahrzeugs nicht reduziert bzw. ggf. sogar erhöht. Allerdings würde bei einer größeren Geschwindigkeit von 10 km/h ein Steuersignal zur Reduzierung der Geschwindigkeit ermittelt werden, wenn der Abstand kleiner als der jeweilige Referenzabstandswert der Geschwindigkeit von 10 km/h ist.In a preferred further embodiment, the control unit uses reference distance values for different speed values to reduce the speed of the vehicle. If, for example, a distance between the vehicle and an object has been measured at a speed of 5 km / h, which is greater than a certain associated reference distance value, then the speed of the vehicle is not reduced or, if necessary, even increased. However, at a higher speed of 10 km / h, a control signal for reducing the speed would be determined if the distance is smaller than the respective reference distance value of the speed of 10 km / h.

In einer weiteren Ausgestaltung ist die Steuereinheit ausgestaltet, das Steuersignal zur Reduzierung der Geschwindigkeit des Fahrzeugs zu ermitteln und auszugeben, falls anhand der Sensordaten ein Hindernis, eine Verengung des Fahrwegs, eine Abzweigung und/oder Kreuzung in Fahrtrichtung des Fahrzeugs festgestellt wird. Der Fahrweg kann mithilfe von Sensoren dreidimensional erfasst werden. Die Sensordaten ermöglichen dann eine Unterscheidung, ob der Fahrweg zwei Begrenzungen hat und demnach eine Fahrspur ist oder ob es noch mehr Begrenzungen gibt und demnach eine Kreuzung vorliegt. Alternativ ist die Steuereinheit ausgestaltet, durch eine gesteuerte Logik und/oder ein neuronales Netzwerk zu erkennen, ob es sich um eine Kreuzung, Abzweigung, Hindernis oder Verengung des Fahrwegs in Fahrtrichtung des Fahrzeugs handelt.In a further refinement, the control unit is designed to determine and output the control signal for reducing the speed of the vehicle if an obstacle, a narrowing of the route, a junction and / or intersection in the direction of travel of the vehicle is determined using the sensor data. The route can be recorded three-dimensionally with the help of sensors. The sensor data then enable a distinction to be made as to whether the route has two boundaries and therefore is one lane or whether there are even more boundaries and therefore an intersection is present. Alternatively, the control unit is designed to use controlled logic and / or a neural network to recognize whether it is an intersection, junction, obstacle or narrowing of the route in the direction of travel of the vehicle.

Da die vorliegende Erfindung vorzugsweise in Arbeitsmaschinen verwendet wird, stellen in einer industriellen Umgebung insbesondere Personen, andere Maschinen, Paletten oder sonstige Arten von Objekten in Fahrtrichtung des Fahrzeugs ein potentielles Hindernis dar. Eine Abzweigung oder Kreuzung in Fahrtrichtung des Fahrzeugs kann dabei berücksichtigt werden, da Personen oder andere mobile Maschinen/Fahrzeuge in der Abzweigung oder Kreuzung plötzlich erscheinen können und demnach auch potentiell in Fahrtrichtung des Fahrzeugs eine Kollisionsgefahr darstellen. Ein vorteilhafter Effekt ist demnach die Reduzierung von Personenunfällen mit dem Fahrzeug sowie die Reduzierung von Kollisionen des Fahrzeugs mit weiteren Objekten.Since the present invention is preferably used in work machines, people, other machines, pallets or other types of objects in particular represent a potential obstacle in the direction of travel of the vehicle in an industrial environment. A junction or intersection in the direction of travel of the vehicle can be taken into account People or other mobile machines / vehicles can suddenly appear in the junction or intersection and therefore also potentially represent a risk of collision in the direction of travel of the vehicle. Accordingly, an advantageous effect is the reduction in personal accidents with the vehicle and the reduction in collisions between the vehicle and other objects.

Die vorliegende Erfindung bezieht sich neben der Vorrichtung auf ein System zum Erkennen von Objekten in der Umgebung eines Fahrzeugs und zur Geschwindigkeitsregelung des autonomen Fahrzeugs. Dieses System umfasst neben einer erfindungsgemäßen Vorrichtung ferner einen oder mehrere Sensoren zum Erkennen der Objekte in der Umgebung des Fahrzeugs. In einer Ausgestaltung handelt es sich bei den einen oder mehreren Sensoren insbesondere um eine oder mehrere Kameras, einen oder mehrere Lidarsensoren und/oder einen oder mehrere Radarsensoren. Bei den Kameras handelt es sich vorzugsweise um 360°-Kameras.In addition to the device, the present invention relates to a system for recognizing objects in the vicinity of a vehicle and for regulating the speed of the autonomous vehicle Vehicle. In addition to a device according to the invention, this system also includes one or more sensors for recognizing the objects in the vicinity of the vehicle. In one embodiment, the one or more sensors are in particular one or more cameras, one or more lidar sensors and / or one or more radar sensors. The cameras are preferably 360 ° cameras.

In einer Ausgestaltung ist bzw. sind der eine oder die mehreren Sensoren in und/oder am Fahrzeug angeordnet. Dabei handelt es sich beispielsweise mindestens um einen auf dem Fahrzeug angeordneten Radarsensor, der eine Punktwolke erfasst, wobei die zumindest eine Punktwolke mindestens einen Punkt bezüglich eines Objekts in der Umgebung aufweist. Der Sensor kann ein eindimensional oder punktuell erfassender Sensor, ein zweidimensional oder fächerartig erfassender Sensor oder ein dreidimensional oder scannender Sensor sein. Die Punktwolke kann eine entsprechende Dimension aufweisen, wobei diese im eindimensionalen Fall bereits aus einem Punkt bestehen kann. Somit kann mit dem Sensor eine Kontur des Objekts diskret mit Einzelpunkten erfasst werden, wobei mit einem horizontal ausgerichteten fächerartigen Radarsensor eine Transversalwelle als Kontur der Person oder des Objekts erfassbar ist und mit einem vertikal ausgerichteten fächerartigen Radarsensor eine Sagittalebene oder eine Frontalebene als Kontur des Objekts erfassbar ist.In one embodiment, the one or more sensors is or are arranged in and / or on the vehicle. This is, for example, at least one radar sensor which is arranged on the vehicle and which detects a point cloud, the at least one point cloud having at least one point with respect to an object in the vicinity. The sensor can be a one-dimensional or point-wise detecting sensor, a two-dimensional or fan-like detecting sensor or a three-dimensional or scanning sensor. The point cloud can have a corresponding dimension, which in the one-dimensional case can already consist of one point. Thus, a contour of the object can be detected discretely with individual points with the sensor, a transverse wave as the contour of the person or the object can be detected with a horizontally aligned fan-like radar sensor and a sagittal plane or a frontal plane as the contour of the object can be detected with a vertically aligned fan-like radar sensor is.

Die Sensoren dienen weiterhin zum Bestimmen des Abstands des erkannten Objekts von dem Fahrzeug basierend auf dem mindestens einen Punkt der zumindest einer Punktwolke und ein Kennzeichnen des dem Objekts zugeordneten Bereichs in Abhängigkeit des bestimmten Abstands. Die Abstandsbestimmung kann basierend auf den auf dem Objekt erfassten Punkten, beispielsweise im Schwerpunkt dieser Punkte bezogen auf einen beliebigen Punkt des Fahrzeugs, erfolgen. Hiermit kann der Abstand zwischen dem Objekt und dem Fahrzeug mit einer radarbasierten Entfernungsmessung bestimmt werden. Weiterhin ist es vorteilhaft, mindestens zwei Sensoren zu benutzen, um Radardaten und Bilddaten zu fusionieren, da somit auf Objekte reagiert werden kann, welche aufgrund ihres relativen Aufenthaltsortes zum sich bewegenden Fahrzeug eine Gefahr darstellen können. Basierend auf dem mindestens einen Punkt der Punktwolke bezüglich der Person kann auch deren Position relativ zum Fahrzeug in einem Fahrzeugkoordinatensystem ermittelt werden. Hierfür kann die Position und Ausrichtung des Radarsensors im Fahrzeugkoordinatensystem bestimmt sein oder mittels Kalibrierung festgelegt werden.The sensors also serve to determine the distance of the recognized object from the vehicle based on the at least one point of the at least one point cloud and to identify the area assigned to the object as a function of the determined distance. The distance can be determined based on the points recorded on the object, for example in the center of gravity of these points in relation to any point on the vehicle. This allows the distance between the object and the vehicle to be determined using a radar-based distance measurement. Furthermore, it is advantageous to use at least two sensors in order to merge radar data and image data, since it is thus possible to react to objects which, due to their location relative to the moving vehicle, can represent a danger. Based on the at least one point of the point cloud with respect to the person, their position relative to the vehicle can also be determined in a vehicle coordinate system. For this purpose, the position and alignment of the radar sensor can be determined in the vehicle coordinate system or can be established by means of calibration.

Alternativ oder zusätzlich zur radarbasierten Abstandsbestimmung kann basierend auf der kamerabasierten Bilderfassung ein Abstand zu einer mittels Bildverarbeitung erkannten Objekt oder dessen Position ermittelt werden. Hierzu können beispielsweise mittels der Sensoren Methoden der Stereophotogrammmetrie angewandt werden, wobei mindestens zwei Bilder derselben oder verschiedener Kameras von unterschiedlichen Bilderfassungsorten verwendet werden können. Vorzugsweise ist die Kamera eine 360°-Kamera, um den Bereich rund um das Fahrzeug zu erfassen. Als Kamera kann grundsätzlich jeglicher bildgebender Kamerasensor verwendet werden, wobei dieser beispielsweise eine RGB Kamera, eine Infrarotkamera oder eine 3D Kamera sein kann. Es kann sich weiterhin um eine Panoramakamera oder eine omnidirektionale Kamera handeln. Je nach Art der Kamera enthält das erfasste Bild demnach RGB Informationen, Wärmeinformationen und/oder Tiefeninformationen. Das Aufnehmen sowohl von statischen Bildern als auch Videos ist dabei möglich.As an alternative or in addition to the radar-based distance determination, a distance to an object recognized by means of image processing or its position can be determined based on the camera-based image acquisition. For this purpose, methods of stereo photogrammetry can be used, for example, by means of the sensors, it being possible to use at least two images of the same or different cameras from different image recording locations. The camera is preferably a 360 ° camera in order to capture the area around the vehicle. In principle, any imaging camera sensor can be used as the camera, this being for example an RGB camera, an infrared camera or a 3D camera. It can still be a panoramic camera or an omnidirectional camera. Depending on the type of camera, the captured image accordingly contains RGB information, heat information and / or depth information. It is possible to record both static images and videos.

FigurenlisteFigure list

  • 1 zeigt eine schematische Darstellung eines Systems entsprechend der vorliegenden Erfindung zum Erkennen von Objekten in der Umgebung eines Fahrzeugs und zur Geschwindigkeitsregelung des Fahrzeugs. 1 shows a schematic representation of a system according to the present invention for recognizing objects in the vicinity of a vehicle and for regulating the speed of the vehicle.
  • 2 zeigt eine schematische Darstellung einer Ausführungsform einer Vorrichtung entsprechend der vorliegenden Erfindung zur Geschwindigkeitsregelung eines beladbaren Fahrzeugs. 2 shows a schematic representation of an embodiment of a device according to the present invention for regulating the speed of a loadable vehicle.
  • 3 zeigt eine schematische Darstellung einer weiteren Ausführungsform der Vorrichtung entsprechend der vorliegenden Erfindung zur Geschwindigkeitsregelung eines beladbaren Fahrzeugs. 3 shows a schematic representation of a further embodiment of the device according to the present invention for regulating the speed of a loadable vehicle.
  • 4 zeigt ein Ausführungsbeispiel eines Fahrzeugs mit einer Vorrichtung zur Geschwindigkeitsregelung des Fahrzeugs in einer perspektivischen Ansicht. 4th shows an embodiment of a vehicle with a device for speed control of the vehicle in a perspective view.
  • 5 zeigt eine schematische Darstellung eines Fahrzeugs mit Geschwindigkeit v1 in einer ersten Fahrsituation mit potentiellen Hindernissen. 5 shows a schematic representation of a vehicle at speed v1 in a first driving situation with potential obstacles.
  • 6 zeigt eine schematische Darstellung eines Fahrzeugs mit Geschwindigkeit v2 in einer zweiten Fahrsituation mit potentiellen Hindernissen. 6th shows a schematic representation of a vehicle at speed v2 in a second driving situation with potential obstacles.
  • 7 zeigt eine schematische Darstellung eines Fahrzeugs mit Geschwindigkeit v1 in einer dritten Fahrsituation mit potentiellen Hindernissen. 7th shows a schematic representation of a vehicle at speed v1 in a third driving situation with potential obstacles.
  • 8 zeigt eine schematische Darstellung eines Fahrzeugs mit Geschwindigkeit v2 in einer vierten Fahrsituation mit potentiellen Hindernissen. 8th shows a schematic representation of a vehicle at speed v2 in a fourth driving situation with potential obstacles.
  • 9 zeigt eine schematische Darstellung eines Fahrzeugs mit Geschwindigkeit v3 in einer fünften Fahrsituation mit potentiellen Hindernissen. 9 shows a schematic representation of a vehicle at speed v3 in a fifth driving situation with potential obstacles.
  • 10 zeigt eine schematische Darstellung eines Fahrzeugs mit Geschwindigkeit v1 in einer sechsten Fahrsituation mit potentiellen Hindernissen. 10 shows a schematic representation of a vehicle at speed v1 in a sixth driving situation with potential obstacles.
  • 11 zeigt eine schematische Darstellung eines Fahrzeugs mit Geschwindigkeit v2 in einer siebten Fahrsituation mit potentiellen Hindernissen. 11 shows a schematic representation of a vehicle at speed v2 in a seventh driving situation with potential obstacles.
  • 12 zeigt eine schematische Darstellung eines Fahrzeugs mit Geschwindigkeit v1 in einer achten Fahrsituation mit potentiellen Hindernissen. 12 shows a schematic representation of a vehicle at speed v1 in an eighth driving situation with potential obstacles.
  • 13 zeigt eine schematische Darstellung eines beladenen Fahrzeugs mit Geschwindigkeit v2 in einer neunten Fahrsituation mit potentiellen Hindernissen. 13 shows a schematic representation of a loaded vehicle at speed v2 in a ninth driving situation with potential obstacles.

Detaillierte Beschreibung von AusführungsformDetailed description of embodiment

1 zeigt eine schematische Darstellung eines Systems 200 entsprechend der vorliegenden Erfindung zum Erkennen von Objekten in der Umgebung eines Fahrzeugs und zur Geschwindigkeitsregelung des Fahrzeugs. Das System 200 umfasst einen oder mehrere Sensoren 10a, 10b, 10h zum Erkennen von Objekten in der Umgebung des Fahrzeugs. Bei den Sensoren 10a, 10b, 10h kann es sich um Sensoren 10a, 10b handeln, die in und/oder am Fahrzeug 1 angeordnet sind oder um Sensoren 10h, die in der Umgebung des Fahrzeugs 1 angeordnet sind. Die von den Sensoren 10a, 10b, 10h aufgenommenen Sensordaten 20a, 20b, 20h werden an eine Vorrichtung 100 zur Geschwindigkeitsregelung eines Fahrzeugs übergeben. Diese Vorrichtung 100 umfasst eine Ermittlungseinheit 30 und eine Steuereinheit 40, welche ausgestaltet sind, die Sensordaten 20a, 20b, 20h derart zu verarbeiten, dass ein Steuersignal 50 zur Regelung der Geschwindigkeit ausgegeben wird. Eine detaillierte Beschreibung dieser Vorrichtung 100 erfolgt unten mit Bezug auf 2. 1 shows a schematic representation of a system 200 according to the present invention for recognizing objects in the vicinity of a vehicle and for controlling the speed of the vehicle. The system 200 includes one or more sensors 10a , 10b , 10h to detect objects in the vicinity of the vehicle. With the sensors 10a , 10b , 10h it can be sensors 10a , 10b act in and / or on the vehicle 1 are arranged or around sensors 10h that are in the vicinity of the vehicle 1 are arranged. The ones from the sensors 10a , 10b , 10h recorded sensor data 20a , 20b , 20h are attached to a device 100 passed for speed control of a vehicle. This device 100 includes a determination unit 30th and a control unit 40 , which are configured, the sensor data 20a , 20b , 20h process such that a control signal 50 to regulate the speed. A detailed description of this device 100 is done below with reference to 2 .

Im Folgenden werden zunächst die Sensoren 10a, 10b, 10h des Systems 200 näher erläutert. Bei den Sensoren 10a, 10b, 10h handelt es sich insbesondere um eine oder mehrere 360°-Kameras, einen oder mehrere Lidarsensoren und/oder einen oder mehrere Radarsensoren. Insbesondere die Objekterfassung mittels eines Radarsensors ist aufgrund seiner hohen räumlichen und zeitlichen Auflösung vorteilhaft.Below are the sensors first 10a , 10b , 10h of the system 200 explained in more detail. With the sensors 10a , 10b , 10h it is in particular one or more 360 ° cameras, one or more lidar sensors and / or one or more radar sensors. In particular, object detection by means of a radar sensor is advantageous due to its high spatial and temporal resolution.

Beispielhaft sind in 1 drei Sensoren 10a, 10b, 10h dargestellt. Es sei allerdings angemerkt, dass das System 200 weniger oder noch mehr Sensoren umfassen kann. Falls das System 200 mehrere Sensoren umfasst, können diese Sensoren sowohl eine Kombination von gleichartigen Sensoren, wie zum Beispiel drei verschiedene Radarsensoren sein, als auch eine Kombination unterschiedlicher Arten von Sensoren. So ist es beispielsweise vorteilhaft, Radardaten und Bilddaten, welche von einem Radarsensor und einer Kamera aufgenommen werden, zu fusionieren, da somit auf Objekte reagiert werden kann, welche aufgrund ihres relativen Aufenthaltsortes zum sich bewegenden Fahrzeug eine Gefahr darstellen können.Examples are in 1 three sensors 10a , 10b , 10h shown. It should be noted, however, that the system 200 may include fewer or even more sensors. If the system 200 comprises several sensors, these sensors can be a combination of sensors of the same type, for example three different radar sensors, as well as a combination of different types of sensors. For example, it is advantageous to merge radar data and image data that are recorded by a radar sensor and a camera, since it is thus possible to react to objects which, due to their location relative to the moving vehicle, can represent a hazard.

Beispielhaft wird in 2, die schematisch eine erste Ausführungsform der Vorrichtung 100 zeigt, davon ausgegangen, dass die Vorrichtung 100 nur Sensordaten 20 eines einzigen Sensors erhält. Die Vorrichtung 100 umfasst eine Ermittlungseinheit 30 zum Ermitteln, anhand der Sensordaten 20, von Umgebungsabstandsdaten 34. Diese Umgebungsabstandsdaten 34 betreffen Abstände zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs. Die Objekte wurden dabei von dem Sensor registriert und vermessen. Weiterhin ist die Ermittlungseinheit 30 ausgestaltet, anhand der Sensordaten 20, Beladungsabstandsdaten 38 betreffend Abstände zwischen einer Beladung des Fahrzeugs und Objekten in der Umgebung des Fahrzeugs zu ermitteln.In 2 showing schematically a first embodiment of the device 100 shows assumed that the device 100 sensor data only 20th of a single sensor. The device 100 includes a determination unit 30th to determine based on the sensor data 20th , of environmental distance data 34 . This environmental distance data 34 relate to distances between the vehicle and objects in the vicinity of the vehicle. The objects were registered and measured by the sensor. Furthermore is the determination unit 30th designed based on the sensor data 20th , Loading distance data 38 to determine the distances between a load of the vehicle and objects in the vicinity of the vehicle.

Ferner umfasst die Vorrichtung 100 eine Steuereinheit 40, welche von der Ermittlungseinheit 30 die Umgebungsabstandsdaten 34 und Beladungsabstandsdaten 38 erhält. Zudem erhält die Steuereinheit 40 Fahrzeugdaten 60 betreffend den Istwert der Geschwindigkeit des Fahrzeugs, beispielweise von einem Geschwindigkeitssensor oder aus der Motorsteuerung des Fahrzeugs. Basierend auf den Umgebungsabstandsdaten 34, Beladungsabstandsdaten 38 und Fahrzeugdaten 60 ermittelt die Steuereinheit 40 ein Steuersignal 50 zur Regelung der Geschwindigkeit des Fahrzeugs. Dieses kann in der Fahrzeugsteuerung verwendet werden, um beispielsweise einen Brems- oder Beschleunigungsvorgang auszulösen.The device further comprises 100 a control unit 40 , which from the investigation unit 30th the environmental distance data 34 and loading distance data 38 receives. The control unit also receives 40 Vehicle data 60 relating to the actual value of the speed of the vehicle, for example from a speed sensor or from the engine control of the vehicle. Based on the environmental distance data 34 , Loading distance data 38 and vehicle data 60 determines the control unit 40 a control signal 50 to regulate the speed of the vehicle. This can be used in the vehicle control, for example to trigger a braking or acceleration process.

Die Ermittlungseinheit 30 und die Steuereinheit 40 können als getrennte Einheiten oder eine gemeinsame Einheit realisiert werden. Beispielsweise können getrennte Prozessoren oder ein gemeinsamer Prozessor verwendet werden, oder die Ermittlungseinheit 30 kann als Prozessor und die Steuereinheit 40 als Controller realisiert werden. Beiden Einheiten können sowohl als Hardware und/oder Software realisiert werden.The investigative unit 30th and the control unit 40 can be implemented as separate units or as a common unit. For example, separate processors or a common processor can be used, or the determination unit 30th can be used as the processor and the control unit 40 can be implemented as a controller. Both units can be implemented as hardware and / or software.

3 zeigt eine weitere Ausführungsform der Vorrichtung 100, gemäß der zusätzlich eine Kommunikationsschnittstelle 8 vorgesehen ist. Diese ermöglicht das Empfangen, beispielsweise via Bluetooth oder WLAN, von Sensordaten 20 eines oder mehrerer in der Umgebung des Fahrzeugs angeordneter Sensoren 10a, 10b, 10h, die dann von der Steuereinheit 40 mit verarbeitet werden können zur Ermittlung des Steuersignals. 3 shows a further embodiment of the device 100 , according to the additional communication interface 8th is provided. This enables the reception of sensor data, for example via Bluetooth or WLAN 20th one or several sensors arranged in the vicinity of the vehicle 10a , 10b , 10h which then from the control unit 40 can also be processed to determine the control signal.

In einer weiteren Ausführungsform ist die Vorrichtung 100 derart ausgestaltet, dass das Steuersignal 50 zur Regelung der Geschwindigkeit des Fahrzeugs nicht nur auf Basis der Umgebungsabstandsdaten 34, Beladungsabstandsdaten 38 und Fahrzeugdaten 60 ermittelt wird, sondern zusätzlich auf Basis weiterer Daten und Signale, wie etwa Beladungsmassedaten oder einer Latenzzeit von Komponenten Vorrichtung und/oder des Fahrzeugs.In a further embodiment the device is 100 designed such that the control signal 50 to control the speed of the vehicle not only on the basis of the environmental distance data 34 , Loading distance data 38 and vehicle data 60 is determined, but also on the basis of further data and signals, such as loading mass data or a latency of components device and / or the vehicle.

In einer Ausführungsform wird insbesondere das Steuersignal 50 zur Regelung der Geschwindigkeit des Fahrzeugs basierend auf den Umgebungsabstandsdaten 34, den Fahrzeugdaten 60 und einer Latenzzeit ermittelt. Demnach erhält die Steuereinheit 40 in dieser Ausführungsform ein erstes Signal 61, welches Informationen über die Latenzzeit umfasst. Die Latenzzeit ist dabei eine Zeitdauer zum Erkennen eines Objekts durch einen Sensor 10 und/oder eine Zeitdauer zur Ansteuerung einer Fahrzeugbremse des Fahrzeugs.In one embodiment, in particular, the control signal 50 for regulating the speed of the vehicle based on the environmental distance data 34 , the vehicle data 60 and a latency period. Accordingly, the control unit receives 40 in this embodiment a first signal 61 which includes information about the latency. The latency period is a period of time for the detection of an object by a sensor 10 and / or a time period for activating a vehicle brake of the vehicle.

In einer weiteren Ausführungsform erhält die Steuereinheit 40 ein zweites Signal 62, welches Informationen über den Bremsweg des Fahrzeugs umfasst. Diese Information kann die Steuereinheit 40 entweder erhalten oder selber berechnen. In einer Ausführungsform, in der die Steuereinheit 40 Fahrzeugdaten 60 betreffend den Istwert der Geschwindigkeit des Fahrzeugs erhält, kann die Steuereinheit 40 auf Basis des Istwerts der Geschwindigkeit des Fahrzeugs den aktuellen Bremsweg des Fahrzeugs berechnen. Weiterhin kann in einer Ausführungsform, in der die Steuereinheit 40 Beladungsmassedaten 64 erhält, die Masse der Beladung des Fahrzeugs weiterhin bei der Berechnung des Bremswegs des Fahrzeugs berücksichtigt werden.In a further embodiment, the control unit receives 40 a second signal 62 which includes information about the braking distance of the vehicle. The control unit can provide this information 40 either receive it or calculate it yourself. In one embodiment in which the control unit 40 Vehicle data 60 regarding the actual value of the speed of the vehicle, the control unit can 40 calculate the current braking distance of the vehicle based on the actual value of the vehicle speed. Furthermore, in one embodiment, in which the control unit 40 Loading mass data 64 received, the mass of the load on the vehicle continues to be taken into account when calculating the braking distance of the vehicle.

In einer weiteren Ausführungsform erhält die Steuereinheit 40 ein drittes Signal 63, welches Informationen über Referenzabstandswerte umfasst. Die Steuereinheit 40 ist dabei ausgestaltet, ein Steuersignal 50 zur Reduzierung der Geschwindigkeit des Fahrzeugs zu ermitteln und auszugeben, falls mindestens einer der Abstände zwischen dem Fahrzeug und einem Objekt und/oder der Abstand zwischen der Beladung des Fahrzeugs und einem Objekt kleiner als der jeweilige Referenzabstandswert ist. Dabei werden vorzugsweise von der Steuereinheit 40 Referenzabstandswerte für unterschiedliche Geschwindigkeitswerte zur Reduzierung der Geschwindigkeit des Fahrzeugs benutzt. Das dritte Signal 63 kann von der Steuereinheit 40 erhalten werden. In einer anderen Ausführungsform ist es möglich, dass vorbestimmte Referenzabstandswerte in der Steuereinheit 40 gespeichert sind.In a further embodiment, the control unit receives 40 a third signal 63 which includes information about reference distance values. The control unit 40 is designed to be a control signal 50 to determine and output to reduce the speed of the vehicle if at least one of the distances between the vehicle and an object and / or the distance between the load of the vehicle and an object is smaller than the respective reference distance value. This is preferably done by the control unit 40 Reference distance values used for different speed values to reduce the speed of the vehicle. The third signal 63 can from the control unit 40 can be obtained. In another embodiment, it is possible that predetermined reference distance values in the control unit 40 are stored.

In einer weiteren Ausführungsform erhält die Steuereinheit 40 ferner Beladungsmassedaten 64. Diese betreffen die Masse einer Beladung des Fahrzeugs und werden z.B. von einem externen Gewichtssensor ermittelt und an die Steuereinheit 9 übergeben.In a further embodiment, the control unit receives 40 furthermore loading mass data 64 . These relate to the mass of a load on the vehicle and are determined, for example, by an external weight sensor and sent to the control unit 9 to hand over.

Es sei angemerkt, dass in einer Ausführungsform die Steuereinheit 40 ausgestaltet ist, ein Steuersignal 50 zur Regelung der Geschwindigkeit des Fahrzeugs basierend auf jeder möglichen Kombination von Umgebungsabstandsdaten 34, Beladungsabstandsdaten 38, Fahrzeugdaten 60, dem ersten Signal 61, dem zweiten Signal 62, dem dritten Signal 63 und den Beladungsmassedaten 64 zu ermitteln.It should be noted that in one embodiment the control unit 40 is designed, a control signal 50 to control the speed of the vehicle based on every possible combination of environmental distance data 34 , Loading distance data 38 , Vehicle data 60 , the first signal 61 , the second signal 62 , the third signal 63 and the loading mass data 64 to determine.

Die vorgeschlagene Vorrichtung 100 wird vorzugsweise bei Arbeitsmaschinen, wie etwa ein Flurförderfahrzeug, eine Bau- oder eine Landmaschine verwendet, um die Geschwindigkeit dieser Arbeitsmaschinen zu regulieren und dadurch potentielle Kollisionen wirksam zu vermeiden.The proposed device 100 is preferably used in work machines, such as an industrial truck, construction or agricultural machine, in order to regulate the speed of these work machines and thereby effectively avoid potential collisions.

4 zeigt ein Ausführungsbeispiel eines solchen Fahrzeugs 1 in einer perspektivischen Ansicht. Das Fahrzeug 1 ist ein Gabelstapler mit einer Vorrichtung 100 zur Geschwindigkeitsregelung. Mehrere Sensoren 10a bis 10g sind bei diesem Ausführungsbeispiel am Fahrzeug 1 angeordnet. Dabei sind die Sensoren 10a, 10b, 10c auf einem Dach des Fahrzeugs 1 angeordnet, wobei zum Beispiel eine Kamera 10a als Rückblickkamera, die zweite Kamera 10b als seitlich nach links blickende Kamera und die dritte Kamera 10c als seitlich nach rechts blickende Kamera mit entsprechenden Blickwinkel nach hinten, nach links und nach rechts eingerichtet sind. Die Sensoren 10e, 10f, 10d sind derart angeordnet, dass auch niedrige Objekte in der Nähe des Fahrzeugs 1 registriert und vermessen werden können. Der Sensor 10g ist ebenfalls auf dem Dach des Fahrzeugs 1 angeordnet, wobei sein Sichtfeld nach vorne (zur Beladung hin) ausgerichtet ist, um den Bereich in Fahrtrichtung zu betrachten, wenn der Gabelstapler sich mit der Beladung bzw. der Ladegabel voraus bewegt. 4th shows an embodiment of such a vehicle 1 in a perspective view. The vehicle 1 is a forklift with a device 100 for speed control. Multiple sensors 10a to 10g are in this embodiment on the vehicle 1 arranged. There are the sensors 10a , 10b , 10c on a roof of the vehicle 1 arranged, for example a camera 10a as a rearview camera, the second camera 10b as a camera looking sideways to the left and the third camera 10c are set up as a laterally to the right looking camera with corresponding viewing angles to the rear, to the left and to the right. The sensors 10e , 10f , 10d are arranged so that even low objects near the vehicle 1 can be registered and measured. The sensor 10g is also on the roof of the vehicle 1 arranged, with its field of view facing forward (towards the load) to view the area in the direction of travel when the forklift moves with the load or the loading fork ahead.

Die von den Sensoren 10a bis 10g ermittelten Sensordaten werden entweder über elektrische Verbindungen oder kabellos an die Vorrichtung 100 übergeben. Die Vorrichtung kann beispielsweise in Bereich der Fahrzeugsteuerung im unteren Bereich des Fahrzeugs angeordnet sein. Dabei kann die Vorrichtung wie in 3 gezeigt ausgestaltet sein, sodass die Kommunikationsschnittstelle 8 das Empfangen, beispielsweise via Bluetooth oder WLAN, der Sensordaten ermöglicht.The ones from the sensors 10a to 10g Determined sensor data are transmitted to the device either via electrical connections or wirelessly 100 to hand over. The device can for example be arranged in the area of the vehicle control in the lower area of the vehicle. The device as in 3 be designed so that the communication interface 8th receiving, for example via Bluetooth or WLAN, that enables sensor data.

Die 5 bis 13 zeigen schematische Darstellungen eines Fahrzeugs 1 mit unterschiedlicher Geschwindigkeit v1, v2, v3 in verschiedenen Fahrsituationen, in denen unterschiedliche Objekte 2a, 2b, 2c, 2d als potentielle Hindernisse für das Fahrzeug 1 auftreten. Anhand dieser Figuren wird im Folgenden erklärt, wie die Vorrichtung 100 die Geschwindigkeit des Fahrzeugs 1 in den verschiedenen Fahrsituationen regelt.The 5 to 13 show schematic representations of a vehicle 1 at different speeds v1, v2, v3 in different driving situations in which different objects 2a , 2 B , 2c , 2d as potential obstacles to the vehicle 1 occur. Using these figures, it is explained below how the device 100 the speed of the vehicle 1 regulates in the various driving situations.

Es sei angemerkt, dass für die folgende Erläuterung die Geschwindigkeit v1 größer als die Geschwindigkeit v2 und größer als die Geschwindigkeit v3 angenommen sein. In den 5 bis 13 werden zur Verdeutlichung der Geschwindigkeitserhöhung bzw. Geschwindigkeitsreduzierung des Fahrzeugs 1 nur diese drei Geschwindigkeiten v1, v2, v3 verwendet. Im Allgemeinen sind die Geschwindigkeiten nicht auf die drei diskreten Geschwindigkeiten v1, v2, v3 begrenzt.It should be noted that for the following explanation, the speed v1 is assumed to be greater than the speed v2 and greater than the speed v3. In the 5 to 13 are used to illustrate the increase or decrease in speed of the vehicle 1 only these three speeds v1, v2, v3 are used. In general, the speeds are not limited to the three discrete speeds v1, v2, v3.

5 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit Geschwindigkeit v1 und mehreren Objekten 2a, 2b, 2c, 2d, die als potentielles Hindernis für das Fahrzeug 1 fungieren. Bei dem Fahrzeug 1 handelt es sich wieder beispielhaft um einen Gabelstapler mit einer Vorrichtung 100 zur Geschwindigkeitsregelung des Fahrzeugs 1. Weiterhin ist mindestens ein Sensor 10a am Fahrzeug 1 angebracht. Der erste Erfassungsbereich 12 des Sensors 10a ist kreisförmig um das Fahrzeug 1 angezeigt. 5 shows a schematic representation of a vehicle 1 with speed v1 and several objects 2a , 2 B , 2c , 2d acting as a potential obstacle to the vehicle 1 act. With the vehicle 1 it is again an example of a forklift with a device 100 for speed control of the vehicle 1 . There is also at least one sensor 10a at the vehicle 1 appropriate. The first detection area 12 of the sensor 10a is circular around the vehicle 1 displayed.

Weiterhin sind diverse Objekte 2a, 2b, 2c, 2d gezeigt, welche sich in näherer oder fernerer Umgebung 3 des Fahrzeugs 1 befinden. Bei dem ersten Objekt 2a handelt es sich um eine Person in einer Abzweigung 140. Bei dem zweiten Objekt 2b handelt es sich beispielsweise um eine Palette, die derart angeordnet ist, dass sich neben der Palette eine Verengung 130 des Fahrwegs ergibt. Ein drittes beispielhaftes Objekt 2c stellt eine Wand (oder ein Regal) seitlich vom Fahrzeug 1 dar. Das vierte Objekt 2d ist eine weitere Person, die sich in der Nähe einer Kreuzung 150 in Fahrtrichtung des Fahrzeugs 1 aufhält.There are also various objects 2a , 2 B , 2c , 2d shown, which are in the near or far 3 of the vehicle 1 are located. With the first object 2a it is a person in a junction 140 . With the second object 2 B it is, for example, a pallet which is arranged in such a way that there is a constriction next to the pallet 130 of the route results. A third exemplary object 2c puts a wall (or a shelf) to the side of the vehicle 1 The fourth object 2d is another person who is near an intersection 150 in the direction of travel of the vehicle 1 stops.

Bei den in den 5 bis 13 gezeigten Fahrsituationen ist weiterhin ein (optionaler) zweiter Sensor 10h mit einem zweiten Erfassungsbereich 14 vorgesehen, der in einer nicht unmittelbaren Umgebung 3 des Fahrzeugs 1 angeordnet ist. Beispielsweise ist der zweite Sensor 10h eine 360° Kamera, die an der Decke über der Kreuzung 150 angebracht ist.In the 5 to 13 The driving situations shown is still an (optional) second sensor 10h with a second detection area 14th provided in a non-immediate area 3 of the vehicle 1 is arranged. For example, the second sensor is 10h a 360 ° camera that is on the ceiling above the intersection 150 is appropriate.

In der in 6 gezeigten Fahrsituation hat sich das Fahrzeug 1 etwas in Fahrtrichtung bewegt, sodass sich seitlich vom Fahrzeug 1 im Erfassungsbereich des Sensors 10a eine Abzweigung 140 befindet. Die Steuereinheit 40 ermittelt dann ein Steuersignal 50 zur Reduzierung der Geschwindigkeit des Fahrzeugs 1, wenn eine solche eine Abzweigung 140 ermittelt wird, da die Abzweigung 140 stellt eine mögliche Kollisionsgefahr darstellt, da das Objekt 2a aus der Abzweigung 140 in den Fahrweg des Fahrzeugs 1 eindringen könnte. Somit wird von der Steuereinheit 40 ein Steuersignal 50 ermittelt, um die Geschwindigkeit des Fahrzeugs 1 in dem Fall von v1 auf v2 zu reduzieren.In the in 6th the vehicle has shown the driving situation 1 something moves in the direction of travel so that it is sideways from the vehicle 1 in the detection range of the sensor 10a a junction 140 is located. The control unit 40 then determines a control signal 50 to reduce the speed of the vehicle 1 if such a turnoff 140 is determined as the junction 140 poses a potential collision hazard because the object 2a from the junction 140 in the path of the vehicle 1 could penetrate. Thus, from the control unit 40 a control signal 50 determined to the speed of the vehicle 1 in the case of v1 to reduce to v2.

In der in 7 gezeigten Fahrsituation befindet sich im ersten Erfassungsbereich 12 des Sensors 10a keine Abzweigung 140 mehr, sodass ein Steuersignal 50 ermittelt werden kann, um die Geschwindigkeit des Fahrzeugs 1 wieder von v2 auf v1 zu erhöhen. Im Erfassungsbereich des Sensors 10a befindet sich seitlich vom Fahrzeug 1 eine Wand 2c, die bei der Ermittlung des Steuersignals 50 berücksichtigt wird. Wäre der Abstand der Wand 2c zu dem Fahrzeug 1 größer, würde ein Steuersignal 50 ermittelt werden, um die Geschwindigkeit des Fahrzeugs 1 ggf. noch weiter (über v1 hinaus) zu erhöhen.In the in 7th The driving situation shown is in the first detection area 12 of the sensor 10a no turnoff 140 more, so a control signal 50 can be determined to be the speed of the vehicle 1 to increase again from v2 to v1. In the detection range of the sensor 10a is to the side of the vehicle 1 a wall 2c involved in determining the control signal 50 is taken into account. Would be the distance from the wall 2c to the vehicle 1 bigger, would be a control signal 50 determined to be the speed of the vehicle 1 possibly to be increased even further (beyond v1)

In der in 8 gezeigten Fahrsituation befindet sich im Erfassungsbereich des Sensors 10a ein zweites Objekt 2b (z.B. eine Palette oder eine Säule), wodurch der Fahrweg in Fahrtrichtung des Fahrzeugs 1 verengt ist. Demnach ermittelt die Steuereinheit 9 ein Steuersignal 50, um die Geschwindigkeit des Fahrzeugs 1 von v1 auf v2 zu reduzieren.In the in 8th The driving situation shown is in the detection range of the sensor 10a a second object 2 B (e.g. a pallet or a pillar), whereby the route is in the direction of travel of the vehicle 1 is narrowed. The control unit determines accordingly 9 a control signal 50 to the speed of the vehicle 1 to reduce from v1 to v2.

Folgerichtig wird In der in 9 gezeigten Fahrsituation bei noch stärkerer Verengung 130 der Fahrbahn ein Steuersignal 50 ermittelt, um die Geschwindigkeit des Fahrzeugs 1 noch weiter von v2 auf v3 zu reduzierenIn the in 9 driving situation shown with an even greater narrowing 130 the road a control signal 50 determined to the speed of the vehicle 1 to reduce even further from v2 to v3

In der in 10 gezeigten Fahrsituation befindet sich im Erfassungsbereich des Sensors 10a bis auf die Wand 2c kein weiteres Objekt, sodass die Geschwindigkeit des Fahrzeugs 1 nun wieder auf v1 erhöht werden kann.In the in 10 The driving situation shown is in the detection range of the sensor 10a except for the wall 2c no other object, so the speed of the vehicle 1 can now be increased again to v1.

In der in 11 gezeigten Fahrsituation befindet sich im Erfassungsbereich des Sensors 10a nun zusätzlich Objekt 2d (z.B. eine seitlich aus einer Abzweigung hervor tretende Person), sodass sich das Fahrzeug 1 mit einer wieder geringeren Geschwindigkeit v2 bewegt. In einer Ausführungsform umfasst die Vorrichtung 100 eine Kommunikationsschnittstelle 8 zum Empfangen von Sensordaten des Sensors 10h, die der Vorrichtung mitteilen kann, ob sich aus der Abzweigung 141 ein Objekt in die Kreuzung 150 hinein bewegt und somit zu einer Kollision führen könnte. Dies ermöglicht, dass die Steuereinheit 40 vorzeitig ein Steuersignal 50 zur Reduzierung der Geschwindigkeit ermitteln kann, obwohl sich ein Objekt 2d noch nicht im ersten Erfassungsbereich 12 des Sensors 10a befindet, der am Fahrzeug 1 angeordnet ist.In the in 11 The driving situation shown is in the detection range of the sensor 10a now an additional object 2d (e.g. a person stepping sideways from a junction) so that the vehicle moves 1 moves again at a lower speed v2. In one embodiment the device comprises 100 a communication interface 8th to receive sensor data from the sensor 10h that can tell the device whether it is out of the junction 141 an object in the intersection 150 moved into it and thus could lead to a collision. This enables the control unit 40 a control signal prematurely 50 to reduce the speed can detect even though an object 2d not yet in the first detection area 12 of the sensor 10a located on the vehicle 1 is arranged.

In der in 12 gezeigten Fahrsituation kann dann wiederum eine höhere Geschwindigkeit eingestellt werde.In the in 12 The driving situation shown can then be set to a higher speed.

In der in 13 gezeigten Fahrsituation ist das Fahrzeug 1 zusätzlich mit einer Beladung 4 beladen. Demnach ist der Abstand zwischen der seitlichen Wand 2c und der Beladung 4 geringer als der Abstand zwischen dem Fahrzeug 1 ohne Beladung und der seitlichen Wand 2c. Auf Basis des aufgrund der Beladung 4 verringerten Abstands ermittelt die Steuereinheit 40 ein Steuersignal 50 zur Reduzierung der Geschwindigkeit des Fahrzeugs 1. Weiterhin können in einer Ausführungsform zusätzlich die Beladungsmassedaten 64 berücksichtigt werden, um die Geschwindigkeit angemessen zu regeln.In the in 13 The driving situation shown is the vehicle 1 additionally with one load 4th loaded. So is the distance between the side wall 2c and the load 4th less than the distance between the vehicle 1 without load and the side wall 2c . On the basis of the load 4th The control unit determines the reduced distance 40 a control signal 50 to reduce the speed of the vehicle 1 . Furthermore, in one embodiment, the loading mass data 64 must be taken into account in order to regulate the speed appropriately.

Zusammenfassend lässt sich sagen, dass es mit der erfindungsgemäßen Lösung möglich ist, die Geschwindigkeit eines Fahrzeugs schnell und effizient zu regeln, um möglichst schnell auf Objekte und damit potentielle Gefahren zu reagieren und die Anzahl an Unfällen/Kollisionen zu reduzieren.In summary, it can be said that with the solution according to the invention it is possible to regulate the speed of a vehicle quickly and efficiently in order to react as quickly as possible to objects and thus potential dangers and to reduce the number of accidents / collisions.

BezugszeichenlisteList of reference symbols

11
Fahrzeugvehicle
22
Objektobject
33
UmgebungSurroundings
44th
Beladungloading
55
FahrzeugbremseVehicle brake
88th
KommunikationsschnittstelleCommunication interface
1010
Sensorsensor
1212
erster Erfassungsbereichfirst detection area
1414th
zweiter Erfassungsbereichsecond detection area
2020th
SensordatenSensor data
3030th
ErmittlungseinheitInvestigation unit
3434
UmgebungsabstandsdatenEnvironmental distance data
3838
BeladungsabstandsdatenLoading distance data
4040
SteuereinheitControl unit
5050
SteuersignalControl signal
6060
FahrzeugdatenVehicle data
6161
erstes Signalfirst signal
6262
zweites Signalsecond signal
6363
drittes Signalthird signal
6464
BeladungsmassedatenLoading mass data
100100
Vorrichtungcontraption
120120
Hindernisobstacle
130130
Verengung der FahrbahnNarrowing the roadway
140140
AbzweigungJunction
150150
Kreuzungcrossing
200200
Systemsystem

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102015209857 A1 [0003]DE 102015209857 A1 [0003]

Claims (16)

Vorrichtung zur Geschwindigkeitsregelung eines beladbaren Fahrzeugs (1) mit einer Ermittlungseinheit (30) zum Ermitteln, anhand von Sensordaten (20), von Umgebungsabstandsdaten (34) betreffend Abstände zwischen dem Fahrzeug (1) und Objekten (2a, 2b, ...) in der Umgebung (3) des Fahrzeugs (1) und von Beladungsabstandsdaten (38) betreffend Abstände zwischen einer Beladung (4) des Fahrzeugs (1) und den Objekten (2a, 2b, ...) in der Umgebung (3) des Fahrzeugs (1), und einer Steuereinheit (40) zur Ermittlung und Ausgabe eines Steuersignals (50) zur Regelung der Geschwindigkeit des Fahrzeugs (1) basierend auf den Umgebungsabstandsdaten (34), den Beladungsabstandsdaten (38) und Fahrzeugdaten (60) betreffend den Istwert der Geschwindigkeit des Fahrzeugs (1).Device for speed control of a loadable vehicle (1) with a determination unit (30) for determining, on the basis of sensor data (20), environmental distance data (34) relating to distances between the vehicle (1) and objects (2a, 2b, ...) in the vicinity (3) of the vehicle (1) and of loading distance data (38) relating to distances between a load (4) of the vehicle (1) and the objects (2a, 2b, ...) in the vicinity (3) of the vehicle (1), and a control unit (40) for determining and outputting a control signal (50) for regulating the speed of the vehicle (1) based on the environmental distance data (34), the loading distance data (38) and vehicle data (60) relating to the actual value of the speed of the vehicle (1) ). Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (40) ferner ausgestaltet ist, das Steuersignal (50) unter Berücksichtigung einer Latenzzeit zu ermitteln, die eine Zeitdauer zum Erkennen eines Objekts (2) durch einen Sensor (10) und/oder eine Zeitdauer zur Ansteuerung einer Fahrzeugbremse (5) des Fahrzeugs (1) umfasst.Device according to one of the preceding claims, wherein the control unit (40) is further configured to determine the control signal (50) taking into account a latency period, which is a period of time for detecting an object (2) by a sensor (10) and / or a period of time for controlling a vehicle brake (5) of the vehicle (1). Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (40) ferner ausgestaltet ist, das Steuersignal (50) unter Berücksichtigung eines aktuellen Bremswegs des Fahrzeugs (1) zu ermitteln.Device according to one of the preceding claims, wherein the control unit (40) is further designed to determine the control signal (50) taking into account a current braking distance of the vehicle (1). Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (40) ferner ausgestaltet ist, das Steuersignal (50) unter Berücksichtigung von Beladungsmassedaten (64) betreffend eine Masse der Beladung (4) des Fahrzeugs (1) zu ermitteln.Device according to one of the preceding claims, wherein the control unit (40) is further designed to determine the control signal (50) taking into account load mass data (64) relating to a mass of the load (4) of the vehicle (1). Vorrichtung nach einem der vorhergehenden Ansprüche, ferner aufweisend eine Kommunikationsschnittstelle (8) zum Empfangen von Sensordaten (20h) eines oder mehrerer in der Umgebung (3) des Fahrzeugs (1) angeordneter Sensoren (10h).Device according to one of the preceding claims, further comprising a communication interface (8) for receiving sensor data (20h) from one or more sensors (10h) arranged in the vicinity (3) of the vehicle (1). Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (40) ferner ausgestaltet ist, basierend auf den Umgebungsabstandsdaten (34) die Abstände zwischen dem Fahrzeug (1) und den Objekten (2a, 2b, ...) in der Umgebung und/oder basierend auf den Beladungsabstandsdaten (38) die Abstände zwischen der Beladung (4) des Fahrzeugs (1) und den Objekten (2a, 2b, ...) in der Umgebung jeweils mit einem vorbestimmten Referenzabstandswert zu vergleichen, und ein Steuersignal (50) zur Reduzierung der Geschwindigkeit des Fahrzeugs (1) zu ermitteln und auszugeben, falls mindestens ein Abstand kleiner als der jeweilige Referenzabstandwert ist.Device according to one of the preceding claims, wherein the control unit (40) is further designed based on the environmental distance data (34) the distances between the vehicle (1) and the objects (2a, 2b, ...) in the vicinity and / or based on the loading distance data (38) the distances between the load (4) of the vehicle (1) and the objects (2a, 2b, ...) in the vicinity each with a predetermined reference distance value, and to determine and output a control signal (50) for reducing the speed of the vehicle (1) if at least one distance is smaller than the respective reference distance value. Vorrichtung nach Anspruch 6, wobei die Steuereinheit (40) Referenzabstandswerte für unterschiedliche Geschwindigkeitswerte zur Reduzierung der Geschwindigkeit des Fahrzeugs (1) benutzt.Device according to Claim 6 wherein the control unit (40) uses reference distance values for different speed values to reduce the speed of the vehicle (1). Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Steuereinheit (40) ferner ausgestaltet ist, ein Steuersignal (50) zur Reduzierung der Geschwindigkeit des Fahrzeugs (1) zu ermitteln und auszugeben, falls anhand der Sensordaten (20) ein Hindernis (120), eine Verengung (130) des Fahrwegs, eine Abzweigung (140) und/oder Kreuzung (150) in Fahrtrichtung des Fahrzeugs (1) festgestellt wird.Device according to one of the preceding claims, wherein the control unit (40) is further designed to determine a control signal (50) for reducing the speed of the vehicle (1) and, if based on the sensor data (20), an obstacle (120), a Narrowing (130) of the route, a junction (140) and / or intersection (150) in the direction of travel of the vehicle (1) is determined. Vorrichtung zur Geschwindigkeitsregelung eines Fahrzeugs (1) mit einer Ermittlungseinheit (30) zum Ermitteln, anhand von Sensordaten (20), von Umgebungsabstandsdaten (34) betreffend Abstände zwischen dem Fahrzeug (1) und Objekten (2a, 2b, ...) in der Umgebung (3) des Fahrzeugs (1), und einer Steuereinheit (40) zur Ermittlung und Ausgabe eines Steuersignals (50) zur Regelung der Geschwindigkeit des Fahrzeugs (1) basierend auf den Umgebungsabstandsdaten (34), Fahrzeugdaten (60) und einer Latenzzeit betreffend eine Zeitdauer zum Erkennen eines Objekts (2) durch einen Sensor (10) und/oder eine Zeitdauer zur Ansteuerung einer Fahrzeugbremse (15) des Fahrzeugs (1).Device for speed control of a vehicle (1) with a determination unit (30) for determining, on the basis of sensor data (20), environmental distance data (34) relating to distances between the vehicle (1) and objects (2a, 2b, ...) in the vicinity (3) of the vehicle (1) , and a control unit (40) for determining and outputting a control signal (50) for regulating the speed of the vehicle (1) based on the environmental distance data (34), vehicle data (60) and a latency period relating to a time period for recognizing an object (2) by a Sensor (10) and / or a time period for controlling a vehicle brake (15) of the vehicle (1). System (200) zum Erkennen von Objekten (2a, 2b, ...) in der Umgebung (3) eines Fahrzeugs (1) und Geschwindigkeitsregelung des Fahrzeugs (1), umfassend: einen oder mehrere Sensoren (10a, 10b, ...) zum Erkennen von Objekten (2a, 2b, ...) in der Umgebung (3) des Fahrzeugs (1); und eine Vorrichtung (100) nach einem der vorhergehenden Ansprüche zur Geschwindigkeitsregulierung des Fahrzeugs (1).System (200) for recognizing objects (2a, 2b, ...) in the environment (3) of a vehicle (1) and speed control of the vehicle (1), comprising: one or more sensors (10a, 10b, ...) for detecting objects (2a, 2b, ...) in the vicinity (3) of the vehicle (1); and a device (100) according to one of the preceding claims for regulating the speed of the vehicle (1). System nach Anspruch 10, umfassend einen oder mehrere Sensoren (10a, 10b, ...), insbesondere eine oder mehrere Kameras, einen oder mehrere Lidarsensoren und/oder einen oder mehrere Radarsensoren.System according to Claim 10 , comprising one or more sensors (10a, 10b, ...), in particular one or more cameras, one or more lidar sensors and / or one or more radar sensors. System nach einem der Ansprüche 10 und 11, wobei ein oder mehrere Sensoren (10a, 10b, ...) in und/oder am Fahrzeug (1) angeordnet sind.System according to one of the Claims 10 and 11 , wherein one or more sensors (10a, 10b, ...) are arranged in and / or on the vehicle (1). System nach einem der Ansprüche 10 und 11, wobei ein oder mehrere Sensoren (10a, 10b, ...) in der Umgebung (3) des Fahrzeugs (1) angeordnet sind.System according to one of the Claims 10 and 11 , wherein one or more sensors (10a, 10b, ...) are arranged in the environment (3) of the vehicle (1). Verfahren zur Geschwindigkeitsanpassung eines beladbaren Fahrzeugs (1), folgende Schritte aufweisend: Ermitteln, anhand von Sensordaten (10), von Umgebungsabstandsdaten (34) betreffend Abstände zwischen dem Fahrzeug (1) und Objekten (2a, 2b, ...) in der Umgebung (3) des Fahrzeugs (1) und Beladungsabstandsdaten (38) betreffend Abstände zwischen einer Beladung (4) des Fahrzeugs (1) und Objekten (2a, 2b, ...) in der Umgebung (3) des Fahrzeugs (1), und Ermitteln und Ausgeben eines Steuersignals (500) zur Regulierung der Geschwindigkeit des Fahrzeugs (1) basierend auf den Umgebungsabstandsdaten (34), Beladungsabstandsdaten (38) und Fahrzeugdaten (60) betreffend den Istwert der Geschwindigkeit des Fahrzeugs (1).A method for adapting the speed of a loadable vehicle (1), comprising the following steps: Determining, using sensor data (10), environmental distance data (34) relating to distances between the vehicle (1) and objects (2a, 2b, ...) in the vicinity (3) of the vehicle (1) and loading distance data (38) relating to distances between a load (4) of the vehicle (1) and objects (2a, 2b, ...) in the vicinity (3) of the vehicle (1), and Determining and outputting a control signal (500) for regulating the speed of the vehicle (1) based on the environmental distance data (34), loading distance data (38) and vehicle data (60) relating to the actual value of the speed of the vehicle (1). Computerprogramm, umfassend Programmcodemittel, um einen Computer zu veranlassen, die Schritte des Verfahrens, wie in Anspruch 14 beansprucht, auszuführen, wenn das Computerprogramm auf dem Computer ausgeführt wird.Computer program comprising program code means for causing a computer to carry out the steps of the method as in FIG Claim 14 claimed to run when the computer program is run on the computer. Fahrzeug mit einer Vorrichtung nach einem der Ansprüche 1 bis 9 zur Geschwindigkeitsregelung des Fahrzeugs (1).Vehicle with a device according to one of the Claims 1 to 9 for speed control of the vehicle (1).
DE102019206582.1A 2019-05-08 2019-05-08 Device, system, method and computer program for speed control of a vehicle Withdrawn DE102019206582A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019206582.1A DE102019206582A1 (en) 2019-05-08 2019-05-08 Device, system, method and computer program for speed control of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019206582.1A DE102019206582A1 (en) 2019-05-08 2019-05-08 Device, system, method and computer program for speed control of a vehicle

Publications (1)

Publication Number Publication Date
DE102019206582A1 true DE102019206582A1 (en) 2020-11-12

Family

ID=72943602

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019206582.1A Withdrawn DE102019206582A1 (en) 2019-05-08 2019-05-08 Device, system, method and computer program for speed control of a vehicle

Country Status (1)

Country Link
DE (1) DE102019206582A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719325A (en) * 2022-12-07 2023-02-28 钧捷科技（北京）有限公司 Road condition image processing system based on unmanned driving
WO2023192142A1 (en) * 2022-03-27 2023-10-05 Third Wave Automation, Inc. Methods and apparatus for supporting remote control operation of devices taking into consideration communications latency, environmental conditions, and/or a task to be performed

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010028911A1 (en) * 2010-05-12 2011-11-17 Robert Bosch Gmbh Method for monitoring movement of vehicle i.e. fork lift lorry, involves detecting collision hazard of vehicle by obstruction placed in region of curved travel path, or leaving curved travel path by vehicle
EP2639790B1 (en) * 2012-03-15 2015-03-11 MT Robot AG Driverless vehicle with at least one ultrasound sensor and method for operating the same
DE102013112209A1 (en) * 2013-09-17 2015-03-19 Still Gmbh Tugger train and associated control method
DE102015209857A1 (en) * 2014-05-30 2015-12-03 Mando Corporation Autonomous emergency braking system and method for detecting pedestrians in this

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010028911A1 (en) * 2010-05-12 2011-11-17 Robert Bosch Gmbh Method for monitoring movement of vehicle i.e. fork lift lorry, involves detecting collision hazard of vehicle by obstruction placed in region of curved travel path, or leaving curved travel path by vehicle
EP2639790B1 (en) * 2012-03-15 2015-03-11 MT Robot AG Driverless vehicle with at least one ultrasound sensor and method for operating the same
DE102013112209A1 (en) * 2013-09-17 2015-03-19 Still Gmbh Tugger train and associated control method
DE102015209857A1 (en) * 2014-05-30 2015-12-03 Mando Corporation Autonomous emergency braking system and method for detecting pedestrians in this

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WINNER, H. [et al.] (Hrsg.): Handbuch Fahrerassistenzsysteme. 3. Aufl. Wiesbaden : Springer Vieweg, 2015. S. 482-483. - ISBN 978-3-658-05734-3 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023192142A1 (en) * 2022-03-27 2023-10-05 Third Wave Automation, Inc. Methods and apparatus for supporting remote control operation of devices taking into consideration communications latency, environmental conditions, and/or a task to be performed
CN115719325A (en) * 2022-12-07 2023-02-28 钧捷科技（北京）有限公司 Road condition image processing system based on unmanned driving
CN115719325B (en) * 2022-12-07 2023-11-17 钧捷科技（北京）有限公司 Unmanned road condition image processing system

Similar Documents

Publication Publication Date Title
DE102017217961B4 (en) DEVICE FOR CONTROLLING A VEHICLE AT AN INTERSECTION
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE102013200132B4 (en) Lane keeping system for a vehicle
DE102004035842B4 (en) Dual disparate sensing object detection and detection system
DE102017111530A1 (en) Systems and methods for a towing vehicle and a trailer with all-round imaging devices
DE102011014699B4 (en) Method for operating a driver assistance system for protecting a motor vehicle against damage and motor vehicle
WO2016120044A1 (en) Measurement of a dimension on a surface
DE102019124152A1 (en) CLUTCH SUPPORT SYSTEM
DE102006035929B4 (en) Method for sensor-assisted driving under an object or for entering an object with a utility vehicle
DE102016106298A1 (en) Fusion method for a cross traffic application using radar devices and a camera
DE102016106299A1 (en) Wheel detection and its application for object tracking and sensor registration
DE102016200018A1 (en) VEHICLE MOVING CONTROL DEVICE
DE102012205293A1 (en) Driver support system installed in vehicle, has determining module that determines whether vehicle enters target area that incorporates blind spot for driver of vehicle based on object information
DE102019117270A1 (en) VEHICLE CLUTCH SUPPORT SYSTEM
DE102018205964A1 (en) Method and control device for navigating an autonomous industrial truck
EP1298454A2 (en) Method for recognising and tracking objects
DE102017122867A1 (en) Device and method for routing driving information and this vehicle system having
EP2707862B1 (en) Distance measurement by means of a camera sensor
DE102018122374B4 (en) Method for determining a free space surrounding a motor vehicle, computer program product, free space determination device and motor vehicle
EP2857275A2 (en) Method for operating a driver assistance system for manoeuvring and/or parking
EP3805891A1 (en) Driverless transport vehicle for intralogistics
WO2019201537A1 (en) Method and controller for denoting a person
DE102016111079A1 (en) Method for object height detection of an object in the environment of a motor vehicle and driver assistance system
DE102019206582A1 (en) Device, system, method and computer program for speed control of a vehicle
EP3663881B1 (en) Method for controlling an autonomous vehicle on the basis of estimated movement vectors

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee