DE102019207616A1 - Baggage determination for a vehicle - Google Patents

Baggage determination for a vehicle Download PDF

Info

Publication number
DE102019207616A1
DE102019207616A1 DE102019207616.5A DE102019207616A DE102019207616A1 DE 102019207616 A1 DE102019207616 A1 DE 102019207616A1 DE 102019207616 A DE102019207616 A DE 102019207616A DE 102019207616 A1 DE102019207616 A1 DE 102019207616A1
Authority
DE
Germany
Prior art keywords
vehicle
luggage
item
trunk
mass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019207616.5A
Other languages
German (de)
Inventor
Torsten Schön
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102019207616.5A priority Critical patent/DE102019207616A1/en
Priority to PCT/EP2020/063397 priority patent/WO2020239448A1/en
Publication of DE102019207616A1 publication Critical patent/DE102019207616A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01GWEIGHING
    • G01G19/00Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/08Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles
    • G01G19/086Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for incorporation in vehicles wherein the vehicle mass is dynamically estimated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01GWEIGHING
    • G01G19/00Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/52Weighing apparatus combined with other objects, e.g. furniture
    • G01G19/58Weighing apparatus combined with other objects, e.g. furniture combined with handles of suit-cases or trunks

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks, bei dem eine in einen Kofferraum eines Fahrzeugs gerichtete Kamera ein Bild von einem in dem Kofferraum des Fahrzeugs angeordneten Gepäckstück erfasst und bereitstellt und ein Sensor eines Fahrwerks des Fahrzeugs einen Wert einer von einer Masse des Gepäckstücks abhängigen physikalischen Größe des Fahrwerks erfasst und ein Sensorsignal mit dem erfassten Wert bereitstellt, System zum Erfassen eines in einem Fahrzeug transportierten Gepäckstücks sowie Fahrzeug.Method for determining an item of luggage transported in a vehicle, in which a camera directed into a trunk of a vehicle captures and provides an image of an item of luggage arranged in the trunk of the vehicle and a sensor of a chassis of the vehicle determines a value of a value that is dependent on a mass of the item of luggage detects the physical size of the chassis and provides a sensor signal with the detected value, system for detecting an item of luggage transported in a vehicle and vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks, bei dem eine in einen Kofferraum eines Fahrzeugs gerichtete Kamera ein Bild von einem in dem Kofferraum des Fahrzeugs angeordneten Gepäckstück erfasst und bereitstellt und ein Sensor eines Fahrwerks des Fahrzeugs einen Wert einer von einer Masse des Gepäckstücks abhängigen physikalischen Größe des Fahrwerks erfasst und ein Sensorsignal mit dem erfassten Wert bereitstellt. Ferner betrifft die Erfindung ein System zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks und ein Fahrzeug.The invention relates to a method for determining an item of luggage transported in a vehicle, in which a camera directed into a trunk of a vehicle captures and provides an image of an item of luggage arranged in the trunk of the vehicle and a sensor of a chassis of the vehicle has a value of one Mass of the item of luggage dependent physical variable of the chassis and provides a sensor signal with the recorded value. The invention also relates to a system for determining an item of luggage transported in a vehicle and to a vehicle.

Fahrzeuge, insbesondere Personenkraftwagen (Pkw), welche in erster Linie dem Befördern von Insassen, d. h. Personen, dienen, sind zumeist aber auch zum Transportieren von Gepäckstücken ausgebildet. Gepäckstücke werden zum Transportieren üblicherweise in einem Heckbereich eines Fahrzeugs angeordnet, welcher je nach Fahrzeugmodell als ein Lade- oder Kofferraum bezeichnet wird. Im Folgenden wird unter einem Kofferraum jeder mit einem Gepäckstück beladbare Heckbereich eines Fahrzeugs verstanden.Vehicles, in particular passenger cars (cars), which are primarily used to transport occupants, i. H. People who serve are mostly also designed to transport items of luggage. Luggage items are usually arranged for transportation in a rear area of a vehicle, which, depending on the vehicle model, is referred to as a load or trunk. In the following, a trunk is understood to mean any rear area of a vehicle that can be loaded with an item of luggage.

In bestimmten Situationen kann von einem Transportieren eines Gepäckstücks in einem Kofferraum eines Fahrzeugs eine Gefahr ausgehen. Zu den potentiell gefährlichen Situationen zählt auch ein Entladen des Fahrzeugs, also ein Entnehmen des Gepäckstücks aus dem Kofferraum. Insbesondere kann eine Verletzungsgefahr bestehen, wenn ein schweres und/oder großes Gepäckstück aus dem Fahrzeug entnommen werden muss. In certain situations, transporting an item of luggage in a trunk of a vehicle can be dangerous. The potentially dangerous situations also include unloading the vehicle, i.e. removing the item of luggage from the trunk. In particular, there can be a risk of injury if a heavy and / or large item of luggage has to be removed from the vehicle.

Unter einem schweren Gepäckstück ist ein Gepäckstück mit einem großen Gewicht zu verstehen, wobei eine Proportionalität zwischen dem Gewicht und einer Masse des Gepäckstücks besteht. Unter einem großen Gepäckstück wird ein Gepäckstück mit großen äußeren Abmessungen verstanden, wobei die äußeren Abmessungen ein Volumen, d. h. den Raumbedarf, des Gepäckstücks festlegen. Im Folgenden werden die Begriffe Masse und Größe durchgehend mit diesen Bedeutungen verwendet.A heavy item of luggage is to be understood as an item of luggage with a large weight, there being a proportionality between the weight and a mass of the luggage item. A large item of luggage is understood to mean an item of luggage with large external dimensions, the external dimensions being a volume, i.e. a volume. H. Determine the space required by the piece of luggage. In the following, the terms mass and size are used with these meanings throughout.

Zum Vermeidung gefährlicher Entladesituationen offenbart DE 10 2016 207 961 A1 ein System und Verfahren für ein Fahrzeug, welches ein Öffnen einer Ladeklappe eines Kofferraums des Fahrzeugs blockiert, wenn eine von einem Sensor des Fahrzeugs erfasste maximale Neigung des Fahrzeugs überschritten ist. Ferner wird eine Position und/oder eine Masse eines in dem Kofferraum des Fahrzeugs angeordneten Objekts sensorisch mittels einer Kamera und/oder eines Gewichtssensors überwacht. Auf diese Weise wird verhindert, dass ein in dem Kofferraum angeordnetes Objekt nach einem Öffnen der Ladeklappe infolge der Neigung selbständig aus dem Kofferraum rutscht.Disclosed to avoid dangerous discharge situations DE 10 2016 207 961 A1 a system and method for a vehicle that blocks the opening of a loading flap of a trunk of the vehicle when a maximum inclination of the vehicle detected by a sensor of the vehicle is exceeded. Furthermore, a position and / or a mass of an object arranged in the trunk of the vehicle is monitored by sensors by means of a camera and / or a weight sensor. In this way, it is prevented that an object arranged in the trunk after opening the loading flap automatically slides out of the trunk as a result of the inclination.

Weitere Probleme im Zusammenhang mit Gepäckstücken können sich beim Beladen eines Fahrzeugs stellen. Beispielsweise können zu transportierende Gepäckstücke eine Transportkapazität des Fahrzeugs übersteigen.Other baggage-related problems can arise when loading a vehicle. For example, items of luggage to be transported can exceed a transport capacity of the vehicle.

DE 10 2011 016 641 A1 offenbart ein System und Verfahren zum Unterstützen eines Beladens eines Fahrzeugs. Bei dem Verfahren erfasst eine Kamera eines Mobiltelefons vorab ein Bild eines oder Bilder mehrerer zu transportierender Objekte. Ausgehend von dem erfassten Bild oder den erfassten Bildern prognostiziert ein Steuergerät des Fahrzeugs eine Größe und/oder eine Masse jedes Objekts und vergleicht die prognostizierten Größen und/oder Massen mit einer Transportkapazität des Fahrzeugs, wobei auch eine Stapelbarkeit der Objekte berücksichtigt werden kann. Das Ergebnis des Vergleichs wird von dem Mobiltelefon angezeigt. DE 10 2011 016 641 A1 discloses a system and method for assisting loading of a vehicle. In the method, a camera of a mobile phone captures an image in advance of one or more objects to be transported. Based on the captured image or the captured images, a control unit of the vehicle predicts a size and / or a mass of each object and compares the predicted sizes and / or masses with a transport capacity of the vehicle, whereby stackability of the objects can also be taken into account. The result of the comparison is displayed on the mobile phone.

Das vorstehende Verfahren beruht auf vor einem Beladen prognostizierten Größen. Alternativ dazu kann ein Beladen des Fahrzeugs auch währenddessen überwacht und gesteuert werden.The above method is based on predicted quantities prior to loading. Alternatively, the loading of the vehicle can also be monitored and controlled during this.

So offenbart DE 10 2015 003 934 A1 ein System und Verfahren zum Unterstützen eines Beladens eines Fahrzeugs. Bei dem Verfahren erfassen eine Kamera und/oder eine Wiegeeinrichtung des Fahrzeugs eine Größe und/oder eine Masse eines oder mehrerer Objekte in einem Heckbereich eines Fahrzeugs. Eine Anzeigeeinheit im Heckbereich zeigt die erfassten Größen und/oder Massen der Objekte an und kann auch einen Packplan für die Objekte anzeigen. Zudem ermöglicht das System ein Erkennen eines Verrutschens von Objekten während einer Fahrt des Fahrzeugs und Ausgeben einer entsprechenden Warnung.So revealed DE 10 2015 003 934 A1 a system and method for assisting loading of a vehicle. In the method, a camera and / or a weighing device of the vehicle detect a size and / or a mass of one or more objects in a rear area of a vehicle. A display unit in the rear area shows the recorded sizes and / or masses of the objects and can also display a packing plan for the objects. In addition, the system enables the detection of slipping of objects while the vehicle is in motion and the output of a corresponding warning.

Die vorstehenden Systeme und Verfahren bieten allerdings keine ausreichende Genauigkeit beim Bestimmen von Gepäckstücken, um weitergehende Funktionen des Fahrzeugs im Zusammenhang mit transportierten Gepäckstücken vorzusehen. Unter einer Bestimmung eines Gepäckstücks im Sinne der Erfindung ist ein Ermitteln einer Größe und/oder einer Masse des Gepäckstücks zu verstehen.However, the above systems and methods do not offer sufficient accuracy when determining items of luggage in order to provide further functions of the vehicle in connection with items of luggage being transported. A determination of an item of luggage within the meaning of the invention is to be understood as determining a size and / or a mass of the item of luggage.

Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Bestimmen eines in einem Fahrzeug zu transportierenden Gepäckstücks vorzuschlagen, welches eine Größe und/oder eine Masse des in einem Kofferraum des Fahrzeugs angeordneten Gepäckstücks mit hoher Genauigkeit ermittelt. Weitere Aufgaben der Erfindung bestehen darin, ein System zum Bestimmen eines in einem Fahrzeug zu transportierenden Gepäckstücks und ein Fahrzeug bereitzustellen.The invention is therefore based on the object of proposing an improved method for determining an item of luggage to be transported in a vehicle, which method determines a size and / or a mass of the item of luggage arranged in a trunk of the vehicle with high accuracy. Further objects of the invention are to provide a system for determining an in to provide a vehicle to be transported baggage and a vehicle.

Ein Gegenstand der vorliegenden Erfindung ist ein Verfahren zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks, bei dem eine in einen Kofferraum eines Fahrzeugs gerichtete Kamera ein Bild von einem in dem Kofferraum des Fahrzeugs angeordneten Gepäckstücks erfasst und bereitstellt und ein Sensor eines Fahrwerks des Fahrzeugs einen Wert einer von einer Masse des Gepäckstücks abhängigen physikalischen Größe des Fahrwerks erfasst und den erfassten Wert als ein Sensorsignal bereitstellt. Das Fahrwerk kann als ein Aktivfahrwerk mit einer entsprechenden Sensorik ausgebildet sein. Beispielsweise können Stoßdämpfer des Fahrwerks Sensoren umfassen, welche einen Federweg des jeweiligen Stoßdämpfers messen. Der Federweg ist ein Maß für eine in einer Dämpfungsrichtung auf den Stoßdämpfer einwirkende Kraft. Ein in dem Kofferraum angeordnetes Gepäckstück komprimiert einen oder mehrere Stoßdämpfer des Fahrwerks aufgrund seiner Masse.The present invention relates to a method for determining an item of luggage transported in a vehicle, in which a camera directed into a trunk of a vehicle captures and provides an image of an item of luggage arranged in the trunk of the vehicle and a sensor of a chassis of the vehicle provides a value detects a physical variable of the chassis that is dependent on a mass of the item of luggage and provides the detected value as a sensor signal. The chassis can be designed as an active chassis with a corresponding sensor system. For example, shock absorbers of the chassis can include sensors which measure a spring deflection of the respective shock absorber. The spring travel is a measure of a force acting on the shock absorber in a damping direction. A piece of luggage arranged in the trunk compresses one or more shock absorbers of the chassis due to its mass.

Bei dem erfindungsgemäßen Verfahren ermittelt ein Steuergerät des Fahrzeugs aus dem bereitgestellten Bild und aus einem Zeitverlauf des bereitgestellten Sensorsignals während einer Fahrt des Fahrzeugs eine Größe und eine Masse des Gepäckstücks. Kurz gesagt beruht das Verfahren auf einem dynamischen Ermitteln der Masse des Gepäckstücks. Das dynamische Ermitteln erhöht die Genauigkeit der ermittelten Masse, da statische Fehlerquellen, welche beispielsweise infolge einer bestimmten Parksituation des Fahrzeugs auftreten können, ausgeschlossen sind. Dank einer Vielzahl von unterschiedlichen Fahrsituationen des Fahrzeugs während der Fahrt wird ein statistischer Fehler der ermittelten Masse des Gepäckstücks verringert. Das Steuergerät kann als ein dediziertes Steuergerät ausgebildet sein. Alternativ dazu kann ein bereits in dem Fahrzeug vorhandenes Steuergerät verwendet werden.In the method according to the invention, a control unit of the vehicle determines a size and a mass of the item of luggage from the image provided and from a time curve of the sensor signal provided while the vehicle is driving. In short, the method is based on a dynamic determination of the mass of the item of luggage. The dynamic determination increases the accuracy of the determined mass, since static sources of error, which can occur, for example, as a result of a certain parking situation of the vehicle, are excluded. Thanks to a large number of different driving situations of the vehicle while driving, a statistical error in the determined mass of the item of luggage is reduced. The control device can be designed as a dedicated control device. Alternatively, a control device that is already present in the vehicle can be used.

Bei einer bevorzugten Ausführungsform wird die Größe und die Masse des Gepäckstücks von einem von dem Steuergerät ausgeführten tiefen neuronalen Netz (Deep Neuronal Network, DNN), welches das bereitgestellte Bild und den Zeitverlauf des bereitgestellten Sensorsignals als Eingabe erhält, ermittelt. Mit anderen Worten werden die Größe und die Masse des Gepäckstücks mittels künstlicher Intelligenz (KI, englisch: Artificial Intelligence, AI) ermittelt. Das neuronale Netz weist eine Vielzahl verborgener Schichten auf, welche ein Verarbeiten von komplexen Eingaben wie Bildinformationen und Zeitverläufen ermöglichen, und kann insbesondere eine YOLO (You Only Look Once)-Architektur zur Echtzeiterfassung von Objekten aufweisen. Während des produktiven Einsatzes des neuronalen Netzes findet ein weiteres Lernen des tiefen neuronalen Netzes nicht statt, d. h. ein Wissensstand des tiefen neuronalen Netzes bleibt während des produktiven Einsatzes konstant.In a preferred embodiment, the size and the mass of the item of luggage are determined by a deep neural network (Deep Neural Network, DNN) executed by the control device, which receives the provided image and the timing of the provided sensor signal as input. In other words, the size and mass of the piece of luggage are determined by means of artificial intelligence (AI). The neural network has a large number of hidden layers that enable processing of complex inputs such as image information and time sequences, and can in particular have a YOLO (You Only Look Once) architecture for real-time detection of objects. During the productive use of the neural network, there is no further learning of the deep neural network; H. a level of knowledge of the deep neural network remains constant during productive use.

In manchen Ausführungsformen unterteilt ein von dem Steuergerät ausgeführter Präprozessor eine Fahrzeit des Fahrzeugs in eine Mehrzahl von Zeitintervallen, transformiert den Zeitverlauf des bereitgestellten Sensorsignals durch Berechnen einer Mehrzahl von Werten, welche jeweils die Werte des Sensorsignals in genau einem Zeitintervall charakterisieren, und bildet eine die charakterisierenden Werte umfassende und die Fahrt des Fahrzeugs charakterisierende Tabelle. Auf diese Weise lässt sich die große Menge der von dem Sensor während der Fahrt des Fahrzeugs übertragenen Werte verdichten. Ein charakterisierender Wert kann beispielsweise ein Minimalwert, Maximalwert oder Mittelwert des Zeitintervalls oder ein über eine Fourier-Transformation berechnetes Frequenzspektrum des Zeitintervalls sein. Eine Tabelle als zweidimensionale Anordnung der charakterisierenden Werte eignet sich für eine Mustererkennung durch das tiefe neuronale Netz in besonderer Weise.In some embodiments, a preprocessor executed by the control unit divides a driving time of the vehicle into a plurality of time intervals, transforms the time curve of the provided sensor signal by calculating a plurality of values which each characterize the values of the sensor signal in exactly one time interval, and forms one of the characterizing ones Table that includes values and characterizes the journey of the vehicle. In this way, the large amount of values transmitted by the sensor while the vehicle is in motion can be compressed. A characterizing value can be, for example, a minimum value, maximum value or mean value of the time interval or a frequency spectrum of the time interval calculated using a Fourier transformation. A table as a two-dimensional arrangement of the characterizing values is particularly suitable for pattern recognition through the deep neural network.

In einer vorteilhaften Ausführungsform wird das tiefe neuronale Netz während einer Mehrzahl von Fahrten des Fahrzeugs anhand einer Mehrzahl von vorbestimmten Gepäckstücken, welche jeweils eine bekannte Größe und eine bekannte Masse aufweisen und an einer Mehrzahl von verschiedenen Positionen in dem Kofferraum angeordnet werden, mittels eines überwachten Lernens vorab trainiert. Das tiefe neuronale Netz wird also vor dem produktiven Einsatz mittels eines sogenannten überwachten Lernenvorgangs (supervised learning) solange trainiert, bis eine Fehlerwahrscheinlichkeit beim Erfassen der vorbestimmten Gepäckstücke einen vorbestimmten Wert unterschreitet. Auf diese Weise kann mit einem entsprechend hohen Trainingsaufwand eine nahezu beliebige Genauigkeit der Gepäckstückerfassung erreicht werden.In an advantageous embodiment, the deep neural network is monitored during a plurality of journeys of the vehicle using a plurality of predetermined pieces of luggage, each of which has a known size and a known mass and is arranged at a plurality of different positions in the trunk trained in advance. The deep neural network is trained prior to productive use by means of a so-called supervised learning process until an error probability when detecting the predetermined items of luggage falls below a predetermined value. In this way, with a correspondingly high training effort, almost any accuracy of the baggage item detection can be achieved.

Besonders bevorzugt erfasst eine Mehrzahl von Kameras Bilder von einer Mehrzahl von in dem Kofferraum des Fahrzeugs angeordneten Gepäckstücken und stellt diese bereit und ermittelt das Steuergerät die Größe und die Masse jedes Gepäckstücks. Dank der Mehrzahl von Kameras wird ein wechselseitiges Verdecken mehrerer Gepäckstücke weitgehend ausgeschlossen oder zumindest verringert, so dass eine Gefahr eines Übersehens eines Gepäckstücks oder einer Fehlerfassung eines Gepäckstücks reduziert ist.Particularly preferably, a plurality of cameras captures images of a plurality of items of luggage arranged in the trunk of the vehicle and provides them and the control device determines the size and mass of each item of luggage. Thanks to the plurality of cameras, mutual concealment of several pieces of luggage is largely excluded or at least reduced, so that the risk of overlooking a piece of luggage or of incorrectly detecting a piece of luggage is reduced.

Eine Anzeigeeinheit des Fahrzeugs kann die Größe und die Masse jedes in dem Kofferraum angeordneten Gepäckstücks anzeigen. Die Anzeigeeinheit bietet einem Insassen des Fahrzeugs auf diese Weise einen guten Überblick über sämtliche in dem Kofferraum angeordneten Gepäckstücke. Bevorzugt handelt es sich bei der Anzeigeeinheit um eine Mensch-Maschine-Schnittstelle (Human Machine Interface, HMI) eines Infotainmentsystems des Fahrzeugs.A display unit of the vehicle can display the size and the mass of each item of luggage arranged in the trunk. In this way, the display unit offers an occupant of the vehicle a good overview of everything in luggage arranged in the trunk. The display unit is preferably a human-machine interface (HMI) of an infotainment system of the vehicle.

Vorteilhaft verknüpft das Steuergerät jedes erfasste Gepäckstück mit einem geplanten Flug eines Insassen des Fahrzeugs und stellt ausgehend von der ermittelten Größe und der ermittelten Masse jedes Gepäckstücks eine Zulässigkeit des Gepäckstücks als ein Handgepäck oder ein Aufgabegepäck fest und zeigt die Zulässigkeit in Form eines Zulässigkeitssymbols an und stellt auf der Anzeigeeinheit einen Buchungsknopf bereit, falls ein Gepäckstück für den geplanten Flug unzulässig ist. Dies ist ein Beispiel für einen weitergehenden Service im Zusammenhang mit Gepäckstücken, welcher dank der hohen Genauigkeit der Gepäckstückerfassung ermöglicht ist. Es versteht sich, dass der Buchungsknopf in üblicher Weise zu einem Buchungsportal einer Fluggesellschaft führt, auf welchem beispielsweise noch während der Fahrt ein zusätzliches Handgepäck und/oder Aufgabegepäck gebucht werden kann. Alternativ dazu kann der Insasse aufgrund der Anzeige ein als unzulässig festgestelltes Gepäckstück durch Umpacken oder Auspacken zulässig machen.The control device advantageously links each detected piece of luggage with a planned flight of an occupant of the vehicle and, based on the determined size and the determined mass of each piece of luggage, determines whether the piece of luggage is permitted as hand luggage or checked baggage, and displays and provides the authorization in the form of an authorization symbol a booking button on the display unit in case a piece of luggage is not permitted for the planned flight. This is an example of a more extensive service in connection with items of baggage, which is made possible thanks to the high accuracy of the baggage detection. It goes without saying that the booking button leads in the usual way to an airline's booking portal, on which, for example, additional hand luggage and / or checked baggage can be booked while driving. Alternatively, on the basis of the notification, the occupant can make a piece of luggage that has been determined to be inadmissible permissible by repacking or unpacking.

Gegenstand der Erfindung ist auch ein System zum Bestimmen eines in einem Fahrzeug transportierten Gepäckstücks, welches eine Kamera, welche in einen Kofferraum eines Fahrzeugs gerichtet ist und konfiguriert ist, ein Bild eines in dem Kofferraum angeordneten Gepäckstücks zu erfassen und bereitzustellen, und ein Fahrwerk mit einem Sensor, welcher konfiguriert ist, einen Wert einer von einer Masse des Gepäckstücks abhängigen physikalischen Größe des Fahrwerks zu erfassen und den Wert als ein Sensorsignal bereitzustellen, umfasst. Die Erfindung eignet sich demnach für jedes Fahrzeug mit einem Aktivfahrwerk und zumindest einer in dem Kofferraum angeordneten und in diesen gerichteten Kamera. Entsprechend lässt sich das erfindungsgemäße System einfach in einer Vielzahl von Fahrzeugen montieren.The invention also relates to a system for determining an item of luggage transported in a vehicle, which system comprises a camera which is directed into a trunk of a vehicle and is configured to capture and provide an image of an item of luggage arranged in the trunk, and a chassis with a A sensor which is configured to detect a value of a physical variable of the chassis that is dependent on a mass of the item of luggage and to provide the value as a sensor signal. The invention is therefore suitable for any vehicle with an active chassis and at least one camera arranged in the trunk and directed into it. Accordingly, the system according to the invention can be easily installed in a large number of vehicles.

Erfindungsgemäß umfasst das System ein Steuergerät mit einem tiefen neuronalen Netz, welches konfiguriert ist, aus dem bereitgestellten Bild und einem Zeitverlauf des bereitgestellten Sensorsignals während einer Fahrt des Fahrzeugs eine Größe und eine Masse des Gepäckstücks zu ermitteln. Das tiefe neuronale Netz ermöglicht eine dynamische Erfassung der transportierten Gepäckstücke mit einer hohen Genauigkeit, welche auch weitergehende Services im Zusammenhang mit in dem Fahrzeug transportierten Gepäckstücken erlaubt.According to the invention, the system comprises a control device with a deep neural network which is configured to determine a size and a mass of the item of luggage from the image provided and a time curve of the sensor signal provided while the vehicle is traveling. The deep neural network enables dynamic detection of the transported items of luggage with a high level of accuracy, which also allows further services in connection with items of luggage transported in the vehicle.

Besonders bevorzugt ist das System konfiguriert, ein erfindungsgemäßes Verfahren auszuführen.The system is particularly preferably configured to carry out a method according to the invention.

Ein weiterer Gegenstand der Erfindung ist ein Fahrzeug, mit einem erfindungsgemäßen System zum Bestimmen eines in einem Kofferraum des Fahrzeugs transportierten Gepäckstücks. Das Fahrzeug weist einen hinsichtlich in dem Kofferraum transportierter Gepäckstücke erweiterten Funktionsumfang auf, was mit einer größeren Zufriedenheit der Insassen des Fahrzeugs einhergeht.Another subject matter of the invention is a vehicle with a system according to the invention for determining an item of luggage transported in a trunk of the vehicle. The vehicle has an expanded range of functions with regard to items of luggage transported in the trunk, which is associated with greater satisfaction for the occupants of the vehicle.

Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht in einer hohen Genauigkeit, mit der eine Größe und/oder Masse eines in einem Kofferraum eines Fahrzeugs transportierten Gepäckstücks ermittelt wird. Die hohe Genauigkeit ermöglicht einen erweiterten Funktionsumfang mit weitergehenden Services im Zusammenhang mit transportierten Gepäckstücken.An essential advantage of the method according to the invention is the high accuracy with which a size and / or mass of an item of luggage transported in a trunk of a vehicle is determined. The high level of accuracy enables an extended range of functions with further services in connection with transported luggage.

Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird unter Bezugnahme auf die Zeichnungen weiter beschrieben. Es zeigt:

  • 1 in einer schematischen Darstellung eine perspektivische teilweise Hintenansicht eines Fahrzeugs nach einer Ausführungsform der Erfindung;
  • 2 in einem Blockschaltbild ein Steuergerät eines Systems nach einer Ausführungsform der Erfindung zum Bestimmen eines Gepäckstücks in einem Kofferraum des in 1 gezeigten Fahrzeugs;
  • 3 in einer schematischen Darstellung eine teilweise Draufsicht auf ein Armaturenbrett des in 1 gezeigten Fahrzeugs;
  • 4 in einer schematischen Darstellung eine vergrößerte Detailansicht einer Anzeigeeinheit des in 3 gezeigten Armaturenbretts.
The invention is shown schematically on the basis of embodiments in the drawings and is described further with reference to the drawings. It shows:
  • 1 in a schematic representation a perspective partial rear view of a vehicle according to an embodiment of the invention;
  • 2 in a block diagram of a control unit of a system according to an embodiment of the invention for determining an item of luggage in a trunk of the in 1 shown vehicle;
  • 3 in a schematic representation a partial plan view of a dashboard of the in 1 shown vehicle;
  • 4th in a schematic representation an enlarged detailed view of a display unit of the in 3 dashboard shown.

Die Figuren werden übergreifend beschrieben, gleichen Komponenten sind gleiche Bezugszeichen zugeordnet.The figures are described comprehensively, the same components are assigned the same reference symbols.

1 zeigt in einer schematischen Darstellung eine perspektivische teilweise Hintenansicht eines Fahrzeugs 10 nach einer Ausführungsform der Erfindung. Das Fahrzeug 10 umfasst einen mit einem Kofferraumdeckel 21 verschließbaren Kofferraum und ein System 70 (s. auch 2) zum Bestimmen zweier in einem Kofferraum 20 des Fahrzeugs 10 transportierter Gepäckstücke 41, 42, hier eines Koffers bzw. einer Handtasche. Selbstverständlich erlaubt das System 70 auch das Bestimmen genau eines Gepäckstücks oder von mehr als zwei Gepäckstücken in dem Kofferraum 20. Zu dem Fahrzeug 10 gehört auch ein hier nicht sichtbares Armaturenbrett 50 (s. 3). 1 shows a schematic representation of a perspective partial rear view of a vehicle 10 according to one embodiment of the invention. The vehicle 10 includes one with a trunk lid 21st lockable trunk and a system 70 (see also 2 ) to determine two in a trunk 20th of the vehicle 10 transported luggage 41 , 42 , here a suitcase or a handbag. Of course the system allows 70 also the determination of exactly one piece of luggage or more than two pieces of luggage in the trunk 20th . To the vehicle 10 also includes a dashboard that is not visible here 50 (see 3 ).

Das System 70 umfasst drei Kameras 22, welche in dem Kofferraum 20 angeordnet und in den Kofferraum 20 gerichtet sind. Die Kameras 22 sind konfiguriert, Bilder 71 (siehe 2) der in dem Kofferraum 20 angeordneten Gepäckstücke 41, 42 zu erfassen und bereitzustellen. Selbstverständlich kann bei Bedarf eine nicht gezeigte Beleuchtungseinrichtung zum Beleuchten der Gepäckstücke 41, 42 in dem Kofferraum 20 vorgesehen sein.The system 70 includes three cameras 22nd which in the trunk 20th arranged and in the trunk 20th are directed. The cameras 22nd are configured images 71 (please refer 2 ) the one in the trunk 20th arranged luggage 41 , 42 to record and provide. Of course, if necessary, a lighting device (not shown) can be used to illuminate the items of luggage 41 , 42 in the trunk 20th be provided.

Ferner umfasst das System 70 ein als Aktivfahrwerk ausgebildetes Fahrwerk 30 mit einer Mehrzahl von Stoßdämpfern 31 und einer entsprechenden Mehrzahl von jeweils einem Stoßdämpfer 31 zugeordneten Rädern 32. Jeder Stoßdämpfer 31 umfasst einen Sensor 31a, welcher konfiguriert ist, einen Wert einer von einer Masse 61d, 62d (siehe 4) des Gepäckstücks 41, 42 abhängigen physikalischen Größe des Fahrwerks 30 zu erfassen und den Wert als ein Sensorsignal 72 bereitzustellen.The system also includes 70 a chassis designed as an active chassis 30th with a plurality of shock absorbers 31 and a corresponding plurality of each one shock absorber 31 assigned wheels 32 . Any shock absorber 31 includes a sensor 31a , which is configured, a value of one of a mass 61d , 62d (please refer 4th ) of the bag 41 , 42 dependent physical size of the chassis 30th to capture and the value as a sensor signal 72 to provide.

Die Erfindung ist allerdings nicht auf drei Kameras und Stoßdämpfersensoren beschränkt, sondern lässt sich ohne Weiteres auch mit einer abweichenden Anzahl von Kameras oder anderen Sensoren des Fahrwerks 30 ausführen. Zu dem System 70 gehört auch ein hier nicht sichtbares Steuergerät 73 (s. 2).However, the invention is not limited to three cameras and shock absorber sensors, but can easily be used with a different number of cameras or other sensors of the chassis 30th To run. To the system 70 also includes a control unit that is not visible here 73 (see 2 ).

2 zeigt in einem Blockschaltbild das Steuergerät 73 des Systems 70 zum Bestimmen eines Gepäckstücks 41, 42 in dem Kofferraum 20 des in 1 gezeigten Fahrzeugs 10. Das Steuergerät 73 umfasst ein tiefes neuronales Netz (DNN) 73b, welches eine YOLO-Architektur aufweisen kann und konfiguriert ist, aus den bereitgestellten Bildern 71 und Zeitverläufen 72a der bereitgestellten Sensorsignale 72 während einer Fahrt des Fahrzeugs 10 Größen 61a, 62a und Massen 61d, 62d der Gepäckstücke 41, 42 zu ermitteln. Ferner umfasst das Steuergerät 73 eine Präprozessor 73a, welcher konfiguriert ist, eine Fahrzeit des Fahrzeugs 10 in eine Mehrzahl von Zeitintervallen zu unterteilen, die Zeitverläufe 72a der bereitgestellten Sensorsignale 72 durch Berechnen einer Mehrzahl von Werten zu transformieren, welche jeweils die Werte der Sensorsignale 72 in genau einem Zeitintervall charakterisieren und aus den charakterisierenden Werten eine die charakterisierenden Werte umfassende und die Fahrt des Fahrzeugs 10 charakterisierende Tabelle 72b zu bilden. 2 shows the control unit in a block diagram 73 of the system 70 for determining an item of luggage 41 , 42 in the trunk 20th of the in 1 shown vehicle 10 . The control unit 73 includes a deep neural network (DNN) 73b , which can have a YOLO architecture and is configured, from the images provided 71 and time courses 72a of the provided sensor signals 72 while driving the vehicle 10 Sizes 61a , 62a and crowds 61d , 62d the luggage 41 , 42 to determine. The control device also includes 73 a preprocessor 73a which is configured, a travel time of the vehicle 10 to subdivide the time courses into a plurality of time intervals 72a of the provided sensor signals 72 by calculating a plurality of values, each of which is the values of the sensor signals 72 characterize in exactly one time interval and from the characterizing values one comprising the characterizing values and the journey of the vehicle 10 characterizing table 72b.

3 zeigt in einer schematischen Darstellung eine teilweise Draufsicht auf das Armaturenbrett 50 des in 1 gezeigten Fahrzeugs 10. Das Armaturenbrett 50 umfasst in der üblichen Weise ein Lenkrad 51, eine hinter dem Lenkrad 51 angeordnete und für einen Fahrer des Fahrzeugs 10 durch das Lenkrad 51 hindurch sichtbare Instrumentenanzeigeeinheit 52, eine Mittelkonsole 53 und eine in einem oberen Bereich der Mittelkonsole 53 angeordnete und als Mensch-Maschine-Schnittstelle (Human Machine Interface, HMI) ausgebildete Anzeigeeinheit 54 eines Infotainmentsystems des Fahrzeugs 10. Diese Ausgestaltung des Armaturenbrettes 50 dient lediglich als Beispiel und schränkt die Erfindung in keiner Weise ein, d. h. die Erfindung ist ohne Weiteres mit abweichenden Ausgestaltungen des Armaturenbretts 50 kombinierbar, welche eine Anzeigeeinheit umfassen. 3 shows a schematic representation of a partial plan view of the dashboard 50 of the in 1 shown vehicle 10 . The dashboard 50 includes a steering wheel in the usual way 51 , one behind the wheel 51 arranged and for a driver of the vehicle 10 through the steering wheel 51 Instrument display unit visible through 52 , a center console 53 and one in an upper area of the center console 53 arranged and designed as a human-machine interface (HMI) 54 an infotainment system of the vehicle 10 . This configuration of the dashboard 50 serves only as an example and does not restrict the invention in any way, ie the invention is readily available with different configurations of the dashboard 50 can be combined, which comprise a display unit.

Das System 70 ist konfiguriert, das folgende Verfahren auszuführen.The system 70 is configured to perform the following procedure.

Zum Bestimmen der in dem Fahrzeug 10 transportierten Gepäckstücke 41, 42 erfassen die drei in den Kofferraum 20 des Fahrzeugs 10 gerichteten Kameras 22 Bilder 71 von den in dem Kofferraum 20 des Fahrzeugs 10 angeordneten Gepäckstücken 41, 42 und stellen diese bereit. Ferner erfassen die Sensoren 31a des Fahrwerks 30 des Fahrzeugs 10 Werte einer von den Massen 61d, 62d der Gepäckstücke 41, 42 abhängigen physikalischen Größe des Fahrwerks 30, beispielsweise eines Federwegs jedes Stoßdämpfers 31, und stellen die erfassten Werte als Sensorsignale 72 bereit. Das Bereitstellen der Bilder 71 und der Sensorsignale 72 kann in einer üblichen Weise über einen Fahrzeugbus (CAN) erfolgen.To determine the in the vehicle 10 transported luggage 41 , 42 capture the three in the trunk 20th of the vehicle 10 directional cameras 22nd photos 71 of the ones in the trunk 20th of the vehicle 10 arranged luggage 41 , 42 and provide them. The sensors also record 31a of the chassis 30th of the vehicle 10 Values one of the masses 61d , 62d the luggage 41 , 42 dependent physical size of the chassis 30th , for example, a travel of each shock absorber 31 , and present the recorded values as sensor signals 72 ready. Providing the images 71 and the sensor signals 72 can be done in a conventional manner via a vehicle bus (CAN).

Das Steuergerät 73 des Fahrzeugs 10 ermittelt aus dem bereitgestellten Bild 71 und aus den Zeitverläufen 72a der bereitgestellten Sensorsignale 72 während einer Fahrt des Fahrzeugs 10 eine Größe 61a, 62a und eine Masse 61d, 62d jedes Gepäckstücks 41, 42. Dazu führt das Steuergerät 73 das tiefe neuronale Netz 73b aus, welches die bereitgestellten Bilder 71 und - nach einer Vorverarbeitung - die Zeitverläufe 72a der bereitgestellten Sensorsignale 72 als Eingabe erhält.The control unit 73 of the vehicle 10 determined from the image provided 71 and from the time courses 72a of the provided sensor signals 72 while driving the vehicle 10 one size 61a , 62a and a crowd 61d , 62d every piece of luggage 41 , 42 . The control unit leads to this 73 the deep neural network 73b from which the provided images 71 and - after preprocessing - the time courses 72a of the provided sensor signals 72 received as input.

Vor einem Auswerten der Zeitverläufe 72a durch das tiefe neuronale Netz 73 unterteilt ein ebenfalls von dem Steuergerät 73 ausgeführter Präprozessor 73a im Rahmen einer Vorverarbeitung eine Fahrzeit des Fahrzeugs 10 in eine Mehrzahl von Zeitintervallen und transformiert die Zeitverläufe 72a der bereitgestellten Sensorsignale 72 durch Berechnen einer Mehrzahl von Werten, welche jeweils die Werte der Sensorsignale 72 in genau einem Zeitintervall charakterisieren. Dann bildet der Präprozessor 73a aus den charakterisierenden Werten eine die charakterisierenden Werte umfassende und die Fahrt des Fahrzeugs 10 charakterisierende Tabelle 72b, welche als Eingabe für das tiefe neuronale Netz 73b dient.Before evaluating the time courses 72a through the deep neural network 73 also divided by the control unit 73 executed preprocessor 73a a travel time of the vehicle as part of preprocessing 10 into a plurality of time intervals and transforms the time courses 72a of the provided sensor signals 72 by calculating a plurality of values each representing the values of the sensor signals 72 characterize in exactly one time interval. Then the preprocessor forms 73a from the characterizing values one comprising the characterizing values and the journey of the vehicle 10 characterizing table 72b which is used as input for the deep neural network 73b serves.

Vor einem ersten produktiven Einsatz des Systems 70 wird das tiefe neuronale Netz 73b während einer Mehrzahl von Fahrten des Fahrzeugs 10 anhand einer Mehrzahl von vorbestimmten Gepäckstücken 41, 42 mittels eines überwachten Lernens in bekannter Weise trainiert. Die zum Trainieren verwendeten vorbestimmten Gepäckstücke 41, 42 weisen jeweils eine bekannte Größe 61a, 62a und eine bekannte Masse 61d, 62d auf und werden jeweils in unterschiedlichen Kombinationen und an einer Mehrzahl von verschiedenen Positionen in dem Kofferraum 20 angeordnet. Es wird angemerkt, dass der Wissensstand des tiefen neuronalen Netzes 73b nach einem Abschluss des überwachten Lernens konstant bleibt. Während des produktiven Einsatzes des Systems 70 lernt das System 70 nicht weiter.Before the first productive use of the system 70 becomes the deep neural network 73b during a plurality of journeys of the vehicle 10 based on a plurality of predetermined pieces of luggage 41 , 42 by means of supervised learning trained in a known way. The predetermined pieces of luggage used for exercise 41 , 42 each have a known size 61a , 62a and a known crowd 61d , 62d and are each in different combinations and at a plurality of different positions in the trunk 20th arranged. It is noted that the level of knowledge of the deep neural network 73b remains constant after supervised learning is completed. During the productive use of the system 70 the system learns 70 not further.

Eine oder jede der Anzeigeeinheiten 52, 54 des Fahrzeugs 10 zeigt die ermittelte Größe 61a, 62a und die ermittelte Masse 61d, 62d jedes in dem Kofferraum 20 angeordneten Gepäckstücks 41, 42 an.One or each of the display units 52 , 54 of the vehicle 10 shows the determined size 61a , 62a and the determined mass 61d , 62d each in the trunk 20th arranged piece of luggage 41 , 42 at.

4 zeigt in einer schematischen Darstellung eine vergrößerte Detailansicht einer Anzeigeeinheit 52, 54 des in 3 gezeigten Armaturenbretts 50. Das Steuergerät 73 verknüpft hier beispielhaft jedes erfasste Gepäckstück 41, 42 mit einem geplanten Flug 63a eines Insassen des Fahrzeugs 10. Die Anzeigeeinheit 52, 54 zeigt entsprechend einen Anzeigeinhalt 60 an, welcher jeweils einen Gepäckstückeintrag 61, 62 für jedes Gepäckstück 41, 42 in dem Kofferraum 20 sowie einen zu dem geplanten Flug 63a passenden Flugeintrag 63 umfasst. 4th shows in a schematic representation an enlarged detailed view of a display unit 52 , 54 of the in 3 dashboard shown 50 . The control unit 73 links each piece of baggage recorded here as an example 41 , 42 with a scheduled flight 63a of an occupant of the vehicle 10 . The display unit 52 , 54 shows a display content accordingly 60 which each have a baggage entry 61 , 62 for every piece of luggage 41 , 42 in the trunk 20th as well as one for the planned flight 63a matching flight entry 63 includes.

Jeder Gepäckstückeintrag weist die ermittelte Größe 61a, 62a, eine gebuchte Aufgabeart 61b, 62b, ein Zulässigkeitssymbol 61c, 62c und die ermittelte Masse 61d, 62d des jeweiligen Gepäckstücks 41, 42 auf. Der Flugeintrag 63 weist eine geplante Flugnummer 63a und einen Buchungsknopf 63b auf, welcher von dem Steuergerät 73 bereitgestellt wird, falls ein Gepäckstück 41, 42 für den geplanten Flug unzulässig ist.Each bag entry has the determined size 61a , 62a , a posted task type 61b , 62b , an allowance symbol 61c , 62c and the determined mass 61d , 62d of the respective piece of luggage 41 , 42 on. The flight entry 63 assigns a scheduled flight number 63a and a booking button 63b on which of the control unit 73 provided if one piece of luggage 41 , 42 is not permitted for the planned flight.

Ausgehend von der ermittelten Größe 61a, 62a und der ermittelten Masse 61d, 62d jedes Gepäckstücks 41, 42 stellt das Steuergerät 73 eine Zulässigkeit jedes Gepäckstücks 41, 42 als ein Handgepäck 61b, 62b oder ein Aufgabegepäck fest und zeigt die Zulässigkeit in Form eines Zulässigkeitssymbols 61c, 62c an. In dem gezeigten Beispiel ist das Gepäckstück 41 in Form eines Koffers nicht als Handgepäck zugelassen, weshalb der Flugeintrag 63 den Buchungsknopf 63b aufweist. Durch Betätigen des Buchungsknopfs 63b gelangt ein Insasse des Fahrzeugs 10 zu einem Buchungsportal der entsprechenden Fluggesellschaft, wo er während der Fahrt des Fahrzeugs 10 eine Umbuchung durchführen kann. Alternativ kann der Insasse das unzulässige Gepäckstück 41 auspacken oder umpacken, um seine Zulässigkeit als Handgepäck herzustellen.Based on the determined size 61a , 62a and the determined mass 61d , 62d every piece of luggage 41 , 42 represents the control unit 73 an allowance for each piece of luggage 41 , 42 than hand luggage 61b , 62b or a checked baggage and shows the admissibility in the form of an admissibility symbol 61c , 62c at. In the example shown, the bag is 41 in the form of a suitcase not allowed as hand luggage, which is why the flight entry 63 the booking button 63b having. By pressing the booking button 63b an occupant of the vehicle arrives 10 to a booking portal of the relevant airline, where he can find him while driving the vehicle 10 can carry out a rebooking. Alternatively, the occupant can check the unauthorized bag 41 Unpack or repackage in order to allow it as hand luggage.

Die hier gezeigte Verknüpfung mit einem geplanten Flug zeigt lediglich beispielhaft einen weitergehenden Service, welcher von dem erfindungsgemäßen System 70 ermöglicht wird. Selbstverständlich eignet sich das System 70 auch für andersartige weitergehende Services, welche ein Bestimmen transportierter Gepäckstücke 41, 42 mit einer hohen Genauigkeit voraussetzen.The link shown here with a planned flight merely shows an example of a more extensive service provided by the system according to the invention 70 is made possible. The system is of course suitable 70 also for other types of further services that determine the transported luggage 41 , 42 with a high degree of accuracy.

BezugszeichenlisteList of reference symbols

1010
Fahrzeugvehicle
2020th
KofferraumTrunk
2121st
Kofferraumdeckeltrunk lid
2222nd
Kameracamera
3030th
Fahrwerklanding gear
3131
StoßdämpferShock absorbers
31a31a
Sensorsensor
3232
Radwheel
4141
GepäckstückPiece of luggage
4242
GepäckstückPiece of luggage
5050
Armaturenbrettdashboard
5151
Lenkradsteering wheel
5252
InstrumentenanzeigeeinheitInstrument display unit
5353
MittelkonsoleCenter console
5454
InfotainmentanzeigeeinheitInfotainment display unit
6060
AnzeigeinhaltDisplay content
6161
GepäckstückeintragBaggage entry
61a61a
GepäckgrößeLuggage size
61b61b
Art der GepäckaufgabeType of baggage check
61c61c
ZulässigkeitssymbolAcceptance symbol
61d61d
GepäckmasseLuggage mass
6262
GepäckstückeintragBaggage entry
62a62a
GepäckgrößeLuggage size
62b62b
Art der GepäckaufgabeType of baggage check
62c62c
ZulässigkeitssymbolAcceptance symbol
62d62d
GepäckmasseLuggage mass
6363
FlugeintragFlight entry
63a63a
FlugnummerFlight number
63b63b
BuchungsknopfBooking button
7070
Systemsystem
7171
Bildimage
7272
SensorsignalSensor signal
72a72a
Zeitverlaufover time
72b72b
Tabelletable
7373
SteuergerätControl unit
73a73a
PräprozessorPreprocessor
73b73b
Tiefes neuronales NetzDeep neural network
7474
Ausgabeoutput

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102016207961 A1 [0005]DE 102016207961 A1 [0005]
  • DE 102011016641 A1 [0007]DE 102011016641 A1 [0007]
  • DE 102015003934 A1 [0009]DE 102015003934 A1 [0009]

Claims (10)

Verfahren zum Bestimmen eines in einem Fahrzeug (10) transportierten Gepäckstücks (41, 42), bei dem - eine in einen Kofferraum (20) eines Fahrzeugs (10) gerichtete Kamera (22) ein Bild (71) von einem in dem Kofferraum (20) des Fahrzeugs (10) angeordneten Gepäckstück (41, 42) erfasst und bereitstellt; - ein Sensor (31a) eines Fahrwerks (30) des Fahrzeugs (10) einen Wert einer von einer Masse (61d, 62d) des Gepäckstücks (41, 42) abhängigen physikalischen Größe des Fahrwerks (30) erfasst und den erfassten Wert als ein Sensorsignal (72) bereitstellt; - ein Steuergerät (73) des Fahrzeugs (10) aus dem bereitgestellten Bild (71) und aus einem Zeitverlauf (72a) des bereitgestellten Sensorsignals (72) während einer Fahrt des Fahrzeugs (10) eine Größe (61a, 62a) und eine Masse (61d, 62d) des Gepäckstücks (41, 42) ermittelt.Method for determining an item of luggage (41, 42) transported in a vehicle (10), in which - A camera (22) directed into a trunk (20) of a vehicle (10) captures and provides an image (71) of an item of luggage (41, 42) arranged in the trunk (20) of the vehicle (10); - A sensor (31a) of a chassis (30) of the vehicle (10) detects a value of a physical variable of the chassis (30) dependent on a mass (61d, 62d) of the item of luggage (41, 42) and the detected value as a sensor signal (72) provides; - A control unit (73) of the vehicle (10) from the provided image (71) and from a time curve (72a) of the provided sensor signal (72) while the vehicle (10) is traveling, a variable (61a, 62a) and a mass ( 61d, 62d) of the item of luggage (41, 42) is determined. Verfahren nach Anspruch 1, bei dem die Größe (61a, 62a) und die Masse (61d, 62d) des Gepäckstücks (41, 42) von einem von dem Steuergerät (73) ausgeführten tiefen neuronalen Netz (73b), welches das bereitgestellte Bild (71) und den Zeitverlauf (72a) des bereitgestellten Sensorsignals (72) als Eingabe erhält, ermittelt wird.Procedure according to Claim 1 , in which the size (61a, 62a) and the mass (61d, 62d) of the item of luggage (41, 42) from a deep neural network (73b) executed by the control unit (73), which the provided image (71) and the Time curve (72a) of the provided sensor signal (72) receives as input, is determined. Verfahren nach Anspruch 1 oder Anspruch 2, bei dem ein von dem Steuergerät (73) ausgeführter Präprozessor (73a) eine Fahrzeit des Fahrzeugs (10) in eine Mehrzahl von Zeitintervallen unterteilt, den Zeitverlauf (72a) des bereitgestellten Sensorsignals (72) durch Berechnen einer Mehrzahl von Werten, welche jeweils die Werte des Sensorsignals (72) in genau einem Zeitintervall charakterisieren, transformiert und eine die charakterisierenden Werte umfassende und die Fahrt des Fahrzeugs (10) charakterisierende Tabelle (72b) bildet.Procedure according to Claim 1 or Claim 2 , in which a preprocessor (73a) executed by the control unit (73) divides a travel time of the vehicle (10) into a plurality of time intervals, the time curve (72a) of the provided sensor signal (72) by calculating a plurality of values which each represent the Characterize values of the sensor signal (72) in exactly one time interval, transform them and form a table (72b) comprising the characterizing values and characterizing the journey of the vehicle (10). Verfahren nach einem der Ansprüche 1 bis 3, bei dem das tiefe neuronale Netz (73b) während einer Mehrzahl von Fahrten des Fahrzeugs (10) anhand einer Mehrzahl von vorbestimmten Gepäckstücken (41, 42), welche jeweils eine bekannte Größe (61a, 62a) und eine bekannte Masse (61d, 62d) aufweisen und an einer Mehrzahl von verschiedenen Positionen in dem Kofferraum (20) angeordnet werden, mittels eines überwachten Lernens vorab trainiert wird.Method according to one of the Claims 1 to 3 , in which the deep neural network (73b) during a plurality of journeys of the vehicle (10) on the basis of a plurality of predetermined pieces of luggage (41, 42) each having a known size (61a, 62a) and a known mass (61d, 62d ) and are arranged at a plurality of different positions in the trunk (20), is trained in advance by means of a supervised learning. Verfahren nach einem der Ansprüche 1 bis 4, bei dem eine Mehrzahl von Kameras (22) Bilder (71) von einer Mehrzahl von in dem Kofferraum (20) des Fahrzeugs (10) angeordneten Gepäckstücken (41, 42) erfasst und bereitstellt und das Steuergerät (73) die Größe (61a, 62a) und die Masse (61d, 62d) jedes Gepäckstücks (41, 42) ermittelt.Method according to one of the Claims 1 to 4th , in which a plurality of cameras (22) captures and provides images (71) of a plurality of items of luggage (41, 42) arranged in the trunk (20) of the vehicle (10) and the control device (73) the size (61a, 62a) and the mass (61d, 62d) of each item of luggage (41, 42) are determined. Verfahren nach einem der Ansprüche 1 bis 5, bei dem eine Anzeigeeinheit (52, 54) des Fahrzeugs (10) die Größe (61a, 62a) und die Masse (61d, 62d) jedes in dem Kofferraum (20) angeordneten Gepäckstücks (41, 42) anzeigt.Method according to one of the Claims 1 to 5 in which a display unit (52, 54) of the vehicle (10) displays the size (61a, 62a) and the mass (61d, 62d) of each item of luggage (41, 42) arranged in the trunk (20). Verfahren nach Anspruch 6, bei dem das Steuergerät (73) jedes erfasste Gepäckstück (41, 42) mit einem geplanten Flug (63a) eines Insassen des Fahrzeugs (10) verknüpft und ausgehend von der ermittelten Größe (61a, 62a) und der ermittelten Masse (61d, 62d) jedes Gepäckstücks (41, 42) eine Zulässigkeit des Gepäckstücks (41, 42) als ein Handgepäck (61b, 62b) oder ein Aufgabegepäck feststellt und die Zulässigkeit in Form eines Zulässigkeitssymbols (61c, 62c) anzeigt und auf der Anzeigeeinheit (52, 54) einen Buchungsknopf (63b) bereitstellt, falls ein Gepäckstück (41, 42) für den geplanten Flug (63a) unzulässig ist.Procedure according to Claim 6 , in which the control device (73) links each detected piece of luggage (41, 42) with a planned flight (63a) of an occupant of the vehicle (10) and based on the determined size (61a, 62a) and the determined mass (61d, 62d ) each item of baggage (41, 42) determines whether the item of baggage (41, 42) is accepted as hand baggage (61b, 62b) or checked baggage and displays the acceptance in the form of an acceptance symbol (61c, 62c) and on the display unit (52, 54 ) provides a booking button (63b) if a piece of luggage (41, 42) is inadmissible for the planned flight (63a). System (70) zum Bestimmen eines in einem Fahrzeug (10) transportierten Gepäckstücks (41, 42), welches eine Kamera (22), welche in einen Kofferraum (20) eines Fahrzeugs (10) gerichtet ist und konfiguriert ist, ein Bild (71) eines in dem Kofferraum (20) angeordneten Gepäckstücks (41, 42) zu erfassen und bereitzustellen, ein Fahrwerk (30) mit einem Sensor (31a), welcher konfiguriert ist, einen Wert einer von einer Masse (61d, 62d) des Gepäckstücks (41, 42) abhängigen physikalischen Größe des Fahrwerks (30) zu erfassen und den Wert als ein Sensorsignal (72) bereitzustellen, und ein Steuergerät (73) mit einem tiefen neuronalen Netz (73b), welches konfiguriert ist, aus dem bereitgestellten Bild (71) und einem Zeitverlauf (72a) des bereitgestellten Sensorsignals (72) während einer Fahrt des Fahrzeugs (10) eine Größe (61a, 62a) und eine Masse (61d, 62d) des Gepäckstücks (41, 42) zu ermitteln, umfasst.System (70) for determining an item of luggage (41, 42) transported in a vehicle (10), which a camera (22), which is directed into a trunk (20) of a vehicle (10) and configured, generates an image (71 ) to detect and provide an item of luggage (41, 42) arranged in the trunk (20), a chassis (30) with a sensor (31a) which is configured to measure a value of one of a mass (61d, 62d) of the item of luggage ( 41, 42) dependent physical variable of the chassis (30) and provide the value as a sensor signal (72), and a control unit (73) with a deep neural network (73b), which is configured, from the provided image (71 ) and to determine a size (61a, 62a) and a mass (61d, 62d) of the item of luggage (41, 42) during a journey of the vehicle (10) and a time curve (72a) of the provided sensor signal (72). System nach Anspruch 8, welches konfiguriert ist, ein Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.System according to Claim 8 , which is configured, a method according to one of Claims 1 to 7th execute. Fahrzeug (10), mit einem System (70) nach einem der Ansprüche 8 oder 9 zum Bestimmen eines in einem Kofferraum (20) des Fahrzeugs (10) transportierten Gepäckstücks (41, 42).Vehicle (10), with a system (70) according to one of the Claims 8 or 9 for determining an item of luggage (41, 42) transported in a trunk (20) of the vehicle (10).
DE102019207616.5A 2019-05-24 2019-05-24 Baggage determination for a vehicle Pending DE102019207616A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102019207616.5A DE102019207616A1 (en) 2019-05-24 2019-05-24 Baggage determination for a vehicle
PCT/EP2020/063397 WO2020239448A1 (en) 2019-05-24 2020-05-14 Determining luggage for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019207616.5A DE102019207616A1 (en) 2019-05-24 2019-05-24 Baggage determination for a vehicle

Publications (1)

Publication Number Publication Date
DE102019207616A1 true DE102019207616A1 (en) 2020-11-26

Family

ID=70779699

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019207616.5A Pending DE102019207616A1 (en) 2019-05-24 2019-05-24 Baggage determination for a vehicle

Country Status (2)

Country Link
DE (1) DE102019207616A1 (en)
WO (1) WO2020239448A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021202077B3 (en) 2021-03-04 2022-07-21 Volkswagen Aktiengesellschaft Motor vehicle with an integrated load scale for weighing objects loaded in the motor vehicle
DE102021202125B3 (en) 2021-03-04 2022-07-21 Volkswagen Aktiengesellschaft Motor vehicle with a trunk, the trunk being part of a load scale for weighing objects loaded in the motor vehicle
DE102021206958A1 (en) 2021-07-02 2023-01-05 Volkswagen Aktiengesellschaft Method for supporting a user of a vehicle during a loading process of a loading area of the vehicle, and loading support system and vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011016641A1 (en) * 2011-04-09 2012-10-11 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Method and device for determining and providing information for the transport of an object
DE102014001031A1 (en) * 2014-01-25 2015-07-30 Daimler Ag Method and device for assisted loading of a motor vehicle
DE102015003934A1 (en) * 2015-03-26 2016-09-29 Audi Ag Motor vehicle with display option in the trunk area
DE102015011813A1 (en) * 2015-09-09 2017-03-09 Audi Ag Method and system for securing at least one item
DE102016207961A1 (en) * 2016-05-10 2017-11-16 Volkswagen Aktiengesellschaft Control device and method for controlling an electric opening unit for opening a vehicle door of a motor vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6242701B1 (en) * 1995-06-07 2001-06-05 Automotive Technologies International, Inc. Apparatus and method for measuring weight of an occupying item of a seat

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011016641A1 (en) * 2011-04-09 2012-10-11 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Method and device for determining and providing information for the transport of an object
DE102014001031A1 (en) * 2014-01-25 2015-07-30 Daimler Ag Method and device for assisted loading of a motor vehicle
DE102015003934A1 (en) * 2015-03-26 2016-09-29 Audi Ag Motor vehicle with display option in the trunk area
DE102015011813A1 (en) * 2015-09-09 2017-03-09 Audi Ag Method and system for securing at least one item
DE102016207961A1 (en) * 2016-05-10 2017-11-16 Volkswagen Aktiengesellschaft Control device and method for controlling an electric opening unit for opening a vehicle door of a motor vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021202077B3 (en) 2021-03-04 2022-07-21 Volkswagen Aktiengesellschaft Motor vehicle with an integrated load scale for weighing objects loaded in the motor vehicle
DE102021202125B3 (en) 2021-03-04 2022-07-21 Volkswagen Aktiengesellschaft Motor vehicle with a trunk, the trunk being part of a load scale for weighing objects loaded in the motor vehicle
DE102021206958A1 (en) 2021-07-02 2023-01-05 Volkswagen Aktiengesellschaft Method for supporting a user of a vehicle during a loading process of a loading area of the vehicle, and loading support system and vehicle

Also Published As

Publication number Publication date
WO2020239448A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
WO2020239448A1 (en) Determining luggage for a vehicle
DE102016215524B4 (en) System for object recognition and object recall in a vehicle
EP3414139B1 (en) Motor vehicle control device and method for determining avoidance trajectories for a collision-free avoidance manoeuvre of multiple motor vehicles
EP2631125B1 (en) Method and device for checking the plausibility of a predictive sensor system
DE102013101880A1 (en) Procedure for warning of loose cargo and vehicle, in particular lorries
DE102018005293A1 (en) Vehicle and method for controlling a door and / or a boot lid of a vehicle
DE102019218069A1 (en) Device and method for recognizing and classifying an opponent in an accident
DE102020211410A1 (en) Method for operating a weight recording system for a motor vehicle or a trailer, corresponding weight recording system and motor vehicle and trailer
DE102015011813B4 (en) Method and system for securing at least one item
DE102014214926A1 (en) Motor vehicle with a device for checking the payload and method for checking the payload
DE102017223621A1 (en) Method and control unit for controlling a function of an at least partially automated vehicle
DE102019216044A1 (en) Method and system for determining a load condition of a vehicle and a vehicle with such a system
DE102013020474B4 (en) Method for operating a safety system of a motor vehicle and motor vehicle
WO2020038535A1 (en) Method for determining accident-relevant parameters using a radar system of a vehicle
DE102020201851B4 (en) Method for operating an assistance system and assistance system
DE102015223970B4 (en) Method and device for determining a wheel load on a vehicle wheel
DE3938777A1 (en) CIRCUIT FOR DETECTING SIGNAL FAULTS
DE102017208403A1 (en) Method and device for accident detection in a vehicle
DE102016222490A1 (en) Method and device for detecting a collision and its demarcation to regular driving
DE102021202334A1 (en) FILTERING OPERATIONAL SCENARIOS WHEN OPERATING A VEHICLE
DE102020007453A1 (en) Method for determining a vehicle mass average and its output in the vehicle
DE102018207752A1 (en) Adapting a control behavior of a vehicle as a function of a risk situation of the passengers
DE102019205006A1 (en) Computer-implemented method for operating safety systems of a vehicle, control device and computer program product for triggering safety systems and occupant protection system
DE102022116543B4 (en) System and method for detecting lost cargo
DE102019000175A1 (en) Method for operating a motor vehicle and motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication