DE102013019204B4

DE102013019204B4 - Packhilfe zum Verstauen von Packstücken in einem Kraftfahrzeug

Info

Publication number: DE102013019204B4
Application number: DE102013019204.8A
Authority: DE
Inventors: Tahar Bouaziz
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2013-11-15
Filing date: 2013-11-15
Publication date: 2023-03-23
Anticipated expiration: 2033-11-16
Also published as: DE102013019204A1

Abstract

Verfahren zum Überprüfen eines Fassungsvermögens eines Stauraums (14) eines Kraftfahrzeugs (10), wobei- von einer Kamera (28) eines portablen Geräts (26) erzeugte Kamerabilder (B), die Abbildungen zumindest eines in dem Stauraum (14) zu verstauenden Packstücks (16 bis 24) aus mehreren unterschiedlichen Perspektiven (32) enthalten, empfangen werden, und- eine Bildverarbeitungseinrichtung (38) anhand der Kamerabilder (B) jeweilige Geometriedaten (44, 46, 48) des zumindest einen Packstücks (16 bis 24) ermittelt, und- eine Planungseinrichtung (40) in Abhängigkeit von den jeweiligen Geometriedaten (44, 46, 48) des zumindest einen Packstücks (16 bis 24) und in Abhängigkeit von Stauraummaßen des Stauraums (14) überprüft und einer Bedienperson (12) signalisiert, ob in den Stauraum (14) insgesamt jedes Packstück (16 bis 24) passt, und- die Planungseinrichtung (40) ermittelt, welches von dem zumindest einen Packstück (16 bis 24) in den Stauraum (14) passt und zu jedem passenden Packstück (16 bis 24) ermittelt, in welcher Reihenfolge es durch eine Zugangsöffnung, durch welche der Stauraum (14) von außerhalb des Kraftfahrzeugs (10) aus zugänglich ist, in den Stauraum (14) einzuführen ist, dadurch gekennzeichnet, dass die Planungseinrichtung (40) für ein Packstück (16 bis 24) weiterhin mittels einer Methode zur computerunterstützten Montageplanung ermittelt- wie es durch die Zugangsöffnung in den Stauraum (14) einzuführen ist, sowie- eine geeignete Trajektorie oder Führungsbahn durch die Zugangsöffnung, um ein Verkanten des Packstücks (16 bis 24) während des Verstauens zu vermeiden.

Description

Die Erfindung betrifft ein Verfahren zum Überprüfen eines Fassungsvermögens eines Stauraums eines Kraftfahrzeugs, um zu verifizieren, ob zumindest ein in dem Stauraum zu verstauendes Packstück tatsächlich in den Stauraum passt. Ferner betrifft die Erfindung einen Datenträger sowie eine Vorrichtung.
Das Verstauen von Gepäckstücken in einem Kofferraum kann manchmal Probleme bereiten. Wenn ein verhältnismäßig großes Gepäckstück transportiert werden soll und/oder eine Mehrzahl von Gepäckstücken, die insgesamt den Kofferraum nahezu vollständig ausfüllen, so ist in der Regel eine ganz bestimmte Anordnung des einen großen Gepäckstücks bzw. der mehreren Gepäckstücke nötig, damit überhaupt das gesamte Gepäck in den Kofferraum passt.
Dieses Problem ist generell aus dem Stand der Technik in Zusammenhang mit der effizienten Verstauung von Gütern in Transportmitteln bekannt. Das Problem wird auch als Containerladeproblem bezeichnet. In der Regel wird von einem Vorrat von Packstücken ausgegangen, beispielsweise Kisten, die in einem Behälter, in der Regel einem Container, derart anzuordnen sind, dass der verfügbare Containerraum optimal ausgelastet wird. Containerprobleme werden in der Literatur auf verschiedene Weise differenziert (siehe beispielsweise: Dyckhoff und Finke „Cutting and Packing in Production and Distribution“, Heidelberg, Physica, 1992, ISBN 3-7908-0630-7). Bei einer Klasse von Containerladeproblemen soll die gesamte Gütermenge verstaut werden. Dieser Typ von Containerladeproblem wird in der Literatur auch als (dreidimensionales) Bin-Packing-Problem (Behälterproblem) bezeichnet. Bei einer zweiten Klasse von Containerladeproblemen wird ermittelt, welche Behälter oder Gegenstände überhaupt in den Containerraum passen. Hierbei soll z.B. das verstaute Behältervolumen maximiert werden. Dieser Typ von Containerladeproblem wird in der Literatur auch als (dreidimensionales) Knapsackproblem (Rucksackproblem) bezeichnet.
Um solche Algorithmen in einem Kraftfahrzeug nutzen zu können, ist es nötig, die Geometriedaten von Gepäckstücken oder allgemein Packstücken zu kennen, um sie beim Ermitteln eines Stauplanes für einen gegebenen Stauraum im Kraftfahrzeug berücksichtigen zu können. Der Stauraum kann hierbei der Kofferraum des Kraftfahrzeugs sein, oder aber auch beispielsweise ein Fach für einen Ersatzreifen und Werkzeug oder ein Handschuhfach. Der Stauraum kann auch eine Mehrzahl von Räumen im Kraftfahrzeug, z.B. den Kofferraum, eine Rückbank, einen Beifahrersitz und/oder einen Fußraum umfassen.
Aus der DE 10 2004 043 756 A1 ist ein Kraftfahrzeug mit einer Assistenzeinrichtung zum Planen eines Packvorganges bekannt. Bei dem bekannten Kraftfahrzeug ist vorgesehen, jedes Gepäckstück mit einem Transponder zu versehen und beim Beladen des Kraftfahrzeugs zu überprüfen, ob alle für eine Reise vorgesehenen Gepäckstücke an Bord des Kraftfahrzeugs sind. Hierzu werden die Transpondersignale der im Kraftfahrzeug befindlichen Gebäckstücke ausgewertet. Fehlt ein Gepäckstück, so wird dies an dem entsprechend fehlenden Transpondersignal erkannt.
Auch aus der DE 10 2008 010 086 A1 ist ein Verfahren zum Überwachen von in einem Kraftfahrzeug mitgeführten Gegenständen bekannt. Auch hierbei werden die Gegenstände mit einem RFID-Transponder (RFID - Radio Frequency Identification) versehen, um die im Kraftfahrzeug befindlichen Gegenstände identifizieren zu können.
Auch aus der DE 10 2009 050 756 A1 ist ein Verfahren zum Erkennen fehlender Gegenstände in einem Kraftfahrzeug bekannt, bei dem ein tatsächlich in einem Kraftfahrzeug vorhandenes Inventar mit einem Soll-Inventar verglichen wird, um fehlende Gegenstände identifizieren zu können.
Aus der EP 2 146 308 A2 ist ein Verfahren zum Überwachen eines Transports eines Gepäckstücks bekannt. Es wird vor dem Transport ein Bild des Gepäckstücks erzeugt und nach dem Transport einer Person angezeigt, die überprüft, ob ein entgegengenommenes Gepäckstück mit dem vor dem Transport fotografierten Gepäckstück optisch übereinstimmt.
Aus der DE 10 2012 010 126 A1 ist ein Verfahren bekannt, bei welchem in einem Kofferraum eines Kraftfahrzeugs während einer Fahrt ein Laserscanner und eine Kamera einen Inhalt des Kofferraums erfassen und einem Fahrer auf einer Anzeigeeinrichtung darstellen.
Aus der DE 10 2013 004 537 A1 ist eine Vorrichtung zur Ladungsüberwachung eines Fahrzeugs bekannt, wobei die Vorrichtung eine Größe oder ein Gewicht eines Ladegutes erfasst und durch eine Ansteuerung einer Anzahl Leuchtdioden, die in einem Laderaum des Fahrzeugs angeordnet sind, eine optimale Position zur Anordnung des Ladeguts in dem Laderaum markiert.
Aus der EP 0 389 985 A2 ist ein Verfahren zum Bereitstellen von Instruktionen zum Platzieren von Objekten in einen vorbestimmten dreidimensionalen Raum bekannt. Hierzu wird aus einer Bibliothek mit einer Vielzahl an verschiedenen Objektplatzierungsmustern ein bestimmtes Muster ausgewählt, welches den durch die Objekte benutzten Raum minimalisiert.
Aus der EP 0 525 851 A1 ist ein Verfahren zum Befüllen eines quaderförmigen Raums mit quaderförmigen Objekten bekannt. Die Dimensionen von einer bestimmten Anzahl der Objekte werden gespeichert und die Objekte Schritt für Schritt innerhalb der Wände des zu befüllenden Raums platziert. Wenn ein Objekt an einer Wand platziert wird, wird eine verbliebene Weite zwischen zwei benachbarten Wänden des Raums berechnet.
Die DE 10 2011 016 641 A1 lehrt ein Verfahren zum Ermitteln und Bereitstellen von Informationen für den Transport zumindest eines Objekts mittels eines Personenkraftwagens, wobei das Verfahren folgende Schritte aufweist: Es erfolgt ein Ermitteln zumindest eines ersten Parameters zumindest eines zu transportierenden Objekts, wobei der zumindest eine erste Parameter ausgewählt ist aus der Gruppe, bestehend aus Abmessungen des zumindest einen Objekts und der Masse des zumindest einen Objekts. Zudem erfolgt ein Ermitteln einer momentanen Transportkapazität des Personenkraftwagens. Weiterhin erfolgt ein Ermitteln eines voraussichtlichen Beladungszustands des Personenkraftwagens basierend auf dem zumindest einen ermittelten ersten Parameter und der ermittelten momentanen Transportkapazität des Personenkraftwagens. Diese Druckschrift wurde zur Formulierung des Oberbegriffs der unabhängigen Patentansprüche herangezogen.
Die DE 10 2005 001 480 B3 betrifft eine Vorrichtung zur Erfassung der Ausnutzung eines bewegbaren Laderaums durch eine Beladung, die festes Transportgut umfasst. Es wird vorgeschlagen, eine geometrische Größe der Beladung in dem Laderaum zu ermitteln.
Der Erfindung liegt die Aufgabe zugrunde, eine Bedienperson dabei zu unterstützen, zumindest ein Packstück in einem Kraftfahrzeug zu verstauen.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.
Durch die Erfindung wird eine Bedienperson eines Kraftfahrzeugs dabei unterstützt, für zumindest ein Packstück, das die Bedienperson in dem Kraftfahrzeug verstauen möchte, zunächst zu überprüfen, ob das eine Packstück oder die mehreren Packstücke insgesamt überhaupt in einen vorbestimmten Stauraum des Kraftfahrzeugs passen. Bei dem Stauraum kann es sich in der beschriebenen Weise beispielsweise um einen Kofferraum des Kraftfahrzeugs handeln oder um eine Ladefläche oder bei einem Transporter um dessen Laderaum. Es kann sich auch um eine Kombination aus mehreren Räumen zum Verstauen von Packstücken handeln. Ein Packstück kann entsprechend jeweils beispielsweise ein Gepäckstück, wie beispielsweise ein Koffer, ein Surfbrett, ein Fahrrad, oder auch ein Frachtgut sein. Unter einem Packstück ist aber auch ein Utensil des Kraftfahrzeugs selbst zu verstehen, wie beispielsweise ein Werkzeugkasten oder ein Ersatzreifen, Vorratsbehältnisse für Betriebsflüssigkeiten, wie beispielsweise ein Öl- oder ein Benzinkanister.
Die Bedienperson kann mit einem portablen Gerät, das eine Kamera aufweist, also beispielsweise mit einem Tablet-PC oder einem Smartphone, die Packstücke einzeln nacheinander und/oder auch als Gruppe zusammen ablichten. Durch die Kamerabilder ist also das zumindest eine Packstück aus mehreren unterschiedlichen Perspektiven abgebildet, welches in dem Stauraum zu verstauen ist. Die Bedienperson bekommt dann durch die Erfindung signalisiert, ob das eine Packstück oder die mehreren Packstücke in den Stauraum hinein passen. Hierdurch ergibt sich der Vorteil, dass die Bedienperson nicht erst probeweise das zumindest eine Packstück in den Stauraum einführen muss und hierbei riskiert, dass eine Innenverkleidung des Kraftfahrzeugs verkratzt.
Um das Fassungsvermögen des Stauraums des Kraftfahrzeugs zu überprüfen, ist ein erfindungsgemäßes Verfahren bereitgestellt, durch welches die Kamerabilder, die die Kamera des von der Bedienperson geführten portablen Geräts erzeugt, verarbeitet werden. Anhand der Kamerabilder werden jeweilige Geometriedaten des zumindest einen Packstücks ermittelt. Dies wird durch eine Bildverarbeitungseinrichtung durchgeführt, die beispielsweise ein Programmmodul einer Prozessoreinrichtung sein kann. Die Geometriedaten eines Packstücks beschreiben eine zwei- oder dreidimensionale Abmessung und/oder Form des Packstücks.
In Abhängigkeit von diesen Geometriedaten des zumindest einen Packstücks und in Abhängigkeit von Stauraummaßen des vorbestimmten Stauraums wird dann überprüft, ob in den Stauraum insgesamt jedes Packstück passt. Hierzu ist eine Planungseinrichtung bereitgestellt, die diese Überprüfung durchführt und der Bedienperson anschließend das Ergebnis der Überprüfung signalisiert. Die Stauraummaße können beispielsweise als Geometriedaten, also entsprechende Messwerte, oder durch ein digitales Modell des Stauraums bereitgestellt sein, welches beispielsweise das dreidimensionale Raumvolumen des Stauraums beschreibt.
Das Ermitteln der Geometriedaten kann durch die Bildverarbeitungseinrichtung beispielsweise dadurch realisiert sein, dass in den Kamerabildern eine Außenkontur eines Packstücks ermittelt wird und die Kantenlängen der Außenkontur vermessen werden. Ein entsprechender Segmentierungsalgorithmus und/oder Objekterkennungsalgorithmus kann gemäß dem Stand der Technik ausgestaltet sein. Eine andere Möglichkeit kann darin bestehen, an einem Packstück eine Markierung, beispielsweise einen Barcode, anzuordnen und diese Markierung durch die Bildverarbeitungseinrichtung zu erkennen. Die Bildverarbeitungseinrichtung kann dann in einer Datenbank zu der erkannten Markierung Geometriedaten des Packstücks ermitteln. So kann die Bedienperson zuvor beispielsweise händisch die Geometriedaten ermitteln und in der Datenbank speichern.
Die Planungseinrichtung ermittelt auch, welches von dem zumindest einen Packstück in den Stauraum passt und ermittelt dabei zu allen passenden Packstücken auch, in welcher Reihenfolge sie in den Stauraum einzuführen sind, so dass die Bedienperson während des Verstauens nicht umpacken muss. Dazu ermittelt die Planungseinrichtung für zumindest ein passendes Packstück, wie es durch eine Zugangsöffnung, durch welche der Stauraum von außerhalb des Kraftfahrzeugs aus zugänglich ist, in den Stauraum einzuführen ist. Es ist erfindungsgemäß vorgesehen, dass die Planungseinrichtung für ein Packstück weiterhin mittels einer Methode zur computerunterstützten Montageplanung ermittelt, wie es durch die Zugangsöffnung in den Stauraum einzuführen ist, sowie eine geeignete Trajektorie oder Führungsbahn durch die Zugangsöffnung, so dass ein Verkanten des Packstücks während des Verstauens vermieden wird. Das Ermitteln einer geeigneten Trajektorie oder Führungsbahn für ein Packstück durch die Zugangsöffnung wird mittels einer Methode zur computerunterstützten Montageplanung realisiert, wie sie an sich aus dem Stand der Technik für die Planung von Produktionsabläufen bekannt ist.
Gemäß einer Weiterbildung der Erfindung ermittelt die Planungseinrichtung, welches von dem zumindest einem Packstück in den Stauraum passt und ermittelt zu jedem passenden Packstück, wie es in dem Stauraum anzuordnen ist, damit der Stauraum alle passenden Packstücke fasst. Mit anderen Worten wird durch die Planungseinrichtung die geometrische Anordnung der Packstücke in dem Stauraum ermittelt, damit bevorzugt die größtmöglichste Anzahl an Packstücken und/oder die größten Packstücke in den Stauraum passen. Hierdurch ergibt sich der Vorteil, dass der Bedienperson nicht nur signalisiert wird, ob alle Packstücke oder welche Packstücke in den Stauraum passen, sondern auch, wie die Bedienperson die Packstücke anzuordnen hat, damit der Stauraum optimal genutzt wird.
Die Planungseinrichtung kann für die Überprüfung des Fassungsvermögens und/oder das Ermitteln der Packanordnung im Stauraum beispielsweise eine Methode zum Lösen des eingangs beschriebenen Rucksackproblems und/oder des Behälterproblems verwenden. Es kann auch eine 3D-Simulation des Packvorganges durchgeführt werden. Die Planungseinrichtung kann beim Überprüfen des Fassungsvermögens auch eine Randbedingung zugrunde legen, z.B. ein Sicherheitskriterium, welches beispielsweise vorgeben kann, dass die Packstücke im verstauten Zustand im Stauraum nicht verrutschen dürfen, wenn eine vorbestimmte Beschleunigung beim Gasgeben und/oder Bremsen und/oder Kurven-fahren auf das zumindest eine Packstück wirkt. Die richtige Reihenfolge zum Einführen der passenden Packstücke in den Stauraum kann beispielsweise ebenfalls aus dem Berechnungsergebnis der Methode zum Lösen des Rucksackproblems oder des Behälterproblems oder der 3D-Simulation ermittelt werden.
Das beschriebene Signalisieren betreffend das korrekte Einführen der Packstücke in den Stauraum und/oder das korrekte Anordnen der Packstücke im Stauraum wird gemäß einer Weiterbildung der Erfindung durch eine Anzeigeeinrichtung realisiert, die der Bedienperson eine Abbildung des Stauraums darstellt und dem Abbild des Stauraums nacheinander oder zugleich eine Abbildung jedes passenden Packstücks überlagert. Der Fahrer sieht also bereits eine Abbildung des Ergebnisses des Packvorganges. In der Abbildung ist jedes passende Packstück in einer jeweiligen, für das erfolgreiche Verstauen aller passenden Packstücke ermittelte Sollposition dargestellt. Der Bedienperson wird somit angezeigt, wie sie die Packstücke lagerichtig anordnen muss, um zumindest diejenigen Packstücke im Stauraum verstauen zu können, für die durch die Planungseinrichtung ermittelt wurde, dass sie sämtlich in den Stauraum passen. Das Darstellen der Abbildung des Stauraums mit den darin überlagerten Abbildungen der passenden Packstücke kann insbesondere mit einer Augmented-Reality-Methode erfolgen, bei welcher einer Kameraaufnahme des Stauraums, die beispielsweise durch Ausrichten der Kamera in dem Stauraum erzeugt werden kann, die Abbildungen der Packstücke überlagert werden. Die Augmented-Reality-Methode kann beispielsweise mit der Funktionsbibliothek des Unternehmens Metaio realisiert werden.
Eine andere Weiterbildung der Erfindung sieht vor, dass durch die Bildverarbeitungseinrichtung in den Kamerabildern ein Referenzobjekt erkannt wird, welches zumindest eine bekannte Abmessung oder Größenmaß aufweist. Bei dem Referenzobjekt kann es sich beispielsweise um einen Teil des Kraftfahrzeugs selbst handeln oder beispielsweise auch um einen tragbaren, neben dem zumindest einen Packstück zu platzierenden Gegenstand, wie beispielsweise einen Stab oder eine Folie oder ein Blatt mit darauf dargestellten grafischen Objekten, deren Abmessung bekannt ist. Das Erkennen des Referenzobjekts kann mit an sich aus dem Stand der Technik bekannten Methoden zur Objekterkennung in Bilddaten durchgeführt werden. Durch die Bildverarbeitungseinrichtung kann anhand des Referenzobjekts in vorteilhafter Weise die Skalierung bestimmt werden, mit welcher in den Kamerabildern das Packstück dargestellt ist. Hierzu wird eine jeweilige geometrische Abmessung des zumindest einen Packstücks in Abhängigkeit von der Abmessung des Referenzobjekts einerseits und in Abhängigkeit von einer Abbildungsgröße des zumindest einen Referenzobjekts in den Kamerabildern andererseits ermittelt. So kann z .B. ein Skalierungsfaktor ermittelt werden. Wird dann eine Abmessung des zumindest einen Packstücks in den Kamerabildern ermittelt, kann mittels des Skalierungsfaktors auf die tatsächliche Größe oder Abmessung des Packstücks rückgeschlossen werden. Durch diese Weiterbildung ergibt sich der Vorteil, dass die Bedienperson sich mit der Kamera in einem nicht festgelegten Abstand frei um das Packstück bewegen kann und hierbei die sich durch die unterschiedlichen Perspektiven ergebenden Skalierungsfaktoren automatisch ermittelt werden.
Vorteilhaft wird durch die Kamera von jedem Packstück nicht nur aus mehreren unterschiedlichen Perspektiven jeweils ein Kamerabild erzeugt, sondern durch die Bildverarbeitungseinrichtung dann auch eine dreidimensionale Form des zumindest einen Packstücks ermittelt. Die Kamera kann hierzu einzelne Aufnahmen aus den unterschiedlichen Perspektiven oder beispielsweise auch einen Videofilm erzeugen, während die Bedienperson die Kamera um ein Packstück herum bewegt. Die Kamera kann auch eine Stereokamera sein, die eine stereoskopische Kameraaufnahme eines Packstücks erzeugt. Durch die Weiterbildung ergibt sich der Vorteil, dass für die Überprüfung des Fassungsvermögens die Geometriedaten jedes Packstücks in allen drei Raumrichtungen zur Verfügung stehen.
Eine andere Weiterbildung sieht vor, dass für den Fall, dass mehrere Packstücke zu verstauen sind, eines davon oder mehrere davon durch die Bildverarbeitungseinrichtung als ein zerbrechliches Packstück erkannt wird. Die Planungseinrichtung ermittelt dann für das zerbrechliche Packstück einen geschützten Ort im Kraftfahrzeug. Geschützt ist ein Ort hierbei dann, wenn das zerbrechliche Packstück unter keinem anderen Packstück angeordnet ist, nachdem alle Packstücke im Kraftfahrzeug wie von der Planungseinrichtung ermittelt verstaut sind. Durch diese Weiterbildung ergibt sich der Vorteil, dass die Bedienperson auch zerbrechliche Packstücke, wie beispielsweise einen Karton mit Gläsern oder auch eine Vase, zusammen mit weiteren Packstücken transportieren kann, ohne dass durch die Planungseinrichtung für das zerbrechliche Packstück ein Stauplatz ermittelt wird, an welchem das zerbrechliche Packstück beschädigt werden könnte.
Eine Weiterbildung des Verfahrens sieht vor, dass die Bildverarbeitungseinrichtung das zerbrechliche Packstück anhand einer an dem zerbrechlichen Packstück angeordneten Markierung erkennt. Die Bedienperson kann dann also selber durch Anbringen einer Markierung entscheiden, welches Packstück an einem geschützten Ort im Kraftfahrzeug angeordnet werden soll.
Eine andere Weiterbildung sieht vor das zerbrechliche Packstück durch die Bildverarbeitungseinrichtung selbst anhand einer optisch ermittelten Materialeigenschaft des zerbrechlichen Packstücks zu erkennen. Insbesondere wird ein Körper aus Glas und/oder ein Pflanze in den Kamerabildern durch eine Objekterkennung erkannt und als zerbrechliches Packstück klassifiziert.
Das erfindungsgemäße Verfahren wird durchgeführt durch die beschriebene Bildverarbeitungseinrichtung und die Planungseinrichtung. Zum Anzeigen kann eine Anzeigeeinrichtung vorgesehen sein. Diese Einrichtungen können dabei in demselben portablen Gerät bereitgestellt sein, welches auch die Kamera aufweist, mittels welcher die Bedienperson das zumindest eine Kamerabild von dem zu verstauenden Packstück erzeugt.
Die genannten Einrichtungen können aber auch in einer anderen Vorrichtung bereitgestellt sein. Eine Ausführungsform der Erfindung sieht vor, dass die Überprüfung des Fassungsvermögens des Stauraums durch das Kraftfahrzeug selbst durchgeführt wird. Eine andere Weiterbildung sieht vor, dass die Überprüfung in einer stationären Serveranordnung, einem sogenannten Backend, durchgeführt wird. Die Serveranordnung kann über ein Kommunikationsnetzwerk, beispielsweise das Internet, mit dem portablen Gerät kommunizieren, in welchem sich die Kamera befindet.
Um diese unterschiedlichen Ausführungsformen der Erfindung zu realisieren, ist durch die Erfindung ein Datenträger vorgesehen, der einen Programmcode aufweist, welcher dazu ausgelegt ist, bei Ausführen des Programmcodes durch eine Prozessoreinrichtung eines portablen Geräts oder eines Kraftfahrzeugs oder einer stationären Serveranordnung eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Hierdurch wird dann also durch das portable Gerät selbst oder das Kraftfahrzeug oder die stationäre Serveranordnung das zumindest eine Kamerabild von der Kamera empfangen, durch eine vom Programmcode bereitgestellte Bildverarbeitungseinrichtung Geometriedaten jedes Packstücks ermittelt und durch eine durch den Programmcode bereitgestellte Planungseinrichtung das Fassungsvermögen des Stauraums überprüft.
Zu der Erfindung gehört schließlich auch eine Vorrichtung, mit welcher das erfindungsgemäße Verfahren durchgeführt werden kann. Die Vorrichtung kann in der beschriebenen Weise in das portable Gerät selbst integriert sein oder in einem Kraftfahrzeug oder in einer stationären Serveranordnung. Die Vorrichtung weist eine Empfangseinrichtung zum Empfangen von Packstückdaten von der Kamera des portablen Geräts auf. Mit Packstückdaten ist hier zweierlei gemeint. Entweder können die Packstückdaten Kamerabilder von zumindest einem in einem Stauraum des Kraftfahrzeugs zu verstauenden Packstücks aus mehreren unterschiedlichen Perspektiven sein. Mit anderen Worten empfängt die Empfangseinrichtung also Rohdaten, nämlich die Kamerabilder von der Kamera. Zusätzlich oder alternativ dazu kann auch vorgesehen sein, dass die Packstückdaten bereits Verarbeitungsergebnisse enthalten, nämlich jeweilige Geometriedaten des zumindest einen Packstücks. Falls die Vorrichtung im Kraftfahrzeug oder in der Serveranordnung bereitgestellt ist, kann also die Bildverarbeitung selbst schon im portablen Gerät zumindest teilweise durchgeführt worden sein, so dass als Packstückdaten Geometriedaten zumindest eines Teils der erkannten Packstücke übermittelt werden.
Anhand der Packstückdaten, also Kamerabildern und/oder bereits daraus ermittelten Geometriedaten, wird dann aus den Packstückdaten die jeweiligen Geometriedaten des zumindest einen Packstücks ermittelt. Hierzu ist in der Vorrichtung eine Verarbeitungseinrichtung bereitgestellt, die beispielsweise ein Programmmodul einer Prozessoreinrichtung sein kann. Die Verarbeitungseinrichtung kann entweder die Bildverarbeitungseinrichtung aufweisen, um damit Kamerabilder auszuwerten und/oder eben aus den Packstückdaten direkt die darin bereits enthaltenen Geometriedaten extrahieren. Durch die Verarbeitungseinrichtung ist auch die beschriebene Planungseinrichtung realisiert, die dazu ausgelegt ist, in Abhängigkeit von den jeweiligen Geometriedaten des zumindest einen Packstücks und in Abhängigkeit von Stauraummaßen des Stauraums zu überprüfen und zu signalisieren, ob in den Stauraum insgesamt jedes Packstück passt. Die Planungseinrichtung ist ebenfalls dazu ausgelegt, zu ermitteln, welches von dem zumindest einen Packstück in den Stauraum passt und zu jedem passenden Packstück ermittelt, in welcher Reihenfolge es durch eine Zugangsöffnung, durch welche der Stauraum von außerhalb des Kraftfahrzeugs aus zugänglich ist, in den Stauraum einzuführen ist. Schließlich ist die Planungseinrichtung noch dazu ausgelegt, für ein Packstück weiterhin mittels einer Methode zur computerunterstützten Montageplanung zu ermitteln, wie es durch dir Zugangsöffnung in den Stauraum einzuführen ist, sowie eine geeignete Trajektorie oder Führungsbahn durch die Zugangsöffnung, um ein Verkanten des Packstücks während des Verstauens zu vermeiden.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Vorrichtung.
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In der Fig. ist ein Kraftfahrzeug 10 in einer Rückansicht gezeigt. Dargestellt ist also ein Heck H des Kraftfahrzeugs 10. Bei dem Kraftfahrzeug 10 kann es sich beispielsweise um einen Kraftwagen, insbesondere einen Personenkraftwagen, handeln. Eine Bedienperson 12 des Kraftfahrzeugs 10 möchte in einem Stauraum 14 des Kraftfahrzeugs 10, beispielsweise einen Kofferraum, mehrere Packstücke 16, 17, 18, 20, 22, 24 verstauen oder einladen. Das Packstück 16 ist beispielsweise eine Pflanze, das Packstück 17 ein Karton, das Packstück 18 Fahrrad, das Packstück 20 eine Kiste, das Packstück 22 ein Tennisschläger und das Packstück 24 ein Surfbrett. Die in der Fig. gezeigten Packstücke 16 bis 24 stellen in ihrer Anzahl und in ihrer Art lediglich Beispiele dar.
Die Bedienperson 12 weiß nicht, ob alle Packstücke 16 bis 24 in den Stauraum 14 passen. Bei dem Kraftfahrzeug 10 muss die Bedienperson 12 aber nicht durch probeweises Einladen der Packstücke 16 bis 24 ausprobieren, ob und wie die Packstücke 16 bis 24 im Stauraum 14 verstaut werden können. Stattdessen kann die Bedienperson 12 mittels eines portablen Geräts 26, das eine Kamera 28 aufweist, mittels dieser Kamera 28 Bilddaten B von den Packstücken 16 bis 24 erzeugen. Das mobile Gerät 26 kann beispielsweise als Smartphone oder Tablet-PC oder Notebook ausgestaltet sein. Die Bedienperson 12 bekommt dann z.B. auf einem Bildschirm des Geräts 26 oder des Kraftfahrzeugs 10 signalisiert, ob alle Packstücke 16 bis 24 in den Kofferraum hineinpassen und wenn ja wie.
Die Bedienperson 12 kann hierzu einen Erfassungsbereich 30 der Kamera 28 entweder einzeln auf jedes Packstück 16 bis 24 oder auf alle oder einige der Packstücke 16 bis 24 zusammen richten und dann mehrere Kamerabilder mittels der Kamera 28 erzeugen. Die Kamerabilder stellen dann Bilddaten B dar. Bevorzugt werden die Packstücke 16 bis 24 jeweils aus mehreren unterschiedlichen Perspektiven mittels der Kamera 28 erfasst, so dass anhand der Bilddaten B die dreidimensionale Form der Packstücke 16 bis 24 ermittelt werden kann. Die Bedienperson 12 kann mittels der Kamera 28 hierzu auch eine Videosequenz aus mehreren Kamerabildern erzeugen und hierbei das mobile Gerät 26 mit der Kamera 28 in einer Schwenkbewegung 32 um die Packstücke 16 bis 24 herum bewegen.
Die Bilddaten B können von einer Ausführungsform der erfindungsgemäßen Vorrichtung 34 verarbeitet werden. Die Vorrichtung 34 kann in das mobile Gerät 26 integriert sein. Die Vorrichtung 34 kann auch ganz oder teilweise in dem Kraftfahrzeug 10 integriert sein oder in einer Serveranordnung des Internets. Die Vorrichtung 34 kann auf das Gerät 26 und das Kraftfahrzeug 10 und die Serveranordnung oder auf zwei davon aufgeteilt sein. Die Daten, wie z.B. die Bilddaten B, können hierbei von dem mobilen Gerät 26 beispielsweise über eine Funkverbindung, z.B. eine Mobilfunkverbindung oder eine WLAN-Verbindung (WLAN -Wireless Local Area Network) oder eine Bluetooth-Verbindung, an den außerhalb des Gerät 26 befindlichen Teil der Vorrichtung 34 übermittelt werden.
Die Vorrichtung 34 kann eine Empfangseinrichtung 36, eine Bildverarbeitungseinrichtung 38, eine Planungseinrichtung 40 und eine Ausgabeeinrichtung 42 aufweisen. Die Einrichtungen können beispielsweise als Programmmodule für eine Prozessoreinrichtung der Vorrichtung 34 ausgestaltet sein. Die Empfangseinrichtung 36 kann die Bilddaten B von der Kamera 28 empfangen. Falls die Empfangseinrichtung 36 in dem mobilen Gerät 26 integriert ist, kann dies durch einfaches Kopieren der Bilddaten aus einem Speicher der Kamera 28 realisiert sein. Falls die Empfangseinrichtung 36 außerhalb des mobilen Geräts 26 bereitgestellt ist, kann die Empfangseinrichtung 36 beispielsweise ein WLAN-Modul oder ein anderes Funkmodul für die beschriebene Funkverbindung darstellen.
Die Bilddaten B werden von der Empfangseinrichtung 36 an die Bildverarbeitungseinrichtung 38 übermittelt. Die Bildverarbeitungseinrichtung 38 erkennt anhand der Bilddaten B die Packstücke 16 bis 24 und ermittelt anhand der Bilddaten B Geometriedaten 44, 46, 48 der Packstücke 16 bis 24. In der Fig. sind der Übersichtlichkeit halber nur für das Packstück 24 die erfassten Geometriedaten 44, 46, 48 veranschaulicht. Die Bildverarbeitungseinrichtung 38 kann hierbei Geometriedaten A ermitteln, z.B. zwei oder drei mehr als drei geometrische Abmessungen pro Packstück. Beispielsweise kann das Packstück 18, also das Fahrrad, auch durch eine Vielzahl von Voxeln (Volumenelemente - Volume Elements) oder durch eine geometrische Grundform, z.B. einen Quader oder einen Zylinder, modelliert werden, was ebenfalls Geometriedaten ergibt.
In den Bilddaten B kann auch eine Abbildung des Kraftfahrzeugs 10 enthalten sein. Durch die Bildverarbeitungseinrichtung 38 kann dann auch ein Referenzobjekt in den Bilddaten B erkannt werden, beispielsweise das Heck H des Kraftfahrzeugs 10 und dort beispielsweise die Anordnung aus Rückleuchten 48. Zu den Rückleuchten 48 kann in der Bildverarbeitungseinrichtung 38 deren Abstand 50 gespeichert sein. Die Bildverarbeitungseinrichtung 38 kann durch die Größe der Abbildung des Hecks H in den Bilddaten B und insbesondere der sich in der Abbildung ergebende Abstand der Heckleuchten 48 (allgemein die Größe des Referenzobjektes) und den bekannten tatsächlichen Abstand 50 ermitteln, wie die in den Bilddaten B ermittelten Geometriedaten 44, 46, 48 zu skalieren sind, um die tatsächliche Größe der Packstücke 16 bis 24 zu ermitteln.
Die Bildverarbeitungseinrichtung 38 übermittelt die Geometriedaten A an die Planungseinrichtung 40. Die Planungseinrichtung 40 ermittelt anhand der Geometriedaten A der Packstücke 16 bis 24 beispielsweise auf der Grundlage einer 3D-Simulation oder eines Algorithmus für die Lösung eines Rucksackproblems oder eines Containerproblems (beide Probleme sind als mathematische Formulierungen aus der Informatik bekannt), wie die Packstücke 16 bis 24 in dem Stauraum 14 anzuordnen sind. Hierzu sind auch Geometriedaten des Stauraums 14 in der Planungseinrichtung 40 gespeichert.
Bei der Bildverarbeitungseinrichtung 38 kann auch vorgesehen sein, dass diese erkennt, dass ein Packstück, z.B. das Packstück 16, ein zerbrechliches Packstück ist, nämlich im vorliegenden Beispiel eine Pflanze. Durch die Planungseinrichtung 40 kann hierbei dann berücksichtigt werden, dass beispielsweise das Packstück 18, also das Fahrrad, nicht auf dem Packstück 16 abgelegt werden darf.
Durch die Planungseinrichtung 40 wird ein Steuersignal S erzeugt, das an die Anzeigeeinrichtung 42 übermittelt wird. Falls die Planungseinrichtung 40 nicht in dem mobilen Gerät 26 integriert ist, sondern sich beispielsweise im Kraftfahrzeug 10 oder in einer Serveranordnung befindet, kann das Steuersignal S auch über die beschriebene Funkverbindung an das mobile Gerät 26 übermittelt werden, wo dann die Anzeigeeinrichtung 42 beispielsweise wie beschrieben durch einen Bildschirm des mobilen Geräts 26 bereitgestellt sein kann.
Durch das Steuergerät S wird der Bedienperson 12 angezeigt, ob alle Packstücke 16 bis 24 in den vorgesehenen Stauraum 14 passen. Des Weiteren kann der Bedienperson 12 angezeigt werden, wie die Packstücke 16 bis 24 im Stauraum 14 anzuordnen sind, damit alles hineinpasst. Beispielsweise kann vorgesehen sein, dass die Bedienperson 12 den Erfassungsbereich 30 der Kamera 28 in dem Stauraum 14 ausrichtet und Kamerabilder, beispielsweise eine Videosequenz, des Stauraums 14 auf der Anzeigeeinrichtung 42 z.B. in Echtzeit dargestellt werden. Den Kamerabildern des Stauraums 14 können dann Bilder der Packstücke 16 bis 24 beispielsweise mit einem Augmented-Reality-Effekt überlagert werden, so dass der Bedienperson 12 veranschaulicht wird, wie sie die Packstücke 16 bis 24 und in welcher Reihenfolge sie die Packstücke 16 bis 24 im Stauraum 14 anordnen muss.
Durch das Beispiel ist gezeigt, wie mittels der Erfindung einer Bedienperson 12 ermöglicht wird, beispielsweise Koffer oder andere Packstücke 16 bis 24 in einem Kraftfahrzeug 10 mit der Unterstützung eines mobilen Geräts 26 zu packen.

Claims

Verfahren zum Überprüfen eines Fassungsvermögens eines Stauraums (14) eines Kraftfahrzeugs (10), wobei - von einer Kamera (28) eines portablen Geräts (26) erzeugte Kamerabilder (B), die Abbildungen zumindest eines in dem Stauraum (14) zu verstauenden Packstücks (16 bis 24) aus mehreren unterschiedlichen Perspektiven (32) enthalten, empfangen werden, und - eine Bildverarbeitungseinrichtung (38) anhand der Kamerabilder (B) jeweilige Geometriedaten (44, 46, 48) des zumindest einen Packstücks (16 bis 24) ermittelt, und - eine Planungseinrichtung (40) in Abhängigkeit von den jeweiligen Geometriedaten (44, 46, 48) des zumindest einen Packstücks (16 bis 24) und in Abhängigkeit von Stauraummaßen des Stauraums (14) überprüft und einer Bedienperson (12) signalisiert, ob in den Stauraum (14) insgesamt jedes Packstück (16 bis 24) passt, und - die Planungseinrichtung (40) ermittelt, welches von dem zumindest einen Packstück (16 bis 24) in den Stauraum (14) passt und zu jedem passenden Packstück (16 bis 24) ermittelt, in welcher Reihenfolge es durch eine Zugangsöffnung, durch welche der Stauraum (14) von außerhalb des Kraftfahrzeugs (10) aus zugänglich ist, in den Stauraum (14) einzuführen ist, dadurch gekennzeichnet, dass die Planungseinrichtung (40) für ein Packstück (16 bis 24) weiterhin mittels einer Methode zur computerunterstützten Montageplanung ermittelt - wie es durch die Zugangsöffnung in den Stauraum (14) einzuführen ist, sowie - eine geeignete Trajektorie oder Führungsbahn durch die Zugangsöffnung, um ein Verkanten des Packstücks (16 bis 24) während des Verstauens zu vermeiden.
Verfahren nach Anspruch 1, wobei die Planungseinrichtung (40) ermittelt, welches von dem zumindest einen Packstück (16 bis 24) in den Stauraum (14) passt und wie jedes passende Packstück (16 bis 24) in dem Stauraum (14) anzuordnen ist, damit der Stauraum (14) alle passenden Packstücke (16 bis 24) fasst.
Verfahren nach einem der Ansprüche 1 oder 2, wobei eine Anzeigeeinrichtung (42) der Bedienperson (12) eine Abbildung des Stauraums (14) darstellt und dem Abbild des Stauraums (14) Abbildungen jedes passenden Packstücks (16 bis 24) überlagert und hierbei jedes passende Packstück (16 bis 24) in einer jeweiligen, für das erfolgreiche Verstauen aller passenden Packstücke (16 bis 24) ermittelten Sollposition darstellt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch die Bildverarbeitungseinrichtung (38) in den Kamerabildern (B) ein Referenzobjekt (48), das zumindest eine bekannte Abmessung (50) aufweist, erkannt wird und die jeweiligen Geometriedaten (44, 46, 48) des zumindest einen Packstücks (16 bis 24) in Abhängigkeit von Abbildungsgrößen der Kamerabilder (B) und der Abmessung (50) des Referenzobjekts (48) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bildverarbeitungseinrichtung (38) aus den unterschiedlichen Perspektiven (32) der Kamerabilder (B) eine dreidimensionale Form des zumindest einen Packstücks (16 bis 24) ermittelt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere Packstücke (16 bis 24) zu verstauen sind und eines (16) davon durch die Bildverarbeitungseinrichtung (38) als ein zerbrechliches Packstück (16) erkannt wird und die Planungseinrichtung (40) für das zerbrechliche Packstück (16) einen geschützten Ort im Kraftfahrzeug (10) ermittelt, wo das zerbrechliche Packstück (16) unter keinem anderen Packstück (16 bis 24) angeordnet ist.
Verfahren nach Anspruch 6, wobei die Bildverarbeitungseinrichtung (38) das zerbrechliche Packstück (16) anhand einer an dem zerbrechlichen Packstück (16) angeordneten Markierung und/oder an einer optisch ermittelten Materialeigenschaft des zerbrechlichen Packstücks (16) erkennt.
Datenträger mit einem Programmcode, welcher dazu ausgelegt ist, bei Ausführen des Programmcodes durch eine Prozessoreinrichtung eines portablen Geräts (26) oder eines Kraftfahrzeugs (10) oder einer stationären Serveranordnung ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Vorrichtung (34) mit - einer Empfangseinrichtung (36) zum Empfangen von Packstückdaten von einer Kamera (28) eines portablen Geräts (26), wobei die Packstückdaten a) Kamerabilder (B) von zumindest einem in einem Stauraum (14) eines Kraftfahrzeugs (10) zu verstauenden Packstück (16 bis 24) aus mehreren unterschiedlichen Perspektiven (32) und/oder b) jeweilige Geometriedaten (44, 46, 48) des zumindest einen Packstücks (16 bis 24) enthalten, - einer Bildverarbeitungseinrichtung (38), welche dazu ausgelegt ist, aus den Packstückdaten die jeweiligen Geometriedaten (44, 46, 48) des zumindest einen Packstücks (16 bis 24) zu ermitteln, und - einer Planungseinrichtung (40), die dazu ausgelegt ist, in Abhängigkeit von den jeweiligen Geometriedaten (44, 46, 48) des zumindest einen Packstücks (16 bis 24) und in Abhängigkeit von Stauraummaßen des Stauraums (14) zu überprüfen und zu signalisieren, ob in den Stauraum (14) insgesamt jedes Packstück (16 bis 24) passt, und die dazu ausgelegt ist, zu ermitteln, welches von dem zumindest einen Packstück (16 bis 24) in den Stauraum (14) passt, und zu jedem passenden Packstück (16 bis 24) ermittelt, in welcher Reihenfolge es durch eine Zugangsöffnung, durch welche der Stauraum (14) von außerhalb des Kraftfahrzeugs (10) aus zugänglich ist, in den Stauraum (14) einzuführen ist, dadurch gekennzeichnet, dass die Planungseinrichtung (40) dazu ausgelegt ist, für ein Packstück (16 bis 24) weiterhin mittels einer Methode zur computerunterstützten Montageplanung zu ermitteln - wie es durch dir Zugangsöffnung in den Stauraum (14) einzuführen ist, sowie - eine geeignete Trajektorie oder Führungsbahn durch die Zugangsöffnung, um ein Verkanten des Packstücks (16 bis 24) während des Verstauens zu vermeiden.
Vorrichtung (34) nach Anspruch 9, wobei die Vorrichtung (34) in das portable Gerät (26) oder in das Kraftfahrzeug (10) oder in einer stationären Serveranordnung, die zum Empfangen der Packstückdaten über ein Kommunikationsnetzwerk ausgelegt ist, integriert ist.