-
TECHNISCHES GEBIET
-
Die Ausführungsbeispiele des vorliegenden Gebrauchsmusters beziehen sich auf das technische Gebiet des Logistikmanagements, insbesondere auf ein Logistikmanagementsystem auf der Basis eines zweidimensionalen Codes.
-
STAND DER TECHNIK
-
In einer Logistikfabrik mit komplexen Szenarien tragen Gabelstapler Logistikboxen bzw. Kisten und fahren häufig mit hoher Geschwindigkeit in die Fabrik hinein und heraus. Wie man genau und schnell Zweidimensionaler-Code-Informationen bzw. QR-Code-Informationen auf den Logistikboxen erhalten kann? Herkömmliche Methoden zur Aufzeichnung von Logistikinformationen sind sehr umständlich. Es ist notwendig, Logistikboxinformationen manuell aufzuzeichnen oder Informationen durch Scannen eines stationären zweidimensionalen Codes bzw. QR-Codes zu erhalten.
-
Im Logistikprozess ist es jedoch aufgrund der hohen Geschwindigkeit der Bewegung der Sendung schwierig, den zweidimensionalen Code bzw. QR-Code zu lokalisieren und genau zu identifizieren, was zu einer ungenauen Identifizierung führt. In der tatsächlichen Logistikfabrik ist die übermittelte Logistikbox jedoch schnell und wechselt ständig den Standort. Beim Fahren mit hoher Geschwindigkeit ist es schwierig, genaue Zweidimensionaler-Code-Informationen bzw. QR-Code-Informationen zu erhalten, was dazu führt, dass die Informationserfassung der Logistikbox ungenau ist und das Logistikinformationsmanagement ineffizient, zeitaufwändig und fehleranfällig ist.
-
INHALT DES VORLIEGENDEN GEBRAUCHSMUSTERS
-
Das vorliegende Gebrauchsmuster stellt ein Logistikmanagementsystem auf der Basis eines zweidimensionalen Codes bzw. QR-Codes bereit, wodurch das Problem gelöst wird, dass sich schnell bewegende zweidimensionale Codes bzw. QR-Codes in Logistikszenarien schwer zu lokalisieren und zu identifizieren sind. Dieses Anwendungsszenario wurde um eine leistungsstarke Ende-zu-Ende-KI-Lösung erweitert, die die Gesamtentwicklung beschleunigen und eine höhere Echtzeitleistung ermöglichen kann.
-
Das vorliegende Gebrauchsmuster stellt ein Logistikmanagementsystem auf der Basis eines zweidimensionalen Codes bzw. QR-Codes bereit, umfassend eine Erfassungseinheit zum Erfassen eines von einer Kamera aufgenommenen Videostreams einer Logistikbox in einem Identifikationsbereich, wobei die Oberfläche der Logistikbox mit einem entsprechenden zweidimensionalen Code bzw. QR-Code versehen ist,
eine Zieldetektionseinheit zum Durchführen einer Zieldetektion des Videostreams basierend auf einem voreingestellten neuronalen Netzwerkmodell, um ein Bild eines zweidimensionalen Codes bzw. QR-Codes bzw. ein Logistikboxbild zu erhalten,
eine Zweidimensionaler-Code-Identifikationseinheit zum Identifizieren des Bilds des zweidimensionalen Codes bzw. QR-Codes, um Zweidimensionaler-Code-Informationen bzw. QR-Code-Informationen zu erzeugen,
eine Logistikbox-Identifikationseinheit zum sequentiellen Detektieren und Verfolgen des Logistikboxbildes, um Logistikboxinformationen zu erzeugen,
eine Abgleicheinheit zum Abgleichen der Zweidimensionaler-Code-Informationen mit den Logistikboxinformationen, um Abgleichinformationen zu erzeugen und Logistikinventarinformationen basierend auf den Abgleichinformationen zu aktualisieren.
-
Ferner umfasst das System auch eine Vorverarbeitungseinheit für Videostreams zum Vorverarbeiten des Videostreams.
-
Bei dem vorliegenden Gebrauchsmuster wird der Videostream detektiert und der zweidimensionale Code und das Logistikboxbild in dem Bereich aufgenommen, und die Informationen auf dem zweidimensionalen Code und der Logistikbox werden identifiziert, so dass das Abgleichsmanagement des zweidimensionalen Codes und der Logistikbox realisiert wird, wodurch das Problem vermieden wird, dass der zweidimensionale Code während des sich schnell bewegenden Logistikübertragungsprozesses schwer zu lokalisieren und zu identifizieren ist. Gleichzeitig kann der Prozess die Daten zur Analyse und Verarbeitung sammeln, indem der von der Kamera in Echtzeit erfasste Videostream erfasst wird, wodurch die Ende-zu-Ende-KI das Abgleichproblem automatisch löst, so dass der Identifikationsfortschritt und die Managementeffizienz von Logistikinformationen beschleunigt werden können.
-
Figurenliste
-
- 1 ist ein Diagramm eines Moduls eines Logistikmanagementsystems auf der Basis eines zweidimensionalen Codes bzw. QR-Codes gemäß einem ersten Ausführungsbeispiel des vorliegenden Gebrauchsmusters;
- 2 ist ein Diagramm eines Moduls eines zum ersten Ausführungsbeispiel alternativen Ausführungsbeispiels des vorliegenden Gebrauchsmusters.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Das vorliegende Gebrauchsmuster wird im Folgenden in Verbindung mit Zeichnungen und Ausführungsbeispielen detaillierter beschrieben. Es ist verständlich, dass die hier beschriebenen spezifischen Ausführungsbeispiele nur zur Auslegung des vorliegenden Gebrauchsmusters und nicht zur Beschränkung des vorliegenden Gebrauchsmusters dienen. Es ist auch anzumerken, dass zur Vereinfachung der Beschreibung nur ein Teil der Struktur, die sich auf das vorliegende Gebrauchsmuster bezieht, und nicht alles in den Zeichnungen gezeigt ist.
-
Darüber hinaus können die Begriffe „erste/r/s“, „zweite/r/s“ usw. hier verwendet werden, um verschiedene Richtungen, Aktionen bzw. Bewegungen, Schritte oder Komponenten usw. zu beschreiben, aber diese Richtungen, Aktionen, Schritte oder Komponenten sind nicht durch diese Begriffe eingeschränkt. Diese Begriffe werden nur verwendet, um die/den erste/n Richtung, Aktion, Schritt oder Komponent von der/dem anderen Richtung, Aktion, Schritt oder Komponent zu unterscheiden. Zum Beispiel kann die erste Verpackungseinheit die zweite Verpackungseinheit oder die dritte Verpackungseinheit sein, ohne vom Anwendungsbereich der vorliegenden Anmeldung abzuweichen, und in ähnlicher Weise können die zweite Verpackungseinheit und die dritte Verpackungseinheit die erste Verpackungseinheit sein. Die erste Verpackungseinheit, die zweite Verpackungseinheit und die dritte Verpackungseinheit sind alle Verpackungseinheiten des Verteilungsdatensystems bzw. Verteilungssystems, aber sie sind nicht dieselbe Verpackungseinheit. Die Begriffe „erste/r/s“, „zweite/r/s“ usw. können nicht so verstanden werden, dass sie eine relative Bedeutung angeben oder implizieren oder implizit die Anzahl der angegebenen technischen Merkmale angeben. Somit können Merkmale, die auf „erste/r/s“ und „zweite/r/s“ beschränkt sind, explizit oder implizit eines oder mehrere dieser Merkmale enthalten. In der Beschreibung des vorliegenden Gebrauchsmusters bedeutet „Mehrzahl, Charge“ mindestens zwei, z. B. zwei, drei usw., sofern nicht ausdrücklich etwas anderes definiert ist.
-
Ein Logistikmanagementsystem auf der Basis eines zweidimensionalen Codes bzw. QR-Codes gemäß dem vorliegenden Gebrauchsmuster, wie in 1 gezeigt, umfasst die folgenden Module:
- Eine Erfassungseinheit 301 zum Erfassen eines von einer Kamera aufgenommenen Videostreams einer Logistikbox in einem Identifikationsbereich, wobei die Oberfläche der Logistikbox mit einem entsprechenden zweidimensionalen Code bzw. QR-Code versehen ist.
-
In dem vorliegenden Ausführungsbeispiel wird beispielhaft eine Kamera auf der Jetson Nano-Entwicklungsplatine installiert, um ein Bild der Bewegung der Logistikbox hinein in und heraus aus der Logistikfabrik zu erfassen. Die Kamera erfasst und verfolgt dynamisch den Datenstrom von sich schnell bewegenden Logistikteilen. Durch die Erfassung der Videostreamdaten bzw. der Daten in dem Videostream durch die Kamera wird der Videostream erfasst und zur nachfolgenden logischen Verarbeitung an die Jetson Nano-Entwicklungsplatine übertragen. Optional kann der Prozess auch über eine PC-seitige Kamera oder ein anderes kantenseitiges intelligentes Gerät, das Video erfassen kann, durchgeführt werden und kann dieser eine nachfolgende logische Verarbeitung über einen Hochleistungsserver durchführen, wobei sich das kantenseitige intelligente Gerät auf ein Gerät mit geringem Stromverbrauch und qualifizierter Rechenleistung bezieht und sich der Hochleistungsserver auf ein Gerät mit hohem Stromverbrauch bezieht, das eine optimale Leistung erzielen kann.
-
Unter anderem führt das System eine Identifikationsoperation durch, wenn das Logistikteil den Identifikationsbereich durchläuft, was durch ein Förderband, einen Logistikträger, einen Transportroboter und dergleichen durchgeführt werden kann.
-
Eine Zieldetektionseinheit 302 zum Durchführen einer Zieldetektion des Videostreams basierend auf einem voreingestellten neuronalen Netzwerkmodell, um ein Bild eines zweidimensionalen Codes bzw. QR-Codes bzw. ein Logistikboxbild zu erhalten, wobei die Zieldetektionseinheit speziell verwendet wird, um ein Bild eines zweidimensionalen Codes bzw. QR-Codes in dem Videostream basierend auf einem voreingestellten ersten Ansichtsmodell zu identifizieren, um ein Logistikboxbild in einem Videostream basierend auf einem voreingestellten zweiten Ansichtsmodell zu identifizieren und um das Bild des zweidimensionalen Codes bzw. QR-Codes und das Logistikboxbild von dem Videostream aufzunehmen.
-
In diesem Schritt können für dieselbe Logistikbox mit dem angebrachten zweidimensionalen Code das Bild des zweidimensionalen Codes und das Logistikboxbild einmal oder mehrmals erfasst werden. In dem nachfolgenden Bildverarbeitungs- und Identifizierungsprozess kann eine Korrektur gemäß einer Vielzahl von Bildern von zweidimensionalen Codes bzw. QR-Codes durchgeführt werden, um eine genaue Informationsidentifizierung von zweidimensionalen Codes zu erreichen.
-
Die Zieldetektion besteht darin, sowohl den zweidimensionalen Code als auch die Logistikbox in dem Bild zu detektieren und genau auszuwählen bzw. einzugrenzen, und dann das detektierte Ziel für verschiedene nachfolgende Operationen aufzunehmen.
-
In diesem Schritt ist es vor der Zieldetektion notwendig, das vorgelernte neuronale Netzwerkmodell mit Deep-Learning zu trainieren, einschließlich der Prüfung der Präzisionsrate bzw. Genauigkeit und der Wiedererkennungsrate der Zieldetektion. Zum Beispiel wird das Training durch das neuronale Netzwerk YoloV3-tiny durchgeführt, um eine hohe Wiedererkennungsrate und Präzisionsrate bzw. Genauigkeit zu erreichen. Beispielsweise ist in einem Experiment die Wiedererkennungsrate (recall) >=99,3% und die Präzisionsrate (precision)>=91%.
-
Eine Zweidimensionaler-Code-Identifikationseinheit 303 zum Identifizieren von Bildern von bzw. mit zweidimensionalen Codes, um Zweidimensionaler-Code-Informationen zu erzeugen.
-
Eine Logistikbox-Identifikationseinheit 304 zum sequentiellen Detektieren und Verfolgen des Logistikboxbildes, um Logistikboxinformationen zu erzeugen.
-
In diesem Schritt wird durch Verfolgen der Bewegungstrajektorie der Logistikbox der von dem Verfolgungsgerät (d.h. der in den obigen Schritten erwähnten Kamera) erfasste Videostream erfasst und wird die Bewegungstrajektorie aus dem Videostream erfasst und in dem Videostream ausgewählt. Beispielhaft wird das Logistikboxbild unter Verwendung der KLT-Technologie (KLT Target Tracking Kanade-Lucas-Tomasi) detektiert und verfolgt. Dies ist ein Verfahren zum Berechnen der Bewegungsinformationen eines Objekts zwischen benachbarten Rahmen bzw. Einzelbildern, indem die Änderung bzw. Veränderung eines Pixels in einer Bildsequenz im Zeitbereich und die Beziehung zwischen benachbarten Rahmen bzw. Einzelbildern verwendet werden, um die entsprechende Beziehung zwischen dem vorherigen Rahmen bzw. Einzelbild und dem aktuellen Rahmen bzw. Einzelbild zu finden. Es hat eine gute Leistung bei der Verfolgung, insbesondere bei der Echtzeitberechnungsgeschwindigkeit bzw. Echtzeit-Rechengeschwindigkeit, und hat eine gute Robustheit. Darüber hinaus können in dem vorliegenden Ausführungsbeispiel die Merkmale des zu verfolgenden Objekts genauer identifiziert und verfolgt werden, so dass die Merkmale leichter zu identifizieren sind.
-
Eine Abgleicheinheit 305 zum Abgleichen der Zweidimensionaler-Code-Informationen mit den Logistikboxinformationen, um Abgleichinformationen zu erzeugen und Logistikinventarinformationen basierend auf den Abgleichinformationen zu aktualisieren.
-
In diesem Schritt bezieht sich der Abgleich zwischen der Logistikbox und den Zweidimensionaler-Code-Informationen auf die Nummerierung der detektierten Ziele und deren Verfolgung durch KLT nach den vom Zieldetektionsnetzwerk ausgegebenen Ergebnissen und beim Abgleichen wird gleichzeitig das Schnittmengenverhältnis zwischen der Logistikbox und dem zweidimensionalen Code berechnet, wodurch ihre Positionsbeziehung bestimmt und das Ergebnis durch Ausgeben ihrer Nummerierungsinformationen und Positionsbeziehung abgeglichen und ausgegeben wird.
-
In dem vorliegenden Ausführungsbeispiel können die von der Kamera eingegebenen unstrukturierten Daten in Echtzeit durch die Deep-Learning-Technologie analysiert werden, um wertvolle Inhalte zu erhalten und strukturierte Daten auszugeben (wie in dem vorliegenden Ausführungsbeispiel).
-
Bei dem vorliegenden Gebrauchsmuster wird der Videostream detektiert und werden der zweidimensionale Code und das Logistikboxbild in dem Bereich aufgenommen, und werden die Informationen auf dem zweidimensionalen Code und der Logistikbox identifiziert, so dass das Abgleichsmanagement des zweidimensionalen Codes und der Logistikbox realisiert wird, wodurch das Problem vermieden wird, dass der zweidimensionale Code während des sich schnell bewegenden Logistikübertragungsprozesses schwer zu lokalisieren und zu identifizieren ist. Gleichzeitig kann der Prozess die Daten zur Analyse und Verarbeitung sammeln, indem der von der Kamera in Echtzeit erfasste Videostream erfasst wird, wodurch die Ende-zu-Ende-KI das Abgleichproblem automatisch löst, so dass der Identifikationsfortschritt und die Managementeffizienz von Logistikinformationen beschleunigt werden können.
-
Wie in 2 gezeigt, umfasst ein alternatives Ausführungsbeispiel des Weiteren eine Vorverarbeitungseinheit 306 für Videostreams zum Vorverarbeiten des Videostreams, wobei die Vorverarbeitungseinheit speziell zum Decodieren des Videostreams und zum Entrauschen des decodierten Videostreams verwendet wird. In diesem Schritt wird insbesondere der Vorverarbeitungsprozess verwendet, um Operationen wie Entrauschen und Entleuchten von Lichtquellen bei bzw. an den Daten durchzuführen, wodurch die irrelevanten Informationen in dem Bild eliminiert werden und die Detektierbarkeit der relevanten Informationen des zweidimensionalen Codes und/oder des Logistikboxbildes verbessert wird. Das Vorverarbeitungsverfahren erfolgt durch Decodieren des Videostreams und Entrauschen des decodierten Videostreams.
-
Beispielhaft wird der Videostream mit GStreamer hardwaredecodiert. GStreamer kapselt jeden Teil des Verarbeitungsflusses in ein einzelnes Plug-in ein, wobei jedes Plug-in für verschiedene Aufgaben verantwortlich ist, wodurch eine Streaming-Verarbeitung implementiert wird, die die Decodierungsrate erhöht. Der Videostream wird in Einzelbilder decodiert, und schließlich wird ein Einzelbild zur Inferenzanalyse an das Inferenzmodell übertragen.
-
Das alternative Ausführungsbeispiel umfasst des Weiteren eine Korrektureinheit 307 zum Korrigieren des Bilds mit zweidimensionalem Code, wobei die Korrektureinheit insbesondere die folgenden Schritte umfasst: Einstellen einer Vielzahl von Bildern mit zweidimensionalem Code auf eine einheitliche Größe; und/oder Einstellen des Kontrasts und der Helligkeit eines Bilds mit zweidimensionalem Code auf einen voreingestellten Wert; und/oder Durchführen einer Graustufenumwandlung eines Bilds mit zweidimensionalem Code; und/oder Filtern eines Bilds mit zweidimensionalem Code; und/oder Binärisieren eines Bilds mit zweidimensionalem Code; und/oder Durchführen einer Canny-Kantendetektion an einem Bild mit zweidimensionalem Code; und/oder Durchführen einer Hough-Operator-Anpassung einer geraden Linie und einer affinen Transformation an einem Bild mit zweidimensionalem Code.
-
Der Korrekturprozess erfolgt durch Bildverarbeitung und digitale Verarbeitung, um die Rauschpunkte bzw. das Rauschen des Bilds mit zweidimensionalem Code zu eliminieren, umfassend die folgenden Schritte:
- Einstellen einer Vielzahl von Bildern mit zweidimensionalem Code auf eine einheitliche Größe; und/oder
- Einstellen des Kontrasts und der Helligkeit des Bilds mit zweidimensionalem Code auf einen voreingestellten Wert; und/oder
- Durchführen einer Graustufenumwandlung des Bilds mit zweidimensionalem Code; und/oder
- Filtern des Bilds mit zweidimensionalem Code; und/oder
- Binärisieren des Bilds mit zweidimensionalem Code; und/oder
- Durchführen einer Canny-Kantendetektion an dem Bild mit zweidimensionalem Code; und/oder
- Durchführen einer Hough-Operator-Anpassung einer geraden Linie und einer affinen Transformation an dem Bild mit zweidimensionalem Code.
-
Unter diesen werden der Kontrast und die Helligkeit des zweidimensionalen Codebildes eingestellt, wodurch der Effekt der Erhöhung des Trennungsgrades zwischen dem zweidimensionalen Code und dem Hintergrund realisiert wird. Das Bild wird einer Graustufenoperation unterzogen, d.h. das Dreikanal-Farbbild wird in ein einkanaliges Graustufenbild umgewandelt, was vorteilhaft ist, um die Komplexität der Berechnung zu verringern und die Geschwindigkeit der Decodierung zu erhöhen.
-
Optional kann ein Gaußscher Filter während des Filterprozesses verwendet werden, um den Effekt des Filterns von Gaußschem Rauschen zu erreichen, das zufällig in dem Bild auftritt. Ferner kann ein bilateraler Filter verwendet werden, d.h. ein Pixelwert-Gewichtungsterm wird basierend auf einem Gaußschen Filter hinzugefügt. Unter Berücksichtigung eines Entfernungsfaktors, aber auch einer Pixelwertdifferenz, kann der technische Effekt des Entfernens von Rauschpunkten auf dem Bild realisiert werden, während der Schutz der Kanteninformationen des zweidimensionalen Codes ermöglicht wird.
-
Die Binärisierung erfolgt in Schwarzweiß und das durch die Binärisierung erhaltene Bild hat den Effekt, dass es einfacher ist, Merkmalsinformationen zu erhalten.
-
Optional wird das Bild zuerst einer Korrosionsoperation unterzogen und dann einer Expansionsoperation unterzogen, wodurch Risse und Bereiche mit niedriger Dichte vergrößert werden, kleine Objekte eliminiert werden und die Grenzen größerer Objekte geglättet werden, ohne deren Fläche zu verändern.
-
Die Canny-Kantendetektion kann die Grenzkonturen von Barcodes bzw. Strichcodes detektieren und das Bild von den umgebenden, nicht relevanten Informationen unterscheiden, um die Detektionsgenauigkeit zu verbessern.
-
Da das von dem Gerät erfasste bzw. aufgenommene Bild im Allgemeinen ein Bild mit zweidimensionalem Code und einen Hintergrund enthält, ist es notwendig, den gesamten zweidimensionalen Code von dem gesamten Bild zu trennen, das heißt, der Hough-Operator passt gerade Linien an, um den zweidimensionalen Code zu lokalisieren. Die Positionierung erfolgt hauptsächlich durch Extrahieren der Kantenlinien des Musters. Von allen durch den Hough-Operator angepassten Linien werden die ähnlichen gelöscht und Linien mit großen Lücken werden beibehalten, um die vier Kanten zu erhalten, die die Anforderungen erfüllen. Schließlich werden die vier Scheitelpunktkoordinaten des Vierecks (vom QR-Code) basierend auf den vier gefundenen Linien berechnet. Die Funktion der affinen Transformation besteht darin, die Abszisse bzw. Horizontale basierend auf den berechneten vier Scheitelpunktkoordinaten zu finden und dann den äußersten linken Scheitelpunkt zu finden. Unter Verwendung dieses Scheitelpunkts als Startpunkt der Sortierung wird dann die Steigung (Δy/Δx) des Punktes und der verbleibenden verbundenen Linien nacheinander erhalten. Entsprechend kann diese gemäß der Steigung von klein bis groß nacheinander angeordnet bzw. sortiert werden. Schließlich werden die vier Koordinaten im Uhrzeigersinn sortiert. Ein korrigiertes Bild mit zweidimensionalem Code kann unter Verwendung von Scheitelpunktkoordinaten für die affine Transformation erhalten werden.
-
Bei dem vorliegenden Gebrauchsmuster wird der Videostream detektiert und der zweidimensionale Code und das Logistikboxbild in dem Bereich aufgenommen, und die Informationen auf dem zweidimensionalen Code und der Logistikbox werden identifiziert, so dass das Abgleichsmanagement des zweidimensionalen Codes und der Logistikbox realisiert wird.
-
Es ist anzumerken, dass das Obige nur bevorzugte Ausführungsbeispiele und die verwendeten technischen Prinzipien des vorliegenden Gebrauchsmusters darstellen. Der Fachmann wird verstehen, dass das vorliegende Gebrauchsmuster nicht auf die hier beschriebenen spezifischen Ausführungsbeispiele beschränkt ist. Der Fachmann kann verschiedene offensichtliche Änderungen, Anpassungen und Ersetzungen vornehmen, ohne vom Schutzumfang des vorliegenden Gebrauchsmusters abzuweichen. Obwohl das vorliegende Gebrauchsmuster durch die obigen Ausführungsbeispiele detailliert beschrieben wurde, ist das vorliegende Gebrauchsmuster daher nicht auf die obigen Ausführungsbeispiele beschränkt. Ohne von dem Konzept des vorliegenden Gebrauchsmusters abzuweichen, kann das vorliegende Gebrauchsmuster auch viele weitere andere äquivalente Ausführungsbeispiele enthalten. Der Umfang des vorliegenden Gebrauchsmusters wird durch den Umfang der beigefügten Ansprüche bestimmt.
