DE102021211827A1

DE102021211827A1 - Method and processor circuit for estimating an absolute area value of a free loading area and/or an absolute length value of free loading meters in a cargo hold and logistics system

Info

Publication number: DE102021211827A1
Application number: DE102021211827.5A
Authority: DE
Inventors: Carsten Segesser; Matthias Semmelmann
Original assignee: Continental Automotive Technologies GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2021-10-20
Filing date: 2021-10-20
Publication date: 2023-04-20
Also published as: WO2023066435A1; EP4420082A1

Abstract

Die Erfindung betrifft ein Verfahren (35) zum Schätzen eines absoluten Flächenwerts und/oder eines absoluten Längenwerts freier Lademeter einer freien Ladefläche (12) in einem Frachtraum (13), wobei die freie Ladefläche (12) ein unbedeckter Teil einer insgesamt rechteckigen Gesamtladefläche (25) des Frachtraums (13) ist. Die Erfindung sieht vor, dass durch eine Prozessorschaltung (15) Bilddaten (17) einer Kamera (16) empfangen werden, die eine Fotografie (18) der freien Ladefläche (12) darstellen, wobei in den Bilddaten (17) mittels eines Segmentierungsalgorithmus (40) die in der Fotografie (18) abgebildete freie Ladefläche (12) ermittelt wird und von denjenigen Pixeln (82), welche die segmentierte freie Ladefläche (12) darstellen, zugeordnete absolute Pixelflächenwerte (88) der Pixel (82) zu dem absoluten Flächenwert aufsummiert werden.The invention relates to a method (35) for estimating an absolute area value and/or an absolute length value of free loading meters of a free loading area (12) in a cargo hold (13), the free loading area (12) being an uncovered part of an overall rectangular overall loading area (25 ) of the cargo hold (13). The invention provides for a processor circuit (15) to receive image data (17) from a camera (16) which represent a photograph (18) of the free loading area (12), with the image data (17) using a segmentation algorithm (40th ) the free loading area (12) depicted in the photograph (18) is determined and absolute pixel area values (88) of the pixels (82) assigned to those pixels (82) which represent the segmented free loading area (12) are summed to form the absolute area value become.

Description

Die Erfindung betrifft ein Verfahren und eine Prozessorschaltung zum Schätzen eines absoluten Flächenwerts einer freien Ladefläche in einem Laderaum oder Frachtraum. Als „freie Ladefläche“ wird hier ein unbedeckter Teil einer Gesamtladefläche des Frachtraums (Frachtraumboden) bezeichnet und der reale oder absolute Flächenwert ist eine Angabe in Quadratmeter oder Squarefeet oder ähnliches, also eine Angabe in einem absoluten Flächenmaß. Ein anderes, vorteilhaftes Maß sind die sogenannten freien Lademeter, welche die z.B. aus der Fläche ableitbare Länge an freier Ladefläche angeben, die garantiert noch im Laderaum verfügbar ist. Die Schätzung soll auf Basis einer Fotographie der freien Ladefläche und Lademeter erfolgen können. Die Erfindung umfasst auch ein Logistiksystem, welches die besagte Prozessorschaltung nutzt.The invention relates to a method and a processor circuit for estimating an absolute area value of a free loading area in a hold or cargo hold. An uncovered part of a total loading area of the freight compartment (freight compartment floor) is referred to here as "free loading area" and the real or absolute area value is an indication in square meters or square feet or similar, i.e. an indication in an absolute area measurement. Another advantageous dimension are the so-called free loading meters, which indicate the length of free loading space that can be derived from the area, for example, and that is guaranteed to be still available in the loading space. The estimate should be based on a photograph of the free loading area and loading meters. The invention also includes a logistic system using said processor circuit.

Der Ladezustand von Lkw-Anhängern (Lkw - Lastkraftwagen) oder anderem Frachtraum eines Logistikunternehmens ist den Fuhrparkleitern oft unbekannt. Daher sind die Flottenmanager nicht in der Lage, zusätzliche Ladungen auf den von ihren Lkw befahrenen Strecken zu akzeptieren oder zuzuordnen.The loading status of truck trailers (trucks - trucks) or other cargo space of a logistics company is often unknown to fleet managers. As a result, fleet managers are unable to accept or allocate additional loads on the routes traveled by their trucks.

Es ist aber üblich, dass Lkw-Fahrer nach dem Verladen von Transportgütern oder Frachtstücken Fotos vom Innenraum des Frachtraums machen, um die Einhaltung der Ladungssicherung zu dokumentieren. Aber diese Bilder geben keine Auskunft über den Ladungsstatus.However, it is common for truck drivers to take photos of the interior of the cargo hold after loading goods or freight to document compliance with load securing. But these pictures do not give any information about the charge status.

Ein Verfahren zum Schätzen einer noch verbleibenden Transportkapazität in Frachträumen eines Logistiksystems ist beispielsweise aus der EP 3 872 461 A1 bekannt. Das Verfahren nutzt Bilddaten einer Fotografie, die beispielsweise ein Fahrer von dem jeweiligen Frachtraum anfertigt. Mittels eines Bildverarbeitungsalgorithmus wird aus den Bilddaten die Information über die noch verfügbare freie Ladefläche ermittelt.A method for estimating a remaining transport capacity in cargo holds of a logistics system is, for example, from EP 3 872 461 A1 known. The method uses image data from a photograph taken, for example, by a driver of the respective cargo hold. Using an image processing algorithm, the information about the still available free loading area is determined from the image data.

Aus der EP 3 872 725 A1 ist ebenfalls ein Verfahren zum Ermitteln eines Beladungszustands eines Frachtraums eines Lastkraftwagens bekannt. Demnach wird in einer Fotografie des Frachtraums ermittelt, wo sich Frachtstücke befinden und mittels einer Gitterprojektion wird der Abstand der Vorderkante des Frachtraums am Eingang bis zu den Frachtstücken geschätzt. Dies erfordert die Installation eines Projektors zum Projizieren der Gitterprojektion im Laderaum.From the EP 3 872 725 A1 a method for determining a load status of a freight compartment of a truck is also known. Accordingly, a photograph of the cargo hold is used to determine where the freight items are located, and the distance from the front edge of the cargo hold at the entrance to the freight items is estimated using a grid projection. This requires the installation of a projector to project the grid projection in the hold.

Der Erfindung liegt die Aufgabe zugrunde, mit geringem hardwaretechnischen Aufwand die verbleibende freie Ladefläche in einem Frachtraum, beispielsweise in einem Anhänger oder Koffer eines Lastkraftwagens oder in einem Frachtcontainer, zu schätzen.The invention is based on the object of estimating the remaining free loading area in a freight compartment, for example in a trailer or box of a truck or in a freight container, with little outlay on hardware.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.The object is solved by the subject matter of the independent patent claims. Advantageous developments of the invention are described by the dependent patent claims, the following description and the figures.

Als eine Lösung umfasst die Erfindung ein Verfahren zum Schätzen eines absoluten Flächenwerts einer freien Ladefläche und/oder ein absoluter Längenwert der sogenannten freien Lademeter in einem Frachtraum. Die freie Ladefläche ist ein unbedeckter Teil einer Gesamtladefläche des Frachtraums. Wie bereits beschrieben, bezeichnet der Begriff „absolut“ hier eine Angabe in einem absoluten Längenmaß beziehungsweise Flächenmaß. Ein absoluter Flächenwert ist somit eine Angabe beispielsweise in Quadratmeter oder Quadratdezimeter oder Quadratzentimeter oder Squarefeet, um nur Beispiele zu nennen. Dagegen wäre ein relativer Flächenwert eine Angabe in einem Verhältnis, beispielsweise 50 Prozent oder 70 Prozent. Ein absolutes Längenmaß ist entsprechend eine Angabe in Meter oder Zentimeter oder Feet, um nur Beispiele zu nennen. Der Frachtraum, dessen noch verfügbare freie Ladefläche geschätzt werden soll, kann beispielsweise in einem Hänger eines Lastkraftwagens oder die Ladefläche eines Lastkraftwagens oder in einem Frachtcontainer vorhanden sein. Die freie Ladefläche ist derjenige Teil, auf dem noch beispielsweise Paletten oder allgemein Frachtstücke auf dem Boden des Frachtraums abgelegt oder abgestellt werden können. Falls nur der absolute Längenwert benötigt wird (nicht auch der absolute Flächenwert), so können von solchen Pixeln, welche in der Fotographie eine Fluchtlinie bilden, die eine jeweilige eine Oberkante (hinteres Ende oder Hinterkante) und eine Unterkante (vorderes Ende oder Vorderkante) der segmentierten freie Ladefläche verbindet, zugeordnete absolute Pixeltiefenwerte zu dem absoluten Längenwert der freien Lademeter aufsummiert werden. Der absolute Längenwert kann aber bei bekanntem absolutem Breitenwert der Gesamtladefläche stattdessen aus dem absoluten Flächenwert berechnet werden.As a solution, the invention comprises a method for estimating an absolute area value of a free loading area and/or an absolute length value of the so-called free loading meters in a cargo hold. The uncovered cargo area is an uncovered portion of an overall cargo area cargo area. As already described, the term "absolute" refers here to a specification in an absolute measure of length or area. An absolute area value is therefore a specification, for example, in square meters or square decimeters or square centimeters or square feet, to name just a few. On the other hand, a relative area value would be an indication of a ratio, for example 50 percent or 70 percent. An absolute measure of length is accordingly a statement in meters or centimeters or feet, to name just a few examples. The cargo space whose available free loading area is to be estimated can be present, for example, in a trailer of a truck or the loading area of a truck or in a freight container. The free loading area is that part on which, for example, pallets or generally items of freight can be placed or parked on the floor of the freight compartment. If only the absolute length value is required (not also the absolute area value), then from such pixels, which form a vanishing line in the photograph, each of which has an upper edge (rear end or rear edge) and a lower edge (front end or front edge) of the connects segmented free loading area, associated absolute pixel depth values are added to the absolute length value of the free loading meters. However, if the absolute width value of the total loading area is known, the absolute length value can be calculated from the absolute area value instead.

Das Verfahren nutzt die eingangs beschriebene Fotografie, wie sie z.B. von einem Fahrer eines Lastkraftwagens zur Dokumentation der Ladungssicherung gemacht worden sein kann. Anhand dieser Fotografien oder Bilder wird mit Hilfe von Bildverarbeitung und/oder künstlicher Intelligenz der freie Bodenraum (d.h. die freie Ladefläche) im Anhänger oder allgemein im Frachtraum abgeschätzt.The procedure uses the photograph described above, as may have been taken by a truck driver, for example, to document the securing of the load. Based on this photograph The free floor space (ie the free loading area) in the trailer or in the cargo hold in general is estimated using image processing and/or artificial intelligence.

Durch eine Prozessorschaltung werden hierzu Bilddaten einer Kamera empfangen, die eine Fotografie der freien Ladefläche darstellen. In den Bilddaten wird mittels eines Segmentierungsalgorithmus die in der Fotografie abgebildete freie Ladefläche ermittelt. Damit steht die Information zur Verfügung, welche und/oder wie viele Pixel der freien Ladefläche entsprechen. Von denjenigen Pixeln, welche die segmentierte freie Ladefläche darstellen, werden zugeordnete absolute Pixelflächenwerte der Pixel zu dem absoluten Flächenwert aufsummiert. Damit erhält man die gesuchte Angabe der freien Ladefläche als absolute Flächenangabe.For this purpose, a processor circuit receives image data from a camera, which represents a photograph of the free loading area. The free loading area shown in the photograph is determined in the image data using a segmentation algorithm. The information is thus available as to which and/or how many pixels correspond to the free loading area. For those pixels that represent the segmented free loading area, associated absolute pixel area values of the pixels are summed to form the absolute area value. This gives you the information you are looking for about the free loading area as an absolute area information.

Als Kamera kann beispielsweise ein Smartphone oder ein Tablet-PC oder eine Smartwatch oder eine smarte Brille (Datenbrille) genutzt werden. Es ist also keine fest im oder am Frachtraum installierter Sensor (e.g. Kamera, Lidar, Radar, Ultraschallsensor) notwendig. Die besagte Prozessorschaltung kann in der Kamera, so beispielsweise in einem Smartphone, integriert sein oder es kann sich um einen so genannten Backend-Server oder einen Servercomputerhandeln, der die Bilddaten aus der Kamera über eine Kommunikationsverbindung, beispielsweise eine Internetverbindung, empfängt. In einer solchen Fotografie kann eine so genannte Segmentierung durchgeführt werden, also eine Unterscheidung oder Zuordnung dahingehend, was durch ein einzelnes Pixel der Fotografie dargestellt ist, ob also das Pixel Teil der Abbildung der freien Ladefläche oder Teil einer Abbildung eines Frachtstücks ist, um nur Beispiele zu nennen. Es liegt also nach dem Anwenden eines Segmentierungsalgorithmus pro Pixel die Information vor, ob dieses Pixel die freie Ladefläche darstellt oder nicht. Eine sehr einfache Implementierung eines Segmentierungsalgorithmus kann beispielsweise auf einer Auswertung einer Farbinformation in der Fotografie beruhen. Ist bekannt, dass die Gesamtladefläche, also der Boden des Frachtraums, auf welchem Frachtstücke angeordnet werden können, eine charakteristische Farbe hat, beispielsweise hellgrau oder rot oder holzfarben, und die angrenzende Umgebung eine andere Farbe aufweist, so kann in der Fotografie zu einem Pixel ermittelt werden, ob es diese charakteristische Farbe aufweist, und dann dieses Pixel als Darstellung eines Teils der freien Ladefläche oder zur freien Ladefläche interpretiert oder zugeordnet werden, was als Segmentieren bezeichnet wird. Dies ist aber nur ein Beispiel, ein bevorzugter Segmentierungsalgorithmus wird im Weiteren noch beschrieben.For example, a smartphone or a tablet PC or a smart watch or smart glasses (data glasses) can be used as a camera. There is therefore no need for a permanently installed sensor (e.g. camera, lidar, radar, ultrasonic sensor) in or on the cargo hold. Said processor circuit can be integrated in the camera, e.g. in a smartphone, or it can be a so-called backend server or a server computer that receives the image data from the camera via a communication connection, e.g. an Internet connection. A so-called segmentation can be carried out in such a photograph, i.e. a distinction or assignment as to what is represented by a single pixel of the photograph, i.e. whether the pixel is part of the image of the free loading area or part of an image of a freight item, to give just examples to call. After the application of a segmentation algorithm, there is information per pixel as to whether this pixel represents the free loading area or not. A very simple implementation of a segmentation algorithm can be based, for example, on an evaluation of color information in the photograph. If it is known that the entire loading area, i.e. the floor of the cargo hold on which freight items can be arranged, has a characteristic color, for example light gray or red or wood-colored, and the adjacent surroundings have a different color, then a pixel can be determined in the photograph whether it has that characteristic color, and then interpreting or associating that pixel as representing part or all of the vacant truck bed, which is referred to as segmenting. However, this is only an example; a preferred segmentation algorithm is described below.

Von der Gesamtladefläche kann angenommen werden, dass diese horizontal ausgerichtet oder angeordnet ist. Aus einer Fotografie einer horizontal angeordneten Gesamtladefläche kann durch geometrische Berechnungen ermittelt werden, wie viel absoluter Fläche der „Bildausschnitt“ eines einzelnen Pixels entspricht oder darstellt. Denkt man sich das Pixel als rechteckigen Ausschnitt der Fotografie, so kann über die Geometrie der Kamera und/oder das optische System der Kamera beispielsweise eine Rückprojektion berechnet werden, durch welche ermittelt werden kann, auf welche Fläche im Laderaum oder Frachtraum dieses Rechteck eines einzelnen Pixels auf der freien Ladefläche abgebildet würde, wenn man die Rückprojektion durchführt. Die sich durch Abbilden beispielsweise des besagten Rechtecks des Pixels auf die freie Ladefläche ergebende Flächengröße ergibt den besagten absoluten Pixelflächenwert, der beispielsweise in einem Bereich von 5 cm² bis 0,5 m² liegen kann. Fasst man all diejenigen Pixel zusammen, die gemäß des Segmentierungsalgorithmus als freie Ladefläche kategorisiert oder gelabelt oder markiert sind, so kann durch Berechnen oder Aufsummieren von deren einzelnen Pixelflächenwerten die gesuchte berechnet werden.The overall loading area can be assumed to be aligned or arranged horizontally. From a photograph of a horizontally arranged total loading area, geometric calculations can be used to determine how much absolute area the "image detail" corresponds to or represents of a single pixel. If you think of the pixel as a rectangular section of the photograph, the geometry of the camera and/or the optical system of the camera can be used to calculate a back projection, for example, which can be used to determine on which area in the hold or cargo hold this rectangle of a single pixel is projected would be displayed on the free loading area if you carry out the rear projection. The area size resulting from mapping the said rectangle of the pixel onto the free loading area results in the said absolute pixel area value, which can be in a range from 5 cm ² to 0.5 m ² , for example. If one summarizes all those pixels that are categorized or labeled or marked as free loading area according to the segmentation algorithm, then the sought-after one can be calculated by calculating or summing up their individual pixel area values.

In Abhängigkeit davon, unter welchen Voraussetzungen oder unter welchen Bedingungen die Fotografie mittels der Kamera erzeugt wurde, kann bereits im Voraus bekannt sein, wie viel Fläche des Frachtraums durch ein einzelnes Pixel repräsentiert ist. Ein Pixel repräsentiert einen rechteckigen Bildausschnitt (das besagte „Rechteck“, in welchem ein von der Kamera aus sichtbarer Teil der Szenerie, insbesondere der freien Ladefläche, abgebildet oder dargestellt ist. Ist bekannt, wie groß (in Angabe eines absoluten Pixelflächenwerts) die Fläche des durch ein einzelnes Pixel dargestellten Teils der freien Ladefläche ist, so kann durch Aufsummieren all derjenigen Pixel, die gemäß des Segmentierungsalgorithmus zu der freien Ladefläche gehören, die insgesamt verfügbare freie Ladefläche als absoluter Flächenwert berechnet werden. Ist beispielsweise die Relativposition der Kamera zur Gesamtlagefläche bekannt, kann der absolute Pixelflächenwert pro Pixel in Konfigurationsdaten fest vorgegeben sein. Der jeweilige absolute Pixelflächenwert der durch ein einzelnes Pixel repräsentierten Flächengröße der freien Ladefläche kann damit beispielsweise im Voraus ermittelt werden und in einer Tabelle abgelegt werden, um ein einfaches Beispiel einer Ausführung der Erfindung zu geben. Es kann dann durch eine Bedienperson der Kamera sichergestellt werden, dass mittels der Kamera die Fotografie aus einer Perspektive oder aus einer Position heraus erzeugt wird, für die sich eine entsprechende Abbildung der freien Ladefläche ergibt, die dann mittels der Konfigurationsdaten in absolute Pixelflächenwerte umgerechnet oder abgebildet werden können.Depending on the prerequisites or conditions under which the photograph was taken by the camera, it may already be known in advance how much area of the cargo hold is represented by a single pixel. A pixel represents a rectangular image section (the so-called "rectangle" in which a part of the scenery visible from the camera, in particular the free loading area, is depicted or displayed. Is it known how large (in terms of an absolute pixel area value) the area of the is the part of the free loading area represented by a single pixel, the total available free loading area can be calculated as an absolute area value by summing up all those pixels that belong to the free loading area according to the segmentation algorithm. For example, the absolute pixel area value per pixel can be specified in configuration data . An operator of the camera can then ensure that the camera is used to take the photograph from a perspective or from a position that results in a corresponding image of the free loading area, which is then converted or mapped into absolute pixel area values using the configuration data can become.

Durch die Erfindung ergibt sich der Vorteil, dass keine zusätzliche schaltungstechnische Installation in dem Frachtraum selbst notwendig ist, um die noch verfügbare freie Ladefläche, also denjenigen Teil der Gesamtladefläche, der noch nicht durch ein Frachtstück bedeckt ist, als einen absoluten Flächenwert anzugeben, also beispielsweise anzugeben, dass in dem Frachtraum noch 3 Quadratmeter oder 7,5 Quadratmeter freier Ladefläche verfügbar sind. Zudem ergibt sich ein Vorteil deshalb, weil in der Fotographie / den Bilddaten aktiv die freie Ladefläche gesucht wird und nicht andersherum Frachtstücke oder blockierende Objekte auf der Gesamtladefläche. Dies vereinfacht in entscheidender Weise die Bildverarbeitung, weil nicht auf die vielfältigen, möglichen Formen von Frachtstücken Rücksicht genommen werden muss.The invention has the advantage that no additional circuitry is required to be installed in the cargo hold itself in order to indicate the free loading area that is still available, i.e. that part of the total loading area that is not yet covered by a piece of freight, as an absolute area value, i.e. for example to state that there is still 3 square meters or 7.5 square meters of free loading space available in the cargo hold. In addition, there is an advantage because the free loading area is actively searched for in the photograph/image data and not the other way around, freight items or blocking objects on the entire loading area. This simplifies the image processing in a decisive way, because the various possible shapes of freight items do not have to be taken into account.

Die Erfindung umfasst auch Weiterbildungen, durch die sich zusätzliche Vorteile ergeben.The invention also includes developments that result in additional advantages.

Eine Weiterbildung umfasst, dass angenommen wird oder gegeben ist, dass die Gesamtladefläche insgesamt rechteckig ist und in der Fotografie eine Vorderkante der rechteckigen Gesamtladefläche parallel zu einer Sensorebene eines Bildsensors der Kamera angeordnet dargestellt ist und sich gegenüberliegende Seitenkanten der Gesamtladefläche in dem Frachtraum senkrecht von der Vorderkante nach hinten erstrecken. Mit anderen Worten ist der Boden des Frachtraums rechteckig, wie es für Frachtcontainer oder Trailer von Lastkraftwagen üblich ist. Um sicherzustellen, dass die Fotografie den Frachtraum mit der Gesamtladefläche in der beschriebenen Weise darstellt oder abbildet, kann beispielsweise eine Instruktion an die Bedienperson der Kamera vorgegeben oder ausgegeben sein. Dies kann beispielsweise mittels eines Applikationsprogramms (einer so genannten App) erreicht werden, die in der Kamera betrieben werden kann, also beispielsweise einem Smartphone, um hierdurch zu erreichen, dass die Bedienperson die Fotographie aus einer entsprechenden Perspektive aufnimmt. Die Vorderkante ist also parallel zur Sensorebene des Bildsensors angeordnet und bevorzugt waagerecht ausgerichtet. Bevorzugt wird die Fotografie mittig bezüglich der Vorderkante aufgenommen, so dass ausgehend von der Kamera ein linker Abschnitt und ein rechter Abschnitt der Vorderkante gleich lang sind. Bevorzugt wird die Fotografie aus einer Höhe zwischen 1,4 Meter und 2 Meter oberhalb der Gesamtladefläche aufgenommen. Die Gesamtladefläche ist bevorzugt horizontal ausgerichtet, während die Fotografie aufgenommen wird. Bevorzugt ist die freie Ladefläche von schräg oben aus einem Bereich außerhalb der Gesamtladefläche aufgenommen. A further development includes that it is assumed or given that the overall loading area is rectangular overall and in the photograph a front edge of the rectangular overall loading area is shown arranged parallel to a sensor plane of an image sensor of the camera and opposite side edges of the overall loading area in the cargo hold perpendicular to the front edge extend backwards. In other words, the floor of the cargo compartment is rectangular, as is usual for cargo containers or truck trailers. In order to ensure that the photograph represents or depicts the cargo hold with the entire loading area in the manner described, an instruction can be given or issued to the operator of the camera, for example. This can be achieved, for example, by means of an application program (a so-called app) that can be operated in the camera, for example a smartphone, in order to ensure that the operator takes the photograph from a corresponding perspective. The front edge is therefore arranged parallel to the sensor plane of the image sensor and is preferably aligned horizontally. The photograph is preferably taken centrally with respect to the front edge, so that, starting from the camera, a left-hand section and a right-hand section of the front edge are of the same length. The photograph is preferably taken from a height of between 1.4 meters and 2 meters above the entire loading area. The overall truck bed is preferably oriented horizontally while the photograph is being taken. The free loading area is preferably recorded from above at an angle from an area outside the overall loading area.

Bevorzugt ist die Sensorebene des Bildsensors parallel zu einer die Gesamtladefläche rückwärtig begrenzenden senkrechten Rückwand des Frachtraums angeordnet. All dies hilft vermeiden, dass eine perspektivische Verzerrung der abgebildeten Kanten und/oder Linien die Schätzung des absoluten Flächenwerts verfälscht. Entsprechende Anweisungen können in der beschriebenen Weise über die Kamera, beispielsweise ein Smartphone, ausgegeben werden, so dass die Bedienperson sich entsprechend verhält. Zusätzlich oder alternativ dazu kann in einem Display (Bildschirm) der Kamera eine Darstellung von zumindest einer Orientierungslinie oder Führungslinie, bevorzugt mehrerer Führungslinien, erfolgen, die an beispielsweise der Vorderkante und/oder den Seitenkanten auszurichten sind, bevor der Auslöser der Kamera betätigt wird, also bevor die Bilddaten erzeugt werden. Es kann zusätzlich oder alternativ vorgesehen sein, dass die Kamera selbsttätig auslöst, wenn eine Übereinstimmung der Vorderkante und/oder der Seitenkanten in Bezug auf vorgegebene Führungslinien mittels eines Bildverarbeitungsalgorithmus detektiert wird. Dazu ist es dann lediglich notwendig, dass die Bedienperson die Kamera ausrichtet oder verschwenkt oder bewegt und bei durch den Bildverarbeitungsalgorithmus erkannter Übereinstimmung der Vorderkante und/oder der Seitenkanten bezüglich der Orientierungslinien oder Führungslinien wird dann automatisiert die Fotografie erzeugt oder die Kamera ausgelöst.The sensor plane of the image sensor is preferably arranged parallel to a vertical rear wall of the cargo hold that delimits the entire loading area at the rear. All of this helps avoid perspective distortion of the mapped edges and/or lines falsifying the estimate of the absolute area value. Corresponding instructions can be issued in the manner described via the camera, for example a smartphone, so that the operator behaves accordingly. In addition or as an alternative to this, at least one orientation line or guide line, preferably several guide lines, can be shown on a display (screen) of the camera, which must be aligned with the front edge and/or the side edges, for example, before the shutter button of the camera is pressed, i.e before the image data is generated. In addition or as an alternative, it can be provided that the camera triggers automatically if a match between the front edge and/or the side edges in relation to predetermined guide lines is detected by means of an image processing algorithm. All that is then necessary for this is that the operator aligns or pans or moves the camera and if the image processing algorithm recognizes that the front edge and/or the side edges match the orientation lines or guide lines, the photograph is then automatically generated or the camera is triggered.

Das Verfahren umfasst darauf aufbauend, dass zu der Gesamtladefläche ein absoluter Breitenwert einer Breite der Gesamtladefläche und damit eine Länge der Vorderkante empfangen wird. Ein solcher absoluter Breitenwert kann beispielsweise anhand einer Modellangabe eines Modells des Frachtraums, beispielsweise eines Modells eines Hängers eines Lastkraftwagens, ermittelt werden. Der absolute Breitenwert kann auch beispielsweise aus einer Norm ausgelesen werden, die für diesen Typ von Frachtraum gilt, wie es beispielsweise bei Frachtcontainern für den Schiffsverkehr bekannt ist. Der Breitenwert und/oder eine Modellangabe betreffend den Frachtraum kann beispielsweise über die Kamera, beispielsweise ein Smartphone, von der Bedienperson empfangen werden, welche die Fotografie angefertigt hat.Based on this, the method comprises that an absolute width value of a width of the entire loading area and thus a length of the front edge is received for the entire loading area. Such an absolute width value can be determined, for example, using a model specification of a model of the cargo hold, for example a model of a truck trailer. The absolute width value can also be read out, for example, from a standard that applies to this type of cargo hold, as is known, for example, in the case of cargo containers for shipping. The width value and/or model information relating to the cargo hold can be received, for example, via the camera, for example a smartphone, from the operator who took the photograph.

Zudem umfasst das Verfahren, dass in den Bilddaten eine jeweilige Verlaufslinie der Seitenkanten anhand der Bilddaten mittels eines Fluchtliniendetektionsalgorithmus ermittelt werden. Wie bereits ausgeführt, enthält die Fotografie zusätzlich zu der Vorderkante, die horizontal und quer im Bild oder in der Fotografie angeordnet ist oder verläuft, auch einen Teil der Seitenkanten, die die Gesamtladefläche zu den Seiten hin nach rechts und links begrenzenden und die in den Bildhintergrund hin ausgerichtet sind. Zwar sind die Seitenkanten in Realität, das heißt, an der realen Gesamtladefläche parallel angeordnet. In der Fotografie sind sie aber auf einen Fluchtpunkt ausgerichtet, wie es für die an sich bekannte perspektivische Verzerrung oder perspektivische Flucht von Aufnahmen eines Rechtecks bekannt ist. Da die Fotografie von schräg oben auf die Gesamtladefläche, insbesondere die freie Ladefläche, ausgerichtet ist, ergibt sich entsprechend eine Anordnung der Seitenkanten, die ausgehend von den beiden Enden der Vorderkante nach oben dreieckig zulaufen. Der Fluchtliniendetektionsalgorithmus kann beispielsweise in einer einfachen Ausführungsform darauf beruhen, dass die Seitenkanten farblich markiert sind, beispielsweise durch rote Klebestreifen oder eine vorbekannte Farbe von der Umgebung abgehoben oder kontrastreich dargestellt sind. Der Verlauf einer solchen farbigen Linie in der Fotografie kann dann in einer Bildverarbeitung mittels Farbvergleich detektiert werden. Dies ist aber nur ein einfaches Beispiel für einen Fluchtliniendetektionsalgorithmus. Es kann auch ein in an sich bekannter Weise ein Kantendetektionsalgorithmus verwendet werden.In addition, the method includes that in the image data a respective progression line of the side edges is determined on the basis of the image data using a vanishing line detection algorithm. As already stated, in addition to the front edge, which is or runs horizontally and transversely in the picture or in the photograph, the photograph also contains part of the side edges that delimit the total loading area to the sides to the right and left and that go into the background of the picture are aligned towards. The side edges are in reality, that is, arranged parallel to the real total loading area. In the photograph are but they are aligned to a vanishing point, as is known for the per se known perspective distortion or perspective alignment of recordings of a rectangle. Since the photograph is oriented obliquely from above onto the entire loading area, in particular the free loading area, the result is an arrangement of the side edges which, starting from the two ends of the front edge, taper upwards in a triangular manner. In a simple embodiment, the vanishing line detection algorithm can be based, for example, on the fact that the side edges are marked in color, for example they are distinguished from the surroundings by red adhesive strips or a previously known color or are shown in high contrast. The course of such a colored line in the photograph can then be detected in image processing by means of color comparison. However, this is just a simple example of a line of flight detection algorithm. An edge detection algorithm known per se can also be used.

Zudem ist vorgesehen, dass in der Fotographie im Bereich der segmentierten freien Ladefläche „Pixelzeilen“ ermittelt werden. Diese bestehen jeweils aus denjenigen Pixeln, die sich von einer der Verlaufslinien zu der anderen der Verlaufslinien der Seitenkanten zur anderen erstrecken. Pro Pixelzeile wird aus dem absoluten Breitenwert der Gesamtladefläche und der jeweiligen Anzahl der Pixel der Pixelzeile ein absoluter Pixelbreitewert ermittelt wird. Das von der Vorderkante und den Verlaufslinien der Seitenkanten eingeschlossene Dreieck kann zumindest zu einem Teilbereich in der Fotografie oder in dem Bild zeilenweise gerastert werden, so dass sich horizontal verlaufende Pixelzeilen ergeben oder diese definiert oder ermittelt sind. Da der absolute Breitenwert bekannt ist, also ein Wert, der beispielsweise in einem Bereich von einem Meter bis acht Meter liegen kann, und dieser absolute Breitenwert für jede Pixelzeile gilt, die beide Verlaufslinien verbindet (Abstand der Seitenkanten), so kann durch die Division des absoluten Breitenwerts durch die Anzahl der Pixel der jeweiligen Pixelzeile ermittelt werden, welcher absolute Pixelbreitewert durch das Pixel repräsentiert ist, also dessen horizontale repräsentierte absolute Abmessung auf der freien Ladefläche. Als möglicher absoluter Pixelbreitewert kann sich beispielsweise ein Wert in einem Bereich von 2 cm bis 50 cm ergeben. Dies hängt auch von einer Pixeldichte des beschriebenen Bildsensors ab.In addition, it is intended that "pixel lines" will be determined in the photograph in the area of the segmented free loading area. These each consist of those pixels that extend from one of the gradient lines to the other of the gradient lines of the side edges to the other. An absolute pixel width value is determined for each pixel line from the absolute width value of the total loading area and the respective number of pixels in the pixel line. The triangle enclosed by the front edge and the progression lines of the side edges can be rastered line by line at least for a partial area in the photograph or in the image, so that horizontally running pixel lines result or these are defined or determined. Since the absolute width value is known, i.e. a value that can be in a range from one meter to eight meters, for example, and this absolute width value applies to each pixel line that connects both gradient lines (distance between the side edges), dividing the absolute width value can be determined by the number of pixels of the respective pixel line, which absolute pixel width value is represented by the pixel, ie its horizontal absolute dimension represented on the free loading area. For example, a value in a range from 2 cm to 50 cm can result as a possible absolute pixel width value. This also depends on a pixel density of the described image sensor.

Für den absoluten Pixelflächenwert des von dem Pixel repräsentierten Rechtecks auf der freien Ladefläche fehlt nun noch die zweite Abmessung, nämlich ein absoluter Pixellängswert oder Pixeltiefenwert, der angibt, wie weit oder wie tief sich die von dem Pixel repräsentierte Pixelfläche auf der freien Ladefläche in den Hintergrund oder von der Kamera weg erstreckt. Hierzu wird ein Abbildungsverhältnis ermittelt, das angibt, in welchem Größenverhältnis eine parallel zur Sensorebene angeordnete (insbesondere horizontale) Linie in der realen Umgebung in Abhängigkeit von ihrem absoluten Abstand zur Kamera und/oder in Abhängigkeit von einer Brennweite der Kamera dann auf der Sensorebene abgebildet wird. Die Linie repräsentiert die Breite eines (realen) Objekts, das auf dem Bildsensor abgebildet wird. Das Abbildungsverhältnis kann in einer einfachen Ausführungsform beispielsweise durch Versuche oder Testmessungen ermittelt werden, so dass in der Prozessorschaltung ein Kennfeld und/oder eine Abbildungstabelle (Lookup-Tabelle) bereitgestellt werden kann. Mittels des Abbildungsverhältnisses kann entschieden werden, wie weit ein Gegenstand oder ein Objekt oder eine Linie von der Kamera entfernt gewesen sein muss, damit ihre Breite (nämlich der absolute Breitenwert) sich auf eine bestimmte oder gegebene Anzahl an Pixeln abbildet oder diesen entspricht. Mittels des Abbildungsverhältnisses kann beispielsweise entschieden werden, wie weit eine Linie der Breite 2,5 Meter von der Kamera entfernt gewesen sein muss, damit sie in der Fotografie eine Breite oder Länge von 520 Pixeln aufweist. Das Abbildungsverhältnis kann also eine Angabe X Meter Breite wird bei A Meter Abstand auf N Pixel Breite in der Fotographie abgebildet. Da M und N bekannt sind, kann A berechnet werden.For the absolute pixel area value of the rectangle represented by the pixel on the free loading area, the second dimension is now missing, namely an absolute pixel longitudinal value or pixel depth value that indicates how far or how deep the pixel area represented by the pixel on the free loading area extends into the background or extending away from the camera. For this purpose, an imaging ratio is determined that indicates the size ratio in which a (in particular horizontal) line arranged parallel to the sensor plane is then imaged on the sensor plane in the real environment depending on its absolute distance from the camera and/or depending on a focal length of the camera . The line represents the width of a (real) object that is imaged on the image sensor. In a simple embodiment, the imaging ratio can be determined, for example, by experiments or test measurements, so that a characteristic diagram and/or a mapping table (lookup table) can be provided in the processor circuit. The imaging ratio can be used to decide how far an object or object or line must have been from the camera so that its width (i.e. the absolute width value) maps to or corresponds to a specific or given number of pixels. The imaging ratio can be used, for example, to decide how far a line with a width of 2.5 meters must have been from the camera in order for it to have a width or length of 520 pixels in the photograph. The reproduction ratio can therefore be specified. X meters width is mapped to N pixels width in the photograph at a distance of A meters. Since M and N are known, A can be calculated.

Nun kann also pro Pixelzeile ein absoluter Abstandswert der Pixelzeile anhand des absoluten Breitenwerts und des Abbildungsverhältnisses und der Anzahl der Pixel der Pixelzeile berechnet werden. Aus einem absoluten Differenzwert des Abstandswerts der Pixelzeile n und des Abstandswerts einer benachbarte Pixelzeile n+1 kann ein absoluter Pixeltiefenwert berechnet werden. Man kann also annehmen, dass der absolute Abstandswert einer Pixelreihe beispielsweise dem Abstand der vorderen Kante des durch das Pixel repräsentierten Rechtecks auf der Ladefläche oder der hinteren Kante dieses Rechtecks entspricht. Der absolute Differenzwert der absoluten Abstandswerte zweier benachbarter oder in der Fotografie aufeinander liegender Pixelreihen oder Pixelzeilen kann dann als Angabe der Pixeltiefe oder eben der Länge des Rechtecks, das durch das Pixel repräsentiert ist, in Richtung Bildtiefe, also senkrecht zur Vorderkante der Gesamtladefläche, angenommen werden. Diese Schätzung hat sich als geeignet erwiesen, um eine präzise Schätzung der freien Ladefläche als absoluter Flächenwert zu berechnen.An absolute distance value of the pixel line can now be calculated for each pixel line using the absolute width value and the imaging ratio and the number of pixels in the pixel line. An absolute pixel depth value can be calculated from an absolute difference value of the distance value of the pixel line n and the distance value of an adjacent pixel line n+1. One can therefore assume that the absolute distance value of a row of pixels corresponds, for example, to the distance from the front edge of the rectangle represented by the pixel on the truck bed or from the rear edge of this rectangle. The absolute difference value of the absolute distance values of two adjacent pixel rows or pixel rows lying one on top of the other in the photograph can then be taken as an indication of the pixel depth or the length of the rectangle represented by the pixel in the direction of the image depth, i.e. perpendicular to the front edge of the entire loading area . This estimation has proven to be suitable to calculate a precise estimate of the free loading area as an absolute area value.

Das Produkt aus Pixelbreitenwert und Pixeltiefenwert entspricht dem absoluten Pixelflächenwert des Rechtecks, das durch das Pixel auf der freien Ladefläche repräsentiert ist. Insgesamt kann damit nämlich pro Pixel der Pixelzeilen ein dem jeweiligen Pixel entsprechender absoluter Pixelflächenwert aus dem Pixelbreitenwert und dem Pixeltiefenwert berechnet und dem Pixel zugeordnet werden. Somit kann in Kenntnis des Abbildungsverhältnisses ohne zusätzliche Markierungen auf der freien Ladefläche geschätzt werden, welcher absolute Pixelflächenwert durch jedes Pixel auf der freien Ladefläche repräsentiert oder abgebildet oder gezeigt ist.The product of the pixel width value and the pixel depth value corresponds to the absolute pixel area value of the rectangle represented by the pixel on the free loading area. Overall, an absolute pixel area value corresponding to the respective pixel can be calculated from the pixel per pixel of the pixel rows width value and the pixel depth value are calculated and assigned to the pixel. Knowing the imaging ratio, it can thus be estimated without additional markings on the free loading area which absolute pixel area value is represented or imaged or shown by each pixel on the free loading area.

Als Alternative kann vorgesehen sein, auf der Gesamtladefläche Marker anzubringen, beispielsweise farblich abgesetzte Symbole, beispielsweise Rechtecke auf der Gesamtladefläche. Mittels eines Bildverarbeitungsalgorithmus kann ein solcher Marker detektiert werden, beispielsweise anhand seines Farbwertes, der entsprechende Pixelwerte hervorruft, und es kann gezählt werden, durch wie viele Pixel in der Abbildung eines solchen Markers enthalten sind. Da die Fläche eines solchen Markers bekannt ist (beispielsweise kann die Größe eines solchen Markers im Bereich von 5 cm² bis 40 cm² liegen), kann auch geschätzt werden, welchen absoluten Pixelflächenwert jedes der Pixel im Marker repräsentiert oder abbildet. Dieser Pixelflächenwert gilt dann auch zumindest näherungsweise für umliegende Pixel. Es können mehrere Marker für unterschiedliche Bildtiefen vorgesehen werden.As an alternative, it can be provided to attach markers to the entire loading area, for example symbols of different colors, for example rectangles on the entire loading area. Such a marker can be detected by means of an image processing algorithm, for example based on its color value, which produces corresponding pixel values, and the number of pixels contained in the image of such a marker can be counted. Since the area of such a marker is known (e.g. the size of such a marker can range from 5 cm ² to 40 cm ² ), it can also be estimated what absolute pixel area value each of the pixels in the marker represents or maps. This pixel area value then also applies, at least approximately, to surrounding pixels. Multiple markers can be provided for different image depths.

Eine Weiterbildung umfasst, dass der Fluchtliniendetektionsalgorithmus umfasst, dass in der Fotographie eine Kantendetektion durchgeführt wird und detektierte Kanten verlängert werden, sodass sich Schnittpunkte der verlängerten Kanten ergeben, und eine Region mit höchster Schnittpunktdichte als Fluchtpunkt der Fotographie festgelegt wird und die Verlaufslinien jeweils als Verbindungslinie des Fluchtpunkts zu jeweils einem Ende der Vorderkante festgelegt werden. Dieser Fluchtliniendetektionsalgorithmus weist den Vorteil auf, dass nicht bekannt sein muss, welche der in der Fotografie dargestellten Kanten die eigentlichen Seitenkanten der Gesamtladefläche darstellen. Es ist somit keine Vorbereitung der Seitenkanten, beispielsweise durch farbliches Markieren, notwendig. Es hat sich gezeigt, dass durch den beschriebenen Fluchtliniendetektionsalgorithmus sich der Fluchtpunkt im Bild als stärkster oder wahrscheinlichster Schnittpunkt oder häufigster Schnittpunkt der paarweisen Schnitte der verlängerten Kanten ergibt, was zu dem Wert der höchsten Schnittpunktdichte führt. Die Region kann ein einzelnes Pixel darstellen oder eine Gruppe mehrerer Pixel, beispielsweise ein Rechteck der Kantenlänge 30 Pixel mal 30 Pixel, um nur ein Beispiel zu nennen. Es kann dann für unterschiedliche Regionen ausgewertet werden, wie viele Schnittpunkte sich darin befinden. Die Region höchster Schnittpunktdichte (z.B. deren Zentrum) stellt dann den Fluchtpunkt dar. Wie bereits beschrieben, zeigen die Seitenkanten in der beschriebenen geometrischen Anordnung auf diesen Fluchtpunkt. Eine Verbindungslinie dieses Fluchtpunkts mit jeweils einem Ende der Vorderkante der Gesamtladefläche entspricht dann dem Verlauf der beiden Seitenkanten. Allerdings ist diese Verbindungslinie länger als die Seitenkanten, da der Fluchtpunkt im Bereich der Rückwand des Frachtraums liegen kann und/oder die Seitenkanten durch Frachtstücke teilweise verdeckt sein können.A further development includes that the vanishing line detection algorithm includes that an edge detection is carried out in the photograph and detected edges are extended so that intersection points of the extended edges result, and a region with the highest density of intersection points is defined as the vanishing point of the photograph and the course lines are each used as a connecting line of the vanishing point to each end of the leading edge. This vanishing line detection algorithm has the advantage that it does not have to be known which of the edges shown in the photograph represent the actual side edges of the entire loading area. It is therefore not necessary to prepare the side edges, for example by color marking. It has been found that with the vanishing line detection algorithm described, the vanishing point in the image turns out to be the strongest or most probable intersection or most frequent intersection of the paired intersections of the extended edges, resulting in the highest intersection density value. The region may represent a single pixel or a group of multiple pixels, such as a 30 pixel by 30 pixel rectangle, to give just one example. It can then be evaluated for different regions how many intersection points are there. The region with the highest intersection density (e.g. its center) then represents the vanishing point. As already described, the side edges in the geometric arrangement described point to this vanishing point. A line connecting this vanishing point with one end of the front edge of the total loading area then corresponds to the course of the two side edges. However, this connecting line is longer than the side edges, since the vanishing point can be in the area of the rear wall of the cargo hold and/or the side edges can be partially covered by freight items.

Eine Weiterbildung umfasst, dass der Segmentierungsalgorithmus umfasst, dass die Bilddaten einem Modell des maschinellen Lernens als Eingabedaten zugeführt werden, wobei das Modell dazu trainiert ist, mittels einer pixelweisen Klassifikation der Bilddaten jeweilige Pixel zu einer der folgenden Klassen zuzuordnen: der Gesamtladefläche, einer Seiteninnenwand des Frachtraums, einer Decke des Frachtraums, und das Modell entsprechende Segementierdaten erzeugt, wobei ein jeweiliges Pixel eines unbekannten Objekts zu einem von den Klassen verschiedenen Segmentierergebnis führt. Beispielsweise kann vorgesehen sein, Trainingsfotografien bereitzustellen, zu denen zusätzlich so genannte Labelingdaten bereitgestellt werden, durch welche angegeben ist, wo in der jeweiligen Trainingsfotografie die Gesamtladefläche, die Seiteninnenwand, die Decke des Frachtraums befindet. Eine Trainingsfotografie kann dabei einen leeren Frachtraum oder einen beladenen Frachtraum darstellen. In einer Trainingsfotografie mit einem beladenen Frachtraum ist dann anstelle der Gesamtladefläche die freie Ladefläche gelabelt oder markiert, also der sichtbare Teil der Gesamtladefläche. Es hat sich herausgestellt, dass ein Modell des maschinellen Lernens anhand solcher Fotografien Segmentierinformationen oder Segmentierdaten erzeugen kann, durch welche angegeben ist, wo in einer Fotografie eines beladenen oder unbeladenen Frachtraums sich freie Ladefläche, Seiteninnenwand beziehungsweise Decke befindet. Es kann jeweils ein anderer Ausgabewert für die Ladefläche, Seiteninnenwand und Decke vorgesehen sein. Für ein solches Modell des maschinellen Lernens hat sich herausgestellt, dass dann alle übrigen Elemente oder Objekte, das heißt unbekannte Objekte (nicht Ladefläche, Seiteninnenwand, Decke) durch einen entsprechenden Wert oder ein entsprechendes Segmentierergebnis durch das Modell gekennzeichnet werden. Wird beispielsweise Ladefläche durch ein schwarzes Pixel repräsentiert, Seiteninnenwand dunkelgrau und Decke hellgrau, so kann sich für ein unbekanntes Objekt als Segmentierergebnis die Farbe Weiß ergeben. Ein Beispiel für ein geeignetes Modell des maschinellen Lernens ist ein künstliches neuronales Netzwerk. Entsprechende Trainingsalgorithmen zum Trainieren eines solchen Modells in der beschriebenen Weise sind aus dem Stand der Technik bekannt. Ein alternatives Modell kann beispielsweise ein so genannter Decision Tree oder eine Support Vactor Machine (SVM) sein. Die Verwendung des Segmentierungsalgorithmus mit dem beschriebenen Modell des maschinellen Lernens zum Detektieren der freien Ladefläche, also des freien Teils einer Gesamtladefläche eines Frachtraums stellt eine eigene Erfindung dar.A further development includes that the segmentation algorithm includes the image data being supplied to a machine learning model as input data, with the model being trained to use a pixel-by-pixel classification of the image data to assign respective pixels to one of the following classes: the total loading area, an inner side wall of the Cargo hold, a ceiling of the cargo hold, and the model generates corresponding segmentation data, with a respective pixel of an unknown object leading to a segmentation result different from the classes. For example, it can be provided that training photographs are provided, to which so-called labeling data are additionally provided, which indicate where the total loading area, the inner side wall, the ceiling of the cargo hold are located in the respective training photograph. A training photograph can show an empty cargo hold or a loaded cargo hold. In a training photograph with a loaded cargo hold, the free loading area is then labeled or marked instead of the total loading area, i.e. the visible part of the total loading area. It has been found that a machine learning model can use such photographs to generate segmentation information or segmentation data that indicates where in a photograph of a loaded or unloaded cargo compartment the free loading area, inner side wall or ceiling is located. A different output value can be provided for the loading area, inner side wall and ceiling. For such a model of machine learning, it has been found that all other elements or objects, i.e. unknown objects (not loading area, inner side wall, ceiling) are identified by the model with a corresponding value or a corresponding segmentation result. For example, if the loading area is represented by a black pixel, the inner side wall is dark gray and the ceiling is light gray, the segmentation result for an unknown object can be white. An example of a suitable machine learning model is an artificial neural network. Corresponding training algorithms for training such a model in the manner described are known from the prior art. An alternative model can be what is known as a decision tree or a support factor machine (SVM), for example. Using the segmentation algorithm with the described machine learning model to detect The free loading area, i.e. the free part of a total loading area of a cargo hold, represents an invention of its own.

Eine Weiterbildung umfasst, dass eine Dreiecksfläche aus den Verlaufslinien der Seitenkanten und der Vorderkante der Frachtraumbodens (Gesamtladefläche) mit den Segmentierdaten überlagert oder maskiert wird und die freie Ladefläche als Schnittmenge der Dreiecksfläche und den Pixeln der Klasse „Gesamtladefläche“ festgelegt wird. Somit kann die Ausgabe des Segmentierungsalgorithmus, welcher die Pixel, die zur Ladefläche gehören, also die Gesamtladefläche des Frachtraums, seitlich zur Seite hin abgrenzen durch die Verlaufslinien und die Vorderkante, wodurch sich ein genaueres Segmentierergebnis oder eine genauere Segmentierung der freien Ladefläche ergibt, da die Verlaufslinien und die Vorderkante die Gesamtladefläche abgrenzen, während die Segmentierdaten den in der jeweiligen Fotografie erkennbaren oder sichtbaren Bereich der Gesamtladefläche, also die freie Ladefläche, segmentiert oder markiert. Dies kann dazu verwendet werden, dem Problem zu begegnen, dass in den Segmentierdaten die Ränder von segmentierten Regionen, wie z.B. der Gesamtladefläche, unscharf dargestellt sein können.A further development includes that a triangular area from the progression lines of the side edges and the front edge of the cargo compartment floor (total loading area) is overlaid or masked with the segmentation data and the free loading area is defined as the intersection of the triangular area and the pixels of the "total loading area" class. Thus, the output of the segmentation algorithm, which delimits the pixels that belong to the loading area, i.e. the total loading area of the cargo compartment, laterally to the side by the progression lines and the front edge, which results in a more precise segmentation result or a more precise segmentation of the free loading area, since the Lines of progression and the front edge delimit the total loading area, while the segmentation data segments or marks the area of the total loading area recognizable or visible in the respective photograph, ie the free loading area. This can be used to address the problem that in the segmentation data, the edges of segmented regions, such as the total truck area, can be blurred.

Eine Weiterbildung umfasst, dass das Abbildungsverhältnis das Verhältnis $\begin{matrix} Anzahl Pixel der Pixilzeile / Entfernung Sensorebene zu einer Linse der Kamera \\ = \\ absoluter Breitenwert / Entfernung der Linie (d .h . des Objekts) zur Linse \end{matrix}$

beschreibt. Somit kann das Abbildungsverhältnis auch ohne vorherige Tests oder Versuche und damit ohne Tabelle oder Kennfeld durch Berechnung ermittelt werden. Die hier beschriebene geometrische Berechnung beruht auf den optischen Verhältnissen und dem Strahlensatz. Die Entfernung der Sensorebene zur Linse kann beispielsweise aus dem Modell der Kamera oder dem Kameratyp ermittelt werden, wozu in vorteilhafter Weise die in den Bilddaten verfügbaren Metadaten verwendet werden können, die in der Regel zusätzlich zum Kameratyp auch den Typ des Objektivs angeben.A further development includes that the imaging ratio is the ratio

\begin{matrix} Number of pixels in the pixel line / distance sensor plane to a lens of the camera \\ = \\ absolute latitude value / distance of the line (i.e .H . of the object) to the lens \end{matrix}

describes. The imaging ratio can thus be determined by calculation without prior tests or trials and thus without a table or characteristic map. The geometric calculation described here is based on the optical conditions and the law of rays. The distance from the sensor plane to the lens can be determined, for example, from the model of the camera or the camera type, for which purpose the metadata available in the image data can advantageously be used, which usually also specify the type of lens in addition to the camera type.

Eine Weiterbildung umfasst, dass das Abbildungsverhältnis anhand eines Brennweitewerts der Fotographie und/oder anhand eines Kennfelds der Kamera ermittelt wird. Das hier beschriebene Kennfeld ist die Speicherung derjenigen Daten, die durch Versuche erzeugt werden können, um das Abbildungsverhältnis empirisch zu ermitteln. Aus dem Brennweitewert kann ebenfalls ermittelt werden, welches Abbildungsverhältnis sich ergibt, nämlich beispielsweise der Vergrößerungsfaktor.A development includes that the imaging ratio is determined based on a focal length value of the photograph and/or based on a characteristic map of the camera. The map described here is the storage of those data that can be generated by experiments to empirically determine the imaging ratio. The focal length value can also be used to determine which imaging ratio results, namely, for example, the magnification factor.

Durch weiterführende geometrische Berechnung auf Basis der Strahlenverläufe des Lichts kann auch folgendes Abbildungsverhältnis hergeleitet werden:

Breite des Objekts (d.h. Länge der Linie) auf dem Sensor / Brennweite f = absoluter Breitenwert des Objekts (d.h. Länge der Linie) / Entfernung zur Linse.

The following image ratio can also be derived from further geometric calculations based on the course of the rays of the light:

Width of object (ie length of line) on sensor / focal length f = absolute value of width of object (ie length of line) / distance to lens.

Eine Sensorabmessung zum Umrechnen einer Breite einer Abbildung eines Objekts auf dem Sensor in eine korrespondierende Anzahl Pixel kann z.B. anhand des verwendeten Kameratyps / Kameramodells der verwendeten Kamera oder aus einem Seitenverhältnis und einem Cropfaktor des Bildsensors der Kamera ermittelt werden. Die Breite eines Pixels wird auch als Pixel-Pitch bezeichnet, also ein absoluter Abstand und damit eine effektive absolute Breite eines Pixels in Millimeter oder Mikrometer.A sensor dimension for converting a width of an image of an object on the sensor into a corresponding number of pixels can be determined, for example, using the camera type/camera model of the camera used or from an aspect ratio and a crop factor of the image sensor of the camera. The width of a pixel is also referred to as the pixel pitch, i.e. an absolute distance and thus an effective absolute width of a pixel in millimeters or micrometers.

Eine weitere Berechnungsmöglichkeit ist gegeben durch $\begin{matrix} 1 / Brennweite f \\ = \\ 1 / Abstand Sensorebene zur Linse + 1 / Entfernung des Objekts zur Linse . \end{matrix}$

Another calculation option is given by

\begin{matrix} 1 / focal length f \\ = \\ 1 / Distance between sensor plane and lens + 1 / Distance of the object to the lens . \end{matrix}

Als eine konkrete Implementierung kann beispielsweise auf der Grundlage der obigen Gleichungen vorgesehen sein, dass für eine Pixelzeile, die die besagten Verlaufslinien mit ihrem bekannten absoluten Abstandswert (=absoluter Breitenwert der Gesamtladefläche) verbindet, deren Anzahl der Pixel gezählt wird und anhand der Berechnung $\begin{array}{l} absolute Abbildungsbreite des Objekts auf dem Bildsensor \\ = \\ Sensorgesamtbreite in mm * Anzahl der Pixelzelle / Sensorgesamthbreite in \\ Pixel \end{array}$

der absolute Breitewert der Pixelzeile in Millimeter (mm) als Zwischenergebnis ermittelt wird und damit der Abstand der abgebildeten Linie, die durch die Pixelzeile dargestellt ist:

\begin{array}{l} absoluter Abstandswert des Objekts (horizontale Linie zwischen den \\ Seitenkanten) zur Linse \\ = \\ absoluter Breitenwert (z .B 2,5 Meter) * Brennweite f/ \\ absolute Abbildungsbreite des Objekts auf dem Bildsensor . \end{array}

As a concrete implementation, for example, based on the above equations, it can be provided that for a pixel line that connects the said course lines with their known absolute distance value (= absolute width value of the total loading area), the number of pixels is counted and based on the calculation

\begin{array}{l} absolute image width of the object on the image sensor \\ = \\ Total sensor width in mm * number of pixel cell / Total sensor width in \\ pixel \end{array}

the absolute width value of the pixel line in millimeters (mm) is determined as an intermediate result and thus the distance of the displayed line that is represented by the pixel line:

\begin{array}{l} absolute distance value of the object (horizontal line between the \\ side edges) to the lens \\ = \\ absolute latitude value (e.g .B2,5 meters) * focal length f/ \\ absolute image width of the object on the image sensor . \end{array}

Eine Weiterbildung umfasst, dass aus in den Bilddaten enthaltenen vorbestimmten Metainformationen, insbesondere aus EXIF-Daten (Exchangeable image file format), das Abbildungsverhältnis ermittelt wird. Wie bereits ausgeführt, kann aus den Metainformationen das Modell der Kamera und/oder eines verwendeten Objektivs ermittelt werden. Zusätzlich sind in Metainformationen, insbesondere den EXIF-Daten, auch die verwendete Brennweite f verfügbar. Zusätzlich oder alternativ kann auf Tiefenwertedaten zurückgegriffen werden, wie sie beispielsweise im Zusammenhang mit dem so genannte Portraitmodus von Kameras bekannt sind. Hierbei kann auf einen TOF-Sensor (TOF - Time of light) zurückgegriffen werden, dessen Tiefenwerte oder Tiefendaten angeben, welchen Abstand ein Bildpunkt oder Pixel zur Kamera aufweist.A development includes that the imaging ratio is determined from predetermined meta information contained in the image data, in particular from EXIF data (exchangeable image file format). As already explained, the model of the camera and/or a lens used can be determined from the meta information. In addition, the focal length f used is also available in meta information, in particular the EXIF data. Additionally or alternatively, depth value data can be used, such as are known, for example, in connection with the so-called portrait mode of cameras. A TOF sensor (TOF—Time of Light) can be used here, the depth values or depth data of which indicate the distance between an image point or pixel and the camera.

Eine Weiterbildung umfasst, dass der absolute Breitenwert aus Typendaten eines Behältertyps des Frachtraums ermittelt wird. Die Typendaten eines solchen Behältertyps können beispielsweise aus Konstruktionsdaten des Frachtraums ermittelt werden.A development includes that the absolute width value is determined from type data of a container type of the cargo hold. The type data of such a container type can be determined, for example, from design data of the cargo hold.

Eine Weiterbildung umfasst, dass in den Bilddaten Kanten einer rechteckigen Eingangsöffnung des Frachtraums als rotiertes Rechteck detektiert werden und die Bilddaten mittels einer Bildrotation begradigt werden und/oder mittels einer Ausschnittsberechnung auf die rechteckige Eingangsöffnung beschnitten werden. Mit anderen Worten kann in der Fotografie der gesamte Eingangsbereich oder der Rahmen des Frachtraums, beispielsweise der Türrahmen oder Torrahmen eines Hängers eines Lastkraftwagens oder der Eingang eines Frachtcontainers abgebildet sein. Hierdurch ergibt sich der Vorteil, dass eine Rechteckform in der Fotografie vorhanden ist, die mittels eines an sich bekannten Algorithmus detektiert werden kann. Dies kann dazu genutzt werden sicherzustellen, dass die Vorderkante als horizontale Linie abgebildet ist. Zudem kann anhand des Rahmens des Eingangs des Frachtraums erkannt werden, welcher Teil der Fotografie oder des Bildes den Innenbereich des Frachtraums oder das Innere des Frachtraums darstellt.A further development includes detecting edges of a rectangular entrance opening of the cargo hold as a rotated rectangle in the image data and straightening the image data by means of an image rotation and/or cropping them to the rectangular entrance opening by means of a section calculation. In other words, the entire entrance area or frame of the cargo hold, for example the door frame or gate frame of a truck trailer or the entrance of a freight container, can be depicted in the photograph. This results in the advantage that a rectangular shape is present in the photograph, which can be detected using an algorithm that is known per se. This can be used to ensure that the leading edge is mapped as a horizontal line. In addition, the frame of the entrance to the cargo compartment can be used to identify which part of the photograph or image represents the interior of the cargo compartment or the interior of the cargo compartment.

Eine Weiterbildung umfasst, dass in der Fotographie der Frachtraum eines Lastkraftwagens oder eines Frachtcontainers oder eines Koffers eines Lastkraftwagens oder eines Transportfahrzeugs oder eines Güterwagens oder eines Schiffes oder eines Transportflugzeugs abgebildet ist. Für diese beiden Typen von Frachträumen hat sich das Verfahren als besonders robust und zuverlässig erwiesen.A further development comprises that the freight compartment of a truck or a freight container or a suitcase of a truck or a transport vehicle or a goods wagon or a ship or a transport aircraft is depicted in the photograph. The method has proven to be particularly robust and reliable for these two types of cargo holds.

Als eine weitere Lösung umfasst die Erfindung eine Prozessorschaltung, die dazu eingerichtet ist, eine Ausführungsform des Verfahrens durchzuführen. Die Prozessorschaltung kann beispielsweise stationär in einem Logistikunternehmen oder in einem Rechenzentrum eines Logistikunternehmens betrieben werden. Die Prozessorschaltung kann einen oder mehrere Mikroprozessoren aufweisen, die mit einem Datenspeicher gekoppelt sein können, in welchem Programminstruktionen gespeichert sein können, die bei Ausführung durch die Prozessorschaltung diese veranlassen, die Ausführungsform des Verfahrens durchzuführen. Die Bilddaten der Fotografie können durch die Prozessorschaltung beispielsweise über eine Internetverbindung oder eine Kommunikationsverbindung aus der Kamera empfangen werden. Natürlich kann durch die Prozessorschaltung auch aus mehreren Kameras das Empfangen von Bilddaten vorgesehen sein, um so die freie Ladefläche mehrerer Frachträume in Bezug auf den absoluten Flächenwert hin in der beschriebenen Weise analysieren zu können. Somit ist die insgesamt in mehreren Frachträumen verfügbare freie Ladefläche durch die Prozessorschaltung ermittelbar.As a further solution, the invention comprises a processor circuit set up to carry out an embodiment of the method. The processor circuit can, for example, be operated in a stationary manner in a logistics company or in a data center of a logistics company. The processor circuit may comprise one or more microprocessors, which may be coupled to a data memory in which program instructions may be stored which, when executed by the processor circuit, cause it to carry out the embodiment of the method. The image data of the photograph can be received by the processor circuitry from the camera, for example via an Internet connection or a communication link. Of course, the processor circuit can also receive image data from a number of cameras, in order to be able to analyze the free loading area of a number of freight compartments with regard to the absolute area value in the manner described. The total free loading area available in several cargo holds can thus be determined by the processor circuit.

Als eine weitere Lösung umfasst die Erfindung ein Logistiksystem mit einer Ausführungsform der Prozessorschaltung und mit einer Empfangseinrichtung zum Empfangen von Bilddaten von Fotographien unterschiedlicher Frachtraum, wobei das Logistiksystem dazu eingerichtet ist, mittels der Prozessorschaltung eine jeweilige freie Ladefläche der Frachtraum zu ermitteln und davon abhängig eine Frachtverteilung von zu transportierenden Frachtstücken zu steuern. Somit kann der Transport oder das Aufteilen von Frachtstücken auf mehrere Laderäume durch das Logistiksystem auf Grundlage der Prozessorschaltung und damit auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens durchgeführt werden.As a further solution, the invention comprises a logistics system with an embodiment of the processor circuit and with a receiving device for receiving image data from photographs different cargo hold, the logistics system being set up to use the processor circuit to determine a respective free loading area of the cargo hold and to control a freight distribution of freight items to be transported as a function thereof. Thus, the transport or the distribution of freight items to a plurality of holds can be carried out by the logistics system on the basis of the processor circuit and thus on the basis of an embodiment of the method according to the invention.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.The invention also includes the combinations of features of the described embodiments.

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Logistiksystems mit einer Prozessorschaltung;
2 ein Flussschaudiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens, wie es durch die Prozessorschaltung des Logistiksystems von 1 ausgeführt werden kann;
3 Skizzen zur Veranschaulichung von Verfahrensschritten des Verfahrens von 2;
4 eine Skizze zur Veranschaulichung einer Berechnung von Pixelflächenwerten von Pixeln einer Fotografie, die eine freie Ladefläche eines Frachtraums zeigt; und
5 eine Skizze zur Veranschaulichung von Verfahrensschritten der Berechnung der freien Lademeter.

An exemplary embodiment of the invention is described below. For this shows:

1 a schematic representation of an embodiment of the logistics system according to the invention with a processor circuit;
2 a flow chart of an embodiment of the method according to the invention, as it is carried out by the processor circuit of the logistics system of FIG 1 can be executed;
3 Sketches to illustrate process steps of the process of 2 ;
4 a sketch to illustrate a calculation of pixel area values of pixels of a photograph showing a free loading area of a cargo hold; and
5 a sketch to illustrate the procedural steps of calculating the free loading meters.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, the described components of the embodiment each represent individual features of the invention to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than the one shown. Furthermore, the embodiment described can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.Elements with the same function are each provided with the same reference symbols in the figures.

1 zeigt ein Logistiksystem 10, mittels welchem zu einer Lastkraftwagenflotte mit zumindest einem Lastkraftwagen 11 überwacht werden kann, wie viel freie Ladefläche 12 noch in den Frachträumen 13 der Lastkraftwagen 11 verfügbar ist. In 1 ist lediglich ein Lastkraftwagen 11 dargestellt, Auslassungspunkte 14 sollen anzeigen, dass die Lastkraftwagenflotte noch weitere Lastkraftwagen 11 umfassen kann. Zum Ermitteln der insgesamt verfügbaren freien Ladefläche 12 pro Lastkraftwagen 11 kann das Logistiksystem 10 eine Prozessorschaltung 15 aufweisen. Die Prozessorschaltung 15 kann aus zumindest einer Kamera 16 jeweils Bilddaten 17 empfangen, die eine Fotografie 18 des Frachtraums 13 zeigen. Die Bilddaten 17 können beispielsweise über das Internet 19 und/oder ein Mobilfunknetzwerk 20 beispielsweise mittels an sich bekannter Internetverbindungen 21 von der Kamera 16 hin zu der Prozessorschaltung 15 übertragen werden. Die Kamera 16 kann beispielsweise durch ein Smartphone 22 realisiert sein. Mittels der Kamera 16 kann beispielsweise ein Fahrer des jeweiligen Lastkraftwagens 11 die Fotografie 18 von dem Frachtraum 13 anfertigen. Jeder Fahrer kann beispielsweise sein eigenes Smartphone 22 dafür verwenden. Die Fotografie 18 kann dabei in der Weise angefertigt werden, dass eine Vorderkante 23 als horizontale Linie in der Fotografie 18 abgebildet ist und die Kamera 16 derart oberhalb der freien Ladefläche 12 gehalten ist, dass die freie Ladefläche 12 aus einer Perspektive von schräg oben sichtbar ist, wie dies in 1 dargestellt ist. Der Frachtraum 13 ist in dem dargestellten Beispiel bereits teilweise mit Frachtstücken 24 beladen, bei denen es sich beispielsweise um Paletten handeln kann. Die freie Ladefläche 12 kann ein Bestandteil einer insgesamt in dem Frachtraum 13 verfügbaren Frachtraumboden oder die Gesamtladefläche 25 sein, die beispielsweise durch den Boden des Frachtraums 13 gebildet sein kann. Dargestellt ist des Weiteren, wie die Gesamtladefläche 25 durch Seitenkanten 26 begrenzt sein kann, dargestellt ist des Weiteren, wie in der Fotografie 18 auch Seiteninnenwände 27, eine Decke 28 und eine Rückwand 29 zu sehen sein können. Beispielsweise kann die Fotografie 18 von außerhalb des Frachtraums 13 durch einen Türrahmen 30 hindurch fotografiert sein, der in der Fotografie 18 ebenfalls abgebildet sein kann, so dass er als äußeres Rechteck, das den Frachtraum 13 umrahmt, dargestellt ist. 1 shows a logistics system 10, by means of which a truck fleet with at least one truck 11 can be monitored as to how much free loading area 12 is still available in the cargo compartments 13 of the trucks 11. In 1 where only one truck 11 is shown, ellipses 14 are intended to indicate that the truck fleet may include other trucks 11. The logistics system 10 can have a processor circuit 15 to determine the total available free loading area 12 per truck 11 . The processor circuit 15 can receive image data 17 from at least one camera 16, which shows a photograph 18 of the cargo hold 13. The image data 17 can, for example, be transmitted from the camera 16 to the processor circuit 15 via the Internet 19 and/or a mobile radio network 20, for example by means of Internet connections 21 known per se. The camera 16 can be implemented by a smartphone 22, for example. For example, a driver of the respective truck 11 can use the camera 16 to take the photograph 18 of the cargo hold 13 . Each driver can use his own smartphone 22 for this, for example. The photograph 18 can be taken in such a way that a front edge 23 is shown as a horizontal line in the photograph 18 and the camera 16 is held above the free loading area 12 such that the free loading area 12 is visible from a perspective obliquely from above , like this in 1 is shown. In the example shown, the cargo hold 13 is already partially loaded with cargo items 24, which can be pallets, for example. The free cargo area 12 can be part of a cargo area floor that is available overall in the cargo area 13 or the entire cargo area 25 that can be formed by the floor of the cargo area 13 , for example. It is also shown how the total loading area 25 can be delimited by side edges 26. It is also shown how side inner walls 27, a ceiling 28 and a rear wall 29 can also be seen in the photograph 18. For example, the photograph 18 may be photographed from outside of the cargo hold 13 through a door frame 30 , which may also be depicted in the photograph 18 such that it is shown as an outer rectangle enclosing the cargo hold 13 .

Das Logistiksystem 10 kann mittels der Prozessorschaltung 15 aus den empfangenen Bilddaten 17 einen absoluten Flächenwert berechnen, der angeben kann, wie viele Quadratmeter oder Quadratdezimeter oder Squarefoot an freier Ladefläche 12 noch in dem jeweiligen Frachtraum 13 verfügbar ist. Dargestellt ist, wie zu einem einzelnen Lastkraftwagen 11, der in der Prozessorschaltung 15 durch seine Fahrzeug-ID V-ID repräsentiert sein kann, ermittelt werden kann, in wie weit die Ladekapazität CAP im Frachtraum 13 bereits ausgeschöpft ist und wie viel freie Ladekapazität entsprechend noch verfügbar ist. Da ein absoluter Flächenwert ermittelt ist, kann entsprechend die Stellfläche für zusätzliche Paletten 33 ermittelt werden, was in 1 beispielhaft einen Zuladewert 34 an zusätzlichen Paletten 33 ergeben kann. In 1 ist des Weiteren dargestellt, wie mittels eines Verfahrens 35 ermittelt werden kann, wo auf der Gesamtladefläche 25 die freie Ladefläche 12 zu finden ist. Mittels eines zusätzlichen Algorithmus kann auch eine halbbeladene Ladefläche 32, die zwar bedeckt ist durch Frachtstücke, aber zur Decke 28 hin noch Platz hat, sich befindet.The logistics system 10 can use the processor circuit 15 to calculate an absolute area value from the received image data 17, which can indicate how many square meters or square decimeters or square feet of free loading area 12 is still available in the respective cargo hold 13. is shown, how it can be determined for an individual truck 11, which can be represented in the processor circuit 15 by its vehicle ID V-ID, to what extent the loading capacity CAP in the cargo hold 13 has already been exhausted and how much free loading capacity is correspondingly still available. Since an absolute area value is determined, the footprint for additional pallets 33 can be determined accordingly, which is 1 a load value 34 of additional pallets 33 can result, for example. In 1 is also shown how a method 35 can be used to determine where the free loading area 12 can be found on the total loading area 25 . By means of an additional algorithm, there can also be a half-loaded loading area 32 which is covered by freight items but still has space towards the ceiling 28 .

Im Folgenden ist anhand von 2 unter Veranschaulichung mittels 3 das Verfahren 35 zum Auffinden oder Ermitteln der freien Ladefläche 12 im Frachtraum 13 beschrieben.The following is based on 2 with illustration by means of 3 the method 35 for finding or determining the free loading area 12 in the cargo hold 13 is described.

Hierbei wird davon ausgegangen, dass als Start SC ein Frachtraum 13 mit Frachtstücken 24 beladen wurde und in einem Schritt S11 eine Bedienperson, beispielsweise ein Fahrer des Lastkraftwagens 11, mittels einer Kamera 16 die Fotografie 18 aufnimmt. In einem Schritt S12 können die Bilddaten 17 der Fotografie 18 in der beschriebenen Weise zur Prozessorschaltung 15 des Logistiksystems 10 übertragen werden. Bei den Bilddaten 17 der Fotografie 18 handelt es sich bevorzugt um Farbbilddaten, das heißt ein RGB-Bild (RGB - Rot, Grün, Blau). Es kann beispielsweise im JPG-Format in den Bilddaten 17 gespeichert sein (JPG - Joined fotographic expert group).It is assumed here that a freight compartment 13 was loaded with freight items 24 as a start SC and that in a step S11 an operator, for example a driver of the truck 11, takes the photograph 18 using a camera 16. In a step S12, the image data 17 of the photograph 18 can be transmitted to the processor circuit 15 of the logistics system 10 in the manner described. The image data 17 of the photograph 18 is preferably color image data, ie an RGB image (RGB—red, green, blue). It can be stored in the image data 17 in JPG format, for example (JPG—Joined Photographic Expert Group).

In einem Schritt S13 kann eine Bild-Vorverarbeitung durchgeführt werden, um beispielsweise Kantenverläufe zu betonen, wie dies beispielsweise mit dem Algorithmus „unscharf maskieren“ bewirkt werden kann.Image pre-processing can be carried out in a step S13 in order to emphasize edge profiles, for example, as can be effected with the “unsharp masking” algorithm, for example.

In einem Schritt S14 kann ein Segmentierungsalgorithmus 40 ausgeführt werden. Beispielsweise können die Bilddaten 17, wie sie aus dem Schritt S13 resultieren, einem Modell 41 des maschinellen Lernens, beispielsweise einem künstlichen neuronalen Netzwerk, als Eingangsdaten übergeben werden. Das Modell 41 kann eine pixelweise Segmentierung oder Kategorisierung der Pixel der Fotografie 18 durchführen. In 3 ist hierzu ein Segmentierergebnis als Segmentierdaten 42 dargestellt, welche Segmentierergebnisse 25' für die Erkennung der Gesamtladefläche 25, 27' für die Erkennung von Seiteninnenwänden 27 und 28' für die Erkennung der Decke enthalten können. Ein Segmentierergebnis 43 eines unbekannten Objekts kann sich beispielsweise aufgrund der Frachtstücke 24 und/oder der Rückwand 29 ergeben. Dargestellt ist, dass Grenzen oder Kanten unscharf oder fuzzy sein können, wie es bei einem Modell des maschinellen Lernens resultieren kann. Der Schritt S13 kann auch dem Schritt S14 nachgelagert sein.In a step S14, a segmentation algorithm 40 can be executed. For example, the image data 17 resulting from step S13 can be transferred as input data to a machine learning model 41, for example an artificial neural network. The model 41 may perform pixel-by-pixel segmentation or categorization of the photograph 18 pixels. In 3 For this purpose, a segmentation result is shown as segmentation data 42, which can contain segmentation results 25' for recognizing the entire loading area 25, 27' for recognizing inner side walls 27 and 28' for recognizing the ceiling. A segmentation result 43 of an unknown object can result, for example, on the basis of the freight items 24 and/or the rear wall 29 . Shown is that boundaries or edges may be fuzzy or fuzzy as may result in a machine learning model. Step S13 can also follow step S14.

Der Segmentierungsalgorithmus kann des Weiteren eine Binärsegmentierung 50 vorsehen, in welcher die Klassen Gesamtladefläche, Seiteninnenwände und Decke aus den Segmentierdaten 42 einen ersten Segmentierwert 51 zugeordnet erhalten und alle übrigen Segmentierergebnisse 43 einen zweiten Segmentierwert 52, beispielsweise 1, also unterschiedlich vom ersten Segmentierwert 51, erhalten. Somit ergibt sich insgesamt eine Segmentiermaske 53.The segmentation algorithm can also provide a binary segmentation 50, in which the classes total loading area, inner side walls and ceiling from the segmentation data 42 are assigned a first segmentation value 51 and all other segmentation results 43 are given a second segmentation value 52, for example 1, i.e. different from the first segmentation value 51 . This results in a total segmentation mask 53.

Der Schritt S15 kann beispielsweise eine Rotation umfassen, so dass der Türrahmen 30 als aufrechtes Rechteck dargestellt ist, so dass die Vorderkante 23 in der rotierten Fotografie eine waagrechte oder horizontale Linie darstellt. Zudem kann eine Ausschnittsberechnung 54 durchgeführt werden, welche vorsieht, dass Bildbereiche außerhalb des Türrahmens 30 weggeschnitten werden, so dass durch den Türrahmen 30, das heißt, der Blick in den Frachtraum 13, der einzige verbleibende Bildinhalt ist. Der Türrahmen 30 stellt eine Eingangsöffnung des Frachtraums 13 dar.For example, step S15 may include a rotation such that the door frame 30 is represented as an upright rectangle such that the leading edge 23 in the rotated photograph represents a level or horizontal line. In addition, a section calculation 54 can be carried out, which provides for image areas outside of the door frame 30 to be cut away, so that the only remaining image content is through the door frame 30, ie the view into the cargo hold 13 . The door frame 30 represents an entrance opening of the cargo hold 13.

In einem Schritt S15 kann auf den Bildausschnitt aus der Ausschnittsberechnung 54 eine Kantendetektion angewendet werden, durch welche in der Fotografie 18 erkennbare Kanten im Frachtraum 13 detektiert werden. Jede erkannte Kante kann verlängert werden, so dass sie sich über das gesamte Bild erstreckt. Hierdurch ergeben sich Schnittpunkte 55, von denen der Übersichtlichkeit halber nur einige mit einem Bezugszeichen versehen sind.In a step S15, an edge detection can be applied to the image section from the section calculation 54, by which edges recognizable in the photograph 18 in the cargo hold 13 are detected. Each detected edge can be extended to span the entire image. This results in points of intersection 55, only some of which are provided with a reference symbol for the sake of clarity.

Es hat sich herausgestellt, dass sich die Schnittpunkte 55 im Bereich des Fluchtpunkts 56 der Fotografie 18 häufen oder konzentrieren. Mit anderen Worten gibt es eine Region 57, in welche eine Dichte oder Häufigkeit an Schnittpunkten 55 am größten ist, was dem Fluchtpunkt entspricht. Dies kann beispielsweise mittels einer Histogrammdarstellung 58 erkannt werden, welche für Koordinaten X, Y in dem Bild oder der Fotografie 18 für einzelne Regionen angibt, wie viele Schnittpunkte 55 darin jeweils detektiert wurden. Hierdurch kann die Region 57 als Region mit der größten örtlichen oder lokalen Dichte an Schnittpunkten 55 detektiert werden.It has been found that the points of intersection 55 accumulate or concentrate in the area of the vanishing point 56 of the photograph 18 . In other words, there is a region 57 in which a density or frequency of intersection points 55 is greatest, which corresponds to the vanishing point. This can be recognized, for example, by means of a histogram representation 58 which, for coordinates X, Y in the image or photograph 18, indicates for individual regions how many intersection points 55 were respectively detected therein. Here by this, the region 57 can be detected as the region with the greatest spatial or local density of intersection points 55 .

3 veranschaulicht des Weiteren, wie ein Dreieck 60 ermittelt werden kann, das den ermittelten Fluchtpunkt 56 und äußere Enden 61 der Vorderkante 23 der Gesamtladefläche verbindet. 3 further illustrates how a triangle 60 can be determined connecting the determined vanishing point 56 and outer ends 61 of the front edge 23 of the overall truck bed.

Der Segmentierungsalgorithmus 40 kann des Weiteren einen Schritt S16 umfassen, gemäß dem das Dreieck 60 und die Binärsegmentierung 50 als Maske überlagert oder kombiniert werden. Das Dreieck 60 kann hierzu ebenfalls als Binärwert definiert sein, so dass eine pixelweise Überlagerung oder Kombination möglich ist, aber es können auch andere geometrische Berechnungen für die Kombinierung der Fläche des Dreiecks 60 und der Binärsegmentierung 50 angewendet werden. Hierdurch wird diejenige Fläche 62 identifiziert oder segmentiert, die innerhalb des Dreiecks 60 liegt und damit Verlaufskanten 63 der Seitenkanten 26 entspricht und nach vorne hin durch die Vorderkante 23 abgeschlossen ist. Dies entspricht einer Schätzung der Gesamtladefläche zuzüglich eines Teils der Rückwand 29 bis zum Fluchtpunkt 56. Wird dies mit der Binärsegmentierung 50 überlagert, so wird aus dem Dreieck 60 derjenige Teil ausgeschnitten, der durch das Modell 41 für maschinelles Lernen als zur Klasse „Gesamtladefläche“ (d.h. „Frachtraumboden“) gehörig kombiniert. Das Überlagerungsergebnis 64 kann somit als Detektion der freien Ladefläche 12 genutzt werden. Hierbei sind aber die unscharfen Kanten aus den Segmentierdaten 42 beseitigt.The segmentation algorithm 40 can further comprise a step S16 according to which the triangle 60 and the binary segmentation 50 are overlaid or combined as a mask. For this purpose, the triangle 60 can also be defined as a binary value, so that a pixel-wise overlay or combination is possible, but other geometric calculations for the combination of the area of the triangle 60 and the binary segmentation 50 can also be used. In this way, that area 62 is identified or segmented that lies within the triangle 60 and thus corresponds to the running edges 63 of the side edges 26 and is closed at the front by the front edge 23 . This corresponds to an estimate of the total truck area plus a portion of the rear wall 29 up to the vanishing point 56. When this is overlaid with the binary segmentation 50, the portion of the triangle 60 that the machine learning model 41 classifies as "total truck area" ( i.e. "cargo floor") duly combined. The superimposition result 64 can thus be used to detect the free loading area 12 . In this case, however, the fuzzy edges from the segmentation data 42 are eliminated.

In 3 ist dargestellt, wie in der Fotografie 18 beziehungsweise in dem Bildausschnitt des Laderaums oder Frachtraums 13 die freie Ladefläche 12 in einem Schritt S19 als Pixelmenge 65 identifiziert oder markiert sein kann.In 3 shows how the free loading area 12 can be identified or marked as a pixel set 65 in a step S19 in the photograph 18 or in the image detail of the loading space or cargo space 13 .

4 veranschaulicht, wie ausgehend von der Pixelmenge 65, das heißt, von denjenigen Pixeln in den Bilddaten 17, welche die freie Ladefläche 12 darstellen, ermittelt werden kann, welcher der absoluten oder realen Fläche oder welchem absoluten Flächenwert die freie Ladefläche 12 entspricht. Auf der linken Seite ist gezeigt, wie mittels geometrischer Berechnungen ausgehend von den Bilddaten 17 der Fotografie 18 ermittelt werden kann, auf welche Breite eine horizontale Linie 70 mit bekannter absoluter Breite oder einem absoluten Längenwert durch die Abbildung von Lichtstrahlen 71 über ein Linsensystem 72 der Kamera 16 auf eine Sensorebene 73 eines Bildsensors 74 der Kamera 16 zu einer Linienabbildung 70' mit einer resultierenden Abbildungslänge (beispielsweise angegeben in einer Anzahl Pixel) führt. Hieraus ergibt sich insgesamt ein Abbildungsverhältnis 75, das von einem Abstandswert 76 der jeweiligen Linie 70 zur Kamera 16 abhängig ist. Ein Beispiel für die Berechnung des Abstandwerts 76 auf Grundlage einer Abbildungslänge einer abgebildeten Linie oder Linienabbildung 70' einer horizontalen Linie 70 ist beispielsweise auf der Internetseite www.lensation.de/calculator.html bekannt. 4 1 illustrates how, starting from the pixel set 65, i.e. from those pixels in the image data 17 that represent the free loading area 12, it can be determined which of the absolute or real area or which absolute area value the free loading area 12 corresponds to. The left-hand side shows how geometric calculations based on image data 17 of photograph 18 can be used to determine the width of a horizontal line 70 with a known absolute width or an absolute length value by imaging light rays 71 via a lens system 72 of the camera 16 on a sensor plane 73 of an image sensor 74 of the camera 16 leads to a line image 70' with a resulting image length (specified, for example, in a number of pixels). This results in an overall imaging ratio 75 which is dependent on a distance value 76 of the respective line 70 from the camera 16 . An example for the calculation of the distance value 76 based on an image length of an imaged line or line image 70' of a horizontal line 70 is known, for example, on the website www.lensation.de/calculator.html.

In 4 auf der rechten Seite ist dargestellt, dass dies in einem Schritt S17 genutzt werden kann, um für horizontale Linien, wie beispielsweise die Vorderkante 23, bei bekanntem absoluten Breitenwert 80 der Vorderkante 23 und damit der Breite der Gesamtladefläche 25 auf einen realen oder absoluten Abstandswert 76 zu schließen oder diesen zu berechnen. 4 veranschaulicht, wie die freie Ladefläche 12, also die Pixelmenge 65 in einzelne Pixelzeilen 81 der horizontal nebeneinander angeordneten Pixel 82 eingeteilt werden können. Der Übersichtlichkeit halber sind nur einige Pixel 82 und einzige Pixelzeilen 81 mit einem Bezugszeichen versehen. Für jedes Pixel 82 kann ein absoluter Pixelbreitenwert 84 berechnet werden, der angibt, wie breit der durch das Pixel 82 dargestellte Teil der freien Ladefläche 12 ist. Dies kann berechnet werden, indem der absolute Breitenwert 80 der Breite der Gesamtladefläche durch eine Anzahl der Pixel der jeweiligen Pixelzeile 81 geteilt wird, was den absoluten oder realen Pixelbreitenwert 84 ergibt. Zu jeder Pixelzeile 81 kann anhand von der Anzahl der darin enthaltenen Pixel 82 und das Abbildungsverhältnis 75 auf den absoluten Abstandswert 76 für die Pixelzeile 81 geschlossen werden oder dieser berechnet werden. Dieser absolute Abstandswert 76 kann beispielsweise als Abstand einer Pixelvorderkante 85 des Pixels interpretiert werden. Nimmt man noch den absoluten Abstandswert 76 der darauffolgenden Pixelzeile n+1 für jede Pixelzeile n, so kann für den absoluten Abstandswert 76 der Pixelzeile n+1 der Abstand der Pixelhinterkante 86 geschätzt werden. Insgesamt ergibt dies einen absoluten Pixeltiefenwert 87 als Differenz der absoluten Abstandswerte der Pixelvorderkante 85 und der Pixelhinterkante 86.In 4 on the right side it is shown that this can be used in a step S17 to calculate a real or absolute distance value 76 to close or calculate it. 4 illustrates how the free loading area 12, ie the pixel quantity 65, can be divided into individual pixel rows 81 of the pixels 82 arranged horizontally next to one another. For the sake of clarity, only a few pixels 82 and individual pixel lines 81 are provided with a reference number. An absolute pixel width value 84 can be calculated for each pixel 82, which indicates how wide the portion of the free loading area 12 represented by the pixel 82 is. This can be calculated by dividing the absolute width value 80 of the width of the total truck bed by a number of pixels of the respective row of pixels 81, giving the absolute or real pixel width value 84. For each pixel line 81, the absolute distance value 76 for the pixel line 81 can be inferred or calculated on the basis of the number of pixels 82 contained therein and the imaging ratio 75. This absolute distance value 76 can be interpreted, for example, as the distance of a pixel leading edge 85 of the pixel. If one also takes the absolute distance value 76 of the following pixel line n+1 for each pixel line n, then the distance of the pixel trailing edge 86 can be estimated for the absolute distance value 76 of the pixel line n+1. Overall, this results in an absolute pixel depth value 87 as the difference between the absolute distance values of the pixel leading edge 85 and the pixel trailing edge 86.

Das Produkt aus absoluten Pixelbreitenwert 84 und absolutem Pixeltiefenwert 87 ergibt dann einen Pixelflächenwert 88 einer Pixelfläche eines jeweiligen einzelnen Pixels 82. Somit kann ein absoluter Pixelflächenwert 88 jedem Pixel 82, das die freie Ladefläche 12 darstellt, also jedem Pixel 82 der Pixelmenge 65, ein absoluter Pixelflächenwert 88 zugeordnet werden.The product of the absolute pixel width value 84 and the absolute pixel depth value 87 then results in a pixel area value 88 of a pixel area of a respective individual pixel 82. An absolute pixel area value 88 can therefore be assigned to each pixel 82 that represents the free loading area 12, i.e. to each pixel 82 of the pixel set 65, an absolute be assigned pixel area value 88.

Durch Aufsummieren aller Pixel 82 der freien Ladefläche 12 in einem Schritt S18 (2) ergibt sich der absolute Flächenwert der freien Ladefläche 12, wie er aus der Fotografie 18, das heißt, deren Bilddaten 17, ohne zusätzliche technische Hilfsmittel im Frachtraum 13 ermittelt oder berechnet werden kann.By summing up all the pixels 82 of the free loading area 12 in a step S18 ( 2 ) results in the absolute area value of the free loading area 12, as can be determined or calculated from the photograph 18, i.e. its image data 17, in the cargo hold 13 without additional technical aids.

Der absolute Breitenwert 80 und/oder das Abbildungsverhältnis 75 können dabei beispielsweise durch Konfigurieren der Prozessorschaltung 15 und/oder durch eine Eingabe einer Bedienperson ermittelt werden.The absolute width value 80 and/or the imaging ratio 75 can be determined, for example, by configuring the processor circuit 15 and/or by an input from an operator.

5 veranschaulicht, wie mittels des bekannten absoluten Pixeltiefenwerts 87 aus einer Reihe von Pixeln 100, die jeweils entlang einer vorbestimmten Fluchtlinie 101 aneinander gereiht sind, durch Aufsummieren der Pixeltiefenwerte 87 der jeweiligen Pixelzeile ein jeweiliger absoluter Längenwert des freien Ladewegs oder der freien Lademeter 102 berechnen lässt. Die jeweilige Fluchtlinie 101 kann an vorbestimmten Positionen 103 der segmentieren freien Ladefläche 12, z.B. Mitte, Mitte linke Hälfte, Mitte rechte Hälfte, angeordnet sein. Die freie Ladefläche (12) wird bevorzugt in mehrere Bahnen aufgeteilt (insbesondere entweder 3 Bahnen oder 2), um zu bestimmen, wie viele Paletten in den verbleibenden Raum gestellt werden können, d.h. es kann eine Abstimmung auf eine geplante Palettenbreite stattfinden. Die jeweilige Fluchtlinie 101 verbindet eine in der Fotographie unten angeordnete, vordere Kante 104 der segmentierten freien Ladefläche 12, d.h. in der Regel bei fehlerfreier Segmentierung die Vorderkante 23, mit einer in der Fotographie oben angeordnete hintere Kante 105 der segmentieren freien Ladefläche 12, wie sie aus der Binärsegmentierung 50 resultieren kann. Die jeweilige Fluchtlinie 101 weist zum Fluchtpunkt 56 hin. 5 1 illustrates how, using the known absolute pixel depth value 87 from a row of pixels 100, each lined up along a predetermined alignment line 101, by summing up the pixel depth values 87 of the respective pixel line, a respective absolute length value of the free loading path or free loading meter 102 can be calculated. The respective vanishing line 101 can be arranged at predetermined positions 103 of the segmented free loading area 12, eg middle, middle left half, middle right half. The free loading area (12) is preferably divided into several tracks (in particular either 3 tracks or 2) in order to determine how many pallets can be placed in the remaining space, ie a vote on a planned pallet width can take place. The respective vanishing line 101 connects a front edge 104 of the segmented free loading area 12 arranged at the bottom in the photograph, i.e. usually the front edge 23 in the case of error-free segmentation, with a rear edge 105 of the segmented free loading area 12 arranged at the top in the photograph, as shown from the binary segmentation 50 can result. The respective vanishing line 101 points to the vanishing point 56 .

Der Hauptvorteil besteht darin, dass keine Schaltungshardware im Anhänger oder am Frachtraum installieren zu müssen, um die freie Kapazität / freie Ladefläche zu ermitteln.The main benefit is that there is no need to install switching hardware in the trailer or on the cargo hold to determine the free capacity / free loading area.

Die Schätzung des verbleibenden freien Frachtraums in einem Anhänger oder einem anderen Transportbehälter mithilfe der Bildverarbeitung erfordert nur eine Ansicht auf die noch freie Ladefläche des Frachtraums. Das beste Sichtfeld wäre eine Aufnahme aus dem Inneren des Anhängers. Aber jede Kamera kann ein anderes Objektiv haben, so dass uns möglicherweise eine Schätzung des freien Raums fehlt. Sie müssen sich außerhalb des Anhängers in einer Position befinden, in der Sie die Grundfläche nicht sehen können. Es ist nahezu unmöglich, die Belegung auf der Grundlage der Dachebene zu schätzen, da man keine Anhaltspunkte für die Höhe der Palette hat.Estimating the remaining vacant cargo space in a trailer or other transport container using machine vision requires only a view of the cargo space that is still vacant. The best field of view would be a shot from inside the trailer. But each camera may have a different lens, so we may be missing an estimate of free space. You must be outside the trailer in a position where you cannot see the ground plane. It is almost impossible to estimate occupancy based on roof level, as there is no indication of the height of the pallet.

Die Lösung für das Problem der Flottenmanager kann ein kamerabasierter maschineller Lernalgorithmus sein, der freie Ladekapazität erkennt. Dieser Algorithmus kann auf dem Gerät des Lkw-Fahrers oder des Verladers (der Verlader ist eine Person, die den Lkw in einem Logistikzentrum belädt) (z. B. einem Smartphone) oder in der Cloud anhand eines Bildes ausgeführt werden, das von einem beliebigen Gerät, das ein Bild aufnehmen kann, hochgeladen wird. Bei diesem Ansatz muss kein zusätzlicher Sensor im Anhänger oder an der Laderampe angebracht werden. Es ist völlig neu, den Fahrer und sein Smartphone als Teil des Systems zu betrachten, was bedeutet, dass keine zusätzliche Sensorik zur Bewertung der Ladekapazität erforderlich ist.The solution to the fleet manager's problem may be a camera-based machine learning algorithm that detects empty cargo capacity. This algorithm can be run on the device of the truck driver or the shipper (the shipper is a person who loads the truck in a logistics center) (e.g. a smartphone) or in the cloud based on an image generated by any device capable of capturing an image is uploaded. This approach eliminates the need to add an additional sensor to the trailer or loading dock. It is completely new to consider the driver and their smartphone as part of the system, which means that no additional sensors are required to assess the load capacity.

Diese Informationen können an den Fuhrparkleiter weitergeleitet werden, um beurteilen zu können, ob zusätzliche Ladungen angenommen werden können oder nicht. Nach dem Beladen des Anhängers macht der LKW-Fahrer ein Foto, um die Einhaltung der Ladungssicherung zu beweisen. Eingegeben wird ein Bild des Anhängers von hinten (das zum Nachweis der Einhaltung der Ladungssicherungsrichtlinien gemacht wird).This information can be passed on to the fleet manager to assess whether or not additional loads can be accepted. After loading the trailer, the truck driver takes a photo to prove that the load has been secured. A picture of the rear of the trailer is entered (taken to demonstrate compliance with the load securing guidelines).

Bei Anhängern, die von der Seite beladen werden, könnte das Bild entsprechend von der Seite aufgenommen werden. Im Vergleich zu der zuvor vorgeschlagenen Lösung ist der Algorithmus nicht auf die Erkennung von freiem Laderaum oder Frachtraum zwischen einem erkannten Objekt (z. B. einer Palette) und dem Anfang des Anhängers beschränkt, sondern kann das Bild direkt segmentieren und für jedes Pixel entscheiden, ob es als freier Bodenraum eingestuft wird.For trailers loaded from the side, the image could be taken from the side accordingly. Compared to the previously proposed solution, the algorithm is not limited to detecting free hold or cargo space between a detected object (e.g. a pallet) and the beginning of the trailer, but can directly segment the image and decide for each pixel whether it is classified as free ground space.

Dies führt dazu, dass die Lösung in der Lage ist, freie Lademeter von Anhängern mit jeglicher Art von Ladung zu erkennen. Aus diesem Bild wird, wie unten beschrieben, die freie Kapazität des Anhängers berechnet.This results in the solution being able to detect free loading meters of trailers with any type of load. From this image, the free capacity of the trailer is calculated as described below.

Der Algorithmus:

Eingabe:
- ◯ Bild der CargoBox (Frachtraum)
- ◯ Konfiguration:
  - Brennweite f der Kamera
  - Cropfaktor der Kamera
  - Breite der Cargobox [m]
Hauptbestandteil des Algorithmus ist ein Segmentierungsmodell der beispielsweise wie folgt konfiguriert werden kann:
- ◯ RGB-Bild als Eingang
- ◯ Transformiert den sichtbaren Boden (freie Ladefläche) der Cargobox in einen ersten Pixelwert z.B. (0,0,0)
- ◯ Transformiert die Seitenwände der Cargobox in einen zweiten Pixelwert z.B. (63, 63, 63)
- ◯ Transformiert die Cargobox-Decke in einen dritten Pixelwert z.B. (127, 127, 127)
- ◯ Transformiert die Cargobox-Rückwand in einen vierten Pixelwert z.B. (191, 191, 191)
- ◯ Wandelt alles andere vierte Pixelwerte um z.B. (255, 255, 255)

The algorithm:

Input:
- ◯ Image of the CargoBox (cargo compartment)
- ◯ Configuration:
  - focal length f of the camera
  - Camera crop factor
  - Cargo box width [m]
The main component of the algorithm is a segmentation model that can be configured as follows, for example:
- ◯ RGB image as input
- ◯ Transforms the visible floor (free loading area) of the cargo box into a first pixel value e.g. (0,0,0)
- ◯ Transforms the side walls of the cargo box to a second pixel value e.g. (63, 63, 63)
- ◯ Transforms the cargo box ceiling into a third pixel value e.g. (127, 127, 127)
- ◯ Transforms the cargo box back wall into a fourth pixel value e.g. (191, 191, 191)
- ◯ Converts all other fourth pixel values eg (255, 255, 255)

Die größte Kontur der Segmentierung (entspricht der Eingangsöffnung in den Frachtraum) wird extrahiert und das minimale gedrehte Rechteck um die Kontur herum wird berechnet.

→ Eingabebild wird gedreht (-Drehwinkel des Rechtecks)
→ Rechteck wird aus dem Eingabebild ausgeschnitten (Breite und Höhe des gedrehten Rechtecks)
→ Cargo Box wird der noch betrachtete Bildausschnitt

The largest contour of the segmentation (corresponding to the entrance opening into the cargo compartment) is extracted and the minimum rotated rectangle around the contour is calculated.

→ Input image is rotated (-angle of rotation of the rectangle)
→ Rectangle is cropped from the input image (width and height of the rotated rectangle)
→ Cargo Box becomes the section of the image that is still being viewed

Auf dem Bild der Cargo Box wird der Fluchtpunkt erkannt:

◯ Liniendetektor erkennt alle Linien mit entsprechendem Winkel und Länge im Bild
◯ Entsprechende Zeilen werden auf die Bildgröße der Cargo Box vergrößert
◯ Die Schnittpunkte aller Linien werden bestimmt
◯ Jeder Schnittpunkt im Bild wird mit Hilfe der folgenden Formel in ein Dreieck gesetzt: 1/Brennweite f = 1/Bildabstand + 1/Objektabstand, kann der Abstand jedes Pixels innerhalb des Dreiecks bestimmt werden

The vanishing point is recognized on the image of the cargo box:

◯ Line detector detects all lines with the appropriate angle and length in the image
◯ Corresponding rows are enlarged to the image size of the cargo box
◯ The intersections of all lines are determined
◯ Each intersection point in the image is placed in a triangle using the following formula: 1/focal length f = 1/image distance + 1/object distance, the distance of each pixel within the triangle can be determined

Durch die Verwendung von Ladungsbreite/Anzahl der horizontalen Pixel kann die tatsächliche Breite jedes Pixels innerhalb des Dreiecks bestimmt werden. Mit dem Abstand und der Tiefe kann die Fläche jedes Pixels innerhalb des Dreiecks bestimmt werden. Das segmentierte Bild wird mit einem Schwellenwert (z.B. < 63) binarisiert.By using charge width/number of horizontal pixels, the actual width of each pixel within the triangle can be determined. With the distance and depth, the area of each pixel within the triangle can be determined. The segmented image is binarized with a threshold (e.g. < 63).

Dies gibt den Boden der Cargobox zurück. Für jedes verbleibende/segmentierte Pixel wird dessen Pixelfläche addiert. Dies ergibt den verbleibenden freien Platz also die sichbare freie Ladefläche. Der freie Raum wird bevorzugt in mehrere Bahnen aufgeteilt (entweder 3 Bahnen oder 2), um zu bestimmen, wie viele Paletten in den verbleibenden Raum gestellt werden können.This returns the bottom of the cargo box. For each remaining/segmented pixel its pixel area is added. This results in the remaining free space, i.e. the visible free loading area. The free space is preferably divided into several lanes (either 3 lanes or 2) to determine how many pallets can be placed in the remaining space.

Allgemeine Vorteile sind: Die fehlenden Informationen über den Ladungszustand des Anhängers können aus Bildern gewonnen werden, die zum Nachweis der Einhaltung von Ladungssicherungsvorschriften gemacht werden. Es sind keine zusätzlichen Verfahrensschritte erforderlich. Somit vereinfachen sich die Arbeitsabläufe für Lkw-Fahrer und sparen Zeit. Es muss keine zusätzliche Hardware gekauft, installiert, geliefert oder gewartet werden. Daher ist die vorgeschlagene Lösung im Vergleich zum Stand der Technik wesentlich kostengünstiger. Die Verringerung der Leerkilometer für Lkw und die Verbesserung der Kapazitätsauslastung führen zu weniger unnötigen Fahrten und weniger CO2 pro transportierter Ware. In Zeiten des wachsenden Bewusstseins für Klimaveränderungen ist dies ein großer Vorteil, der nicht unterschätzt werden sollte.General advantages are: The missing information about the load condition of the trailer can be obtained from images taken to demonstrate compliance with load securing regulations. No additional process steps are required. This simplifies the work processes for truck drivers and saves time. There is no additional hardware to purchase, install, ship or maintain. Therefore, the proposed solution is significantly cheaper compared to the prior art. Reducing empty kilometers for trucks and improving capacity utilization result in fewer unnecessary trips and less CO2 per transported goods. In times of growing awareness of climate change, this is a major advantage that should not be underestimated.

Technische Vorteile sind zudem: Bei Verwendung des Segmentierungsmodells ist der Trainingsaufwand wesentlich geringer, während die Berechnungsergebnisse wesentlich robuster sind. Das Modell muss nicht für alle Arten von Ladung trainiert werden, die sich im Anhänger befinden könnten, sondern klassifiziert direkt Pixel für Pixel, ob das Pixel als freie Anhängergrundfläche eingestuft wird.Technical advantages are also: When using the segmentation model, the training effort is significantly lower, while the calculation results are significantly more robust. The model must are not trained for all types of cargo that could be in the trailer, but rather directly classifies pixel by pixel whether the pixel is classified as free trailer floor space.

Insgesamt zeigt das Beispiel, wie eine kamera-basierte Ermittlung eines Ladestatus (verfügbare freie Ladefläche) in einem Frachtraum mittels Segmentierung bereitgestellt werden kann.Overall, the example shows how a camera-based determination of a loading status (available free loading space) in a cargo hold can be provided using segmentation.

BezugszeichenlisteReference List

1010: Logistiksystemlogistics system
1111: Lastkraftwagentruck
1212: Ladeflächetruck bed
1313: Frachtraumcargo hold
1414: Auslassungspunkteellipsis
1515: Prozessorschaltungprocessor circuit
1616: Kameracamera
1717: Bilddatenimage data
1818: Fotografiephotography
1919: InternetInternet
2020: Mobilfunknetzwerkcellular network
2121: Internetverbindungeninternet connections
2222: Smartphonesmartphone
2323: Vorderkanteleading edge
2424: Frachtstückecargo
2525: Gesamtladeflächetotal loading area
2626: Seitenkanteside edge
2727: Seiteninnenwändeinner side walls
2828: DeckeCeiling
2929: Rückwandback panel
3030: Türrahmendoor frame
3232: Ladeflächetruck bed
3333: Palettenpallets
3434: Zuladewertpayload
3535: VerfahrenProceedings
4040: Segmentierungsalgorithmussegmentation algorithm
4141: ModellModel
4242: Segmentierdatensegmentation data
4343: Segmentierergebnissesegmentation results
5050: Binärsegmentierungbinary segmentation
5151: Segmentierwertsegmentation value
5353: Segmentiermaskesegmentation mask
5454: Ausschnittsberechnungclipping calculation
5555: Schnittpunkteintersections
5656: Fluchtpunktvanishing point
5757: Regionregion
5858: Histogrammdarstellunghistogram display
6060: Dreiecktriangle
6161: Endenend up
6262: FlächeSurface
6363: Verlaufskantengradient edges
6464: Überlagerungsergebnisoverlay result
6565: Pixelmengeamount of pixels
7070: Linieline
7171: Lichtstrahlenrays of light
7272: Linsensystemlens system
7373: Sensorebenesensor level
7474: Bildsensorsimage sensor
7575: Abbildungsverhältnisimaging ratio
7676: Abstandswertdistance value
8080: Breitenwertlatitude value
8181: Pixelzeilepixel line
8282: Pixelpixel
8484: Pixelbreitenwertpixel width value
8585: Pixelvorderkantepixel leading edge
8686: Pixelhinterkantepixel trailing edge
8787: Pixeltiefenwertpixel depth value
8888: Pixelflächenwertpixel area value
100100: ReiheRow
101101: Fluchtlinievanishing line
102102: Lademeterloading meter
103103: Positionposition
104104: Untere KanteLower edge
105105: Obere KanteUpper edge

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

EP 3872461 A1 [0004]
EP 3872725 A1 [0005]

Claims

Method (35) for estimating an absolute area value of a free loading area (12) and/or an absolute length value of free loading meters in a cargo hold (13), the free loading area (12) being an uncovered part of a total loading area (25) of the cargo hold (13) is characterized in that a processor circuit (15) receives image data (17) from a camera (16) which represent a photograph (18) of the free loading area (12), with the image data (17) being stored in the image data (17) by means of a segmentation algorithm (40 ) the free loading area (12) depicted in the photograph (18) is determined and absolute pixel area values (88) of the pixels (82) assigned to those pixels (82) which represent the segmented free loading area (12) are summed to form the absolute area value and/or absolute pixel depth values (87 ) are added up to the absolute length value of the free loading meters (102).

Method (35) according to claim 1 , it being assumed that the overall loading area (25) is rectangular overall and in the photograph (18) a front edge (23) of the rectangular overall loading area (25) is arranged parallel to a sensor plane (73) of an image sensor (74) of the camera (16). is shown and opposite side edges (26) of the overall loading area (25) in the cargo hold (13) extend perpendicularly backwards from the front edge (23), and to the overall loading area (25) an absolute width value (80) of a width of the overall loading area (25 ) and thus a length of the front edge (23) is received and in the image data (17) a respective progression line (70) of the side edges based on the image data (17) by means of a vanishing line detection algorithm and pixel rows (81), which each consist of those pixels (82) exist, which extend from one of the progression lines (70) to the other of the progression lines (70), are determined and per pixel line (81) from the absolute width value (80) and a number of pixels (82) of the pixel line (81). absolute pixel width value is determined and a reproduction ratio (75) is determined, which indicates the size ratio of a line (70) arranged parallel to the sensor plane (73) as a function of its absolute distance (76) from the camera (16) and/or as a function is imaged by a focal length (f) of the camera (16) on the sensor plane (73), and per pixel line (81) an absolute distance value (76) of the pixel line (81) based on the absolute width value (80) and the imaging ratio and the number of the pixels (82) of the pixel line (81) is calculated, and the absolute pixel depth value (87) is calculated from an absolute difference value of the distance value (76) of the pixel line (81) and the distance value (76) of an adjacent pixel line (81) and per pixel (82) of the pixel rows (81), the absolute pixel area value (88) corresponding to the respective pixel (82) is calculated from the pixel width value (84) (80) and the pixel depth value (87) and assigned to the pixel (82).

Method (35) according to claim 2 , wherein the vanishing line detection algorithm comprises that an edge detection is performed in the photograph and detected edges are extended so that intersection points (55) of the extended edges result, and a region (57) with the highest intersection point density is defined as the vanishing point (56) of the photograph and the progression lines (70) are each defined as a connecting line (70) of the vanishing point (56) to one end of the front edge (23).

Method (35) according to one of the preceding claims, wherein the segmentation algorithm (40) comprises that the image data (17) are supplied to a machine learning model (41) as input data, the model (41) being trained to do so by means of a pixel-by-pixel Classification of the image data (17) to assign respective pixels (82) to one of the following (61) classes: the total loading area (25), a side inner wall and/or a ceiling (28) of the cargo hold (13); and the model (41) generates corresponding segmentation data which assign individual pixels (82) of the photograph to one of the classes, a respective pixel (82) of an unknown object depicted in the photograph leading to a segmentation result which differs from the classes.

Method (35) according to claim 4 in its reference to claim 3 , wherein a triangular area made up of the progression lines (70) and the front edge (23) is masked with the segmentation data (42) and the free loading area (12) is defined as the intersection of the triangular area and the pixels (82) of the “total loading area (25)” class becomes.

Method (35) according to any one of claims 2 until 5 , where the magnification ratio (75) is the ratio

\begin{matrix} A number of pixels (82) the pozel line (81) / Distance sensor level (73) to a lens \\ (72) the camera (16) \\ = \\ absolute latitude value (70) of object / distance (76) to the lens \end{matrix}

or

\begin{matrix} Broad (70') of the object on the sensor / focal length (f) \\ = \\ absolute latitude value (70) of object / distancing (76) to the lens, \end{matrix}

or

\begin{matrix} 1 / focal length (f) \\ = \\ \begin{array}{l} 1 / Distance between sensor plane and lens + 1 / distance (76) the lens to the lens \\ describes . \end{array} \end{matrix}

Method (35) according to any one of claims 2 until 6 , wherein the imaging ratio (75) is determined based on a focal length value (f) of the photograph and/or based on a characteristic map of the camera (16).

Method (35) according to any one of claims 2 until 7 , the imaging ratio (75) being determined from the image data (17) contained in predetermined meta information, in particular from EXIF data.

Method (35) according to any one of claims 2 until 8th , wherein the absolute width value (80) is determined from type data of a container type (41) of the cargo hold (13).

Method (35) according to one of the preceding claims, in which the edges of a rectangular entrance opening of the cargo hold (13) are detected as a rotated rectangle in the image data (17) and the image data (17) are straightened by means of an image rotation and/or by means of a section calculation (54 ) to be trimmed to the rectangular entrance opening.

A method (35) according to any one of the preceding claims, wherein the cargo hold (13) of a truck (11) or a freight container or a transport vehicle or a boxcar or a ship or a transport aircraft is depicted in the photograph.

Processor circuit (15) which is set up to carry out a method (35) according to one of the preceding (61) claims.

Logistic system (10) with a processor circuit (15). claim 12 and with a receiving device for receiving image data (17) from photographs of different cargo holds (13), wherein the logistics system (10) is set up to use the processor circuit (15) to determine a respective free loading area (12) of the cargo hold (13) and dependent on this to control a freight distribution of freight items (24) to be transported (61).