EP4420082A1 - Verfahren und prozessorschaltung zum schätzen eines absoluten flächenwerts einer freien ladefläche und/oder eines absoluten längenwerts freier lademeter in einem frachtraum sowie logistiksystem - Google Patents

Verfahren und prozessorschaltung zum schätzen eines absoluten flächenwerts einer freien ladefläche und/oder eines absoluten längenwerts freier lademeter in einem frachtraum sowie logistiksystem

Info

Publication number
EP4420082A1
EP4420082A1 EP22800078.2A EP22800078A EP4420082A1 EP 4420082 A1 EP4420082 A1 EP 4420082A1 EP 22800078 A EP22800078 A EP 22800078A EP 4420082 A1 EP4420082 A1 EP 4420082A1
Authority
EP
European Patent Office
Prior art keywords
pixel
absolute
loading area
value
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22800078.2A
Other languages
English (en)
French (fr)
Inventor
Carsten Segesser
Matthias Wagner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Germany GmbH
Original Assignee
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Technologies GmbH filed Critical Continental Automotive Technologies GmbH
Publication of EP4420082A1 publication Critical patent/EP4420082A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • Method and processor circuit for estimating an absolute area value of a free loading area and/or an absolute length value of free loading meters in a cargo hold and logistics system
  • the invention relates to a method and a processor circuit for estimating an absolute area value of a free loading area in a hold or cargo hold.
  • An uncovered part of a total loading area of the freight compartment (freight compartment floor) is referred to here as "free loading area” and the real or absolute area value is an indication in square meters or square feet or similar, i.e. an indication in an absolute area measurement.
  • Another advantageous dimension are the so-called free loading meters, which indicate the length of free loading space that can be derived from the area, for example, and that is guaranteed to be still available in the loading space. The estimate should be based on a photograph of the free loading area and loading meters.
  • the invention also includes a logistic system using said processor circuit.
  • truck trailers trucks - trucks
  • cargo space of a logistics company The loading status of truck trailers (trucks - trucks) or other cargo space of a logistics company is often unknown to fleet managers. As a result, fleet managers are unable to accept or allocate additional loads on the routes traveled by their trucks.
  • a method for estimating a still remaining transport capacity in the cargo hold of a logistics system is known, for example, from EP 3 872 461 A1.
  • the method uses image data from a photograph taken, for example, by a driver of the respective cargo hold. by means of one image processing algorithm, the information about the still available free loading area is determined from the image data.
  • EP 3 872 725 A1 also discloses a method for determining the loading status of a cargo compartment of a truck. Accordingly, a photograph of the cargo hold is used to determine where the freight items are located, and the distance from the front edge of the cargo hold at the entrance to the freight items is estimated using a grid projection. This requires the installation of a projector to project the grid projection in the hold.
  • the invention is based on the object of estimating the remaining free loading area in a freight compartment, for example in a trailer or box of a truck or in a freight container, with little outlay on hardware.
  • the invention comprises a method for estimating an absolute area value of a free loading area and/or an absolute length value of the so-called free loading meters in a cargo hold.
  • the uncovered cargo area is an uncovered portion of an overall cargo area cargo area.
  • absolute area value refers here to a specification in an absolute measure of length or area.
  • An absolute area value is therefore a specification, for example, in square meters or square decimeters or square centimeters or square feet, to name just a few.
  • a relative area value would be an indication of a ratio, for example 50 percent or 70 percent.
  • An absolute measure of length is accordingly a statement in meters or centimeters or feet, to name just a few examples.
  • the cargo space whose available free loading area is to be estimated can be present, for example, in a trailer of a truck or the loading area of a truck or in a freight container.
  • the free Loading area is that part on which, for example, pallets or freight items in general can be placed or parked on the floor of the cargo hold. If only the absolute length value is required (not also the absolute area value), then from such pixels, which form a vanishing line in the photograph, each of which has an upper edge (rear end or rear edge) and a lower edge (front end or front edge) of the connects segmented free loading area, associated absolute pixel depth values are added to the absolute length value of the free loading meters. However, if the absolute width value of the total loading area is known, the absolute length value can be calculated from the absolute area value instead.
  • the procedure uses the photograph described above, such as that which may have been taken by a truck driver, for example, to document the securing of the load.
  • the free floor space i.e. the free loading area
  • the free loading area in the trailer or in the cargo hold in general is estimated with the help of image processing and/or artificial intelligence.
  • a processor circuit receives image data from a camera, which represents a photograph of the free loading area.
  • the free loading area shown in the photograph is determined in the image data using a segmentation algorithm.
  • the information is thus available as to which and/or how many pixels correspond to the free loading area.
  • associated absolute pixel area values of the pixels are summed to form the absolute area value. This gives you the information you are looking for about the free loading area as an absolute area information.
  • a smartphone or a tablet PC or a smart watch or smart glasses can be used as a camera.
  • a permanently installed sensor eg camera, lidar, radar, ultrasonic sensor
  • Said processor circuit can be integrated in the camera, for example in a smartphone, or it can be a so-called backend server or a server computer which receives image data from the camera via a communication link, such as an Internet connection.
  • a so-called segmentation can be carried out in such a photograph, i.e. a distinction or assignment as to what is represented by a single pixel of the photograph, i.e.
  • a segmentation algorithm After the application of a segmentation algorithm, there is information per pixel as to whether this pixel represents the free loading area or not.
  • a very simple implementation of a segmentation algorithm can be based, for example, on an evaluation of color information in the photograph. If it is known that the entire loading area, i.e.
  • the floor of the cargo hold on which freight items can be arranged has a characteristic color, for example light gray or red or wood-colored, and the adjacent surroundings have a different color, then a pixel can be determined in the photograph whether it has that characteristic color, and then interpreting or associating that pixel as representing part or all of the vacant truck bed, which is referred to as segmenting.
  • segmenting this is only an example; a preferred segmentation algorithm is described below.
  • the overall loading area can be assumed to be aligned or arranged horizontally. From a photograph of a horizontally arranged total loading area, geometric calculations can be used to determine how much absolute area the "image detail" corresponds to or represents of a single pixel. If you think of the pixel as a rectangular section of the photograph, the geometry of the camera and/or the optical system of the camera can be used to calculate a back projection, for example, which can be used to determine on which area in the hold or cargo hold this rectangle of a single pixel is projected would be displayed on the free loading area if you carry out the rear projection.
  • the area size resulting from mapping, for example, said rectangle of the pixel onto the free loading area results in said absolute pixel area value, which is in a range from 5 cm 2 to 0.5 m 2 , for example can. If one summarizes all those pixels that are categorized or labeled or marked as free loading area according to the segmentation algorithm, then the sought-after one can be calculated by calculating or summing up their individual pixel area values.
  • a pixel represents a rectangular image section (the so-called "rectangle" in which a part of the scenery visible from the camera, in particular the free loading area, is depicted or displayed.
  • the total available free loading area can be calculated as an absolute area value by summing up all those pixels that belong to the free loading area according to the segmentation algorithm.
  • the absolute pixel area value per pixel can be specified in configuration data . An operator of the camera can then ensure that the camera is used to take the photograph from a perspective or from a position that results in a corresponding image of the free loading area, which is then converted or mapped into absolute pixel area values using the configuration data can become.
  • the invention has the advantage that no additional circuitry is required to be installed in the cargo hold itself in order to indicate the free loading area that is still available, i.e. that part of the total loading area that is not yet covered by a piece of freight, as an absolute area value, i.e. for example indicate that in the hold still 3 square meters or 7.5 square meters of free loading space are available.
  • an absolute area value i.e. for example indicate that in the hold still 3 square meters or 7.5 square meters of free loading space are available.
  • the free loading area is actively searched for in the photograph/image data and not the other way around, freight items or blocking objects on the entire loading area. This simplifies the image processing in a decisive way, because the various possible shapes of freight items do not have to be taken into account.
  • the invention also includes developments that result in additional advantages.
  • a further development includes that it is assumed or given that the overall loading area is rectangular overall and in the photograph a front edge of the rectangular overall loading area is shown arranged parallel to a sensor plane of an image sensor of the camera and opposite side edges of the overall loading area in the cargo hold perpendicular to the front edge extend backwards.
  • the floor of the cargo compartment is rectangular, as is usual for cargo containers or truck trailers.
  • an instruction can be given or issued to the operator of the camera, for example. This can be achieved, for example, by means of an application program (a so-called app) that can be operated in the camera, for example a smartphone, in order to ensure that the operator takes the photograph from a corresponding perspective.
  • the front edge is therefore arranged parallel to the sensor plane of the image sensor and is preferably aligned horizontally.
  • the photograph is preferably taken centrally with respect to the front edge, so that, starting from the camera, a left-hand section and a right-hand section of the front edge are of the same length.
  • the photograph is preferably taken from a height of between 1.4 meters and 2 meters above the entire loading area.
  • the overall truck bed is preferably oriented horizontally while the photograph is being taken.
  • the free loading area is preferably recorded from above at an angle from an area outside the overall loading area.
  • the sensor plane of the image sensor is preferably arranged parallel to a vertical rear wall of the cargo hold that delimits the entire loading area at the rear.
  • Corresponding instructions can be issued in the manner described via the camera, for example a smartphone, so that the operator behaves accordingly.
  • at least one orientation line or guide line preferably several guide lines, can be shown on a display (screen) of the camera, which must be aligned with the front edge and/or the side edges, for example, before the shutter button of the camera is pressed, i.e before the image data is generated.
  • the camera triggers automatically if a match between the front edge and/or the side edges in relation to predetermined guide lines is detected by means of an image processing algorithm. All that is then necessary for this is that the operator aligns or pans or moves the camera and if the image processing algorithm recognizes that the front edge and/or the side edges match the orientation lines or guide lines, the photograph is then automatically generated or the camera is triggered.
  • the method comprises that an absolute width value of a width of the entire loading area and thus a length of the front edge is received for the entire loading area.
  • an absolute width value can be determined, for example, using a model specification of a model of the cargo hold, for example a model of a truck trailer.
  • the absolute width value can also be read out, for example, from a standard that applies to this type of cargo hold, as is known, for example, in the case of cargo containers for shipping.
  • the width value and/or model information relating to the cargo hold can be received, for example, via the camera, for example a smartphone, from the operator who took the photograph.
  • the method includes that in the image data a respective progression line of the side edges is determined on the basis of the image data using a vanishing line detection algorithm.
  • the photograph in addition to the front edge, which is or runs horizontally and transversely in the picture or in the photograph, the photograph also contains part of the side edges that delimit the total loading area to the sides to the right and left and that go into the background of the picture are aligned towards.
  • the side edges are in reality, that is, arranged parallel to the real total loading area. In photography, however, they are aligned to a vanishing point, as is known for the well-known perspective distortion or perspective alignment of photographs of a rectangle.
  • the result is an arrangement of the side edges which, starting from the two ends of the front edge, taper upwards in a triangular manner.
  • the vanishing line detection algorithm can be based, for example, on the fact that the side edges are marked in color, for example they are distinguished from the surroundings by red adhesive strips or a previously known color or are shown in high contrast. The course of such a colored line in the photograph can then be detected in image processing by means of color comparison.
  • this is just a simple example of a line of flight detection algorithm.
  • An edge detection algorithm known per se can also be used.
  • pixel lines will be determined in the photograph in the area of the segmented free loading area. These each consist of those pixels that extend from one of the gradient lines to the other of the gradient lines of the side edges to the other.
  • An absolute pixel width value is determined for each pixel line from the absolute width value of the total loading area and the respective number of pixels in the pixel line.
  • the triangle enclosed by the front edge and the progression lines of the side edges can be rastered line by line at least for a partial area in the photograph or in the image, so that horizontally running pixel lines result or these are defined or determined. Since the absolute latitude value is known, i.e.
  • an imaging ratio is determined that indicates the size ratio in which a (in particular horizontal) line arranged parallel to the sensor plane is then imaged on the sensor plane in the real environment depending on its absolute distance from the camera and/or depending on a focal length of the camera .
  • the line represents the width of a (real) object that is imaged on the image sensor.
  • the imaging ratio can be determined, for example, by experiments or test measurements, so that a characteristic diagram and/or a mapping table (lookup table) can be provided in the processor circuit.
  • the imaging ratio can be used to decide how far an object or object or line must have been from the camera so that its width (i.e. the absolute width value) maps to or corresponds to a specific or given number of pixels.
  • the imaging ratio can be used, for example, to decide how far a line with a width of 2.5 meters must have been from the camera in order for it to have a width or length of 520 pixels in the photograph.
  • the imaging ratio can thus be an indication X meters width is at A meters Spacing mapped to N pixels wide in the photograph. Since M and N are known, A can be calculated.
  • An absolute distance value of the pixel line can now be calculated for each pixel line using the absolute width value and the imaging ratio and the number of pixels in the pixel line.
  • An absolute pixel depth value can be calculated from an absolute difference value of the distance value of the pixel line n and the distance value of an adjacent pixel line n+1.
  • the absolute distance value of a row of pixels corresponds, for example, to the distance from the front edge of the rectangle represented by the pixel on the truck bed or from the rear edge of this rectangle.
  • the absolute difference value of the absolute distance values of two adjacent pixel rows or pixel rows lying one on top of the other in the photograph can then be taken as an indication of the pixel depth or the length of the rectangle represented by the pixel in the direction of the image depth, i.e. perpendicular to the front edge of the entire loading area .
  • This estimation has proven to be suitable to calculate a precise estimate of the free loading area as an absolute area value.
  • the product of the pixel width value and the pixel depth value corresponds to the absolute pixel area value of the rectangle represented by the pixel on the free loading area.
  • an absolute pixel area value corresponding to the respective pixel can thus be calculated from the pixel width value and the pixel depth value for each pixel of the pixel rows and assigned to the pixel. Knowing the imaging ratio, it can thus be estimated without additional markings on the free loading area which absolute pixel area value is represented or imaged or shown by each pixel on the free loading area.
  • markers can be provided to the entire loading area, for example symbols of different colors, for example rectangles on the entire loading area.
  • a marker can be detected by means of an image processing algorithm, for example based on its color value that gives rise to corresponding pixel values, and it can be counted by how many pixels are contained in the image of such a marker. Since the area of such a marker is known (e.g. the size of such a marker can range from 5 cm 2 to 40 cm 2 ), it can also be estimated what absolute pixel area value each of the pixels in the marker represents or maps. This pixel area value then also applies, at least approximately, to surrounding pixels. Multiple markers can be provided for different image depths.
  • the vanishing line detection algorithm includes that an edge detection is carried out in the photograph and detected edges are extended so that intersection points of the extended edges result, and a region with the highest density of intersection points is defined as the vanishing point of the photograph and the course lines are each used as a connecting line of the vanishing point to each end of the leading edge.
  • This vanishing line detection algorithm has the advantage that it does not have to be known which of the edges shown in the photograph represent the actual side edges of the entire loading area. It is therefore not necessary to prepare the side edges, for example by color marking.
  • the vanishing point in the image turns out to be the strongest or most probable intersection or most frequent intersection of the paired intersections of the extended edges, resulting in the highest intersection density value.
  • the region may represent a single pixel or a group of multiple pixels, such as a 30 pixel by 30 pixel rectangle, to give just one example. It can then be evaluated for different regions how many intersection points are there. The region with the highest density of intersections (eg its center) then represents the vanishing point.
  • the side edges in the geometric arrangement described point to this vanishing point.
  • a line connecting this vanishing point with one end of the front edge of the total loading area then corresponds to the course of the two side edges.
  • this connecting line is longer than the side edges, since the vanishing point may be in the area of the rear wall of the cargo hold and/or the side edges may be partially covered by cargo.
  • the segmentation algorithm includes the image data being supplied to a machine learning model as input data, with the model being trained to use a pixel-by-pixel classification of the image data to assign respective pixels to one of the following classes: the total loading area, an inner side wall of the Cargo hold, a ceiling of the cargo hold, and the model generates corresponding segmentation data, with a respective pixel of an unknown object leading to a segmentation result different from the classes.
  • training photographs are provided, to which so-called labeling data are additionally provided, which indicate where the total loading area, the inner side wall, the ceiling of the cargo hold are located in the respective training photograph.
  • a training photograph can show an empty cargo hold or a loaded cargo hold.
  • the free loading area is then labeled or marked instead of the total loading area, i.e. the visible part of the total loading area.
  • a machine learning model can use such photographs to generate segmentation information or segmentation data that indicates where in a photograph of a loaded or unloaded cargo compartment the free loading area, inner side wall or ceiling is located.
  • a different output value can be provided for the loading area, inner side wall and ceiling.
  • all other elements or objects i.e. unknown objects (not loading area, inner side wall, ceiling) are identified by the model with a corresponding value or a corresponding segmentation result.
  • the segmentation result for an unknown object can be white.
  • An example of a suitable machine learning model is an artificial neural network. Appropriate training algorithms for training one Models in the manner described are known from the prior art.
  • An alternative model can be what is known as a decision tree or a support factor machine (SVM), for example.
  • SVM support factor machine
  • a further development includes that a triangular area from the progression lines of the side edges and the front edge of the cargo compartment floor (total loading area) is overlaid or masked with the segmentation data and the free loading area is defined as the intersection of the triangular area and the pixels of the "total loading area" class.
  • the output of the segmentation algorithm which delimits the pixels that belong to the loading area, i.e.
  • the segmentation data segments or marks the area of the total loading area recognizable or visible in the respective photograph, ie the free loading area. This can be used to address the problem that in the segmentation data, the edges of segmented regions, such as the total truck area, can be blurred.
  • a further development includes that the imaging ratio is the ratio
  • the imaging ratio can thus be determined by calculation without prior tests or trials and thus without a table or characteristic map.
  • the geometric calculation described here is based on the optical conditions and the law of rays.
  • the distance of the sensor plane to the lens can be determined, for example, from the model of the camera or the camera type, for which purpose the metadata available in the image data can advantageously be used, which usually also indicate the type of lens in addition to the camera type.
  • a development includes that the imaging ratio is determined based on a focal length value of the photograph and/or based on a characteristic map of the camera.
  • the map described here is the storage of those data that can be generated by experiments to empirically determine the imaging ratio.
  • the focal length value can also be used to determine which imaging ratio results, namely, for example, the magnification factor.
  • Width of the object (i.e. length of the line) on the sensor / focal length f absolute width value of the object (i.e. length of the line) / distance to the lens.
  • a sensor dimension for converting a width of an image of an object on the sensor into a corresponding number of pixels can be determined, for example, using the camera type/camera model of the camera used or from an aspect ratio and a crop factor of the image sensor of the camera.
  • the width of a pixel is also referred to as the pixel pitch, i.e. an absolute distance and thus an effective absolute width of a pixel in millimeters or micrometers.
  • Total sensor width in mm * number of pixels in the pixel line / sensor total width in pixels the absolute width value of the pixel line in millimeters (mm) is determined as an intermediate result and thus the distance between the displayed line, which is represented by the pixel line: absolute distance value of the object (horizontal line between the side edges) to the lens absolute width value (e.g. 2.5 meters) * focal length f / absolute imaging width of the object on the image sensor.
  • a development includes that the imaging ratio is determined from predetermined meta information contained in the image data, in particular from EXIF data (exchangeable image file format).
  • EXIF data exchangeable image file format
  • the model of the camera and/or a lens used can be determined from the meta information.
  • the focal length f used is also available in meta information, in particular the EXIF data.
  • depth value data can be used, such as are known, for example, in connection with the so-called portrait mode of cameras.
  • a TOF sensor TOF—Time of Light
  • a development includes that the absolute width value is determined from type data of a container type of the cargo hold. The type data of such a container type can be determined, for example, from design data of the cargo hold.
  • a further development includes detecting edges of a rectangular entrance opening of the cargo hold as a rotated rectangle in the image data and straightening the image data by means of an image rotation and/or cropping them to the rectangular entrance opening by means of a section calculation.
  • the entire entrance area or frame of the cargo hold for example the door frame or gate frame of a truck trailer or the entrance of a freight container, can be depicted in the photograph.
  • a rectangular shape is present in the photograph, which can be detected using an algorithm that is known per se. This can be used to ensure that the leading edge is mapped as a horizontal line.
  • the frame of the entrance to the cargo compartment can be used to identify which part of the photograph or image represents the interior of the cargo compartment or the interior of the cargo compartment.
  • a further development comprises that the freight compartment of a truck or a freight container or a suitcase of a truck or a transport vehicle or a goods wagon or a ship or a transport aircraft is depicted in the photograph.
  • the method has proven to be particularly robust and reliable for these two types of cargo holds.
  • the invention comprises a processor circuit set up to carry out an embodiment of the method.
  • the processor circuit can, for example, be operated in a stationary manner in a logistics company or in a data center of a logistics company.
  • the processor circuit may include one or more microprocessors, which may be coupled to a data memory in which Program instructions can be stored which, when executed by the processor circuit, cause it to carry out the embodiment of the method.
  • the image data of the photograph can be received by the processor circuitry from the camera, for example via an Internet connection or a communication link.
  • the processor circuit can also receive image data from a number of cameras, in order to be able to analyze the free loading area of a number of freight compartments with regard to the absolute area value in the manner described. The total free loading area available in several cargo holds can thus be determined by the processor circuit.
  • the invention comprises a logistics system with an embodiment of the processor circuit and with a receiving device for receiving image data from photographs of different cargo compartments, the logistics system being set up to use the processor circuit to determine a respective free loading area of the cargo compartment and a freight distribution dependent thereon of items of freight to be transported.
  • the transport or the distribution of freight items to a plurality of holds can be carried out by the logistics system on the basis of the processor circuit and thus on the basis of an embodiment of the method according to the invention.
  • the invention also includes the combinations of features of the described embodiments.
  • FIG. 1 shows a schematic representation of an embodiment of the logistics system according to the invention with a processor circuit
  • FIG. 2 shows a flow chart of an embodiment of the method according to the invention, as it can be executed by the processor circuit of the logistics system of FIG. 1;
  • FIG. 3 sketches to illustrate method steps of the method from FIG. 2;
  • FIG. 4 shows a sketch to illustrate a calculation of pixel area values of pixels of a photograph showing a free loading area of a cargo hold
  • 5 shows a sketch to illustrate the method steps for calculating the free loading meters.
  • the exemplary embodiment explained below is a preferred embodiment of the invention.
  • the described components of the embodiment each represent individual features of the invention to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than the one shown.
  • the embodiment described can also be supplemented by further features of the invention already described.
  • the logistics system 10 can have a processor circuit 15 to determine the total available free loading area 12 per truck 11 .
  • the processor circuit 15 can receive image data 17 from at least one camera 16, which shows a photograph 18 of the cargo hold 13.
  • the image data 17 can, for example, via the Internet 19 and/or a Cellular network 20 are transmitted from the camera 16 to the processor circuit 15, for example by means of Internet connections 21 known per se.
  • the camera 16 can be implemented by a smartphone 22, for example.
  • a driver of the respective truck 11 can use the camera 16 to take the photograph 18 of the cargo hold 13 .
  • Each driver can use his own smartphone 22 for this, for example.
  • the photograph 18 can be taken in such a way that a front edge 23 is shown as a horizontal line in the photograph 18 and the camera 16 is held above the free loading area 12 such that the free loading area 12 is visible from a perspective obliquely from above , as shown in FIG.
  • the cargo hold 13 is already partially loaded with cargo items 24, which can be pallets, for example.
  • the free loading area 12 can be part of a total loading area available in the loading area 13 or the total loading area 25, which can be formed by the floor of the loading area 13, for example.
  • the total loading area 25 can be delimited by side edges 26. It is also shown how side inner walls 27, a ceiling 28 and a rear wall 29 can also be seen in the photograph 18.
  • the photograph 18 may be photographed from outside of the cargo hold 13 through a door frame 30 , which may also be depicted in the photograph 18 such that it is shown as an outer rectangle enclosing the cargo hold 13 .
  • the logistics system 10 can use the processor circuit 15 to calculate an absolute area value from the received image data 17, which can indicate how many square meters or square decimeters or square feet of free loading area 12 is still available in the respective cargo hold 13. Shown is how it can be determined for an individual truck 11, which can be represented in the processor circuit 15 by its vehicle ID V-ID, to what extent the loading capacity CAP in the freight compartment 13 has already been exhausted and how much free loading capacity is still available is available. Since an absolute area value is determined, the footprint for additional pallets 33 can be determined accordingly, which in FIG additional pallets 33 can result. 1 also shows how a method 35 can be used to determine where the free loading area 12 can be found on the total loading area 25 . By means of an additional algorithm, there can also be a half-loaded loading area 32 which is covered by freight items but still has space towards the ceiling 28 .
  • the method 35 for finding or determining the free loading area 12 in the cargo hold 13 is described below with reference to FIG. 2 and illustration by means of FIG.
  • a freight compartment 13 was loaded with freight items 24 as a start SC and that in a step S11 an operator, for example a driver of the truck 11 , takes the photograph 18 using a camera 16 .
  • the image data 17 of the photograph 18 can be transmitted to the processor circuit 15 of the logistics system 10 in the manner described.
  • the image data 17 of the photograph 18 is preferably color image data, ie an RGB image (RGB—red, green, blue). It can be stored in the image data 17 in JPG format, for example (JPG—Joined Photographic Expert Group).
  • Image pre-processing can be carried out in a step S13 in order to emphasize edge profiles, for example, as can be effected with the “unsharp masking” algorithm, for example.
  • a segmentation algorithm 40 can be executed.
  • the image data 17 resulting from step S13 can be transferred as input data to a machine learning model 41, for example an artificial neural network.
  • the model 41 may perform pixel-by-pixel segmentation or categorization of the photograph 18 pixels.
  • 3 shows a segmentation result as segmentation data 42, which can contain segmentation results 25' for recognizing the entire loading area 25, 27' for recognizing inner side walls 27 and 28' for recognizing the ceiling.
  • a segmentation result 43 a unknown object can result, for example, from the freight items 24 and/or the rear wall 29 . Shown is that boundaries or edges may be fuzzy or fuzzy as may result in a machine learning model.
  • Step S13 can also follow step S14.
  • the segmentation algorithm can also provide a binary segmentation 50, in which the classes total loading area, inner side walls and ceiling from the segmentation data 42 are assigned a first segmentation value 51 and all other segmentation results 43 receive a second segmentation value 52, for example 1, i.e. different from the first segmentation value 51 . This results in a total segmentation mask 53.
  • step S15 may include a rotation such that the door frame 30 is represented as an upright rectangle such that the leading edge 23 in the rotated photograph represents a level or horizontal line.
  • a section calculation 54 can be carried out, which provides for image areas outside of the door frame 30 to be cut away, so that the only remaining image content is through the door frame 30, ie the view into the cargo hold 13 .
  • the door frame 30 represents an entrance opening of the cargo hold 13.
  • step S15 the image section from the section calculation can be accessed
  • an edge detection can be used, by which edges recognizable in the photograph 18 in the cargo hold 13 are detected. Each detected edge can be extended to span the entire image.
  • the region 57 is largest, which corresponds to the vanishing point. This can for example can be recognized by means of a histogram display 58, which indicates for coordinates X, Y in the image or photograph 18 for individual regions how many points of intersection 55 were respectively detected therein. As a result, the region 57 can be detected as the region with the greatest spatial or local density of intersection points 55 .
  • 3 further illustrates how a triangle 60 can be determined that connects the determined vanishing point 56 and outer ends 61 of the front edge 23 of the overall loading area.
  • the segmentation algorithm 40 can further comprise a step S16 according to which the triangle 60 and the binary segmentation 50 are overlaid or combined as a mask.
  • the triangle 60 can also be defined as a binary value, so that a pixel-wise overlay or combination is possible, but other geometric calculations for the combination of the area of the triangle 60 and the binary segmentation 50 can also be used.
  • that area 62 is identified or segmented that lies within the triangle 60 and thus corresponds to the running edges 63 of the side edges 26 and is closed at the front by the front edge 23 . This corresponds to an estimate of the total truck area plus a portion of the rear wall 29 up to the vanishing point 56.
  • the portion of the triangle 60 that the machine learning model 41 classifies as "total truck area” i.e. "cargo floor” duly combined.
  • the superimposition result 64 can thus be used to detect the free loading area 12 . In this case, however, the fuzzy edges from the segmentation data 42 are eliminated.
  • FIG. 3 shows how the free loading area 12 can be identified or marked as a pixel set 65 in a step S19 in the photograph 18 or in the image detail of the loading space or cargo space 13 .
  • Fig. 4 illustrates how, starting from the pixel set 65, i.e. from those pixels in the image data 17 which represent the free loading area 12, it can be determined which of the absolute or real area or which absolute area value the free loading area 12 corresponds to.
  • the left-hand side shows how geometric calculations based on image data 17 of photograph 18 can be used to determine the width of a horizontal line 70 with a known absolute width or an absolute length value by imaging light rays 71 via a lens system 72 of the camera 16 on a sensor plane 73 of an image sensor 74 of the camera 16 leads to a line image 70' with a resulting image length (specified, for example, in a number of pixels).
  • An example for the calculation of the distance value 76 based on an image length of an imaged line or line image 70' of a horizontal line 70 is known, for example, on the website www.lensation.de/calculator.html.
  • Fig. 4 on the right side it is shown that this can be used in a step S17 to calculate horizontal lines, such as the front edge 23, with a known absolute width value 80 of the front edge 23 and thus the width of the total loading area 25 to a real or to infer or calculate absolute distance value 76 .
  • 4 illustrates how the free loading area 12, ie the pixel set 65, can be divided into individual pixel rows 81 of the pixels 82 arranged horizontally next to one another. For the sake of clarity, only a few pixels 82 and individual pixel lines 81 are provided with a reference number.
  • An absolute pixel width value 84 can be calculated for each pixel 82, which indicates how wide the portion of the free loading area 12 represented by the pixel 82 is.
  • This can be calculated by dividing the absolute width value 80 of the width of the total truck bed by a number of pixels of the respective row of pixels 81, giving the absolute or real pixel width value 84.
  • the absolute distance value 76 for the pixel line 81 can be inferred or calculated on the basis of the number of pixels 82 contained therein and the imaging ratio 75 become.
  • This absolute distance value 76 can be interpreted, for example, as the distance of a pixel leading edge 85 of the pixel. If one also takes the absolute distance value 76 of the following pixel line n+1 for each pixel line n, then the distance of the pixel trailing edge 86 can be estimated for the absolute distance value 76 of the pixel line n+1. Overall, this results in an absolute pixel depth value 87 as the difference between the absolute distance values of the pixel leading edge 85 and the pixel trailing edge 86.
  • the product of the absolute pixel width value 84 and the absolute pixel depth value 87 then results in a pixel area value 88 of a pixel area of a respective individual pixel 82.
  • An absolute pixel area value 88 can therefore be assigned to each pixel 82 that represents the free loading area 12, i.e. to each pixel 82 of the pixel set 65, an absolute be assigned pixel area value 88.
  • the absolute area value of the free loading area 12 results, as determined from the photograph 18, i.e. its image data 17, without additional technical aids in the cargo hold 13 or can be calculated.
  • the absolute width value 80 and/or the imaging ratio 75 can be determined, for example, by configuring the processor circuit 15 and/or by an input from an operator.
  • Fig. 5 illustrates how, using the known absolute pixel depth value 87 from a row of pixels 100, each lined up along a predetermined alignment line 101, by adding up the pixel depth values 87 of the respective pixel line, a respective absolute length value of the free loading path or free loading meter 102 can be calculated.
  • the respective vanishing line 101 can be arranged at predetermined positions 103 of the segmented free loading area 12, eg middle, middle left half, middle right half.
  • the free loading area (12) is preferably divided into several tracks (in particular either 3 tracks or 2) in order to determine how many pallets can be placed in the remaining space, ie a vote can be taken take place on a planned pallet width.
  • the respective vanishing line 101 connects a front edge 104 of the segmented free loading area 12 arranged at the bottom in the photograph, i.e. usually the front edge 23 in the case of error-free segmentation, with a rear edge 105 of the segmented free loading area 12 arranged at the top in the photograph, as shown from the binary segmentation 50 can result.
  • the respective vanishing line 101 points to the vanishing point 56 .
  • the main benefit is that there is no need to install switching hardware in the trailer or on the cargo hold to determine the free capacity / free loading space.
  • the solution to the fleet manager's problem may be a camera-based machine learning algorithm that detects empty cargo capacity.
  • This algorithm can be run on the device of the truck driver or the shipper (the shipper is a person who loads the truck in a logistics center) (e.g. a smartphone) or in the cloud based on an image generated by any device capable of capturing an image is uploaded.
  • This approach eliminates the need to add an additional sensor to the trailer or loading dock. It is completely new to consider the driver and their smartphone as part of the system, which means that no additional sensors are required to assess the load capacity.
  • This information can be passed on to the fleet manager to assess whether or not additional loads can be accepted.
  • the truck driver takes a photo to prove that the load has been secured. A picture of the rear of the trailer is entered (taken to demonstrate compliance with the load securing guidelines).
  • the image could be taken from the side accordingly.
  • the algorithm is not limited to detecting free hold or cargo space between a detected object (e.g. a pallet) and the beginning of the trailer, but can directly segment the image and decide for each pixel whether it is classified as free ground space.
  • the main component of the algorithm is a segmentation model that can be configured as follows, for example: o RGB image as input o Transforms the visible floor (free loading area) of the cargo box into a first pixel value, e.g. (0,0,0) o Transforms the side walls of the cargo box into a second pixel value e.g. (63, 63, 63) o Transforms the cargo box top into a third pixel value e.g. (127, 127, 127) o Transforms the cargo box back wall into a fourth pixel value e.g. (191 , 191 , 191 ) o Converts all other fourth pixel values e.g. (255, 255, 255 )
  • the largest contour of the segmentation (corresponding to the entrance opening into the cargo compartment) is extracted and the minimum rotated rectangle around the contour is calculated.
  • the vanishing point is detected on the image of the cargo box: o
  • Line detector detects all lines with the corresponding angle and length in the image o
  • Corresponding lines are enlarged to the image size of the cargo box o
  • the intersection points of all lines are determined o
  • the actual width of each pixel within the triangle can be determined.
  • the area of each pixel within the triangle can be determined.
  • the segmented image is binarized with a threshold (e.g. ⁇ 63).
  • the free space is preferably divided into several lanes (either 3 lanes or 2) to determine how many pallets can be placed in the remaining space.
  • the missing information about the load condition of the trailer can be obtained from images taken to demonstrate compliance with load securing regulations. No additional process steps are required. This simplifies the work processes for truck drivers and saves time. There is no additional hardware to purchase, install, ship or maintain. Therefore, the proposed solution is significantly cheaper compared to the prior art. Reducing empty kilometers for trucks and improving capacity utilization result in fewer unnecessary trips and less CO2 per transported goods. In times of growing awareness of climate change, this is a major advantage that should not be underestimated.
  • the example shows how a camera-based determination of a loading status (available free loading space) in a cargo hold can be provided using segmentation.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (35) zum Schätzen eines absoluten Flächenwerts und/oder eines absoluten Längenwerts freier Lademeter einer freien Ladefläche (12) in einem Frachtraum (13), wobei die freie Ladefläche (12) ein unbedeckter Teil einer insgesamt rechteckigen Gesamtladefläche (25) des Frachtraums (13) ist. Die Erfindung sieht vor, dass durch eine Prozessorschaltung (15) Bilddaten (17) einer Kamera (16) empfangen werden, die eine Fotografie (18) der freien Ladefläche (12) darstellen, wobei in den Bilddaten (17) mittels eines Segmentierungsalgorithmus (40) die in der Fotografie (18) abgebildete freie Ladefläche (12) ermittelt wird und von denjenigen Pixeln (82), welche die segmentierte freie Ladefläche (12) darstellen, zugeordnete absolute Pixelflächenwerte (88) der Pixel (82) zu dem absoluten Flächenwert aufsummiert werden.

Description

Beschreibung
Verfahren und Prozessorschaltung zum Schätzen eines absoluten Flächenwerts einer freien Ladefläche und/oder eines absoluten Längenwerts freier Lademeter in einem Frachtraum sowie Logistiksystem
Die Erfindung betrifft ein Verfahren und eine Prozessorschaltung zum Schätzen eines absoluten Flächenwerts einer freien Ladefläche in einem Laderaum oder Frachtraum. Als „freie Ladefläche“ wird hier ein unbedeckter Teil einer Gesamtladefläche des Frachtraums (Frachtraumboden) bezeichnet und der reale oder absolute Flächenwert ist eine Angabe in Quadratmeter oder Squarefeet oder ähnliches, also eine Angabe in einem absoluten Flächenmaß. Ein anderes, vorteilhaftes Maß sind die sogenannten freien Lademeter, welche die z.B. aus der Fläche ableitbare Länge an freier Ladefläche angeben, die garantiert noch im Laderaum verfügbar ist. Die Schätzung soll auf Basis einer Fotographie der freien Ladefläche und Lademeter erfolgen können. Die Erfindung umfasst auch ein Logistiksystem, welches die besagte Prozessorschaltung nutzt.
Der Ladezustand von Lkw-Anhängern (Lkw - Lastkraftwagen) oder anderem Frachtraum eines Logistikunternehmens ist den Fuhrparkleitern oft unbekannt. Daher sind die Flottenmanager nicht in der Lage, zusätzliche Ladungen auf den von ihren Lkw befahrenen Strecken zu akzeptieren oder zuzuordnen.
Es ist aber üblich, dass Lkw-Fahrer nach dem Verladen von Transportgütern oder Frachtstücken Fotos vom Innenraum des Frachtraums machen, um die Einhaltung der Ladungssicherung zu dokumentieren. Aber diese Bilder geben keine Auskunft über den Ladungsstatus.
Ein Verfahren zum Schätzen einer noch verbleibenden Transportkapazität in Frachträumen eines Logistiksystems ist beispielsweise aus der EP 3 872 461 A1 bekannt. Das Verfahren nutzt Bilddaten einer Fotografie, die beispielsweise ein Fahrer von dem jeweiligen Frachtraum anfertigt. Mittels eines Bildverarbeitungsalgorithmus wird aus den Bilddaten die Information über die noch verfügbare freie Ladefläche ermittelt.
Aus der EP 3 872 725 A1 ist ebenfalls ein Verfahren zum Ermitteln eines Beladungszustands eines Frachtraums eines Lastkraftwagens bekannt. Demnach wird in einer Fotografie des Frachtraums ermittelt, wo sich Frachtstücke befinden und mittels einer Gitterprojektion wird der Abstand der Vorderkante des Frachtraums am Eingang bis zu den Frachtstücken geschätzt. Dies erfordert die Installation eines Projektors zum Projizieren der Gitterprojektion im Laderaum.
Der Erfindung liegt die Aufgabe zugrunde, mit geringem hardwaretechnischen Aufwand die verbleibende freie Ladefläche in einem Frachtraum, beispielsweise in einem Anhänger oder Koffer eines Lastkraftwagens oder in einem Frachtcontainer, zu schätzen.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Als eine Lösung umfasst die Erfindung ein Verfahren zum Schätzen eines absoluten Flächenwerts einer freien Ladefläche und/oder ein absoluter Längenwert der sogenannten freien Lademeter in einem Frachtraum. Die freie Ladefläche ist ein unbedeckter Teil einer Gesamtladefläche des Frachtraums. Wie bereits beschrieben, bezeichnet der Begriff „absolut“ hier eine Angabe in einem absoluten Längenmaß beziehungsweise Flächenmaß. Ein absoluter Flächenwert ist somit eine Angabe beispielsweise in Quadratmeter oder Quadratdezimeter oder Quadratzentimeter oder Squarefeet, um nur Beispiele zu nennen. Dagegen wäre ein relativer Flächenwert eine Angabe in einem Verhältnis, beispielsweise 50 Prozent oder 70 Prozent. Ein absolutes Längenmaß ist entsprechend eine Angabe in Meter oder Zentimeter oder Feet, um nur Beispiele zu nennen. Der Frachtraum, dessen noch verfügbare freie Ladefläche geschätzt werden soll, kann beispielsweise in einem Hänger eines Lastkraftwagens oder die Ladefläche eines Lastkraftwagens oder in einem Frachtcontainer vorhanden sein. Die freie Ladefläche ist derjenige Teil, auf dem noch beispielsweise Paletten oder allgemein Frachtstücke auf dem Boden des Frachtraums abgelegt oder abgestellt werden können. Falls nur der absolute Längenwert benötigt wird (nicht auch der absolute Flächenwert), so können von solchen Pixeln, welche in der Fotographie eine Fluchtlinie bilden, die eine jeweilige eine Oberkante (hinteres Ende oder Hinterkante) und eine Unterkante (vorderes Ende oder Vorderkante) der segmentierten freie Ladefläche verbindet, zugeordnete absolute Pixeltiefenwerte zu dem absoluten Längenwert der freien Lademeter aufsummiert werden. Der absolute Längenwert kann aber bei bekanntem absolutem Breitenwert der Gesamtladefläche stattdessen aus dem absoluten Flächenwert berechnet werden.
Das Verfahren nutzt die eingangs beschriebene Fotografie, wie sie z.B. von einem Fahrer eines Lastkraftwagens zur Dokumentation der Ladungssicherung gemacht worden sein kann. Anhand dieser Fotografien oder Bilder wird mit Hilfe von Bildverarbeitung und/oder künstlicher Intelligenz der freie Bodenraum (d.h. die freie Ladefläche) im Anhänger oder allgemein im Frachtraum abgeschätzt.
Durch eine Prozessorschaltung werden hierzu Bilddaten einer Kamera empfangen, die eine Fotografie der freien Ladefläche darstellen. In den Bilddaten wird mittels eines Segmentierungsalgorithmus die in der Fotografie abgebildete freie Ladefläche ermittelt. Damit steht die Information zur Verfügung, welche und/oder wie viele Pixel der freien Ladefläche entsprechen. Von denjenigen Pixeln, welche die segmentierte freie Ladefläche darstellen, werden zugeordnete absolute Pixelflächenwerte der Pixel zu dem absoluten Flächenwert aufsummiert. Damit erhält man die gesuchte Angabe der freien Ladefläche als absolute Flächenangabe.
Als Kamera kann beispielsweise ein Smartphone oder ein Tablet-PC oder eine Smartwatch oder eine smarte Brille (Datenbrille) genutzt werden. Es ist also keine fest im oder am Frachtraum installierter Sensor (e.g. Kamera, Lidar, Radar, Ultraschallsensor) notwendig. Die besagte Prozessorschaltung kann in der Kamera, so beispielsweise in einem Smartphone, integriert sein oder es kann sich um einen so genannten Backend-Server oder einen Servercomputerhandeln, der die Bilddaten aus der Kamera über eine Kommunikationsverbindung, beispielsweise eine Internetverbindung, empfängt. In einer solchen Fotografie kann eine so genannte Segmentierung durchgeführt werden, also eine Unterscheidung oder Zuordnung dahingehend, was durch ein einzelnes Pixel der Fotografie dargestellt ist, ob also das Pixel Teil der Abbildung der freien Ladefläche oder Teil einer Abbildung eines Frachtstücks ist, um nur Beispiele zu nennen. Es liegt also nach dem Anwenden eines Segmentierungsalgorithmus pro Pixel die Information vor, ob dieses Pixel die freie Ladefläche darstellt oder nicht. Eine sehr einfache Implementierung eines Segmentierungsalgorithmus kann beispielsweise auf einer Auswertung einer Farbinformation in der Fotografie beruhen. Ist bekannt, dass die Gesamtladefläche, also der Boden des Frachtraums, auf welchem Frachtstücke angeordnet werden können, eine charakteristische Farbe hat, beispielsweise hellgrau oder rot oder holzfarben, und die angrenzende Umgebung eine andere Farbe aufweist, so kann in der Fotografie zu einem Pixel ermittelt werden, ob es diese charakteristische Farbe aufweist, und dann dieses Pixel als Darstellung eines Teils der freien Ladefläche oder zur freien Ladefläche interpretiert oder zugeordnet werden, was als Segmentieren bezeichnet wird. Dies ist aber nur ein Beispiel, ein bevorzugter Segmentierungsalgorithmus wird im Weiteren noch beschrieben.
Von der Gesamtladefläche kann angenommen werden, dass diese horizontal ausgerichtet oder angeordnet ist. Aus einer Fotografie einer horizontal angeordneten Gesamtladefläche kann durch geometrische Berechnungen ermittelt werden, wie viel absoluter Fläche der „Bildausschnitt“ eines einzelnen Pixels entspricht oder darstellt. Denkt man sich das Pixel als rechteckigen Ausschnitt der Fotografie, so kann über die Geometrie der Kamera und/oder das optische System der Kamera beispielsweise eine Rückprojektion berechnet werden, durch welche ermittelt werden kann, auf welche Fläche im Laderaum oder Frachtraum dieses Rechteck eines einzelnen Pixels auf der freien Ladefläche abgebildet würde, wenn man die Rückprojektion durchführt. Die sich durch Abbilden beispielsweise des besagten Rechtecks des Pixels auf die freie Ladefläche ergebende Flächengröße ergibt den besagten absoluten Pixelflächenwert, der beispielsweise in einem Bereich von 5 cm2 bis 0,5 m2 liegen kann. Fasst man all diejenigen Pixel zusammen, die gemäß des Segmentierungsalgorithmus als freie Ladefläche kategorisiert oder gelabelt oder markiert sind, so kann durch Berechnen oder Aufsummieren von deren einzelnen Pixelflächenwerten die gesuchte berechnet werden.
In Abhängigkeit davon, unter welchen Voraussetzungen oder unter welchen Bedingungen die Fotografie mittels der Kamera erzeugt wurde, kann bereits im Voraus bekannt sein, wie viel Fläche des Frachtraums durch ein einzelnes Pixel repräsentiert ist. Ein Pixel repräsentiert einen rechteckigen Bildausschnitt (das besagte „Rechteck“, in welchem ein von der Kamera aus sichtbarer Teil der Szenerie, insbesondere der freien Ladefläche, abgebildet oder dargestellt ist. Ist bekannt, wie groß (in Angabe eines absoluten Pixelflächenwerts) die Fläche des durch ein einzelnes Pixel dargestellten Teils der freien Ladefläche ist, so kann durch Aufsummieren all derjenigen Pixel, die gemäß des Segmentierungsalgorithmus zu der freien Ladefläche gehören, die insgesamt verfügbare freie Ladefläche als absoluter Flächenwert berechnet werden. Ist beispielsweise die Relativposition der Kamera zur Gesamtlagefläche bekannt, kann der absolute Pixelflächenwert pro Pixel in Konfigurationsdaten fest vorgegeben sein. Der jeweilige absolute Pixelflächenwert der durch ein einzelnes Pixel repräsentierten Flächengröße der freien Ladefläche kann damit beispielsweise im Voraus ermittelt werden und in einer Tabelle abgelegt werden, um ein einfaches Beispiel einer Ausführung der Erfindung zu geben. Es kann dann durch eine Bedienperson der Kamera sichergestellt werden, dass mittels der Kamera die Fotografie aus einer Perspektive oder aus einer Position heraus erzeugt wird, für die sich eine entsprechende Abbildung der freien Ladefläche ergibt, die dann mittels der Konfigurationsdaten in absolute Pixelflächenwerte umgerechnet oder abgebildet werden können.
Durch die Erfindung ergibt sich der Vorteil, dass keine zusätzliche schaltungstechnische Installation in dem Frachtraum selbst notwendig ist, um die noch verfügbare freie Ladefläche, also denjenigen Teil der Gesamtladefläche, der noch nicht durch ein Frachtstück bedeckt ist, als einen absoluten Flächenwert anzugeben, also beispielsweise anzugeben, dass in dem Frachtraum noch 3 Quadratmeter oder 7,5 Quadratmeter freier Ladefläche verfügbar sind. Zudem ergibt sich ein Vorteil deshalb, weil in der Fotographie / den Bilddaten aktiv die freie Ladefläche gesucht wird und nicht andersherum Frachtstücke oder blockierende Objekte auf der Gesamtladefläche. Dies vereinfacht in entscheidender Weise die Bildverarbeitung, weil nicht auf die vielfältigen, möglichen Formen von Frachtstücken Rücksicht genommen werden muss.
Die Erfindung umfasst auch Weiterbildungen, durch die sich zusätzliche Vorteile ergeben.
Eine Weiterbildung umfasst, dass angenommen wird oder gegeben ist, dass die Gesamtladefläche insgesamt rechteckig ist und in der Fotografie eine Vorderkante der rechteckigen Gesamtladefläche parallel zu einer Sensorebene eines Bildsensors der Kamera angeordnet dargestellt ist und sich gegenüberliegende Seitenkanten der Gesamtladefläche in dem Frachtraum senkrecht von der Vorderkante nach hinten erstrecken. Mit anderen Worten ist der Boden des Frachtraums rechteckig, wie es für Frachtcontainer oder Trailer von Lastkraftwagen üblich ist. Um sicherzustellen, dass die Fotografie den Frachtraum mit der Gesamtladefläche in der beschriebenen Weise darstellt oder abbildet, kann beispielsweise eine Instruktion an die Bedienperson der Kamera vorgegeben oder ausgegeben sein. Dies kann beispielsweise mittels eines Applikationsprogramms (einer so genannten App) erreicht werden, die in der Kamera betrieben werden kann, also beispielsweise einem Smartphone, um hierdurch zu erreichen, dass die Bedienperson die Fotographie aus einer entsprechenden Perspektive aufnimmt. Die Vorderkante ist also parallel zur Sensorebene des Bildsensors angeordnet und bevorzugt waagerecht ausgerichtet. Bevorzugt wird die Fotografie mittig bezüglich der Vorderkante aufgenommen, so dass ausgehend von der Kamera ein linker Abschnitt und ein rechter Abschnitt der Vorderkante gleich lang sind. Bevorzugt wird die Fotografie aus einer Höhe zwischen 1 ,4 Meter und 2 Meter oberhalb der Gesamtladefläche aufgenommen. Die Gesamtladefläche ist bevorzugt horizontal ausgerichtet, während die Fotografie aufgenommen wird. Bevorzugt ist die freie Ladefläche von schräg oben aus einem Bereich außerhalb der Gesamtladefläche aufgenommen. Bevorzugt ist die Sensorebene des Bildsensors parallel zu einer die Gesamtladefläche rückwärtig begrenzenden senkrechten Rückwand des Frachtraums angeordnet. All dies hilft vermeiden, dass eine perspektivische Verzerrung der abgebildeten Kanten und/oder Linien die Schätzung des absoluten Flächenwerts verfälscht. Entsprechende Anweisungen können in der beschriebenen Weise über die Kamera, beispielsweise ein Smartphone, ausgegeben werden, so dass die Bedienperson sich entsprechend verhält. Zusätzlich oder alternativ dazu kann in einem Display (Bildschirm) der Kamera eine Darstellung von zumindest einer Orientierungslinie oder Führungslinie, bevorzugt mehrerer Führungslinien, erfolgen, die an beispielsweise der Vorderkante und/oder den Seitenkanten auszurichten sind, bevor der Auslöser der Kamera betätigt wird, also bevor die Bilddaten erzeugt werden. Es kann zusätzlich oder alternativ vorgesehen sein, dass die Kamera selbsttätig auslöst, wenn eine Übereinstimmung der Vorderkante und/oder der Seitenkanten in Bezug auf vorgegebene Führungslinien mittels eines Bildverarbeitungsalgorithmus detektiert wird. Dazu ist es dann lediglich notwendig, dass die Bedienperson die Kamera ausrichtet oder verschwenkt oder bewegt und bei durch den Bildverarbeitungsalgorithmus erkannter Übereinstimmung der Vorderkante und/oder der Seitenkanten bezüglich der Orientierungslinien oder Führungslinien wird dann automatisiert die Fotografie erzeugt oder die Kamera ausgelöst.
Das Verfahren umfasst darauf aufbauend, dass zu der Gesamtladefläche ein absoluter Breitenwert einer Breite der Gesamtladefläche und damit eine Länge der Vorderkante empfangen wird. Ein solcher absoluter Breitenwert kann beispielsweise anhand einer Modellangabe eines Modells des Frachtraums, beispielsweise eines Modells eines Hängers eines Lastkraftwagens, ermittelt werden. Der absolute Breitenwert kann auch beispielsweise aus einer Norm ausgelesen werden, die für diesen Typ von Frachtraum gilt, wie es beispielsweise bei Frachtcontainern für den Schiffsverkehr bekannt ist. Der Breitenwert und/oder eine Modellangabe betreffend den Frachtraum kann beispielsweise über die Kamera, beispielsweise ein Smartphone, von der Bedienperson empfangen werden, welche die Fotografie angefertigt hat. Zudem umfasst das Verfahren, dass in den Bilddaten eine jeweilige Verlaufslinie der Seitenkanten anhand der Bilddaten mittels eines Fluchtliniendetektionsalgorithmus ermittelt werden. Wie bereits ausgeführt, enthält die Fotografie zusätzlich zu der Vorderkante, die horizontal und quer im Bild oder in der Fotografie angeordnet ist oder verläuft, auch einen Teil der Seitenkanten, die die Gesamtladefläche zu den Seiten hin nach rechts und links begrenzenden und die in den Bildhintergrund hin ausgerichtet sind. Zwar sind die Seitenkanten in Realität, das heißt, an der realen Gesamtladefläche parallel angeordnet. In der Fotografie sind sie aber auf einen Fluchtpunkt ausgerichtet, wie es für die an sich bekannte perspektivische Verzerrung oder perspektivische Flucht von Aufnahmen eines Rechtecks bekannt ist. Da die Fotografie von schräg oben auf die Gesamtladefläche, insbesondere die freie Ladefläche, ausgerichtet ist, ergibt sich entsprechend eine Anordnung der Seitenkanten, die ausgehend von den beiden Enden der Vorderkante nach oben dreieckig zulaufen. Der Fluchtliniendetektionsalgorithmus kann beispielsweise in einer einfachen Ausführungsform darauf beruhen, dass die Seitenkanten farblich markiert sind, beispielsweise durch rote Klebestreifen oder eine vorbekannte Farbe von der Umgebung abgehoben oder kontrastreich dargestellt sind. Der Verlauf einer solchen farbigen Linie in der Fotografie kann dann in einer Bildverarbeitung mittels Farbvergleich detektiert werden. Dies ist aber nur ein einfaches Beispiel für einen Fluchtliniendetektionsalgorithmus. Es kann auch ein in an sich bekannter Weise ein Kantendetektionsalgorithmus verwendet werden.
Zudem ist vorgesehen, dass in der Fotographie im Bereich der segmentierten freien Ladefläche „Pixelzeilen“ ermittelt werden. Diese bestehen jeweils aus denjenigen Pixeln, die sich von einer der Verlaufslinien zu der anderen der Verlaufslinien der Seitenkanten zur anderen erstrecken. Pro Pixelzeile wird aus dem absoluten Breitenwert der Gesamtladefläche und der jeweiligen Anzahl der Pixel der Pixelzeile ein absoluter Pixelbreitewert ermittelt wird. Das von der Vorderkante und den Verlaufslinien der Seitenkanten eingeschlossene Dreieck kann zumindest zu einem Teilbereich in der Fotografie oder in dem Bild zeilenweise gerastert werden, so dass sich horizontal verlaufende Pixelzeilen ergeben oder diese definiert oder ermittelt sind. Da der absolute Breitenwert bekannt ist, also ein Wert, der beispielsweise in einem Bereich von einem Meter bis acht Meter liegen kann, und dieser absolute Breitenwert für jede Pixelzeile gilt, die beide Verlaufslinien verbindet (Abstand der Seitenkanten), so kann durch die Division des absoluten Breitenwerts durch die Anzahl der Pixel der jeweiligen Pixelzeile ermittelt werden, welcher absolute Pixelbreitewert durch das Pixel repräsentiert ist, also dessen horizontale repräsentierte absolute Abmessung auf der freien Ladefläche. Als möglicher absoluter Pixelbreitewert kann sich beispielsweise ein Wert in einem Bereich von 2 cm bis 50 cm ergeben. Dies hängt auch von einer Pixeldichte des beschriebenen Bildsensors ab.
Für den absoluten Pixelflächenwert des von dem Pixel repräsentierten Rechtecks auf der freien Ladefläche fehlt nun noch die zweite Abmessung, nämlich ein absoluter Pixellängswert oder Pixeltiefenwert, der angibt, wie weit oder wie tief sich die von dem Pixel repräsentierte Pixelfläche auf der freien Ladefläche in den Hintergrund oder von der Kamera weg erstreckt. Hierzu wird ein Abbildungsverhältnis ermittelt, das angibt, in welchem Größenverhältnis eine parallel zur Sensorebene angeordnete (insbesondere horizontale) Linie in der realen Umgebung in Abhängigkeit von ihrem absoluten Abstand zur Kamera und/oder in Abhängigkeit von einer Brennweite der Kamera dann auf der Sensorebene abgebildet wird. Die Linie repräsentiert die Breite eines (realen) Objekts, das auf dem Bildsensor abgebildet wird. Das Abbildungsverhältnis kann in einer einfachen Ausführungsform beispielsweise durch Versuche oder Testmessungen ermittelt werden, so dass in der Prozessorschaltung ein Kennfeld und/oder eine Abbildungstabelle (Lookup-Tabelle) bereitgestellt werden kann. Mittels des Abbildungsverhältnisses kann entschieden werden, wie weit ein Gegenstand oder ein Objekt oder eine Linie von der Kamera entfernt gewesen sein muss, damit ihre Breite (nämlich der absolute Breitenwert) sich auf eine bestimmte oder gegebene Anzahl an Pixeln abbildet oder diesen entspricht.
Mittels des Abbildungsverhältnisses kann beispielsweise entschieden werden, wie weit eine Linie der Breite 2,5 Meter von der Kamera entfernt gewesen sein muss, damit sie in der Fotografie eine Breite oder Länge von 520 Pixeln aufweist. Das Abbildungsverhältnis kann also eine Angabe X Meter Breite wird bei A Meter Abstand auf N Pixel Breite in der Fotographie abgebildet. Da M und N bekannt sind, kann A berechnet werden.
Nun kann also pro Pixelzeile ein absoluter Abstandswert der Pixelzeile anhand des absoluten Breitenwerts und des Abbildungsverhältnisses und der Anzahl der Pixel der Pixelzeile berechnet werden. Aus einem absoluten Differenzwert des Abstandswerts der Pixelzeile n und des Abstandswerts einer benachbarte Pixelzeile n+1 kann ein absoluter Pixeltiefenwert berechnet werden. Man kann also annehmen, dass der absolute Abstandswert einer Pixelreihe beispielsweise dem Abstand der vorderen Kante des durch das Pixel repräsentierten Rechtecks auf der Ladefläche oder der hinteren Kante dieses Rechtecks entspricht. Der absolute Differenzwert der absoluten Abstandswerte zweier benachbarter oder in der Fotografie aufeinander liegender Pixelreihen oder Pixelzeilen kann dann als Angabe der Pixeltiefe oder eben der Länge des Rechtecks, das durch das Pixel repräsentiert ist, in Richtung Bildtiefe, also senkrecht zur Vorderkante der Gesamtladefläche, angenommen werden. Diese Schätzung hat sich als geeignet erwiesen, um eine präzise Schätzung der freien Ladefläche als absoluter Flächenwert zu berechnen.
Das Produkt aus Pixelbreitenwert und Pixeltiefenwert entspricht dem absoluten Pixelflächenwert des Rechtecks, das durch das Pixel auf der freien Ladefläche repräsentiert ist. Insgesamt kann damit nämlich pro Pixel der Pixelzeilen ein dem jeweiligen Pixel entsprechender absoluter Pixelflächenwert aus dem Pixelbreitenwert und dem Pixeltiefenwert berechnet und dem Pixel zugeordnet werden. Somit kann in Kenntnis des Abbildungsverhältnisses ohne zusätzliche Markierungen auf der freien Ladefläche geschätzt werden, welcher absolute Pixelflächenwert durch jedes Pixel auf der freien Ladefläche repräsentiert oder abgebildet oder gezeigt ist.
Als Alternative kann vorgesehen sein, auf der Gesamtladefläche Marker anzubringen, beispielsweise farblich abgesetzte Symbole, beispielsweise Rechtecke auf der Gesamtladefläche. Mittels eines Bildverarbeitungsalgorithmus kann ein solcher Marker detektiert werden, beispielsweise anhand seines Farbwertes, der entsprechende Pixelwerte hervorruft, und es kann gezählt werden, durch wie viele Pixel in der Abbildung eines solchen Markers enthalten sind. Da die Fläche eines solchen Markers bekannt ist (beispielsweise kann die Größe eines solchen Markers im Bereich von 5 cm2 bis 40 cm2 liegen), kann auch geschätzt werden, welchen absoluten Pixelflächenwert jedes der Pixel im Marker repräsentiert oder abbildet. Dieser Pixelflächenwert gilt dann auch zumindest näherungsweise für umliegende Pixel. Es können mehrere Marker für unterschiedliche Bildtiefen vorgesehen werden.
Eine Weiterbildung umfasst, dass der Fluchtliniendetektionsalgorithmus umfasst, dass in der Fotographie eine Kantendetektion durchgeführt wird und detektierte Kanten verlängert werden, sodass sich Schnittpunkte der verlängerten Kanten ergeben, und eine Region mit höchster Schnittpunktdichte als Fluchtpunkt der Fotographie festgelegt wird und die Verlaufslinien jeweils als Verbindungslinie des Fluchtpunkts zu jeweils einem Ende der Vorderkante festgelegt werden. Dieser Fluchtliniendetektionsalgorithmus weist den Vorteil auf, dass nicht bekannt sein muss, welche der in der Fotografie dargestellten Kanten die eigentlichen Seitenkanten der Gesamtladefläche darstellen. Es ist somit keine Vorbereitung der Seitenkanten, beispielsweise durch farbliches Markieren, notwendig. Es hat sich gezeigt, dass durch den beschriebenen Fluchtliniendetektionsalgorithmus sich der Fluchtpunkt im Bild als stärkster oder wahrscheinlichster Schnittpunkt oder häufigster Schnittpunkt der paarweisen Schnitte der verlängerten Kanten ergibt, was zu dem Wert der höchsten Schnittpunktdichte führt. Die Region kann ein einzelnes Pixel darstellen oder eine Gruppe mehrerer Pixel, beispielsweise ein Rechteck der Kantenlänge 30 Pixel mal 30 Pixel, um nur ein Beispiel zu nennen. Es kann dann für unterschiedliche Regionen ausgewertet werden, wie viele Schnittpunkte sich darin befinden. Die Region höchster Schnittpunktdichte (z.B. deren Zentrum) stellt dann den Fluchtpunkt dar. Wie bereits beschrieben, zeigen die Seitenkanten in der beschriebenen geometrischen Anordnung auf diesen Fluchtpunkt. Eine Verbindungslinie dieses Fluchtpunkts mit jeweils einem Ende der Vorderkante der Gesamtladefläche entspricht dann dem Verlauf der beiden Seitenkanten. Allerdings ist diese Verbindungslinie länger als die Seitenkanten, da der Fluchtpunkt im Bereich der Rückwand des Frachtraums liegen kann und/oder die Seitenkanten durch Frachtstücke teilweise verdeckt sein können.
Eine Weiterbildung umfasst, dass der Segmentierungsalgorithmus umfasst, dass die Bilddaten einem Modell des maschinellen Lernens als Eingabedaten zugeführt werden, wobei das Modell dazu trainiert ist, mittels einer pixelweisen Klassifikation der Bilddaten jeweilige Pixel zu einer der folgenden Klassen zuzuordnen: der Gesamtladefläche, einer Seiteninnenwand des Frachtraums, einer Decke des Frachtraums, und das Modell entsprechende Segementierdaten erzeugt, wobei ein jeweiliges Pixel eines unbekannten Objekts zu einem von den Klassen verschiedenen Segmentierergebnis führt. Beispielsweise kann vorgesehen sein, Trainingsfotografien bereitzustellen, zu denen zusätzlich so genannte Labelingdaten bereitgestellt werden, durch welche angegeben ist, wo in der jeweiligen Trainingsfotografie die Gesamtladefläche, die Seiteninnenwand, die Decke des Frachtraums befindet. Eine Trainingsfotografie kann dabei einen leeren Frachtraum oder einen beladenen Frachtraum darstellen. In einer Trainingsfotografie mit einem beladenen Frachtraum ist dann anstelle der Gesamtladefläche die freie Ladefläche gelabelt oder markiert, also der sichtbare Teil der Gesamtladefläche. Es hat sich herausgestellt, dass ein Modell des maschinellen Lernens anhand solcher Fotografien Segmentierinformationen oder Segmentierdaten erzeugen kann, durch welche angegeben ist, wo in einer Fotografie eines beladenen oder unbeladenen Frachtraums sich freie Ladefläche, Seiteninnenwand beziehungsweise Decke befindet. Es kann jeweils ein anderer Ausgabewert für die Ladefläche, Seiteninnenwand und Decke vorgesehen sein. Für ein solches Modell des maschinellen Lernens hat sich herausgestellt, dass dann alle übrigen Elemente oder Objekte, das heißt unbekannte Objekte (nicht Ladefläche, Seiteninnenwand, Decke) durch einen entsprechenden Wert oder ein entsprechendes Segmentierergebnis durch das Modell gekennzeichnet werden. Wird beispielsweise Ladefläche durch ein schwarzes Pixel repräsentiert, Seiteninnenwand dunkelgrau und Decke hellgrau, so kann sich für ein unbekanntes Objekt als Segmentierergebnis die Farbe Weiß ergeben. Ein Beispiel für ein geeignetes Modell des maschinellen Lernens ist ein künstliches neuronales Netzwerk. Entsprechende Trainingsalgorithmen zum Trainieren eines solchen Modells in der beschriebenen Weise sind aus dem Stand der Technik bekannt. Ein alternatives Modell kann beispielsweise ein so genannter Decision Tree oder eine Support Vactor Machine (SVM) sein. Die Verwendung des Segmentierungsalgorithmus mit dem beschriebenen Modell des maschinellen Lernens zum Detektieren der freien Ladefläche, also des freien Teils einer Gesamtladefläche eines Frachtraums stellt eine eigene Erfindung dar.
Eine Weiterbildung umfasst, dass eine Dreiecksfläche aus den Verlaufslinien der Seitenkanten und der Vorderkante der Frachtraumbodens (Gesamtladefläche) mit den Segmentierdaten überlagert oder maskiert wird und die freie Ladefläche als Schnittmenge der Dreiecksfläche und den Pixeln der Klasse „Gesamtladefläche“ festgelegt wird. Somit kann die Ausgabe des Segmentierungsalgorithmus, welcher die Pixel, die zur Ladefläche gehören, also die Gesamtladefläche des Frachtraums, seitlich zur Seite hin abgrenzen durch die Verlaufslinien und die Vorderkante, wodurch sich ein genaueres Segmentierergebnis oder eine genauere Segmentierung der freien Ladefläche ergibt, da die Verlaufslinien und die Vorderkante die Gesamtladefläche abgrenzen, während die Segmentierdaten den in der jeweiligen Fotografie erkennbaren oder sichtbaren Bereich der Gesamtladefläche, also die freie Ladefläche, segmentiert oder markiert. Dies kann dazu verwendet werden, dem Problem zu begegnen, dass in den Segmentierdaten die Ränder von segmentierten Regionen, wie z.B. der Gesamtladefläche, unscharf dargestellt sein können.
Eine Weiterbildung umfasst, dass das Abbildungsverhältnis das Verhältnis
Anzahl Pixel der Pixelzeile / Entfernung Sensorebene zu einer Linse der Kamera absoluter Breitenwert / Entfernung der Linie (d.h. des Objekts) zur Linse beschreibt. Somit kann das Abbildungsverhältnis auch ohne vorherige Tests oder Versuche und damit ohne Tabelle oder Kennfeld durch Berechnung ermittelt werden. Die hier beschriebene geometrische Berechnung beruht auf den optischen Verhältnissen und dem Strahlensatz. Die Entfernung der Sensorebene zur Linse kann beispielsweise aus dem Modell der Kamera oder dem Kameratyp ermittelt werden, wozu in vorteilhafter Weise die in den Bilddaten verfügbaren Metadaten verwendet werden können, die in der Regel zusätzlich zum Kameratyp auch den Typ des Objektivs angeben.
Eine Weiterbildung umfasst, dass das Abbildungsverhältnis anhand eines Brennweitewerts der Fotographie und/oder anhand eines Kennfelds der Kamera ermittelt wird. Das hier beschriebene Kennfeld ist die Speicherung derjenigen Daten, die durch Versuche erzeugt werden können, um das Abbildungsverhältnis empirisch zu ermitteln. Aus dem Brennweitewert kann ebenfalls ermittelt werden, welches Abbildungsverhältnis sich ergibt, nämlich beispielsweise der Vergrößerungsfaktor.
Durch weiterführende geometrische Berechnung auf Basis der Strahlenverläufe des Lichts kann auch folgendes Abbildungsverhältnis hergeleitet werden:
Breite des Objekts (d.h. Länge der Linie) auf dem Sensor / Brennweite f = absoluter Breitenwert des Objekts (d.h. Länge der Linie) / Entfernung zur Linse.
Eine Sensorabmessung zum Umrechnen einer Breite einer Abbildung eines Objekts auf dem Sensor in eine korrespondierende Anzahl Pixel kann z.B. anhand des verwendeten Kameratyps / Kameramodells der verwendeten Kamera oder aus einem Seitenverhältnis und einem Cropfaktor des Bildsensors der Kamera ermittelt werden. Die Breite eines Pixels wird auch als Pixel-Pitch bezeichnet, also ein absoluter Abstand und damit eine effektive absolute Breite eines Pixels in Millimeter oder Mikrometer.
Eine weitere Berechnungsmöglichkeit ist gegeben durch
1 /Brennweite f
1 /Abstand Sensorebene zur Linse + 1 /Entfernung des Objekts zur Linse. Als eine konkrete Implementierung kann beispielsweise auf der Grundlage der obigen Gleichungen vorgesehen sein, dass für eine Pixelzeile, die die besagten Verlaufslinien mit ihrem bekannten absoluten Abstandswert (=absoluter Breitenwert der Gesamtladefläche) verbindet, deren Anzahl der Pixel gezählt wird und anhand der Berechnung absolute Abbildungsbreite des Objekts auf dem Bildsensor
Sensorgesamtbreite in mm * Anzahl Pixel der Pixelzeile / Sensorgesamtbreite in Pixel der absolute Breitewert der Pixelzeile in Millimeter (mm) als Zwischenergebnis ermittelt wird und damit der Abstand der abgebildeten Linie, die durch die Pixelzeile dargestellt ist: absoluter Abstandswert des Objekts (horizontale Linie zwischen den Seitenkanten) zur Linse absoluter Breitenwert (z.B. 2,5 Meter) * Brennweite f / absolute Abbildungsbreite des Objekts auf dem Bildsensor.
Eine Weiterbildung umfasst, dass aus in den Bilddaten enthaltenen vorbestimmten Metainformationen, insbesondere aus EXIF-Daten (Exchangeable image file format), das Abbildungsverhältnis ermittelt wird. Wie bereits ausgeführt, kann aus den Metainformationen das Modell der Kamera und/oder eines verwendeten Objektivs ermittelt werden. Zusätzlich sind in Metainformationen, insbesondere den EXIF-Daten, auch die verwendete Brennweite f verfügbar. Zusätzlich oder alternativ kann auf Tiefenwertedaten zurückgegriffen werden, wie sie beispielsweise im Zusammenhang mit dem so genannte Portraitmodus von Kameras bekannt sind. Hierbei kann auf einen TOF-Sensor (TOF - Time of light) zurückgegriffen werden, dessen Tiefenwerte oder Tiefendaten angeben, welchen Abstand ein Bildpunkt oder Pixel zur Kamera aufweist. Eine Weiterbildung umfasst, dass der absolute Breitenwert aus Typendaten eines Behältertyps des Frachtraums ermittelt wird. Die Typendaten eines solchen Behältertyps können beispielsweise aus Konstruktionsdaten des Frachtraums ermittelt werden.
Eine Weiterbildung umfasst, dass in den Bilddaten Kanten einer rechteckigen Eingangsöffnung des Frachtraums als rotiertes Rechteck detektiert werden und die Bilddaten mittels einer Bildrotation begradigt werden und/oder mittels einer Ausschnittsberechnung auf die rechteckige Eingangsöffnung beschnitten werden. Mit anderen Worten kann in der Fotografie der gesamte Eingangsbereich oder der Rahmen des Frachtraums, beispielsweise der Türrahmen oder Torrahmen eines Hängers eines Lastkraftwagens oder der Eingang eines Frachtcontainers abgebildet sein. Hierdurch ergibt sich der Vorteil, dass eine Rechteckform in der Fotografie vorhanden ist, die mittels eines an sich bekannten Algorithmus detektiert werden kann. Dies kann dazu genutzt werden sicherzustellen, dass die Vorderkante als horizontale Linie abgebildet ist. Zudem kann anhand des Rahmens des Eingangs des Frachtraums erkannt werden, welcher Teil der Fotografie oder des Bildes den Innenbereich des Frachtraums oder das Innere des Frachtraums darstellt.
Eine Weiterbildung umfasst, dass in der Fotographie der Frachtraum eines Lastkraftwagens oder eines Frachtcontainers oder eines Koffers eines Lastkraftwagens oder eines Transportfahrzeugs oder eines Güterwagons oder eines Schiffes oder eines Transportflugzeugs abgebildet ist. Für diese beiden Typen von Frachträumen hat sich das Verfahren als besonders robust und zuverlässig erwiesen.
Als eine weitere Lösung umfasst die Erfindung eine Prozessorschaltung, die dazu eingerichtet ist, eine Ausführungsform des Verfahrens durchzuführen. Die Prozessorschaltung kann beispielsweise stationär in einem Logistikunternehmen oder in einem Rechenzentrum eines Logistikunternehmens betrieben werden. Die Prozessorschaltung kann einen oder mehrere Mikroprozessoren aufweisen, die mit einem Datenspeicher gekoppelt sein können, in welchem Programminstruktionen gespeichert sein können, die bei Ausführung durch die Prozessorschaltung diese veranlassen, die Ausführungsform des Verfahrens durchzuführen. Die Bilddaten der Fotografie können durch die Prozessorschaltung beispielsweise über eine Internetverbindung oder eine Kommunikationsverbindung aus der Kamera empfangen werden. Natürlich kann durch die Prozessorschaltung auch aus mehreren Kameras das Empfangen von Bilddaten vorgesehen sein, um so die freie Ladefläche mehrerer Frachträume in Bezug auf den absoluten Flächenwert hin in der beschriebenen Weise analysieren zu können. Somit ist die insgesamt in mehreren Frachträumen verfügbare freie Ladefläche durch die Prozessorschaltung ermittelbar.
Als eine weitere Lösung umfasst die Erfindung ein Logistiksystem mit einer Ausführungsform der Prozessorschaltung und mit einer Empfangseinrichtung zum Empfangen von Bilddaten von Fotographien unterschiedlicher Frachtraum, wobei das Logistiksystem dazu eingerichtet ist, mittels der Prozessorschaltung eine jeweilige freie Ladefläche der Frachtraum zu ermitteln und davon abhängig eine Frachtverteilung von zu transportierenden Frachtstücken zu steuern. Somit kann der Transport oder das Aufteilen von Frachtstücken auf mehrere Laderäume durch das Logistiksystem auf Grundlage der Prozessorschaltung und damit auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens durchgeführt werden.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:
Fig. 1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Logistiksystems mit einer Prozessorschaltung;
Fig. 2 ein Flussschaudiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens, wie es durch die Prozessorschaltung des Logistiksystems von Fig. 1 ausgeführt werden kann; Fig. 3 Skizzen zur Veranschaulichung von Verfahrensschritten des Verfahrens von Fig. 2;
Fig. 4 eine Skizze zur Veranschaulichung einer Berechnung von Pixelflächenwerten von Pixeln einer Fotografie, die eine freie Ladefläche eines Frachtraums zeigt; und
Fig. 5 eine Skizze zur Veranschaulichung von Verfahrensschritten der Berechnung der freien Lademeter.
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
Fig. 1 zeigt ein Logistiksystem 10, mittels welchem zu einer Lastkraftwagenflotte mit zumindest einem Lastkraftwagen 11 überwacht werden kann, wie viel freie Ladefläche 12 noch in den Frachträumen 13 der Lastkraftwagen 11 verfügbar ist. In Fig. 1 ist lediglich ein Lastkraftwagen 11 dargestellt, Auslassungspunkte 14 sollen anzeigen, dass die Lastkraftwagenflotte noch weitere Lastkraftwagen 11 umfassen kann. Zum Ermitteln der insgesamt verfügbaren freien Ladefläche 12 pro Lastkraftwagen 11 kann das Logistiksystem 10 eine Prozessorschaltung 15 aufweisen. Die Prozessorschaltung 15 kann aus zumindest einer Kamera 16 jeweils Bilddaten 17 empfangen, die eine Fotografie 18 des Frachtraums 13 zeigen. Die Bilddaten 17 können beispielsweise über das Internet 19 und/oder ein Mobilfunknetzwerk 20 beispielsweise mittels an sich bekannter Internetverbindungen 21 von der Kamera 16 hin zu der Prozessorschaltung 15 übertragen werden. Die Kamera 16 kann beispielsweise durch ein Smartphone 22 realisiert sein. Mittels der Kamera 16 kann beispielsweise ein Fahrer des jeweiligen Lastkraftwagens 11 die Fotografie 18 von dem Frachtraum 13 anfertigen. Jeder Fahrer kann beispielsweise sein eigenes Smartphone 22 dafür verwenden. Die Fotografie 18 kann dabei in der Weise angefertigt werden, dass eine Vorderkante 23 als horizontale Linie in der Fotografie 18 abgebildet ist und die Kamera 16 derart oberhalb der freien Ladefläche 12 gehalten ist, dass die freie Ladefläche 12 aus einer Perspektive von schräg oben sichtbar ist, wie dies in Fig. 1 dargestellt ist. Der Frachtraum 13 ist in dem dargestellten Beispiel bereits teilweise mit Frachtstücken 24 beladen, bei denen es sich beispielsweise um Paletten handeln kann. Die freie Ladefläche 12 kann ein Bestandteil einer insgesamt in dem Frachtraum 13 verfügbaren Frachtraum boden oder die Gesamtladefläche 25 sein, die beispielsweise durch den Boden des Frachtraums 13 gebildet sein kann. Dargestellt ist des Weiteren, wie die Gesamtladefläche 25 durch Seitenkanten 26 begrenzt sein kann, dargestellt ist des Weiteren, wie in der Fotografie 18 auch Seiteninnenwände 27, eine Decke 28 und eine Rückwand 29 zu sehen sein können. Beispielsweise kann die Fotografie 18 von außerhalb des Frachtraums 13 durch einen Türrahmen 30 hindurch fotografiert sein, der in der Fotografie 18 ebenfalls abgebildet sein kann, so dass er als äußeres Rechteck, das den Frachtraum 13 umrahmt, dargestellt ist.
Das Logistiksystem 10 kann mittels der Prozessorschaltung 15 aus den empfangenen Bilddaten 17 einen absoluten Flächenwert berechnen, der angeben kann, wie viele Quadratmeter oder Quadratdezimeter oder Squarefoot an freier Ladefläche 12 noch in dem jeweiligen Frachtraum 13 verfügbar ist. Dargestellt ist, wie zu einem einzelnen Lastkraftwagen 11 , der in der Prozessorschaltung 15 durch seine Fahrzeug-ID V-ID repräsentiert sein kann, ermittelt werden kann, in wie weit die Ladekapazität CAP im Frachtraum 13 bereits ausgeschöpft ist und wie viel freie Ladekapazität entsprechend noch verfügbar ist. Da ein absoluter Flächenwert ermittelt ist, kann entsprechend die Stellfläche für zusätzliche Paletten 33 ermittelt werden, was in Fig. 1 beispielhaft einen Zuladewert 34 an zusätzlichen Paletten 33 ergeben kann. In Fig. 1 ist des Weiteren dargestellt, wie mittels eines Verfahrens 35 ermittelt werden kann, wo auf der Gesamtladefläche 25 die freie Ladefläche 12 zu finden ist. Mittels eines zusätzlichen Algorithmus kann auch eine halbbeladene Ladefläche 32, die zwar bedeckt ist durch Frachtstücke, aber zur Decke 28 hin noch Platz hat, sich befindet.
Im Folgenden ist anhand von Fig. 2 unter Veranschaulichung mittels Fig. 3 das Verfahren 35 zum Auffinden oder Ermitteln der freien Ladefläche 12 im Frachtraum 13 beschrieben.
Hierbei wird davon ausgegangen, dass als Start SC ein Frachtraum 13 mit Frachtstücken 24 beladen wurde und in einem Schritt S11 eine Bedienperson, beispielsweise ein Fahrer des Lastkraftwagens 11 , mittels einer Kamera 16 die Fotografie 18 aufnimmt. In einem Schritt S12 können die Bilddaten 17 der Fotografie 18 in der beschriebenen Weise zur Prozessorschaltung 15 des Logistiksystems 10 übertragen werden. Bei den Bilddaten 17 der Fotografie 18 handelt es sich bevorzugt um Farbbilddaten, das heißt ein RGB-Bild (RGB - Rot, Grün, Blau). Es kann beispielsweise im JPG-Format in den Bilddaten 17 gespeichert sein (JPG - Joined fotographic expert group).
In einem Schritt S13 kann eine Bild-Vorverarbeitung durchgeführt werden, um beispielsweise Kantenverläufe zu betonen, wie dies beispielsweise mit dem Algorithmus „unscharf maskieren“ bewirkt werden kann.
In einem Schritt S14 kann ein Segmentierungsalgorithmus 40 ausgeführt werden. Beispielsweise können die Bilddaten 17, wie sie aus dem Schritt S13 resultieren, einem Modell 41 des maschinellen Lernens, beispielsweise einem künstlichen neuronalen Netzwerk, als Eingangsdaten übergeben werden. Das Modell 41 kann eine pixelweise Segmentierung oder Kategorisierung der Pixel der Fotografie 18 durchführen. In Fig. 3 ist hierzu ein Segmentierergebnis als Segmentierdaten 42 dargestellt, welche Segmentierergebnisse 25' für die Erkennung der Gesamtladefläche 25, 27' für die Erkennung von Seiteninnenwänden 27 und 28' für die Erkennung der Decke enthalten können. Ein Segmentierergebnis 43 eines unbekannten Objekts kann sich beispielsweise aufgrund der Frachtstücke 24 und/oder der Rückwand 29 ergeben. Dargestellt ist, dass Grenzen oder Kanten unscharf oder fuzzy sein können, wie es bei einem Modell des maschinellen Lernens resultieren kann. Der Schritt S13 kann auch dem Schritt S14 nachgelagert sein.
Der Segmentierungsalgorithmus kann des Weiteren eine Binärsegmentierung 50 vorsehen, in welcher die Klassen Gesamtladefläche, Seiteninnenwände und Decke aus den Segmentierdaten 42 einen ersten Segmentierwert 51 zugeordnet erhalten und alle übrigen Segmentierergebnisse 43 einen zweiten Segmentierwert 52, beispielsweise 1 , also unterschiedlich vom ersten Segmentierwert 51 , erhalten. Somit ergibt sich insgesamt eine Segmentiermaske 53.
Der Schritt S15 kann beispielsweise eine Rotation umfassen, so dass der Türrahmen 30 als aufrechtes Rechteck dargestellt ist, so dass die Vorderkante 23 in der rotierten Fotografie eine waagrechte oder horizontale Linie darstellt. Zudem kann eine Ausschnittsberechnung 54 durchgeführt werden, welche vorsieht, dass Bildbereiche außerhalb des Türrahmens 30 weggeschnitten werden, so dass durch den Türrahmen 30, das heißt, der Blick in den Frachtraum 13, der einzige verbleibende Bildinhalt ist. Der Türrahmen 30 stellt eine Eingangsöffnung des Frachtraums 13 dar.
In einem Schritt S15 kann auf den Bildausschnitt aus der Ausschnittsberechnung
54 eine Kantendetektion angewendet werden, durch welche in der Fotografie 18 erkennbare Kanten im Frachtraum 13 detektiert werden. Jede erkannte Kante kann verlängert werden, so dass sie sich über das gesamte Bild erstreckt.
Hierdurch ergeben sich Schnittpunkte 55, von denen der Übersichtlichkeit halber nur einige mit einem Bezugszeichen versehen sind.
Es hat sich herausgestellt, dass sich die Schnittpunkte 55 im Bereich des Fluchtpunkts 56 der Fotografie 18 häufen oder konzentrieren. Mit anderen Worten gibt es eine Region 57, in welche eine Dichte oder Häufigkeit an Schnittpunkten
55 am größten ist, was dem Fluchtpunkt entspricht. Dies kann beispielsweise mittels einer Histogrammdarstellung 58 erkannt werden, welche für Koordinaten X, Y in dem Bild oder der Fotografie 18 für einzelne Regionen angibt, wie viele Schnittpunkte 55 darin jeweils detektiert wurden. Hierdurch kann die Region 57 als Region mit der größten örtlichen oder lokalen Dichte an Schnittpunkten 55 detektiert werden.
Fig. 3 veranschaulicht des Weiteren, wie ein Dreieck 60 ermittelt werden kann, das den ermittelten Fluchtpunkt 56 und äußere Enden 61 der Vorderkante 23 der Gesamtladefläche verbindet.
Der Segmentierungsalgorithmus 40 kann des Weiteren einen Schritt S16 umfassen, gemäß dem das Dreieck 60 und die Binärsegmentierung 50 als Maske überlagert oder kombiniert werden. Das Dreieck 60 kann hierzu ebenfalls als Binärwert definiert sein, so dass eine pixelweise Überlagerung oder Kombination möglich ist, aber es können auch andere geometrische Berechnungen für die Kombinierung der Fläche des Dreiecks 60 und der Binärsegmentierung 50 angewendet werden. Hierdurch wird diejenige Fläche 62 identifiziert oder segmentiert, die innerhalb des Dreiecks 60 liegt und damit Verlaufskanten 63 der Seitenkanten 26 entspricht und nach vorne hin durch die Vorderkante 23 abgeschlossen ist. Dies entspricht einer Schätzung der Gesamtladefläche zuzüglich eines Teils der Rückwand 29 bis zum Fluchtpunkt 56. Wird dies mit der Binärsegmentierung 50 überlagert, so wird aus dem Dreieck 60 derjenige Teil ausgeschnitten, der durch das Modell 41 für maschinelles Lernen als zur Klasse „Gesamtladefläche“ (d.h. „Frachtraumboden“) gehörig kombiniert. Das Überlagerungsergebnis 64 kann somit als Detektion der freien Ladefläche 12 genutzt werden. Hierbei sind aber die unscharfen Kanten aus den Segmentierdaten 42 beseitigt.
In Fig. 3 ist dargestellt, wie in der Fotografie 18 beziehungsweise in dem Bildausschnitt des Laderaums oder Frachtraums 13 die freie Ladefläche 12 in einem Schritt S19 als Pixelmenge 65 identifiziert oder markiert sein kann. Fig. 4 veranschaulicht, wie ausgehend von der Pixelmenge 65, das heißt, von denjenigen Pixeln in den Bilddaten 17, welche die freie Ladefläche 12 darstellen, ermittelt werden kann, welcher der absoluten oder realen Fläche oder welchem absoluten Flächenwert die freie Ladefläche 12 entspricht. Auf der linken Seite ist gezeigt, wie mittels geometrischer Berechnungen ausgehend von den Bilddaten 17 der Fotografie 18 ermittelt werden kann, auf welche Breite eine horizontale Linie 70 mit bekannter absoluter Breite oder einem absoluten Längenwert durch die Abbildung von Lichtstrahlen 71 über ein Linsensystem 72 der Kamera 16 auf eine Sensorebene 73 eines Bildsensors 74 der Kamera 16 zu einer Linienabbildung 70' mit einer resultierenden Abbildungslänge (beispielsweise angegeben in einer Anzahl Pixel) führt. Hieraus ergibt sich insgesamt ein Abbildungsverhältnis 75, das von einem Abstandswert 76 der jeweiligen Linie 70 zur Kamera 16 abhängig ist. Ein Beispiel für die Berechnung des Abstandwerts 76 auf Grundlage einer Abbildungslänge einer abgebildeten Linie oder Linienabbildung 70' einer horizontalen Linie 70 ist beispielsweise auf der Internetseite www.lensation.de/calculator.html bekannt.
In Fig. 4 auf der rechten Seite ist dargestellt, dass dies in einem Schritt S17 genutzt werden kann, um für horizontale Linien, wie beispielsweise die Vorderkante 23, bei bekanntem absoluten Breitenwert 80 der Vorderkante 23 und damit der Breite der Gesamtladefläche 25 auf einen realen oder absoluten Abstandswert 76 zu schließen oder diesen zu berechnen. Fig. 4 veranschaulicht, wie die freie Ladefläche 12, also die Pixelmenge 65 in einzelne Pixelzeilen 81 der horizontal nebeneinander angeordneten Pixel 82 eingeteilt werden können. Der Übersichtlichkeit halber sind nur einige Pixel 82 und einzige Pixelzeilen 81 mit einem Bezugszeichen versehen. Für jedes Pixel 82 kann ein absoluter Pixelbreitenwert 84 berechnet werden, der angibt, wie breit der durch das Pixel 82 dargestellte Teil der freien Ladefläche 12 ist. Dies kann berechnet werden, indem der absolute Breitenwert 80 der Breite der Gesamtladefläche durch eine Anzahl der Pixel der jeweiligen Pixelzeile 81 geteilt wird, was den absoluten oder realen Pixelbreitenwert 84 ergibt. Zu jeder Pixelzeile 81 kann anhand von der Anzahl der darin enthaltenen Pixel 82 und das Abbildungsverhältnis 75 auf den absoluten Abstandswert 76 für die Pixelzeile 81 geschlossen werden oder dieser berechnet werden. Dieser absolute Abstandswert 76 kann beispielsweise als Abstand einer Pixelvorderkante 85 des Pixels interpretiert werden. Nimmt man noch den absoluten Abstandswert 76 der darauffolgenden Pixelzeile n+1 für jede Pixelzeile n, so kann für den absoluten Abstandswert 76 der Pixelzeile n+1 der Abstand der Pixelhinterkante 86 geschätzt werden. Insgesamt ergibt dies einen absoluten Pixeltiefenwert 87 als Differenz der absoluten Abstandswerte der Pixelvorderkante 85 und der Pixelhinterkante 86.
Das Produkt aus absoluten Pixelbreitenwert 84 und absolutem Pixeltiefenwert 87 ergibt dann einen Pixelflächenwert 88 einer Pixelfläche eines jeweiligen einzelnen Pixels 82. Somit kann ein absoluter Pixelflächenwert 88 jedem Pixel 82, das die freie Ladefläche 12 darstellt, also jedem Pixel 82 der Pixelmenge 65, ein absoluter Pixelflächenwert 88 zugeordnet werden.
Durch Aufsummieren aller Pixel 82 der freien Ladefläche 12 in einem Schritt S18 (Fig. 2) ergibt sich der absolute Flächenwert der freien Ladefläche 12, wie er aus der Fotografie 18, das heißt, deren Bilddaten 17, ohne zusätzliche technische Hilfsmittel im Frachtraum 13 ermittelt oder berechnet werden kann.
Der absolute Breitenwert 80 und/oder das Abbildungsverhältnis 75 können dabei beispielsweise durch Konfigurieren der Prozessorschaltung 15 und/oder durch eine Eingabe einer Bedienperson ermittelt werden.
Fig. 5 veranschaulicht, wie mittels des bekannten absoluten Pixeltiefenwerts 87 aus einer Reihe von Pixeln 100, die jeweils entlang einer vorbestimmten Fluchtlinie 101 aneinander gereiht sind, durch Aufsummieren der Pixeltiefenwerte 87 der jeweiligen Pixelzeile ein jeweiliger absoluter Längenwert des freien Ladewegs oder der freien Lademeter 102 berechnen lässt. Die jeweilige Fluchtlinie 101 kann an vorbestimmten Positionen 103 der segmentieren freien Ladefläche 12, z.B. Mitte, Mitte linke Hälfte, Mitte rechte Hälfte, angeordnet sein. Die freie Ladefläche (12) wird bevorzugt in mehrere Bahnen aufgeteilt (insbesondere entweder 3 Bahnen oder 2), um zu bestimmen, wie viele Paletten in den verbleibenden Raum gestellt werden können, d.h. es kann eine Abstimmung auf eine geplante Palettenbreite stattfinden. Die jeweilige Fluchtlinie 101 verbindet eine in der Fotographie unten angeordnete, vordere Kante 104 der segmentierten freien Ladefläche 12, d.h. in der Regel bei fehlerfreier Segmentierung die Vorderkante 23, mit einer in der Fotographie oben angeordnete hintere Kante 105 der segmentieren freien Ladefläche 12, wie sie aus der Binärsegmentierung 50 resultieren kann. Die jeweilige Fluchtlinie 101 weist zum Fluchtpunkt 56 hin.
Der Hauptvorteil besteht darin, dass keine Schaltungshardware im Anhänger oder am Frachtraum installieren zu müssen, um die freie Kapazität / freie Ladefläche zu ermitteln.
Die Schätzung des verbleibenden freien Frachtraums in einem Anhänger oder einem anderen Transportbehälter mithilfe der Bildverarbeitung erfordert nur eine Ansicht auf die noch freie Ladefläche des Frachtraums. Das beste Sichtfeld wäre eine Aufnahme aus dem Inneren des Anhängers. Aber jede Kamera kann ein anderes Objektiv haben, so dass uns möglicherweise eine Schätzung des freien Raums fehlt. Sie müssen sich außerhalb des Anhängers in einer Position befinden, in der Sie die Grundfläche nicht sehen können. Es ist nahezu unmöglich, die Belegung auf der Grundlage der Dachebene zu schätzen, da man keine Anhaltspunkte für die Höhe der Palette hat.
Die Lösung für das Problem der Flottenmanager kann ein kamerabasierter maschineller Lernalgorithmus sein, der freie Ladekapazität erkennt. Dieser Algorithmus kann auf dem Gerät des Lkw-Fahrers oder des Verladers (der Verlader ist eine Person, die den Lkw in einem Logistikzentrum belädt) (z. B. einem Smartphone) oder in der Cloud anhand eines Bildes ausgeführt werden, das von einem beliebigen Gerät, das ein Bild aufnehmen kann, hochgeladen wird. Bei diesem Ansatz muss kein zusätzlicher Sensor im Anhänger oder an der Laderampe angebracht werden. Es ist völlig neu, den Fahrer und sein Smartphone als Teil des Systems zu betrachten, was bedeutet, dass keine zusätzliche Sensorik zur Bewertung der Ladekapazität erforderlich ist. Diese Informationen können an den Fuhrparkleiter weitergeleitet werden, um beurteilen zu können, ob zusätzliche Ladungen angenommen werden können oder nicht. Nach dem Beladen des Anhängers macht der LKW-Fahrer ein Foto, um die Einhaltung der Ladungssicherung zu beweisen. Eingegeben wird ein Bild des Anhängers von hinten (das zum Nachweis der Einhaltung der Ladungssicherungsrichtlinien gemacht wird).
Bei Anhängern, die von der Seite beladen werden, könnte das Bild entsprechend von der Seite aufgenommen werden. Im Vergleich zu der zuvor vorgeschlagenen Lösung ist der Algorithmus nicht auf die Erkennung von freiem Laderaum oder Frachtraum zwischen einem erkannten Objekt (z. B. einer Palette) und dem Anfang des Anhängers beschränkt, sondern kann das Bild direkt segmentieren und für jedes Pixel entscheiden, ob es als freier Bodenraum eingestuft wird.
Dies führt dazu, dass die Lösung in der Lage ist, freie Lademeter von Anhängern mit jeglicher Art von Ladung zu erkennen. Aus diesem Bild wird, wie unten beschrieben, die freie Kapazität des Anhängers berechnet.
Der Algorithmus:
Eingabe: o Bild der CargoBox (Frachtraum) o Konfiguration:
Brennweite f der Kamera
Cropfaktor der Kamera
Breite der Cargobox [m]
Hauptbestandteil des Algorithmus ist ein Segmentierungsmodell der beispielsweise wie folgt konfiguriert werden kann: o RGB-Bild als Eingang o Transformiert den sichtbaren Boden (freie Ladefläche) der Cargobox in einen ersten Pixelwert z.B. (0,0,0) o Transformiert die Seitenwände der Cargobox in einen zweiten Pixelwert z.B. (63, 63, 63) o Transformiert die Cargobox-Decke in einen dritten Pixelwert z.B. (127, 127, 127) o Transformiert die Cargobox-Rückwand in einen vierten Pixelwert z.B. (191 , 191 , 191 ) o Wandelt alles andere vierte Pixelwerte um z.B. (255, 255, 255)
Die größte Kontur der Segmentierung (entspricht der Eingangsöffnung in den Frachtraum) wird extrahiert und das minimale gedrehte Rechteck um die Kontur herum wird berechnet.
-> Eingabebild wird gedreht ( -Drehwinkel des Rechtecks)
-> Rechteck wird aus dem Eingabebild ausgeschnitten (Breite und Höhe des gedrehten Rechtecks)
-> Cargo Box wird der noch betrachtete Bildausschnitt
Auf dem Bild der Cargo Box wird der Fluchtpunkt erkannt: o Liniendetektor erkennt alle Linien mit entsprechendem Winkel und Länge im Bild o Entsprechende Zeilen werden auf die Bildgröße der Cargo Box vergrößert o Die Schnittpunkte aller Linien werden bestimmt o Jeder Schnittpunkt im Bild wird mit Hilfe der folgenden Formel in ein Dreieck gesetzt: 1 /Brennweite f = 1/Bildabstand + 1 /Objektabstand, kann der Abstand jedes Pixels innerhalb des Dreiecks bestimmt werden
Durch die Verwendung von Ladungsbreite/Anzahl der horizontalen Pixel kann die tatsächliche Breite jedes Pixels innerhalb des Dreiecks bestimmt werden. Mit dem Abstand und der Tiefe kann die Fläche jedes Pixels innerhalb des Dreiecks bestimmt werden. Das segmentierte Bild wird mit einem Schwellenwert (z.B. < 63) binarisiert.
Dies gibt den Boden der Cargobox zurück. Für jedes verbleibende/segmentierte Pixel wird dessen Pixelfläche addiert. Dies ergibt den verbleibenden freien Platz also die sichbare freie Ladefläche. Der freie Raum wird bevorzugt in mehrere Bahnen aufgeteilt (entweder 3 Bahnen oder 2), um zu bestimmen, wie viele Paletten in den verbleibenden Raum gestellt werden können. Allgemeine Vorteile sind: Die fehlenden Informationen über den Ladungszustand des Anhängers können aus Bildern gewonnen werden, die zum Nachweis der Einhaltung von Ladungssicherungsvorschriften gemacht werden. Es sind keine zusätzlichen Verfahrensschritte erforderlich. Somit vereinfachen sich die Arbeitsabläufe für Lkw-Fahrer und sparen Zeit. Es muss keine zusätzliche Hardware gekauft, installiert, geliefert oder gewartet werden. Daher ist die vorgeschlagene Lösung im Vergleich zum Stand der Technik wesentlich kostengünstiger. Die Verringerung der Leerkilometer für Lkw und die Verbesserung der Kapazitätsauslastung führen zu weniger unnötigen Fahrten und weniger CO2 pro transportierter Ware. In Zeiten des wachsenden Bewusstseins für Klimaveränderungen ist dies ein großer Vorteil, der nicht unterschätzt werden sollte.
Technische Vorteile sind zudem: Bei Verwendung des Segmentierungsmodells ist der Trainingsaufwand wesentlich geringer, während die Berechnungsergebnisse wesentlich robuster sind. Das Modell muss nicht für alle Arten von Ladung trainiert werden, die sich im Anhänger befinden könnten, sondern klassifiziert direkt Pixel für Pixel, ob das Pixel als freie Anhängergrundfläche eingestuft wird.
Insgesamt zeigt das Beispiel, wie eine kamera-basierte Ermittlung eines Ladestatus (verfügbare freie Ladefläche) in einem Frachtraum mittels Segmentierung bereitgestellt werden kann.
Bezugszeichenliste
10 Logistiksystem
11 Lastkraftwagen
12 Ladefläche
13 Frachtraum
14 Auslassungspunkte
15 Prozessorschaltung
16 Kamera
17 Bilddaten
18 Fotografie
19 Internet
20 Mobilfunknetzwerk
21 Internetverbindungen
22 Smartphone
23 Vorderkante
24 Frachtstücke
25 Gesamtladefläche
26 Seitenkante
27 Seiteninnenwände
28 Decke
29 Rückwand
30 Türrahmen
32 Ladefläche
33 Paletten
34 Zuladewert
35 Verfahren
40 Segmentierungsalgorithmus
41 Modell
42 Segmentierdaten
43 Segmentierergebnisse
50 Binärsegmentierung
51 Segmentierwert Segmentiermaske Ausschnittsberechnung Schnittpunkte Fluchtpunkt Region Histogrammdarstellung Dreieck Enden Fläche Verlaufskanten Überlagerungsergebnis Pixelmenge Linie Lichtstrahlen Linsensystem Sensorebene Bildsensors Abbildungsverhältnis Abstandswert Breitenwert Pixelzeile Pixel Pixelbreitenwert Pixelvorderkante Pixelhinterkante Pixeltiefenwert Pixelflächenwert Reihe Fluchtlinie Lademeter Position Untere Kante Obere Kante

Claims

Patentansprüche
1 . Verfahren (35) zum Schätzen eines absoluten Flächenwerts einer freien Ladefläche (12) und/oder eines absoluten Längenwerts freier Lademeter in einem Frachtraum (13), wobei die freie Ladefläche (12) ein unbedeckter Teil einer Gesamtladefläche (25) des Frachtraums (13) ist, d a d u r c h g e k e n n z e i c h n e t , dass durch eine Prozessorschaltung (15) Bilddaten (17) einer Kamera (16) empfangen werden, die eine Fotografie (18) der freien Ladefläche (12) darstellen, wobei in den Bilddaten (17) mittels eines Segmentierungsalgorithmus (40) die in der Fotografie (18) abgebildete freie Ladefläche (12) ermittelt wird und von denjenigen Pixeln (82), welche die segmentierte freie Ladefläche (12) darstellen, zugeordnete absolute Pixelflächenwerte (88) der Pixel (82) zu dem absoluten Flächenwert aufsummiert werden und/oder von denjenigen Pixeln (82), welche in der Fotographie (18) eine jeweilige eine Oberkante (105) und eine Unterkante (104) der segmentierten freien Ladefläche (12) verbindende Fluchtlinie (101 ) bilden, zugeordnete absolute Pixeltiefenwerte (87) zu dem absoluten Längenwert der freien Lademeter (102) aufsummiert werden.
2. Verfahren (35) nach Anspruch 1 , wobei angenommen wird, dass die Gesamtladefläche (25) insgesamt rechteckig ist und in der Fotografie (18) eine Vorderkante (23) der rechteckigen Gesamtladefläche (25) parallel zu einer Sensorebene (73) eines Bildsensors (74) der Kamera (16) angeordnet dargestellt ist und sich gegenüberliegende Seitenkanten (26) der Gesamtladefläche (25) in dem Frachtraum (13) senkrecht von der Vorderkante (23) nach hinten erstrecken, und zu der Gesamtladefläche (25) ein absoluter Breitenwert (80) einer Breite der Gesamtladefläche (25) und damit eine Länge der Vorderkante (23) empfangen wird und in den Bilddaten (17) eine jeweilige Verlaufslinie (70) der Seitenkanten anhand der Bilddaten (17) mittels eines Fluchtliniendetektionsalgorithmus sowie Pixelzeilen (81 ), welche jeweils aus denjenigen Pixeln (82) bestehen, die sich von einer der Verlaufslinien (70) zu der anderen der Verlaufslinien (70) erstrecken, ermittelt werden und pro Pixelzeile (81 ) aus dem absoluten Breitenwert (80) und einer Anzahl der Pixel (82) der Pixelzeile (81 ) ein absoluter Pixelbreitewert ermittelt wird und ein Abbildungsverhältnis (75) ermittelt wird, das angibt, in welchem Größenverhältnis eine parallel zur Sensorebene (73) angeordnete Linie (70) in Abhängigkeit von ihrem absoluten Abstand (76) zur Kamera (16) und/oder in Abhängigkeit von einer Brennweite (f) der Kamera (16) auf der Sensorebene (73) abgebildet wird, und pro Pixelzeile (81 ) ein absoluter Abstandswert (76) der Pixelzeile (81 ) anhand des absoluten Breitenwerts (80) und des Abbildungsverhältnisses und der Anzahl der Pixel (82) der Pixelzeile (81 ) berechnet wird, und aus einem absoluten Differenzwert des Abstandswerts (76) der Pixelzeile (81 ) und des Abstandswerts (76) einer benachbarten Pixelzeile (81 ) der absolute Pixeltiefenwert (87) berechnet wird und pro Pixel (82) der Pixelzeilen (81 ) der dem jeweiligen Pixel (82) entsprechende absoluter Pixelflächenwert (88) aus dem Pixelbreitenwert (84) (80) und dem Pixeltiefenwert (87) berechnet und dem Pixel (82) zugeordnet wird.
3. Verfahren (35) nach Anspruch 2, wobei der Fluchtliniendetektionsalgorithmus umfasst, dass in der Fotographie eine Kantendetektion durchgeführt wird und detektierte Kanten verlängert werden, sodass sich Schnittpunkte (55) der verlängerten Kanten ergeben, und eine Region (57) mit höchster Schnittpunktdichte als Fluchtpunkt (56) der Fotographie festgelegt wird und die Verlaufslinien (70) jeweils als Verbindungslinie (70) des Fluchtpunkts (56) zu jeweils einem Ende der Vorderkante (23) festgelegt werden.
4. Verfahren (35) nach einem der vorhergehenden Ansprüche, wobei der Segmentierungsalgorithmus (40) umfasst, dass die Bilddaten (17) einem Modell (41 ) des maschinellen Lernens als Eingabedaten zugeführt werden, wobei das Modell (41 ) dazu trainiert ist, mittels einer pixelweisen Klassifikation der Bilddaten (17) jeweilige Pixel (82) zu einer der folgenden (61 ) Klassen zuzuordnen: der Gesamtladefläche (25), einer Seiteninnenwand und/oder einer Decke (28) des Frachtraums (13); und das Modell (41 ) entsprechende Segementierdaten erzeugt, welche einzelne Pixel (82) der Fotographie einer der Klassen zuordnen, wobei ein jeweiliges Pixel (82) eines in der Fotographie abgebildeten, unbekannten Objekts zu einem von den Klassen verschiedenen Segmentierergebnis führt.
5. Verfahren (35) nach Anspruch 4 in dessen Rückbezug auf Anspruch 3, wobei eine Dreiecksfläche aus den Verlaufslinien (70) und der Vorderkante (23) mit den Segmentierdaten (42) maskiert wird und die freie Ladefläche (12) als Schnittmenge der Dreiecksfläche und den Pixeln (82) der Klasse „Gesamtladefläche (25)“ festgelegt wird.
6. Verfahren (35) nach einem der Ansprüche 2 bis 5, wobei das Abbildungsverhältnis (75) das Verhältnis
Anzahl Pixel (82) der Pixelzeile (81 ) / Entfernung Sensorebene (73) zu einer Linse (72) der Kamera (16) absoluter Breitenwert (80) / Entfernung (76) der Linie (70) zur Linse oder
Breite (70‘) des Objekts auf dem Sensor / Brennweite (f) absoluter Breitenwert (70) des Objekts / Entfernung (76) zur Linse, oder
1 /Brennweite (f)
1 /Abstand Sensorebene zur Linse + 1 /Entfernung (76) der Linie zur Linse beschreibt.
7. Verfahren (35) nach einem der Ansprüche 2 bis 6, wobei das Abbildungsverhältnis (75) anhand eines Brennweitewerts (f) der Fotographie und/oder anhand eines Kennfelds der Kamera (16) ermittelt wird.
8. Verfahren (35) nach einem der Ansprüche 2 bis 7, wobei aus in den Bilddaten (17) enthaltenen vorbestimmten Metainformationen, insbesondere aus EXIF- Daten, das Abbildungsverhältnis (75) ermittelt wird.
9. Verfahren (35) nach einem der Ansprüche 2 bis 8, wobei der absolute Breitenwert (80) aus Typendaten eines Behältertyps (41 ) des Frachtraums (13) ermittelt wird.
10. Verfahren (35) nach einem der vorhergehenden Ansprüche, wobei in den Bilddaten (17) Kanten einer rechteckigen Eingangsöffnung des Frachtraums (13) als rotiertes Rechteck detektiert werden und die Bilddaten (17) mittels einer Bildrotation begradigt werden und/oder mittels einer Ausschnittsberechnung (54) auf die rechteckige Eingangsöffnung beschnitten werden.
11. Verfahren (35) nach einem der vorhergehenden Ansprüche, wobei der Frachtraum (13) eines Lastkraftwagens (11 ) oder eines Frachtcontainers oder eines Transportfahrzeugs oder eines Güterwagons oder eine Schiffes oder eines Transportflugzeugs in der Fotographie abgebildet ist.
12. Prozessorschaltung (15), die dazu eingerichtet ist, ein Verfahren (35) nach einem der vorhergehenden (61 ) Ansprüche durchzuführen.
13. Logistiksystem (10) mit einer Prozessorschaltung (15) nach Anspruch 12 und mit einer Empfangseinrichtung zum Empfangen von Bilddaten (17) von Fotographien unterschiedlicher Frachtraum (13), wobei das Logistiksystem (10) dazu eingerichtet ist, mittels der Prozessorschaltung (15) eine jeweilige freie Ladefläche (12) der Frachtraum (13) zu ermitteln und davon abhängig eine Frachtverteilung von zu transportierenden (61 ) Frachtstücken (24) zu steuern.
EP22800078.2A 2021-10-20 2022-10-17 Verfahren und prozessorschaltung zum schätzen eines absoluten flächenwerts einer freien ladefläche und/oder eines absoluten längenwerts freier lademeter in einem frachtraum sowie logistiksystem Pending EP4420082A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021211827.5A DE102021211827A1 (de) 2021-10-20 2021-10-20 Verfahren und Prozessorschaltung zum Schätzen eines absoluten Flächenwerts einer freien Ladefläche und/oder eines absoluten Längenwerts freier Lademeter in einem Frachtraum sowie Logistiksystem
PCT/DE2022/200239 WO2023066435A1 (de) 2021-10-20 2022-10-17 Verfahren und prozessorschaltung zum schätzen eines absoluten flächenwerts einer freien ladefläche und/oder eines absoluten längenwerts freier lademeter in einem frachtraum sowie logistiksystem

Publications (1)

Publication Number Publication Date
EP4420082A1 true EP4420082A1 (de) 2024-08-28

Family

ID=84246011

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22800078.2A Pending EP4420082A1 (de) 2021-10-20 2022-10-17 Verfahren und prozessorschaltung zum schätzen eines absoluten flächenwerts einer freien ladefläche und/oder eines absoluten längenwerts freier lademeter in einem frachtraum sowie logistiksystem

Country Status (3)

Country Link
EP (1) EP4420082A1 (de)
DE (1) DE102021211827A1 (de)
WO (1) WO2023066435A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023206204A1 (de) 2023-06-30 2025-01-02 Continental Automotive Technologies GmbH Bestimmung eines Freiraums in einem Laderaum aus einem Mono-Kamerabild
DE102023133043B4 (de) * 2023-11-27 2026-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Computerimplementiertes Verfahren zur Ermittlung einer zur Verfügung stehenden Ladekapazität eines Frachtraums, System zur Datenverarbeitung, Computerprogramm und computerlesbarer Datenträger

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396493B2 (en) 2013-03-20 2016-07-19 Ebay Inc. System and method for recommending home décor items based on an image of a room
DE102015216595B4 (de) 2015-08-31 2025-08-07 Lufthansa Cargo Ag Vorrichtung zur Optimierung der Volumenausnutzung in Logistikanwendungen
DE102018117541B4 (de) * 2018-07-19 2021-12-09 Fahrzeugwerk Bernard Krone GmbH & Co. KG Verfahren zur Überwachung des Beladungszustandes von Nutzfahrzeugen oder Wechselaufbauten für Nutzfahrzeuge
DE102018120333A1 (de) 2018-08-21 2020-02-27 Wabco Europe Bvba Verfahren zur Überwachung des Laderaums in einem Fahrzeug
EP3872461B1 (de) 2020-02-27 2023-09-13 Continental Automotive Technologies GmbH Verfahren zur ermittlung des beladungszustandes eines transporters und transportmanagementsystem
EP3872725A1 (de) 2020-02-27 2021-09-01 Continental Automotive GmbH Verfahren zur ermittlung des beladungszustandes, system und transportmanagementsystem
CN112037177B (zh) * 2020-08-07 2024-08-16 浙江大华技术股份有限公司 一种车厢装载率的评估方法和装置以及存储介质

Also Published As

Publication number Publication date
WO2023066435A1 (de) 2023-04-27
DE102021211827A1 (de) 2023-04-20

Similar Documents

Publication Publication Date Title
DE102018006765B4 (de) Verfahren und system(e) für das management von frachtfahrzeugen
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102018006764B4 (de) Verfahren und system(e) für das management von frachtfahrzeugen
DE112019002547B4 (de) System und verfahren zum bestimmen eines standortes zur platzierung eines pakets
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE112020003332B4 (de) Dreidimensionale (3D) Tiefenbildgebungssysteme und -Verfahren zur dynamischen Container-Autokonfiguration
DE112014006439B4 (de) Kantenerkennungsvorrichtung, Kantenerkennungsverfahren und Programm
DE112013001858T5 (de) Mehrfachhinweis-Objekterkennung und -Analyse
DE102021129544A1 (de) Systeme und verfahren zur tiefenabschätzung in einem fahrzeug
DE102011106072A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
EP3696135B1 (de) Gabelstapler und system mit gabelstapler zur identifikation einer ware
DE102020127732A1 (de) Dreidimensionale (3d) tiefenbildgebungssysteme und -verfahren zur automatischen bestimmung einer versandcontainerfüllung basierend auf bildgebungsvorlagen
EP4420082A1 (de) Verfahren und prozessorschaltung zum schätzen eines absoluten flächenwerts einer freien ladefläche und/oder eines absoluten längenwerts freier lademeter in einem frachtraum sowie logistiksystem
EP3872725A1 (de) Verfahren zur ermittlung des beladungszustandes, system und transportmanagementsystem
DE102018117541B4 (de) Verfahren zur Überwachung des Beladungszustandes von Nutzfahrzeugen oder Wechselaufbauten für Nutzfahrzeuge
DE102017103540A1 (de) Ermitteln einer Winkelstellung eines Anhängers ohne Zielmarkierung
DE102021201525A1 (de) Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
DE102015211874A1 (de) Objekterkennungsvorrichtung
DE102022109624A1 (de) Rendering-basierte lidar- und kameraausrichtung
DE112012004847B4 (de) Verfahren und System zum Detektieren von Linien in einem Bild und Spurdetektionssystem zum Analysieren von Straßenbildern
EP3839803A1 (de) Verfahren, steuervorrichtung und registrierterminal zum rechnergestützten leer-erkennen eines transportbehälters
DE102021206475A1 (de) Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten
WO2023001466A1 (de) Verfahren zur überwachung eines laderaums
DE102021104352A1 (de) Transporter-segmentierung für datenerfassungssystem

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240521

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO GERMANY GMBH