EP2888185A1 - Verfahren und system zur unterstützung eines arbeiters in einer anlage zur manipulation von waren - Google Patents

Verfahren und system zur unterstützung eines arbeiters in einer anlage zur manipulation von waren

Info

Publication number
EP2888185A1
EP2888185A1 EP13780049.6A EP13780049A EP2888185A1 EP 2888185 A1 EP2888185 A1 EP 2888185A1 EP 13780049 A EP13780049 A EP 13780049A EP 2888185 A1 EP2888185 A1 EP 2888185A1
Authority
EP
European Patent Office
Prior art keywords
worker
camera
goods
detected
movements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP13780049.6A
Other languages
English (en)
French (fr)
Inventor
Markus Winkler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TGW Logistics Group GmbH
Original Assignee
TGW Logistics Group GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TGW Logistics Group GmbH filed Critical TGW Logistics Group GmbH
Publication of EP2888185A1 publication Critical patent/EP2888185A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1378Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on fixed commissioning areas remote from the storage areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the invention relates to a method and an assistance system for assisting a worker in a facility for manipulating goods.
  • the invention relates to a use of said method and / or said assistance system.
  • EP 1 487 616 B1 discloses an augmented reality system for a warehouse.
  • actual movements of a warehouse worker are compared using a camera with target movements and logged accordingly.
  • the necessary camera is mounted on the helmet of a worker.
  • additional information such as the location of a part to be detected, may be displayed in data glasses.
  • EP 2 161 219 B1 discloses another augmented reality system for a warehouse worker where the camera is also mounted on a worker's helmet.
  • a kind of navigation system can be realized with a data goggles, in which a target movement of the worker is displayed by means of superimposed directional arrows.
  • WO 03/034397 A1 discloses an augmented reality system which can be used inter alia in a warehouse.
  • the camera is in turn mounted on the helmet of a worker.
  • these systems have narrow limits. For example, the movements of a worker can not be monitored independently of his line of sight.
  • the monitoring of a workflow is dependent on the worker and his helmet camera looking at his hands.
  • this can not be assumed in any case, because in particular experienced workers do things "blindly", without necessarily looking at their hands, and workers are frequently observed who perform their work without any problems, despite lively conversations with their colleagues. len. Her gaze often wanders to the other party and is rarely focused on the actual job.
  • helmet cameras Another disadvantage of helmet cameras is their weight, which sometimes seriously affects the productivity of the worker. Especially with aggravating working conditions such as high temperature and high humidity wearing such a helmet is perceived as very uncomfortable. In any case, this increases the sweat on the head. If the worker wipes sweat from his forehead, the camera is "blinded” for a few moments and can not continuously monitor the workflow, meaning important steps can be "overlooked” by the camera. When the work is done in a cold environment, the worker's breathing air often causes the camera lens to fog up, which also makes monitoring of a workflow impossible. Finally, the weight of the camera and data glasses limits the maximum head acceleration that occurs, for example, when turning the head fast. Therefore, the worker can not work as fast as his bodily physiology may allow.
  • the meaningful monitoring of such an operation is practically impossible. Assuming that the camera loses sight of the containers even for a single moment, the assignment of the source and target containers when the view is restored and thus the monitoring of the work process is extremely difficult with the utmost security. It is not possible to determine if the worker did not swap the source and target containers during a "blind" phase of the camera to improve his / her working situation, the camera's image area covers only one of the containers (such as when using a relatively long focal length lens in relation to the size of the camera) Container), then the unambiguous determination, which container is just detected, is also virtually impossible.
  • the known systems are primarily set up for the operations to be performed by a worker. If several people work together, meaningful monitoring of the workflow is very difficult and only possible with very high computational effort. If, for example, three people work together, the work area is covered by three different cameras whose coverage is influenced by the head movements of the persons concerned. The ability of people to look a conversation partner in the eye is also a major hindrance to monitoring such a workflow. If one of the three persons gives instructions to the other two, they (and thus their helmet cameras) inevitably look at the instructor. Although, in principle, there are three cameras for observation in this work situation, none of them detects the object that is actually manipulated (e.g., shared or handed over).
  • the object of the present invention is now to specify an improved method and an improved assistance system for assisting a worker in a facility for manipulating goods.
  • the above-mentioned disadvantages are to be overcome.
  • the object is achieved by a method for assisting a worker in a device for manipulating goods, comprising the steps: a) detecting movements of the worker with at least one camera mounted on the installation side,
  • a motion sequence comprises detecting and discarding at least one commodity, the detection range of the at least one camera is subdivided into segments, and wherein a motion sequence contains occupancy of the segments by the worker.
  • an assistance system for assisting a worker in a device for manipulating goods comprising:
  • At least one camera mounted on the system for detecting movements of the worker
  • the system By detecting both the movement of a worker from a remote observer site, the system can be used very flexibly under changing conditions and detects the monitored workflow with high security. This significantly improves the monitoring of a workflow.
  • the following advantages result in particular:
  • the movements of a worker can be monitored independently of his line of sight.
  • the system can also be used for "experienced” workers who have not kept their eyes on their hands.
  • the worker is more efficient because he is not affected by the weight of a helmet camera and can move freely. For example, fast head turns are also unproblematic for the presented system in terms of image processing. That too Fogging of the camera by the worker's breathing air is unlikely because the camera may not necessarily be mounted directly above the worker's head but at a more advantageous location, such as slightly away from him.
  • the position of the observing camera is always known and does not have to be laboriously calculated. Therefore, the system can not be "out of step.” A specification of work steps can therefore be made fluid even with comparatively low computational effort.
  • the said method or the said assistance system can therefore be used to monitor a sequence of movements which relates to the picking and / or resorting of goods.
  • the said method or the said assistance system are used in a warehouse.
  • a warehouse is used for receiving, storing and usually distribution of goods.
  • a warehouse can be designed, for example, as a high-bay warehouse, small parts warehouse, floor storage, high-level storage or as a paternoster storage and, for example, shelves of various types (such as shelf shelves, pallet racking, continuous shelves and high shelves) as well as various types of funding (such as roller conveyors, belt conveyors, forklifts, and driverless transport vehicles).
  • a grid can be laid over a work surface (worktable) and preferably also displayed by a laser projector. Of course, fixed markings on this work surface are also conceivable. Movements are evaluated as a sequence of occupied segments.
  • a “camera” is understood to mean a device or system which images a captured scene two-dimensionally or three-dimensionally.
  • a “camera” can capture a scene by detecting the light generated and / or reflected by the scene - both in the scene visible as well as in the invisible wavelength range - image.
  • a “camera” within the meaning of the invention does not necessarily use light as an information carrier, but additionally or alternatively, the detection of a scene can also take place in other ways. Image of a scenery on
  • the movements of the goods, which is manipulated by the worker are detected with the at least one camera before step b) and it is compared in step b) whether the detected movements of the worker and of the goods are in a setpoint.
  • Range of a first movement sequence are. The fact that not only the worker is detected by the camera, but also the goods manipulated by him, the monitoring of movement is particularly safe. In this embodiment, it is not sufficient, for example, to move only the hand in a predetermined manner. Instead, the goods must be moved in a predetermined manner.
  • the detection of the goods by the camera can of course not be ruled out even if it is merely compared whether the detected movements of the worker lie within a desired range of a first movement sequence.
  • the goods may be detected "incidentally" and without further consequences, whereas in the case of the preceding embodiment the goods are recorded as planned and their movement is evaluated.
  • a product is classified as being "detected" by the worker, if it is detected between the detection and depositing, in particular during the entire sequence of movements, at least partially by a hand of the worker or a tool held by him (eg pliers, gripper,
  • a hand of the worker or a tool held by him eg pliers, gripper
  • a commodity is at least partially obscured when it is held by a worker, and this circumstance is exploited in the present embodiment to classify a commodity as "captured”. If it is not completely recognized between the detection (start point of the movement sequence) and the departure (end point of the movement sequence), then it can be assumed with high probability that it will be moved by the worker in the given way and not, for example, only between start and end point lying on a work table. It is checked whether a product during the entire movement sequence at least partially by a hand of the worker or a held by him
  • a product is classified as being grasped by the worker, for example if a worker's hand is merely moved over a product lying on the work table.
  • data from a database in which 3D models of the goods are stored can be used. If a view of the relevant 3D model does not completely correspond to the view of the goods captured by the camera, and in particular corresponds to the hidden portion (at least in part) of a worker's hand or a tool held by him, then the goods can be classified as recorded.
  • step a at least the starting point and / or the end point of a movement sequence are displayed.
  • the worker is shown what to do.
  • the starting point and the end point may be provided with different visual markings to indicate to the worker what to do.
  • the start and end points can be marked with different colors.
  • the camera identifies persons and performs the display of at least the start and end points of a movement sequence on the basis of a personal setting (profile).
  • profile personal setting
  • preferences but also restrictions of certain users can be taken into account. For example, by default, the starting point and the end point may be marked red and green, but purple and orange, for example, if the worker has poor eyesight in distinguishing red and green.
  • the starting point and end point can also be marked with different shapes, such as a circle and a cross.
  • indicator lamps or laser projectors are available for the optical marking of the start and end points, which can be used in a particularly flexible manner for producing different markings by means of the beam deflection.
  • start and end point can also be done with the help of a screen or a corresponding insertion in a data glasses. Especially with screens and data glasses, the display of even complex movement sequences is possible. For example, a worker may be instructed to rotate a detected item before it is discarded.
  • acoustic instructions are also possible, for example "T-shirt from the left stack, turn 90 ° to the left and in shipping box number 1
  • the start point and end point of a movement sequence are not displayed at the same time, but with a time offset.
  • the time offset can be fixed (eg one second) or individually calculated / estimated on the basis of the motion sequence It is also possible to show only the starting point for the time being and the end point only when it is recognized that the goods have been taken from the starting point.
  • a product is automatically delivered and / or removed after step c), if said comparison fails positively.
  • goods to be manipulated are thus automatically delivered and / or transported away.
  • the output of the comparison whether a movement of the worker and the goods are in a desired range of a first movement sequence, evaluated. If the result is positive, then the current sequence of movements can be considered complete, and processed goods can be transported away and / or new goods to be processed can be delivered.
  • this process does not need to be explicitly requested by the worker, for example by pressing a corresponding key, but is done automatically. Also the execution of a certain gesture is not necessary. The worker can thus work more efficiently. Of course, it can also be provided to consciously control a delivery of goods and their removal, just by pressing a button or by making a gesture.
  • the workflow is stopped when it is detected that the worker has moved away from his workplace / work area, for example, to visit the toilet.
  • the worker need not make an explicit statement to stop or restart the workflow. Stopping or starting up occurs automatically as a consequence of the worker being or not present in the workplace / workspace.
  • a delivery of goods and their removal to consciously control, as mentioned, for example, by pressing a button or by making a gesture.
  • a loading aid is transported to a provision site on the installation and the camera detects a position and / or location of the transporting loading aid relative to the provisioning location, which may include a conveyor, and this is assigned at least one segment ,
  • the loading aids source box
  • a segment is assigned to it, so that steps a) to c) can be carried out.
  • a loading aid and multiple segments can be assigned.
  • the loading aid is subdivided and has, for example, several compartments. It is generally conceivable that the actual position and / or actual position of the loading aid is detected and used for the assignment of the at least one segment, so that the at least one segment can be well aligned with the loading aid. This can be done with the camera, for example.
  • the delivered load carrier may generally be empty or already contain goods if it is a destination box (order container), or stocked with stock items, if it is a source box (storage container). It is possible that the at least one segment is variably defined in terms of its size and / or position and approximately to a contour of a peripheral edge of the loading aid, which is located in position and / or location on the supply location, is tuned.
  • the definition of "a contour of a peripheral edge of the loading equipment” is to be understood as meaning hen that the contour is defined by the outer walls of the loading aid (in particular loading aid without compartment division) or the contour is defined by the partitions or separation and outer walls of the loading aid (load support with compartment division or individual compartments).
  • a loading aid may be provided sufficiently accurately in its conveying direction and / or transversely to the conveying direction on the conveyor, however, this loading aid may be rotated at the provisioning. Due to the "dynamic adaptability", the segment can be changed individually and in accordance with the current situation and the detection range of the camera can be adjusted. ⁇ br/> ⁇ br/> The detection of the actual position and / or actual position preferably takes place by means of the already existing camera, but it would also be conceivable in that an additional sensor system is provided on the system which is suitable for detecting the actual position and / or actual position.
  • the at least one segment is tuned in its size dimension to a defined by the contour of a peripheral edge of the loading means surface area, wherein a surface area of the segment at least 5% larger than the surface area of the loading aid and preset becomes.
  • a contour of a circumferential edge of the loading aid is understood to mean that the contour is defined by the outer walls of the loading aid (in particular loading aid without compartment division) or the contour is defined by the partitions or separation and outer walls of the loading aid (loading aids
  • a "static adaptability" of the segment is possible, for example, individually to different types of loading aids, wherein the detection range of the camera is preset to different types of loading aids.
  • a combination of "static adaptability” and “dynamic adaptability” of the segment would also be conceivable. It is also favorable if, when the comparison is positive in step c), a loading aid is transported away and an assignment of the at least one segment is resolved. In this way, system resources can be used economically and accumulation of segments can be avoided.
  • the removed load support may in turn contain goods or be empty.
  • a movement sequence contains only the starting point and end point of a movement. This makes it possible to keep the calculation effort for the said method low. For the successful execution of a movement sequence, it is sufficient that the starting point and then the end point is reached by the worker (or his hand) and / or a product.
  • the camera is positioned frontally to the worker and goods are rearranged between successive loading equipment.
  • ultrasonic sensors or laser scanners can be used.
  • TOF cameras time of flight
  • the observed area is illuminated by means of a light pulse, and the camera measures for each pixel, the time that the light needs to the object and back again.
  • the time required is directly proportional to the distance.
  • the function of the (conventional 2D) camera and the space depth sensor in a device, namely the TOF camera united.
  • a spatial image of a workplace / workspace can of course also be obtained with the help of several 2D cameras. In general, this requires at least three 2D cameras.
  • a "segment” in the context of the invention is not necessarily two-dimensional, but may also be three-dimensional.
  • This three-dimensional segment can be understood as any shaped part of the three-dimensional "detection space" observed by the assistance system. While a two-dimensional segment is bounded by an envelope, a three-dimensional segment is separated from an envelope. surrounded area. It is noted that these terms are used synonymously in the context of the application. This means that a doctrine, which refers to an envelope, can be applied mutatis mutandis to enveloping surfaces and vice versa. Likewise, a teaching disclosed for 2D segments can be applied analogously to 3D segments and vice versa.
  • a segment may be classified as "occupied” if the envelope or envelope of a segment is breached by a worker, particularly his or her hand or a tool held by him / her
  • a three-dimensional segment would also be over
  • the occupancy of a three-dimensional segment can be determined both by calculations in three-dimensional space and by calculations in several two-dimensional views. occupied "when breaking the envelopes of several projections in different planes.
  • the projection planes or the axes of the observing cameras are orthogonal to one another. With lower requirements for detection reliability, observation from two different directions may be sufficient.
  • the calculation effort for the said method can be further reduced by concentrating the segmentation on an area in which the predetermined motion sequences are executed. It is conceivable, in particular, that the said part of the detection area is adapted to the respective movement sequence to be executed, that is to say that a different part of the detection area is segmented per movement sequence.
  • the height of the worker is detected and a movement sequence is adjusted according to the detected height.
  • This makes it possible to design the movement with respect to ergonomic aspects and thus to increase the performance of the worker and / or to avoid long-term health damage due to poor ergonomics.
  • an arm length of the worker can be taken into account. For example, if it is the job of the worker to recycle goods between different load carriers, then a worker with a short arm length can be instructed to place the load carriers closer than a worker with a long one Arm's length.
  • movements of the worker can be avoided whose harmfulness the worker himself is not aware of, for example because the individual movement causes no pain and damage occurs only after a long time and frequent execution of the harmful movement.
  • An adaptation of a movement sequence corresponding to the detected height can also be understood to mean a distribution of the work within a group of workers. For example, activities requiring large arm length and / or high body height, such as operating a relatively tall rack, are given to workers who meet these criteria. Accordingly, small workers are entrusted with activities that are suitable for them. It is advantageous if a group of workers has different characteristics (diversification).
  • the body size of the worker is detected and / or an area from which goods are removed and / or an area in which goods are stored is / are adjusted in accordance with the detected body size.
  • the said adjustment is an adaptation of the height of said areas to understand.
  • a work surface a work table
  • conveyor for the delivery and / or removal of goods can be adjusted in height.
  • linear motors such as spindle drives
  • other drives are fully usable.
  • the height of a stack of goods and / or a loading aid can also be taken into account.
  • the area from which stacked goods are removed may be successively shifted upwards, so that the goods can always be taken out at the same height.
  • the area in which goods are stored successively moved down so that the goods can always be stored at the same height. If goods are to be removed from or deposited in a high loading aid, this can be moved further downwards than a low loading aid, so that the upper edge of the loading aid is always at optimum height.
  • the optimum working height can also be related to the bottom of the loading aid or to the upper edge of a stack therein.
  • the height of the stack in a load carrier may vary depending on the position of the observed the camera is not visible. In this case it can be provided that the height of the stack is calculated on the basis of the height of the manipulated objects.
  • the adaptation of the removal area and / or the depositing area to the height of the worker is by no means limited to its height.
  • an arm length of the worker can also be used to move the removal area and / or the deposition area laterally toward the worker or away from the same.
  • the considerations used for height adjustment are to be applied mutatis mutandis.
  • the removal area and / or the deposit area can be moved laterally sideways when goods are lined up laterally, ie, as it were, a "horizontal stack" is formed.
  • the at least one camera is positioned in front of and / or above a workstation / workspace intended for the worker. In this way, the movements of the worker and the manipulation of the goods can be tracked very well.
  • the camera is movable.
  • a camera can be used more flexibly since, as needed, it can observe a workstation / work area from different angles or can also be used to monitor several workstations. It is also conceivable, for example, for several cameras to be arranged at a workstation / workspace or to be pulled together there when a particularly difficult process is to be observed.
  • the cameras can be moved by any means. For example, they can be mounted on articulated and motorized arms ("robot arms”) or moved along a rail system.
  • Fig. 1 shows a first schematically illustrated example of a system for the manipulation of
  • Figure 2 is a second schematically illustrated example of a system for manipulating goods in an oblique view.
  • Fig. 3 shows an example of an image captured by a camera with a drawn
  • Fig. 4 is an example of an image captured by a camera which is segmented
  • FIG. 5 shows an example of an image captured by a camera with the start and end points of a motion sequence drawn in
  • FIG. 6 shows an example of an image captured by a camera, which is segmented only in regions;
  • FIG. 7 like FIG. 2, only with segments / envelopes drawn in;
  • FIG. 8 shows the scene from above in the visual area shown in FIG. 7;
  • FIG. 10 like FIG. 9, only with a hand of the worker lowered into the loading aid
  • 11-13 is an exemplary flowchart for assisting a worker in the
  • Fig. 14 is an exemplary flowchart for monitoring "forbidden" segments.
  • Fig. 1 shows a worker 1 in a plant 2 for manipulating goods 3.
  • the plant 2 comprises a table 4, troughs in which loading aids 5 (eg boxes or boxes) are set, display devices 6 (eg lamps or LEDs), input keys 7, a screen 8 and a camera 9.
  • the camera 9 serves for detecting movements of the worker 1 and optionally of movements of the goods 3, which is manipulated by the worker 1.
  • a transverse to the table 4 extending conveyor 10 is provided.
  • the system 2 also comprises means for comparing whether the detected movements of the worker 1 and, where appropriate, the product 3 are in a desired range of a movement sequence, and for outputting a correction signal, if this is not the case, wherein a motion sequence detecting and storing at least one product 3 includes.
  • the said means can be formed by a computer integrated in the screen 8, in which appropriate software runs.
  • a movement sequence comprises detecting and discarding at least one product 3 includes.
  • the task of the worker 1 may be to pick goods 3 for an outgoing order.
  • goods 3 are to be taken from the left and middle boxes according to the specification of a picking system and placed in the right box 5.
  • 8 can be output on the screen: "Please place two items from the left box in the right box, then place three items from the middle box in the right box.”
  • the output can also be acoustical.
  • the display devices 6 can also be used.
  • the instruction may read "Please put two items from the box marked in green into the box marked in red”. Synchronously with the output, the corresponding display devices 6 are activated. Before step a), in this variant, therefore, the starting point and the end point of a movement sequence are displayed.
  • green display device 6 it would also be conceivable, for example, for the green display device 6 to flash twice to signal that two objects are to be removed. A separate text statement can then be omitted.
  • the starting point and the end point of the movement sequence can also be marked with different shapes, for example with a circle and a cross, or else with the number / type of goods 3 to be picked / put.
  • laser projectors and data glasses are also available for optical marking of start and end points.
  • the mentioned method can be omitted by the presented method, on the other hand errors of the worker 1 are recognized.
  • the system can avoid a looming error in the approach. If, for example, in the first instruction "Please insert two items from the box marked in green into the box marked in red", it is recognized that the operator 1 removes an item from the box 5 marked in red, then a warning can be issued to the worker 1 before he has actually sorted the goods 3 incorrectly, and a warning may be issued if he does remove the goods 3 from the correct one Box 5 removes, but then moves it in the wrong direction. On the other hand, if he executes the procedure correctly, the system jumps to the next instruction.
  • the active confirmation of a completed work by the worker 1 is not excluded in principle.
  • placing both hands at the left and right ends of the table edge may mean "operation completed - expect next operation.”
  • the system may also serve to sort goods 3 into the boxes 5. For example, in the right container 5, there are mixed goods 3, sorted into the middle box 5 and the left box 5 (for example, because several storage containers have fallen from awkwardness to the ground and to keep the streets running in the warehouse hastily filled into a single container) render valuable services, since the system recognizes which goods 3 from which source box 5 is placed in which destination box 5 and checks whether this is also correct.
  • the system can also provide more complex instructions. For example, a worker 1 may be instructed to rotate a detected item to a particular location before it is discarded.
  • a product 3 is automatically delivered before step a) and / or transported away after step c), if said comparison, whether the detected movements of the worker 1 and optionally the product 3 in a desired range of a first movement sequence lie, positive turns out.
  • goods 3 to be manipulated can be delivered and / or removed via the conveyor 10.
  • goods 3 may be picked from the boxes 5 in shipping cartons (not shown) on the conveyor 10.
  • the system automatically recognizes this and the full shipping carton is sent to the shipping department and a new empty shipping carton is transported to the next job.
  • the reverse case is also conceivable, namely that goods 3 are transported via the conveyor 10 from a warehouse and are picked into the waiting boxes 5. Is the corresponding number of goods 3 from the storage container ter (not shown) removed, it is transported via the conveyor 10 back to the camp.
  • provision may also be made for intentionally controlling a delivery of goods 3 and their removal, for example by pressing a button 7 or by making a gesture.
  • pivoting the arm to the right may mean that the conveyor 10 is transporting the next container.
  • the output of a correction signal or the delivery and removal of goods 3 is suppressed if it is determined that the worker 1 has moved away from his workstation / workspace.
  • the workflow is stopped when it is detected that the worker 1 has moved away from his workplace / work area, for example, to go to the bathroom.
  • the worker 1 does not need to make an explicit statement in order to stop or restart the workflow.
  • Stopping or starting up occurs automatically as a consequence of worker 1 being or not present at the workplace / work area.
  • it can also be deviatingly provided to intentionally control a delivery of goods 3 and their removal, for example, again by pressing a button 7 or by executing a gesture.
  • the camera 9 or an image processing software for the captured by the camera 9 image capture the structure of the worker 1, that is, for example, the torso, limbs, head and in particular hands capture. It is formed as it were a skeleton of the worker 1, whereby its movements can be detected particularly accurate or differentiated. This makes it possible to detect whether a product 3 has actually been registered. If, for example, a product 3 is only covered by the head or hull, it can be assumed that it has not been recorded. If, on the other hand, it is covered by one hand or both hands of the worker 1, then the probability is very high that the goods 3 were actually recorded.
  • the "skeleton" of the worker 1 can be extended by tools held by him (eg pliers, grippers, etc.) and a product 3 can then be classified as captured when the goods 3 are covered by the tool becomes. Even then, the likelihood is very high that the goods 3 were actually recorded.
  • tools held by him eg pliers, grippers, etc.
  • FIG. 2 now shows a system 2 for manipulating goods 3, which is very similar to the arrangement shown in FIG. In contrast, the camera 9 but not on one
  • Pillar but mounted on a ceiling.
  • it can also be provided that it is movably mounted, for example, in a rail and driven by a motor.
  • cameras 9 can be used more flexibly. Since these move along defined paths, their location is much easier than, for example, the location of helmet cameras carried by workers 1.
  • system 2 shown in FIG. 2 also comprises a room depth sensor 11.
  • Fig. 3 shows an exemplary image captured by a camera 9 (Note: the image does not show the arrangements shown in Figures 1 and 2 but another exemplary arrangement.) In particular, the boxes 5 are not arranged in special troughs, but rather - placed on the table 4).
  • an expected motion sequence 12 is shown.
  • the worker 1 is to put the goods / object 3 from the upper left box 5 into the lower left box 5.
  • a corresponding image processing is now checked whether the hand of the worker 1 and the object 3 are moved along the path shown. If so, then this is considered successful in performing the requested action. If this is not true, then an error signal is output and attempts to bring about the requested action.
  • the movements of the goods 3, which is manipulated by the worker 1 are detected before the step b) with the at least one camera 9 and the space depth sensor 11 and compared in step b), Whether the detected movements of the worker 1 and the goods 3 are within a desired range of a first movement sequence 12.
  • the monitoring of movement is particularly safe. In this variant, it is not sufficient, for example, merely to move the hand in a predetermined manner. Instead, the goods 3 must be moved in a predetermined manner.
  • a product 3 is classified as being detected by the worker 1 if, between the detection and removal, in particular during the entire movement sequence 12, at least partially by a hand of the worker 1 or a tool held by him (eg pliers, Gripper, etc.) is covered.
  • a product 3-unlike in FIG. 3 - is at least partially hidden when it is held by the worker 1. If it is not completely recognized between the detection (starting point of the movement sequence 12) and the deposition (end point of the movement sequence 12) or during the entire movement sequence 12, then it can be assumed with high probability that it is moved by the worker 12 in the predetermined manner and not, for example, lies only on a work table 4 between start and end point.
  • a product 3 is at least partially hidden
  • data from a database in which 3D models of the goods 3 are stored can be used. If a view of the relevant 3D model does not completely correspond to the view of the goods 3 detected by the camera 9 and / or the depth sensor 11, and in particular corresponds to the hidden portion (at least partially) of a hand of the worker 1 or of a tool held by him the goods 3 can be classified as recorded.
  • the worker 1 has to turn the product 3 into a defined position relative to the camera 9 after picking up, so that it can be recognized, for example, on the basis of its contour, coloring, etc.
  • Fig. 4 shows the same scene as Fig. 3.
  • the image captured by the camera 9 is subdivided with a raster 13 into a plurality of arrays 100..146 arranged like a matrix.
  • the detection range of the at least one camera 9 or the space depth sensor 11 is thus subdivided into segments 100..146, and a motion sequence 12 contains an occupancy of the segments 100..146 by the worker 1 and / or the goods 3.
  • the worker 1 put the object 3 from the upper left box 5 into the upper right box 5.
  • the calculation effort is kept low in this variant of the method, since it only has to be checked whether the hand of the worker 1 and the goods 3 occupy the segments 132, 133 and 134 in the stated sequence.
  • the boxes 5 can be set up randomly on a worktable 4 (that is, if, for example, predetermined troughs are missing), it may be advantageous to divide the table 4 into a predetermined grid in which the boxes 5 are to be placed.
  • lines can be painted on the table 4 or projected onto it. In this way it is avoided that boxes 5 are placed in an unfavorable position, for example at the crossing points of several grid lines.
  • the rear boxes 5 from the perspective of the worker 1 are relatively unfavorable because they occupy comparatively many segments.
  • a motion sequence 12 contains only the starting point 132 and end point 134 of a movement, as shown in FIG. 5. In this case, it is only checked whether the hand of the worker 1 and the goods 3 occupy the segments 132, and 134 in the order named. This makes it possible to keep the calculation effort for the said method even lower. For the successful execution of a movement sequence, it is sufficient that starting point and then the end point by the worker 1 (or his hand) and / or a product 3 is achieved.
  • FIG. 6 shows a further variant of the method, in which only part of the detection range of the at least one camera 9 or of the room depth sensor 11 is subdivided into the mentioned segments 100...
  • the calculation effort for the said method can be reduced even further.
  • the check can be limited to whether the expected movement sequence 12 is occupied by occupying the current motion sequence 12 required, ie, "active" segments 100 and 103 or optionally also by non-occupancy of not required for the current motion sequence 12, the is called “inactive" segments 101 and 102 has been executed. It is also conceivable, of course, that several segments are provided in the action area of the worker 1.
  • segmented part of the detection area it is also conceivable, in particular, for the segmented part of the detection area to be adapted to the movement sequence 12 to be executed in each case, that is to say for each movement sequence 12 a different part of the detection area to be segmented.
  • an "envelope curve" is placed around a respective box 5.
  • a segment 100 and 103 can be classified as occupied if this envelope is breached by the worker 1, in particular his hand
  • a segment 100 and 103 must be occupied for a certain time (eg one second) so that it is also classified as occupied.
  • a loading aid 5 (eg box, container) is preferably transported in an automated manner and this is assigned at least one segment 100 and 103.
  • a loading aid 5 eg box, container
  • this is assigned at least one segment 100 and 103.
  • a provisioning station delivery point
  • a source box storage container
  • a provisioning station buffer space
  • a loading aid 5 can also be assigned a plurality of segments 100 and 103, in particular if the loading aid 5 is subdivided. It is generally conceivable that the actual position and / or actual position of the loading aid 5 is detected and used for the assignment of the at least one segment 100 and 103, so that the at least one segment 100 and 103 and the loading aid 5 are coordinated with each other can be done for example with the help of the camera 9. It is also favorable in this context, however, if the presence of the loading aid 5 is detected at the place of supply to the system 2 by means of a sensor other than the camera 9, for example with a light barrier or a switch.
  • the actual position and / or actual position of the loading aid 5 is disregarded, and that at least one segment 100 and 103 is assigned to a standard position when the presence of a loading aid 5 is detected.
  • the delivered loading aid 5 may generally be empty or already contain goods 3.
  • a loading aid 5 is transported away and an assignment of the at least one segment 100 and 103 is resolved. In this way, system resources can be used economically and accumulation of segments 100 and 103 can be avoided.
  • the transported offloading means 5 may in turn contain goods 3 or be empty.
  • FIG. 7 now shows the workplace already shown in FIG. 2, but now with segments or envelopes / enveloping surfaces 100... 102 above the boxes 5.
  • the segments / envelopes 100... 102 are not necessarily planar or two-dimensional but can also be spatial or three-dimensional. This is particularly advantageous when the workstation / workspace can be detected three-dimensionally with a room depth sensor 11 or an arrangement of several 2D cameras.
  • the teaching on two-dimensional segments / envelopes 100..146 disclosed above is also applicable without restriction to three-dimensional segments / envelopes 100... 102.
  • the segments / envelopes 100... 102 in FIG. 7 can of course also have a different shape, for example the shape of a hemisphere or even irregular shapes.
  • FIG. 8 shows the scenery shown in Fig. 7, now in fragmentary form from above. Specifically, the table 4, the loading equipment 5, the goods 3, the display devices 6, the input keys 7 and a hand of the worker 1 are shown, which differ from the Fig. 7 all- Now it is located above the right loading aid 5.
  • the loading aids 5 are in turn assigned to the segments 100..102.
  • FIG. 8 shows the scene in the visual range, that is to say as it is perceived by the human eye.
  • FIG. 9 now shows the same scene as an image of the spatial depth, that is to say as perceived by a room-depth camera or a room depth sensor 11. Different areas of the room depth camera or the depth sensor 11 different areas are hatched differently in Fig. 9.
  • different distances can of course also be assigned to different gray values or color values. For example, more distant objects are light gray, closer objects are shown in dark gray.
  • FIG. 9 it can be seen from the hatching that the hand of the worker 1 is positioned above the loading aid 5, since the hand is hatched differently than the bottom of the loading means 5 and also unlike the table 4 9 can be seen that the display devices 6 and the input keys 7 "disappear" because they are just installed in the concrete example shown in the table 4.
  • FIG. 10 shows the hand of the worker 1 in FIG. 10.
  • this spatial area corresponds to the area covered by a loading aid 5.
  • the hand of the worker 1 is positioned above this area. The segment 100 is therefore considered not occupied.
  • the hand of the worker 1 is lowered into the loading aid 5.
  • Segment 100 is therefore considered occupied. In this way it is avoided that a hand detected only above a segment 100... 102 detects that the system is detecting or storing it a product 3 is misunderstood. Only the occupation of a (spatial) segment 100..102 is regarded as detecting or storing a product 3.
  • the space area in which the detection or deposition of a commodity 3 is detected corresponds to the area encompassed by a loading aid 5.
  • the said spatial area can also comprise only a partial area, in particular from the floor, and thus correspond to the area which would occupy a liquid filled in the loading aid 5.
  • the space area can also be arranged at a distance from the floor, similar to the spatial area that an oil layer floating on water would occupy in the loading aid 5.
  • the spatial area can also protrude beyond the loading aid 5 (cf. FIG. 7) or virtually hover above the loading aid 5.
  • the camera 9 can therefore be designed as a room-depth camera and be provided in particular exclusively for detecting the spatial depth. A separate room depth sensor 11 is then no longer required.
  • the boundaries between the room-depth camera and the room depth sensor are fluid and, in principle, the variants explained in connection with FIGS. 1 to 7 and the resulting advantages are analogously applicable to an embodiment in which the camera 9 is provided exclusively for detecting the room depth.
  • a room depth camera 9 is positioned directly above the worker 1 so that it directly provides the image shown in FIG. 9 and FIG. 10, respectively. It is also conceivable, however, that this is positioned slightly above the worker 1, taking into account that e.g. the loading aids 5 and also the segments 100..102 are not equidistant from the room-depth camera 9 due to their distance in the plane. The segments 100..102 are then considered to be occupied at different distances, which are also determined by the position of the respective segments 100... 102 in the plane.
  • further parameters can be used to decide whether a segment 100... 102 is now occupied or not.
  • the residence time of the worker's hand 1 in a segment 100..102 can be used for the decision.
  • the segment 100..102 can be considered as not occupied.
  • Another parameter for said decision may be the speed of the worker's hand 1. If a segment 100..102 passes through too quickly, this can also be an indication that a product 3 was not properly recorded or filed.
  • a segment 100..102 is crossed at a constant speed or no or only slight accelerations are measured, this can also be an indication that a product 3 has not been recorded or stored properly.
  • a hand 3 is slowed down when detecting or storing a product.
  • a detection of such a delay can again be a positive indication for the detection / removal of a product 3.
  • a reversal of the movement in the vertical direction should also be detectable. If this is not the case, there may be an error in the evaluation.
  • a region of a certain size for example a certain number of pixels
  • Image area is detected. That is, in a simple embodiment, it is only checked if an area of a certain (minimum) size is detected. Additionally or alternatively, the shape of the recognized area can also be evaluated. For the correct execution of a work step, it may also be provided that the starting and ending segments in which goods 3 are picked up or stored, but certain intervening segments are not occupied, but only swept over. If, for example, a product 3 from the right load support 5 in the relocate the left loading equipment 5, it can be provided that the first segment 100 must be occupied (picking up the goods 3), then the segment 101 must be swept over, ie the hand must be passed over it, and finally the segment 102 must be occupied (Store the goods 3).
  • segments 100..102 are defined. If it is required, for example, to relocate a product 3 from the middle loading aid 5 into the left loading aid 5, then it can be provided that the segment 100 may not be swept over, but exclusively the segments 101 (picking up the goods 3) and the segment 102. must be placed (storage of goods 3).
  • the body size of the worker 1 is detected and a movement sequence 12 adapted according to the detected body size.
  • an arm length of the worker 1 can be taken into account. If, as shown in FIG. 6, the task of the worker 1 is to reorder goods 3 between different loading aids 5, then a worker 1 with a short arm length can be instructed to place the loading aids 5 closer than a worker 1 with a long arm length.
  • This specification can be done, for example, via the screen 8 or implicitly also in that a grid projected onto the table 4 is narrower or wider. In this way, an area from which goods 3 are removed and / or an area where goods 3 are stored are adjusted according to the detected body size of the worker 1.
  • the said adaptation also means an adjustment of the height of said areas.
  • a worktable 4 or the conveying means 10 can be designed to be height-adjustable.
  • linear motors such as spindle drives
  • other drives can be used. If the presence of a large worker 1 is detected by the camera 9, then the working table 4 and / or the conveyor 10 moved up. If a small worker 1 detected, then down accordingly.
  • the height of a stack of goods and / or a loading aid 5 can also be taken into account.
  • the bottom surfaces of the wells shown in Figs. 1 and 2 may be height adjustable. If goods 3 can be removed from or deposited in a high loading aid 5, this can be moved further downwards than a low loading aid 5, so that the upper edge or the bottom of the loading aid 5 is always at optimum height.
  • the area from which stacked goods 3 are removed may be successively shifted upward, so that the goods 3 are always taken out at the same height.
  • the area in which goods 3 are stored may be successively moved down, so that the goods 3 are always stored at the same height.
  • This method is also applicable when goods 3 are to be stacked in a load carrier 5. If the height of the stack located in a loading aid 5 can not be seen by the camera 9, the height of the stack can also be calculated on the basis of the height of the manipulated objects.
  • the adaptation of the removal area and / or the deposit area to the height of the worker 1 is by no means limited to the height.
  • an arm length of the worker 1 can be used to move the removal area and / or the deposit area accordingly laterally to the worker 1 or away from it.
  • the considerations used for height adjustment are to be applied mutatis mutandis.
  • the removal area and / or the deposit area can be successively moved laterally when goods 3 are lined up laterally, so as it were a "horizontal stack" is formed.
  • An adaptation of a movement sequence 12 corresponding to the detected body size can also be understood as a distribution of the work within a group of workers 1. For example, activities requiring large arm length and / or high body height, such as operating a relatively tall rack, are awarded to workers 1 who meet these criteria. Accordingly, small workers 1 are entrusted with activities that are suitable for them. It is advantageous if a group of workers 1 has different characteristics (diversification).
  • the method presented is, of course, not limited to use on a worktable 4 but can also be applied to other devices in a warehouse, such as working on a shelf.
  • such shelves can serve not only for storing goods 3, but also for picking.
  • FIGS. 1 and 2 it is of course also possible to use a plurality of cameras 9 and / or room depth sensors 11 whose detection ranges can also overlap.
  • a camera 9 and / or a room depth sensor 11 can also be designed to be movable.
  • the system can be used very flexibly under changing conditions and recognizes the monitored workflow with high reliability. This significantly improves the monitoring of a workflow.
  • the movements of a worker 1 can be monitored independently of the viewing direction.
  • the worker 1 is more efficient because he is not affected by a helmet camera.
  • the system can not fall "out of step” since the position of the observing camera 9 is always known.
  • Restrictions or preferences of a worker 1 given by his body structure may be taken into account.
  • FIGS. 11 to 13 now show an exemplary procedure for assisting a worker 1, in which, after placing an order on it, the presence of a loading aid 5 (LHM), in particular a source box and / or a destination box, is checked. If this is present, then its position and / or position is detected and the loading aid 5 accordingly a segment 100..146 assigned. In the present example it is assumed that this is an envelope surface. Of course, it is also possible that this is an envelope volume. As mentioned above, a "static adaptability" or “dynamic adaptability” is possible for the segment 100..146.
  • LHM loading aid 5
  • an object search is started in which it is examined whether a worker's hand 1, a tool held by him, or the like is within a predetermined range. First, it is checked whether a detected object has or exceeds a certain size. If this is not the case, the object search is continued. If this is true, however, it is checked whether the object is located above a segment 100..146 which is assigned to a loading aid 5. If this is not the case, the object search is continued. However, if this is true, then it is checked whether the relevant segment is 100..146 part of the given order, that is, whether it is a expected in the given sequence of motion segment 100..146. If this is not the case, a warning is issued and the object search continues.
  • the object search continues. If this is the case, however, it is checked whether the object penetrates said envelope for a predetermined time or is located in said envelope volume. If this is the case, a good 3 is classified as captured or stored (ie a "pick" or a "put" detected). If this is not the case, then the object search continues. The sequence ends when the order ends with the pick or the put. Otherwise, the object search continues.
  • the subsequent object search again checks whether a detected object has a certain minimum size. If this is not the case, the object search continues. If this is true, then it is checked whether the object is in a forbidden segment 100..146. If this is the case, a warning is issued and continued with the object search. If this is not true, then it is checked whether the job is completed. If this is not the case, the object search continues. Otherwise, the process ends.
  • the illustrated devices may also comprise more or fewer components than shown and are sometimes shown in greatly simplified form in the figures.
  • the illustrated devices as well as their components have also been shown partly out of scale and / or enlarged and / or reduced in size for a better understanding of their design.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

Es werden ein Verfahren und ein Assistenzsystem zur Unterstützung eines Arbeiters (1) in einer Anlage (2) zur Manipulation von Waren (3) angegeben. Dabei werden die Bewegungen des Arbeiters (1) und gegebenenfalls der Ware (3), welche durch den Arbeiter (1) manipuliert wird, mit zumindest einer anlagenseitig montierten Kamera (9) erfasst und verglichen, ob die erfassten Bewegungen des Arbeiters (1) und gegebenenfalls der Ware (3) in einem Soll- Bereich einer Bewegungssequenz liegen. Trifft dies zu, so wird im Anschluss die Ausführung einer weiteren Bewegungssequenz überprüft. Ist dies nicht der Fall, wird ein Korrektursignal ausgegeben, um die Ausführung der geforderten Bewegungssequenz zu erwirken. Der Erfassungsbereich der zumindest einen Kamera (9) ist dazu in Segmente unterteilt, wobei eine Bewegungssequenz eine Belegung der Segmente durch den Arbeiter (1) enthält. Generell umfasst eine Bewegungssequenz das Erfassen und Ablegen wenigstens einer Ware (3).

Description

Verfahren und System zur Unterstützung eines Arbeiters in einer Anlage zur Manipulation von Waren
Die Erfindung betrifft ein Verfahren und ein Assistenzsystem zur Unterstützung eines Arbeiters in einer Anlage zur Manipulation von Waren. Zudem betrifft die Erfindung eine Verwendung des genannten Verfahrens und/oder des genannten Assistenzsystems.
Verfahren und Assistenzsysteme der genannten Art sind grundsätzlich bekannt. Beispielswei- se offenbart die EP 1 487 616 B l dazu ein Augmented-Reality-System für ein Warenlager. Dabei werden Ist-Bewegungen eines Lagerarbeiters mit Hilfe einer Kamera mit Soll- Bewegungen verglichen und entsprechend protokolliert. Die dazu nötige Kamera ist auf dem Helm eines Arbeiters angebracht. Optional können zusätzliche Informationen, wie zum Beispiel der Lagerort eines zu erfassenden Teils, in einer Datenbrille angezeigt werden.
Die EP 2 161 219 B 1 offenbart ein weiteres Augmented-Reality-System für einen Lagerarbeiter, bei dem die Kamera ebenfalls auf dem Helm eines Arbeiters angebracht ist. Insbesondere kann mit einer Datenbrille eine Art Navigationssystem realisiert werden, bei dem eine Soll- Bewegung des Arbeiters mit Hilfe von eingeblendeten Richtungspfeilen angezeigt wird.
Die WO 03/034397 AI offenbart schließlich noch ein Augmented-Reality-System, das unter anderem in einem Lager eingesetzt werden kann. Die Kamera ist wiederum auf dem Helm eines Arbeiters angebracht. Wenngleich die vorgestellten Systeme eine Arbeitserleichterung für einen Lagerarbeiter darstellen, so sind diesen Systemen doch enge Grenzen gesetzt. Beispielsweise können die Bewegungen eines Arbeiters nicht unabhängig von dessen Blickrichtung überwacht werden. Die Überwachung eines Arbeitsablaufes ist davon abhängig, dass der Arbeiter und damit seine Helmkamera auch auf seine Hände blicken. Dies kann aber nicht in jedem Fall vorausgesetzt werden, denn insbesondere routinierte Arbeiter erledigen die Vorgänge auch„blind", das heißt ohne notwendigerweise auf ihre Hände zu blicken. Häufig sind Arbeiter zu beobachten, die ihre Arbeit trotz lebhafter mit Arbeitskollegen geführter Konversationen fehlerfrei erfül- len. Dabei wandert ihr Blick häufig zum Gesprächspartner und ist nur selten auf die eigentliche Arbeitsstelle gerichtet.
Ein weiterer Nachteil von Helmkameras ist deren Gewicht, das die Leistungsfähigkeit des Arbeiters mitunter stark beeinträchtigt. Insbesondere bei erschwerenden Arbeitsbedingungen wie hoher Temperatur und hoher Luftfeuchtigkeit wird das Tragen eines solchen Helms als sehr unangenehm empfunden. Jedenfalls wird dadurch die Schweißbildung am Kopf erhöht. Wischt sich der Arbeiter den Schweiß von der Stirn, so ist die Kamera für einige Augenblicke „blind" und kann den Arbeitsablauf nicht ununterbrochen überwachen. Wichtige Arbeitsschritte können somit von der Kamera„übersehen" werden. Wird die Arbeit in kalter Umgebung verrichtet, so führt die Atemluft des Arbeiters oft zum Beschlagen des Kameraobjektivs, was eine Überwachung eines Arbeitsablaufs ebenfalls unmöglich macht. Schließlich limitiert das Gewicht der Kamera und einer Datenbrille die maximalen Kopfbeschleunigungen, welche beispielsweise beim schnellen Drehen des Kopfs auftreten. Der Arbeiter kann daher nicht so schnell arbeiten, wie es aufgrund seiner Körperphysiologie vielleicht möglich wäre.
Die Positionsbestimmung des Arbeiters mit Hilfe einer Helmkamera ist schwierig, insbesondere wegen der mitunter heftigen Bewegungen und der„blinden" Momente der Kamera. Fällt das System„außer Tritt", das heißt verliert es seine Position, so dauert es eine gewisse Zeit, bis die Position und Orientierung der Helmkamera festgestellt wird, und das System wieder eine sinnvolle Überwachung eines Arbeits ablaufs durchführen kann. Insgesamt kann ein solches Systems, je nach Rechenleistung und Verhalten des Arbeiters, die zu verrichtende Tätigkeit eher bremsen als beschleunigen. Die Überwachung verschiedener in einem Lager anfallender Tätigkeiten ist mit den bekannten Vorrichtungen kaum möglich bis unmöglich, beispielsweise die Manipulation schwer zu unterscheidender Gegenstände. Als plakatives Beispiel wird das Umsortieren von Schrauben aus einem roten Behälter in einen anderen roten Behälter, der ebenfalls dieselben Schrauben enthält, erwähnt. Wie aus den bereits erwähnten Einschränkungen einsehbar ist, ist die sinnvolle Überwachung eines solchen Vorgangs praktisch unmöglich. Nimmt man an, dass die Kamera auch nur einen einzigen Augenblick die Sicht auf die Behälter verliert, dann ist die Zuordnung von Quell- und Zielbehälter bei wiedererlangter Sicht und damit die Überwachung des Arbeitsvorgangs nur äußerst schwer mit letzter Sicherheit möglich. Etwa ist nicht feststellbar, ob der Arbeiter während einer„blinden" Phase der Kamera die Quell- und Zielbehälter nicht vertauscht hat, um seine Arbeits Situation zu verbessern. Umfasst der Bildbereich der Kamera nur einen der Behälter (etwa bei Verwendung eines Objektivs mit vergleichsweise langer Brennweite in Relation zur Größe des Behälters), dann ist die zweifelsfreie Festlegung, wel- eher Behälter gerade erfasst wird, ebenfalls praktisch unmöglich.
Die bekannten Systeme sind primär auf die Abläufe eingerichtet, die von einem Arbeiter zu erledigen sind. Arbeiten mehrere Personen zusammen, ist eine sinnvolle Überwachung des Arbeitsablaufs sehr schwer und nur mit sehr hohem Rechenaufwand möglich. Arbeiten bei- spielsweise drei Personen zusammen, so wird der Arbeitsbereich von drei verschiedenen Kameras erfasst, deren Erfassungsbereich von den Kopfbewegungen der betreffenden Personen beeinflusst ist. Die Eigenschaft der Menschen, einem Gesprächspartner in die Augen zu sehen, ist für die Überwachung eines solchen Arbeitsablaufs ebenfalls äußerst hinderlich. Gibt einer der drei Personen Anweisungen an die anderen beiden, so blicken diese (und damit de- ren Helmkameras) unweigerlich zu dem Anweisenden. Obwohl in dieser Arbeits Situation prinzipiell drei Kameras zur Beobachtung vorhanden sind, erfasst keine einzige das Objekt, das eigentlich manipuliert (z.B. gemeinsam getragen oder übergeben) wird.
Einschränkungen eines Arbeiters, die aufgrund seines Körperbaus gegeben sind, können mit den bekannten Systemen nicht berücksichtigt werden. Deshalb kann es beispielsweise vorkommen, dass ein Arbeiter angewiesen wird, Waren aus einem Regalfach zu entnehmen, dass eigentlich zu hoch für ihn ist. Dies führt dazu, dass der betreffende Arbeiter mühsam eine Aufstiegshilfe beschaffen muss oder einen Kollegen bitten muss, diese Arbeit für ihn zu verrichten. Beides ist ineffizient, letzteres führt aber zusätzlich mit hoher Wahrscheinlichkeit zu Störungen in der Überwachung des Arbeitsablaufs, da ja eine andere Person als die vom System vorgesehene die Arbeit verrichtet.
Aufgabe der vorliegenden Erfindung ist es nun, ein verbessertes Verfahren und ein verbessertes Assistenzsystem zur Unterstützung eines Arbeiters in einer Anlage zur Manipulation von Waren anzugeben. Insbesondere sollen die oben erwähnten Nachteile überwunden werden.
Die Aufgabe wird durch ein Verfahren zur Unterstützung eines Arbeiters in einer Anlage zur Manipulation von Waren gelöst, umfassend die Schritte: a) Erfassen von Bewegungen des Arbeiters mit zumindest einer anlagenseitig montierten Kamera,
b) Vergleichen ob die erfassten Bewegungen des Arbeiters in einem Soll-Bereich einer ersten Bewegungssequenz liegen,
c) Ausgabe eines Korrektursignals und Fortsetzen bei Schritt a) mit der ersten Bewegungssequenz, wenn der Vergleich negativ ausfällt oder Fortsetzen bei Schritt a) mit einer zweiten Bewegungssequenz wenn der Vergleich positiv ausfällt, wobei eine Bewegungssequenz das Erfassen und Ablegen wenigstens einer Ware umfasst, wobei der Erfassungsbereich der zumindest einen Kamera in Segmente unterteilt ist und wobei eine Bewegungsse- quenz eine Belegung der Segmente durch den Arbeiter enthält.
Die Erfindung wird weiterhin durch ein Assistenzsystem zur Unterstützung eines Arbeiters in einer Anlage zur Manipulation von Waren gelöst, umfassend:
zumindest eine anlagenseitig montierte Kamera zum Erfassen von Bewegungen des Arbeiters,
Mittel zum Vergleichen ob die erfassten Bewegungen des Arbeiters in einem Soll- Bereich einer Bewegungssequenz liegen, sowie zur Ausgabe eines Korrektursignals wenn dies nicht der Fall ist, wobei eine Bewegungssequenz das Erfassen und Ablegen wenigstens einer Ware umfasst, wobei der Erfassungsbereich der zumindest einen Kamera in Segmente unterteilt ist und wobei eine Bewegungssequenz eine Belegung der Segmente durch den Arbeiter enthält.
Durch die Erfassung von sowohl der Bewegung eines Arbeiters von einem abgesetzten Beobachterstandort ist das System sehr flexibel unter wechselnden Bedingungen einsetzbar und erkennt den überwachten Arbeitsablauf mit hoher Sicherheit. Damit wird die Überwachung eines Arbeitsablaufs deutlich verbessert. Im Einzelnen resultieren insbesondere folgende Vorteile:
Die Bewegungen eines Arbeiters können unabhängig von dessen Blickrichtung überwacht werden. Damit kann das System auch für„routinierte" Arbeiter eingesetzt werden, die nicht ständig ihren Blick auf ihre Hände gerichtet haben.
Der Arbeiter ist leistungsfähiger, da er nicht durch das Gewicht einer Helmkamera beeinträchtigt wird und sich frei bewegen kann. Zum Beispiel sind schnelle Kopfdrehungen auch hinsichtlich der Bildverarbeitung unproblematisch für das vorgestellte System. Auch das Beschlagen der Kamera durch die Atemluft des Arbeiters ist unwahrscheinlich, da die Kamera nicht notwendigerweise direkt über dem Kopf des Arbeiters, sondern an vorteilhafterer Stelle angebracht werden kann, beispielsweise etwas entfernt vor ihm.
Die Position der beobachtenden Kamera ist stets bekannt und muss nicht mühsam er- rechnet werden. Das System kann daher nicht„außer Tritt" fallen. Eine Vorgabe von Arbeitsschritten kann daher auch mit vergleichsweise geringem Rechenaufwand flüssig gestaltet werden.
Die Überwachung der Manipulation schwer zu unterscheidender Gegenstände wird erleichtert. Beispielsweise kann das Umsortieren von Schrauben aus einem roten Behälter in einen anderen roten Behälter, der ebenfalls dieselben Schrauben enthält, stets korrekt erfasst werden. Dies ist auch dann der Fall, wenn der Arbeiter beispielsweise Quell- und Zielbehälter vertauscht. Insbesondere kann das genannte Verfahren beziehungsweise das genannte Assistenzsystem daher zur Überwachung einer Bewegungssequenz eingesetzt werden, welche das Kommissionieren und/oder Umsortieren von Waren betrifft.
- Die Überwachung mehrerer Arbeiter, die zusammenarbeiten und beispielsweise einander Gegenstände übergeben oder einen Gegenstand gemeinsam tragen, wird erleichtert, da durch die beobachtende Kamera stets die gesamte Szenerie erfasst werden kann.
Einschränkungen oder auch Vorzüge eines Arbeiters, die aufgrund seines Körperbaus gegeben sind, können berücksichtigt werden, da Merkmale wie Körpergröße, Armlänge und Statur des Arbeiters durch die Kamera erfasst werden können. In Folge können Arbeiten an die jeweils geeignetste Person vergeben werden, zum Beispiel Arbeiten an hohen Regalen an große Personen und das Manipulieren schwerer Gegenstände an Personen mit kräftigem Körperbau. Selbstverständlich können Arbeiten auch geschlechterspezifisch vergeben werden. Vorteilhaft werden das genannte Verfahren beziehungsweise das genannte Assistenzsystem in einem Warenlager eingesetzt. Ein Warenlager dient der Aufnahme, Lagerung und in der Regel Distribution von Waren. Ein Warenlager kann beispielsweise als Hochregallager, Klein- teilelager, Etagenlager, Hochflachlager oder auch als Paternosterlager ausgebildet sein und zum Beispiel Regale verschiedener Art (etwa Fachbodenregale, Palettenregale, Durchlaufre- gale und Hochregale) sowie Fördermittel verschiedener Art (etwa Rollenförderer, Gurtbandförderer, Gabelstapler, sowie Fahrerlose Transportfahrzeuge) umfassen. Durch die Segmentierung des Erfassungsbereichs der zumindest einen Kamera wird der Berechnungsaufwand für das genannte Verfahren vorteilhaft gering gehalten. Beispielsweise kann über eine Arbeitsfläche (Arbeitstisch) ein Raster gelegt und vorzugsweise von einem Laserprojektor auch angezeigt werden. Selbstverständlich sind auch fixe Markierungen auf dieser Arbeitsfläche denkbar. Bewegungen werden als Abfolge belegter Segmente ausgewertet.
Unter einer„Kamera" ist im Rahmen der Erfindung ein Gerät oder System zu verstehen, welches eine erfasste Szenerie zweidimensional oder dreidimensional abbildet. Eine„Kamera" kann eine Szenerie durch Erfassen des in der Szenerie erzeugten und/oder von dieser reflektierten Lichts - sowohl im sichtbaren als auch im unsichtbaren Wellenlängenbereich - abbilden. Eine„Kamera" im Sinne der Erfindung nutzt aber nicht notwendigerweise Licht als Informationsträger. Zusätzlich oder alternativ dazu kann die Erfassung einer Szenerie auch auf andere Weise erfolgen. Beispielsweise kann unter einer„Kamera" auch ein Raumtiefensensor verstanden werden, welcher ein räumliches (dreidimensionales) Abbild einer Szenerie auf
Basis der Laufzeit von ausgesendeten und von der Szenerie reflektierten Strahlen oder Wellen erzeugt. Beispielsweise kann dies mit Hilfe von Infrarotstrahlen, Ultraschall und/oder Laserstrahlen erfolgen. Denkbar ist auch, dass mehrere Kameras vorgesehen werden, die jeweils nur einen Teilbereich der Szenerie und damit einen Teilbereich und/oder eine Teilmenge der Segmente erfassen. Beispielsweise kann eine Kamera eine Teilmenge der Segmente, eine andere Kamera eine andere Teilmenge der Segmente erfassen. Die Teilmengen können sich dabei überschneiden oder nicht. Vorstellbar ist dabei auch, dass je eine Kamera je ein Segment erfasst. Möglich wäre aber auch, dass (große) Segmente von mehreren Kameras gemeinsam erfasst werden. Mischformen sind natürlich vorstellbar.
Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen sowie aus der Beschreibung in Zusammenschau mit den Figuren.
Vorteilhaft ist es, wenn die Bewegungen der Ware, welche durch den Arbeiter manipuliert wird, vor dem Schritt b) mit der zumindest einen Kamera erfasst werden und im Schritt b) verglichen wird, ob die erfassten Bewegungen des Arbeiters und der Ware in einem Soll- Bereich einer ersten Bewegungssequenz liegen. Dadurch, dass nicht nur der Arbeiter von der Kamera erfasst wird, sondern auch die von ihm manipulierte Ware, ist die Überwachung von Bewegungsabläufen besonders sicher. Bei dieser Ausführungsvariante reicht es nicht aus, beispielsweise bloß die Hand in einer vorgegebenen Art und Weise zu bewegen. Stattdessen muss auch die Ware in einer vorgegebenen Art und Weise bewegt werden.
An dieser Stelle wird angemerkt, dass das Erfassen der Ware durch die Kamera natürlich auch dann nicht ausgeschlossen werden kann, wenn bloß verglichen wird, ob die erfassten Bewegungen des Arbeiters in einem Soll-Bereich einer ersten Bewegungssequenz liegen. In diesem Fall werden die Waren aber gegebenenfalls„nebenbei" und ohne weitere Konsequenzen erfasst. Bei der vorhergehenden Ausführungsform werden die Waren dagegen planmäßig erfasst und deren Bewegung ausgewertet.
Besonders vorteilhaft ist es, wenn eine Ware als vom Arbeiter„erfasst" klassifiziert wird, wenn diese zwischen dem Erfassen und Ablegen, insbesondere während der gesamten Bewegungssequenz, wenigstens teilweise durch eine Hand des Arbeiters beziehungsweise ein von ihm gehaltenes Werkzeug (z.B. Zange, Greifer, usw.) verdeckt ist. In der Regel wird eine Ware zumindest teilweise verdeckt, wenn sie von einem Arbeiter gehalten wird. Dieser Umstand wird bei der vorliegenden Ausführungsvariante dazu ausgenützt, eine Ware als„erfasst" zu klassifizieren. Wird sie zwischen dem Erfassen (Startpunkt der Bewegungssequenz) und dem Ablegen (Endpunkt der Bewegungssequenz) nicht vollständig erkannt, so kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass sie vom Arbeiter in der vorgegebenen Weise bewegt wird und nicht beispielsweise bloß zwischen Start- und Endpunkt auf einem Arbeitstisch liegt. Wird geprüft, ob eine Ware während der gesamten Bewegungssequenz we- nigstens teilweise durch eine Hand des Arbeiters beziehungsweise ein von ihm gehaltenes
Werkzeug verdeckt ist, dann kann auch vermieden werden, dass eine Ware als vom Arbeiter ergriffen klassifiziert wird, wenn zum Beispiel eine Hand des Arbeiters bloß über eine auf dem Arbeitstisch liegende Ware hinweg bewegt wird. Zur Bestimmung, ob eine Ware wenigstens teilweise verdeckt ist, können beispielsweise Daten aus einer Datenbank, in der 3D- Modelle der Waren gespeichert sind, herangezogen werden. Entspricht eine Ansicht des betreffenden 3D-Modells nicht vollständig der von der Kamera erfassten Ansicht der Ware, und entspricht insbesondere der verdeckte Anteil (wenigstens teilweise) einer Hand des Arbeiters beziehungsweise einem von ihm gehaltenes Werkzeug, dann kann die Ware als erfasst klassifiziert werden.
An dieser Stelle wird angemerkt, dass die zuvor genannte Variante des Verfahrens (Erken- nung von wenigstens teilweise verdeckter Ware) die Basis für eine von den Merkmalen des Patentanspruchs 1 unabhängige Erfindung bilden kann. Im Speziellen kann in diesen Fällen auf eine Segmentierung des Erfassungsbereichs der Kamera verzichtet werden. Sinngemäß gilt dies auch für eine entsprechende Vorrichtung beziehungsweise die Verwendung eines solchen Verfahrens und/oder einer entsprechenden Vorrichtung in einem Warenlager, insbe- sondere beim Kommissionieren und/oder Umsortieren von Waren.
Günstig ist es, wenn vor Schritt a) zumindest der Startpunkt und/oder der Endpunkt einer Bewegungssequenz angezeigt werden. Auf diese Weise wird dem Arbeiter angezeigt, was zu tun ist. Beispielsweise können der Startpunkt und der Endpunkt mit unterschiedlichen optischen Markierungen versehen werden, um dem Arbeiter anzuzeigen was zu tun ist. Beispielsweise können Anfangs- und Endpunkt mit unterschiedlichen Farben markiert werden. Besonders vorteilhaft ist es, wenn die Kamera Personen identifiziert und die Anzeige zumindest des Start- und Endpunkts einer Bewegungssequenz anhand einer persönlichen Einstellung (Profil) vornimmt. Dabei können Vorlieben aber auch Einschränkungen bestimmter Benutzer berück- sichtigt werden. Beispielsweise können der Startpunkt und der Endpunkt standardmäßig rot und grün markiert werden, aber beispielsweise lila und orange, wenn der Arbeiter eine Sehschwäche hinsichtlich der Unterscheidung von rot und grün hat. Für farbenblinde Menschen können der Startpunkt und der Endpunkt auch mit unterschiedlichen Formen, beispielsweise mit einem Kreis und einem Kreuz markiert werden. Generell stehen für die optische Markie- rung von Start- und Endpunkt beispielsweise Anzeigelampen oder auch Laserprojektoren zur Verfügung, welche durch die Strahlablenkung besonders flexibel zur Erzeugung verschiedener Markierungen eingesetzt werden können. Daneben können Start- und Endpunkt auch mit Hilfe eines Bildschirms oder auch einer entsprechenden Einblendung in eine Datenbrille erfolgen. Insbesondere mit Bildschirmen und Datenbrillen ist die Anzeige auch komplexer Be- wegungsabläufe möglich. Beispielsweise kann ein Arbeiter angewiesen werden, einen erfass- ten Gegenstand zu drehen, bevor er abgelegt wird. Neben optischen Markierungen oder zusätzlich dazu sind natürlich auch akustische Anweisungen möglich, beispielsweise„T-Shirt vom linken Stapel entnehmen, um 90° nach links drehen und in Versandkarton Nummer 1 ablegen". Auch ist es möglich, den Startpunkt und/oder Endpunkt einer Bewegungssequenz mit einer Anzahl und/oder Art (wenn ein Behälter verschiedenartige Waren enthält) der zu erfassenden/abzulegenden Waren markiert wird. Beispielsweise kann dies mit entsprechenden LED-Anzeigen, LCD-Anzeigen, Bildschirmen oder aber auch Projektoren erfolgen. Denkbar ist schließlich auch, dass der Startpunkt und Endpunkt einer Bewegungssequenz nicht gleichzeitig angezeigt werden, sondern zeitversetzt. Der Zeitversatz kann fix vorgegeben sein (z.B. eine Sekunde) oder anhand der Bewegungssequenz individuell berechnet/geschätzt werden. Eine Möglichkeit ist es auch, vorerst nur den Startpunkt anzuzeigen und den Endpunkt erst dann, wenn erkannt wird, dass die Ware vom Startpunkt entnommen wurde.
Vorteilhaft ist es, wenn vor Schritt a) eine Ware automatisch angeliefert und/oder nach Schritt c) abtransportiert wird, wenn der genannte Vergleich positiv ausfällt. Bei dieser Variante werden zu manipulierende Waren also automatisch angeliefert und/oder abtransportiert. Dazu wird der Ausgang des Vergleichs, ob eine Bewegung des Arbeiters und der Ware in einem Soll-Bereich einer ersten Bewegungssequenz liegen, ausgewertet. Ist das Ergebnis positiv, so kann die aktuelle Bewegungssequenz als abgeschlossen betrachtet, und bearbeitete Waren abtransportiert und/oder neue zu bearbeitende Waren angeliefert werden. Vorteilhaft braucht dieser Vorgang vom Arbeiter nicht explizit angefordert werden, beispielsweise durch Drücken einer entsprechenden Taste, sondern erfolgt automatisch. Auch das Ausführen einer bestimm- ten Geste ist dazu nicht nötig. Der Arbeiter kann somit effizienter arbeiten. Selbstverständlich kann aber auch vorgesehen sein, eine Anlieferung von Waren und deren Abtransport bewusst zu steuern, eben beispielsweise durch Drücken einer Taste oder durch Ausführen einer Geste.
Besonders vorteilhaft ist es, wenn die Ausgabe eines Korrektursignals beziehungsweise die Anlieferung und der Abtransport von Waren unterdrückt werden, wenn festgestellt wird, dass sich der Arbeiter von seinem Arbeitsplatz/ Arbeitsbereich entfernt hat. Bei dieser Variante wird also der Arbeitsablauf angehalten, wenn erkannt wird, dass sich der Arbeiter von seinem Arbeitsplatz/ Arbeitsbereich entfernt hat, beispielsweise um die Toilette aufzusuchen. Auch braucht der Arbeiter keine explizite Angabe machen, um den Arbeitsablauf zu stoppen oder wieder anzufahren. Das Stoppen oder Anfahren erfolgt automatisch als Konsequenz darauf, dass der Arbeiter am Arbeitsplatz/ Arbeitsbereich anwesend ist oder auch nicht. Selbstverständlich kann auch hier vorgesehen sein, eine Anlieferung von Waren und deren Abtransport bewusst zu steuern, wie erwähnt beispielsweise durch Drücken einer Taste oder durch Ausführen einer Geste.
Günstig ist es auch, wenn vor dem Schritt a) ein Ladehilfsmittel zu einem Bereitstellungsplatz an der Anlage antransportiert und die Kamera eine Position und/oder Lage des antransportierten Ladehilfsmittels relativ zum Bereitstellungsplatz, welcher eine Fördereinrichtung umfassen kann, erfasst sowie diesem zumindest ein Segment zugewiesen wird. Auf diese Weise können Lade-, Entlade- oder Sortiervorgänge sehr flexibel durchgeführt werden, da hierzu die Ladehilfsmittel (Quell-Box) aus einem (großen) automatisierten Lager herantransportiert werden können. Sobald das Ladehilfsmittel seine vorgegebene Position erreicht hat, wird diesem ein Segment zugeordnet, sodass die Schritte a) bis c) ausgeführt werden können. Selbstverständlich können einem Ladehilfsmittel auch mehrere Segmente zugeordnet werden. Dies ist zum Beispiel dann von Vorteil, wenn das Ladehilfsmittel unterteilt ist und zum Beispiel mehrere Fächer aufweist. Vorstellbar ist generell, dass die Ist-Position und/oder Ist-Lage des Ladehilfsmittels erfasst und für die Zuweisung des zumindest einen Segments herangezogen wird, sodass das zumindest eine Segment gut mit dem Ladehilfsmittel ausgerichtet werden kann. Dies kann beispielsweise mit der Kamera erfolgen. Günstig ist es in diesem Zusammenhang aber auch, wenn die Anwesenheit des Ladehilfsmittels auf einem Bereitstellplatz an der Anlage, insbesondere auf einer Fördereinrichtung für Quell-Boxen und/oder Fördereinrichtung für Ziel-Boxen, daher einem Bereitstellplatz (Andienungsplatz) für eine Quell-Box (Lagerbehälter) und/oder einem Bereitstellplatz (Pufferplatz) für eine Ziel-Box (Auftragsbehälter), mit Hilfe eines von der Kamera verschiedenen Sensors erfasst wird, beispielsweise mit einer Lichtschranke oder einem Schalter. Denkbar ist schließlich auch, dass die Ist-Position und/oder Ist-Lage des Ladehilfsmittels nicht weiter beachtet wird, und das zumindest eine Segment an einer Standardpo- sition zugewiesen wird, wenn die Anwesenheit eines Ladehilfsmittels detektiert wird. Das angelieferte Ladehilfsmittel kann generell leer sein oder bereits Waren enthalten, wenn es sich um eine Ziel-Box (Auftragsbehälter) handelt, oder mit Lagerware bestückt sein, wenn es sich um eine Quell-Box (Lagerbehälter) handelt. Es ist dabei möglich, dass das zumindest eine Segment in seiner Größenabmessung und/oder Lage variabel definiert und annähernd auf eine Kontur eines umlaufenden Randes des Ladehilfsmittels, welches sich in Position und/oder Lage am Bereitstellungsplatz befindet, abgestimmt wird. Die Definition„einer Kontur eines umlaufenden Randes des Ladehilfsmittels" ist dabei so zu verste- hen, dass die Kontur durch die Außenwände des Ladehilfsmittels definiert ist (insbesondere Ladehilfsmittel ohne Fachunterteilung) oder die Kontur durch die Trennwände oder Trenn- und Außenwände des Ladehilfsmittels definiert ist (Ladehilfsmittel mit Fachunterteilung bzw. Einzelfächern). Dies ist von Vorteil, da die Anforderung an die Positionier- und/oder Lagegenauigkeit der Ladehilfsmittel am Bereitstellplatz, insbesondere einer Ziel-Box an einem Bereitstellplatz für Ziel-Boxen, gering gehalten werden kann und dennoch eine exakte Erfassung eines Arbeitsvorganges (z.B. Entnahme einer Ware aus einer Quell -Box und Ablage dieser Ware in einer Ziel- Box) auch bei einer Abweichung der Ladehilfsmittel von einer Soll-Position und/oder Soll-Lage möglich ist. Es hat sich nämlich in der Praxis gezeigt, dass die Ist-Position und/oder Ist-Lage für die Ladehilfsmittel, welche am Bereitstellplatz (Andienungsplatz oder Pufferplatz) nacheinander - bevorzugt automatisiert - bereitgestellt werden, häufig von einer Soll-Position und/oder Soll-Lage für die Ladehilfsmittel abweicht. So kann ein Ladehilfsmittel zwar ausreichend genau in dessen Förderrichtung und/oder quer zur Förderrichtung auf der Fördereinrichtung bereitgestellt werden, jedoch kann dieses Ladehilfsmittel verdreht am Bereitstellplatz stehen. Durch die„dynamische Anpassungsfähigkeit" kann das Segment individuell und entsprechend der aktuell vorliegenden Situation verändert und der Erfassungsbereich der Kamera eingestellt werden. Das Erfassen der Ist-Position und/oder Ist-Lage erfolgt vorzugsweise mittels der ohnehin vorhandenen Kamera. Es wäre aber auch denkbar, dass eine zusätzliche Sensorik an der Anlage vorgesehen ist, welche geeignet ist, die Ist-Position und/oder Ist-Lage zu erfassen.
Nach einer anderen Ausführung der Erfindung ist es auch möglich, dass das zumindest eine Segment in seiner Größenabmessung auf ein durch die Kontur eines umlaufenden Randes des Ladehilfsmittels definiertes Flächenausmaß abgestimmt wird, wobei ein Flächenbereich des Segmentes mindestens 5% größer als das Flächenausmaß des Ladehilfsmittels und voreingestellt wird. Die Definition„einer Kontur eines umlaufenden Randes des Ladehilfsmittels" ist dabei so zu verstehen, dass die Kontur durch die Außenwände des Ladehilfsmittels definiert ist (insbesondere Ladehilfsmittel ohne Fachunterteilung) oder die Kontur durch die Trennwände oder Trenn- und Außenwände des Ladehilfsmittels definiert ist (Ladehilfsmittel mit Fachunterteilung bzw. Einzelfächern). Nach dieser Variante ist eine„statische Anpassungsfähigkeit" des Segmentes beispielwei- se individuell auf unterschiedliche Typen von Ladehilfsmitteln möglich, wobei der Erfassungsbereich der Kamera auf unterschiedliche Typen Ladehilfsmittel voreingestellt wird. Auch wäre eine Kombination aus„statische Anpassungsfähigkeit" und„dynamischer Anpassungsfähigkeit" des Segmentes denkbar. Günstig ist es zudem, wenn bei positivem Ausgang des Vergleichs in Schritt c) ein Ladehilfsmittel abtransportiert und eine Zuweisung des zumindest einen Segments aufgelöst wird. Auf diese Weise können Systemressourcen ökonomisch genutzt und ein Anhäufen von Segmenten vermieden werden. Das abtransportierte Ladehilfsmittel kann wiederum Waren ent- halten oder auch leer sein.
Vorteilhaft ist es weiterhin, wenn eine Bewegung ssequenz nur den Startpunkt und Endpunkt einer Bewegung enthält. Dadurch ist es möglich, den Berechnungsaufwand für das genannte Verfahren gering zu halten. Für die erfolgreiche Durchführung einer Bewegungssequenz ist es ausreichend, dass der Startpunkt und danach der Endpunkt durch den Arbeiter (respektive seiner Hand) und/oder einer Ware erreicht wird.
Besonders vorteilhaft ist es, wenn die Erfassung von Bewegungen zusätzlich zu einer zweidimensional abbildenden Kamera durch einen Raumtiefensensor erfolgt. Dadurch ist es mög- lieh, Bewegungen, die normal zur Bildebene der Kamera ausgeführt werden, auf einfache
Weise zu erfassen. Dies ist beispielsweise von Vorteil, wenn die Kamera frontal zum Arbeiter positioniert ist und Waren zwischen hintereinander stehenden Ladehilfsmitteln umsortiert werden. Zur Erfassung der Raumtiefe können beispielsweise Ultraschallsensoren oder auch Laserscanner eingesetzt werden. Eine vergleichsweise neue Entwicklung sind sogenannte „TOF-Kameras" („Time of Flight"), die mit Hilfe des Laufzeitverfahrens Distanzen messen können. Dazu wird der beobachtete Bereich mittels eines Lichtpulses ausgeleuchtet, und die Kamera misst für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht. Die benötigte Zeit ist dabei direkt proportional zur Distanz. In diesem Fall ist die Funktion der (herkömmlichen 2D) Kamera und des Raumtiefensensors in einem Gerät, näm- lieh der TOF-Kamera, vereinigt. Ergänzend wird angemerkt, dass ein räumliches Abbild eines Arbeitsplatzes/ Arbeitsbereichs natürlich auch mit Hilfe mehrerer 2D-Kameras gewonnen werden kann. Im allgemeinen sind dazu zumindest drei 2D-Kameras erforderlich.
Weiterhin wird angemerkt, dass ein„Segment" im Rahmen der Erfindung nicht notgedrungen zweidimensional ist, sondern auch dreidimensional sein kann. Dieses dreidimensionale Segment kann als beliebig geformter Teil des durch das Assistenzsystem beobachteten, dreidimensionalen„Erfassungsraums" verstanden werden. Während ein zweidimensionales Segment von einer Hüllkurve begrenzt ist, wird ein dreidimensionales Segmente von einer Hüll- fläche umgeben. Es wird angemerkt, dass diese Begriffe im Rahmen der Anmeldung synonymisch gebraucht werden. Das heißt, dass eine Lehre, welche sich auf eine Hüllkurve bezieht, sinngemäß auch auf Hüllflächen angewendet werden kann und umgekehrt. Gleichermaßen kann eine für 2D-Segmente offenbarte Lehre sinngemäß auch auf 3D-Segmente ange- wendet werden und umgekehrt. Ein Segment kann beispielsweise dann als„belegt" klassifiziert werden, wenn die Hüllkurve oder die Hüllfläche eines Segments von einem Arbeiter, insbesondere seiner Hand oder einem von ihm gehaltenen Werkzeug, durchbrochen wird. Der Vollständigkeit halber wird angemerkt, dass ein dreidimensionales Segment selbstverständlich auch über die Kanten seiner Hüllkurven definiert sein kann (Drahtgittermodell). Schließ- lieh wird auch erwähnt, dass die Belegung eines dreidimensionalen Segments sowohl durch Berechnungen im dreidimensionalen Raum festgestellt werden kann als auch durch Berechnungen in mehreren zweidimensionalen Ansichten. Beispielsweise kann ein dreidimensionales Segment dann als„belegt" klassifiziert werden, wenn die Hüllkurven mehrerer Projektionen in verschiedenen Ebenen durchbrochen werden. Insbesondere stehen die Projektionsebe- nen respektive die Achsen der beobachtenden Kameras orthogonal aufeinander. Bei geringeren Anforderungen an die Detektionssicherheit kann auch eine Beobachtung aus zwei verschiedenen Richtungen ausreichend sein. Besonders vorteilhaft ist es auch, wenn nur ein Teil des Erfassungsbereichs der zumindest einen Kamera beziehungsweise des Raumtiefensensors in die genannten Segmente unterteilt ist. Auf diese Weise kann der Berechnungsaufwand für das genannte Verfahren noch weiter reduziert werden, indem die Segmentierung auf einen Bereich konzentriert wird, in welchem die vorgegebenen Bewegungssequenzen ausgeführt werden. Denkbar ist es insbesondere auch, dass der genannte Teil des Erfassungsbereichs auf die jeweils auszuführende Bewegungssequenz angepasst wird, das heißt dass je Bewegungssequenz ein anderer Teil des Erfassungsbereichs segmentiert wird.
Besonders vorteilhaft ist es zudem, wenn die Körpergröße des Arbeiters erfasst und eine Bewegungssequenz entsprechend der erfassten Körpergröße angepasst wird. Dadurch ist es möglich, den Bewegungsablauf hinsichtlich ergonomischer Gesichtspunkte zu gestalten und somit die Leistungsfähigkeit des Arbeiters zu steigern und/oder gesundheitliche Langzeitschäden aufgrund schlechter Ergonomie zu vermeiden. Beispielsweise kann dabei eine Armlänge des Arbeiters berücksichtigt werden. Ist es beispielswese die Aufgabe des Arbeiters, Waren zwischen verschiedenen Ladehilfsmitteln umzusortieren, dann kann ein Arbeiter mit kurzer Armlänger angewiesen werden, die Ladehilfsmittel enger aufzustellen als ein Arbeiter mit langer Armlänge. Durch diese aktive Vorgabe können Bewegungen des Arbeiters vermieden werden, deren Schädlichkeit dem Arbeiter selbst nicht bewusst ist, etwa weil die einzelne Bewegung keine Schmerzen verursacht und Schäden erst nach langer Zeit und häufiger Ausführung der schädlichen Bewegung auftreten. Unter einer Anpassung eine Bewegungssequenz ent- sprechend der erfassten Körpergröße kann auch eine Verteilung der Arbeiten innerhalb einer Gruppe von Arbeitern verstanden werden. Beispielsweise werden Tätigkeiten, die große Armlänge und/oder große Körperhöhe erfordern, etwa die Bedienung eines relativ hohen Regals, an Arbeiter vergeben, welche diese Kriterien erfüllen. Dementsprechend werden kleine Arbeiter mit für sie passende Tätigkeiten betraut. Vorteilhaft ist es dazu, wenn eine Gruppe von Arbeitern unterschiedliche Eigenschaften aufweist (Diversifikation).
Besonders vorteilhaft ist es auch, wenn die Körpergröße des Arbeiters erfasst und ein Bereich, von dem Waren entnommen werden, und/oder ein Bereich, in dem Waren abgelegt werden, entsprechend der erfassten Körpergröße angepasst wird/werden. Auf diese Weise ist es mög- lieh, auch den Arbeitsplatz/ Arbeitsbereich für den Arbeiter automatisch hinsichtlich ergonomischer Gesichtspunkte zu gestalten und somit die Leistungsfähigkeit des Arbeiters zu steigern und/oder gesundheitliche Langzeitschäden aufgrund schlechter Ergonomie zu vermeiden. Insbesondere ist unter der genannten Anpassung eine Anpassung der Höhe der genannten Bereiche zu verstehen. Beispielsweise können eine Arbeitsfläche (ein Arbeitstisch) oder auch Fördermittel zur Anlieferung und/oder zum Abtransport von Waren in der Höhe verstellt werden. Beispielsweise können dazu Linearmotoren (etwa Spindelantriebe) eingesetzt werden. Natürlich sind auch andere Antriebe uneingeschränkt einsetzbar. Vorzugsweise kann dabei auch die Höhe eines Warenstapels und/oder eines Ladehilfsmittels berücksichtigt werden. Beispielsweise kann der Bereich, von dem gestapelte Waren entnommen werden, sukzessive nach oben verschoben werden, sodass die Waren immer in derselben Höhe entnommen werden können. Desgleichen kann der Bereich, in dem Waren abgelegt werden, sukzessive nach unten verschoben werden, sodass die Waren immer in derselben Höhe abgelegt werden können. Sind Waren aus einem hohen Ladehilfsmittel zu entnehmen oder in dieses abzulegen, kann dieses weiter nach unten verschoben werden als ein niedriges Ladehilfsmittel, sodass die Oberkante des Ladehilfsmittels stets in optimaler Höhe liegt. Selbstverständlich kann die optimale Arbeitshöhe auch auf den Boden des Ladehilfsmittels oder auf die Oberkante eines darin befindlichen Stapels bezogen werden. Insbesondere in letzterem Fall kann es sein, dass die Höhe des in einem Ladehilfsmittel befindlichen Stapels je nach Position der beobachten- den Kamera nicht einsehbar ist. In diesem Fall kann vorgesehen sein, dass die Höhe des Stapels anhand der Höhe der manipulierten Gegenstände errechnet wird.
Die Anpassung des Entnahmebereichs und/oder des Ablegebereichs auf die Körpergröße des Arbeiters ist keineswegs auf deren Höhe begrenzt. Beispielsweise kann auch eine Armlänge des Arbeiters dazu herangezogen werden, den Entnahmebereich und/oder der Ablegebereich entsprechend seitlich an den Arbeiter heran oder von diesem weg zu fahren. Die für die Höhenanpassung angestellten Erwägungen sind hier sinngemäß anzuwenden. Beispielsweise können der Entnahmebereich und/oder der Ablegebereich sukzessive seitlich verfahren wer- den, wenn Waren seitlich aneinandergereiht werden, also gleichsam ein„horizontaler Stapel" gebildet wird.
Günstig ist es weiterhin, wenn die zumindest eine Kamera vor und/oder über einem für den Arbeiter vorgesehenen Arbeitsplatz/ Arbeitsbereich positioniert wird. Auf diese Weise können die Bewegungen des Arbeiters und die Manipulation der Waren besonders gut verfolgt werden.
Vorteilhaft ist es zudem, wenn die Kamera verfahrbar ist. Dadurch ist eine Kamera flexibler einsetzbar, da sie einen Arbeitsplatz/ Arbeitsbereich bedarfsweise aus verschiedenen Blick- winkeln beobachten kann beziehungsweise auch zur Überwachung mehrerer Arbeitsplätze eingesetzt werden kann. Denkbar ist beispielsweise auch, dass mehrere Kameras an einem Arbeitsplatz/ Arbeitsbereich angeordnet sind oder dort zusammengezogen werden, wenn ein besonders schwieriger Vorgang zu beobachten ist. Generell können die Kameras mit beliebigen Mitteln verfahren werden. Beispielsweise können sie auf gelenkigen und motorisch be- wegbaren Armen („Roboterarmen") montiert sein oder auch entlang eines Schienensystems bewegt werden.
Zum besseren Verständnis der Erfindung wird diese anhand der nachfolgenden Figuren näher erläutert. Es zeigen:
Fig. 1 ein erstes schematisch dargestelltes Beispiel einer Anlage zur Manipulation von
Waren in Schrägansicht; Fig. 2 ein zweites schematisch dargestelltes Beispiel einer Anlage zur Manipulation von Waren in Schrägansicht;
Fig. 3 ein Beispiel für ein von einer Kamera erfasstes Bild mit einer eingezeichneten
Bewegungssequenz;
Fig. 4 ein Beispiel für ein von einer Kamera erfasstes Bild, das segmentiert ist;
Fig. 5 ein Beispiel für ein von einer Kamera erfasstes Bild mit eingezeichnetem Start- und Endpunkt einer Bewegungssequenz;
Fig. 6 ein Beispiel für ein von einer Kamera erfasstes Bild, das lediglich bereichsweise segmentiert ist; Fig. 7 wie Fig. 2, nur mit eingezeichneten Segmenten/Hüllkurven;
Fig. 8 die in Fig. 7 dargestellte Szenerie von oben im visuellen Bereich;
Fig. 9 wie Fig. 8, nur als Abbild der Raumtiefe;
Fig. 10 wie Fig. 9, nur mit einer in das Ladehilfsmittel abgesenkten Hand des Arbeiters;
Fig. 11-13 ein beispielhaftes Ablaufdiagramm zur Unterstützung eines Arbeiters bei der
Manipulation von Waren und
Fig. 14 ein beispielhaftes Ablaufdiagramm zur Überwachung„verbotener" Segmente.
Einführend sei festgehalten, dass in den unterschiedlich beschriebenen Ausführungsformen gleiche Teile mit gleichen Bezugszeichen bzw. gleichen Bauteilbezeichnungen versehen wer- den, wobei die in der gesamten Beschreibung enthaltenen Offenbarungen sinngemäß auf gleiche Teile mit gleichen Bezugszeichen bzw. gleichen Bauteilbezeichnungen übertragen werden können. Auch sind die in der Beschreibung gewählten Lageangaben, wie z.B. oben, unten, seitlich usw. auf die unmittelbar beschriebene sowie dargestellte Figur bezogen und sind bei einer Lageänderung sinngemäß auf die neue Lage zu übertragen. Weiterhin können auch Einzelmerkmale oder Merkmalskombinationen aus den gezeigten und beschriebenen unterschiedlichen Ausführungsbeispielen für sich eigenständige, erfinderische oder erfindungsgemäße Lösungen darstellen.
Fig. 1 zeigt einen Arbeiter 1 in einer Anlage 2 zur Manipulation von Waren 3. Die Anlage 2 umfasst einen Tisch 4, Mulden, in denen Ladehilfsmittel 5 (z.B. Kisten oder Boxen) eingestellt sind, Anzeigeeinrichtungen 6 (z.B. Lampen oder LEDs), Eingabetasten 7, einen Bildschirm 8 und eine Kamera 9. Die Kamera 9 dient dabei zum Erfassen von Bewegungen des Arbeiters 1 und optional von Bewegungen der Ware 3, welche durch den Arbeiter 1 manipuliert wird, Zusätzlich ist eine quer zum Tisch 4 verlaufende Fördereinrichtung 10 vorgesehen. Schließlich umfasst die Anlage 2 auch Mittel zum Vergleichen ob die erfassten Bewegungen des Arbeiters 1 und gegebenenfalls der Ware 3 in einem Soll-Bereich einer Bewegungssequenz liegen, sowie zur Ausgabe eines Korrektursignals, wenn dies nicht der Fall ist, wobei eine Bewegungssequenz das Erfassen und Ablegen wenigstens einer Ware 3 umfasst. Beispielsweise können die genannten Mittel durch einen im Bildschirm 8 integrierten Computer gebildet sein, in dem eine entsprechende Software abläuft.
Auf diese Weise kann ein Verfahren zur Unterstützung eines Arbeiters 1 in einer Anlage 2 zur Manipulation von Waren 3 realisiert werden, umfassend die Schritte:
a) Erfassen von Bewegungen des Arbeiters 1 mit zumindest einer anlagenseitig montierten Kamera 9,
b) Vergleichen ob die erfassten Bewegungen des Arbeiters 1 in einem Soll-Bereich einer ersten Bewegungssequenz liegen und
c) Ausgabe eines Korrektursignals und Fortsetzen bei Schritt a) mit der ersten Bewegungssequenz, wenn der Vergleich negativ ausfällt, oder Fortsetzen bei Schritt a) mit einer zweiten Bewegungssequenz, wenn der Vergleich positiv ausfällt, wobei eine Bewegungssequenz das Erfassen und Ablegen wenigstens einer Ware 3 umfasst. Beispielsweise kann die Aufgabe des Arbeiters 1 darin bestehen, Waren 3 für einen ausgehenden Auftrag zu kommissionieren. Dabei sind beispielsweise aus der linken und der mittleren Box 5 Waren 3 gemäß der Vorgabe eines Kommissioniersystems zu entnehmen und in die rechte Box 5 zu legen. Beispielsweise kann auf dem Bildschirm 8 dazu ausgeben werden: „Bitte zwei Waren aus der linken Box in die rechte Box legen, danach drei Waren aus der mittleren Box in die rechte Box legen". Selbstverständlich kann die Ausgabe auch akustisch erfolgen. Zusätzlich oder alternativ dazu, können auch die Anzeigeeinrichtungen 6 dazu genutzt werden. Beispielsweise kann die Anweisung lauten„Bitte zwei Waren aus der grün markierten Box in die rot markierte Box legen". Synchron mit der Ausgabe werden die entsprechenden Anzeigeeinrichtungen 6 aktiviert. Vor Schritt a) werden bei dieser Variante also der Startpunkt und der Endpunkt einer Bewegungssequenz angezeigt.
Denkbar wäre beispielsweise auch, dass die grüne Anzeigeeinrichtung 6 zweimal blinkt, um zu signalisieren, dass zwei Gegenstände zu entnehmen sind. Eine gesonderte Text- Anweisung kann dann auch entfallen.
Neben Farbmarkierungen können der Startpunkt und der Endpunkt der Bewegungssequenz auch mit unterschiedlichen Formen, beispielsweise mit einem Kreis und einem Kreuz oder auch mit der Anzahl/ Art der aufzunehmenden/abzulegenden Waren 3 markiert werden. Generell stehen für die optische Markierung von Start- und Endpunkt auch Laserprojektoren und Datenbrillen zur Verfügung.
Erst wenn dieser Vorgang durchgeführt wurde, dann wird die nächste Anweisung an den Ar- beiter 1 ausgeben, in unserem Fall„Drei Waren aus der grün markierten Box in die rot markierte Box legen". Nach dem Stand der Technik muss der Arbeiter 1 den ersten Vorgang bestätigen, um die nächste Anweisung zu erhalten. Dies erfordert einerseits einen zusätzlichen Arbeitsschritt und ist darüber hinaus fehleranfällig. Der Arbeiter 1 kann ja den Arbeitsgang prinzipiell auch dann bestätigen, wenn er ihn nicht oder fehlerhaft ausgeführt hat.
Durch das vorgestellte Verfahren kann einerseits die genannte Bestätigung unterbleiben, andererseits werden Fehler des Arbeiters 1 erkannt. Insbesondere kann das System einen drohenden Fehler im Ansatz vermeiden. Wird zum Beispiel bei der ersten Anweisung„Bitte zwei Waren aus der grün markierten Box in die rot markierte Box legen" erkannt, dass der Arbei- ter 1 einen Gegenstand aus der rot markierten Box 5 entnimmt, so kann eine Warnung an den Arbeiter 1 ausgegeben werden, bevor er tatsächlich die Waren 3 falsch einsortiert hat. Desgleichen kann eine Warnung ausgegeben werden, wenn er die Waren 3 zwar aus der richtigen Box 5 entnimmt, diese dann aber in eine falsche Richtung bewegt. Führt er den Vorgang dagegen richtig aus, dann springt das System zur nächsten Anweisung.
Selbstverständlich ist die aktive Bestätigung eines abgeschlossenen Arbeits schritts durch den Arbeiter 1 nicht prinzipiell ausgeschlossen. Neben dem Drücken von entsprechenden Tasten kann auch die Ausführung einer dafür vorgesehenen Geste vorgesehen sein. Zum Beispiel kann das Auflegen beider Hände am linken und rechten Ende der Tischkante„Arbeitsgang abgeschlossen - erwarte nächsten Arbeitsschritt" bedeuten. Das System kann auch dazu dienen, Waren 3 in den Boxen 5 zu sortieren. Beispielsweise lagern im rechten Behälter 5 gemischte Waren 3, die sortenrein in die mittlere Box 5 und die linke Box 5 sortiert werden sollen (beispielsweise weil mehrere Lagerbehälter aus Ungeschick zu Boden gefallen sind und um die im Lager verlaufenden Straßen freizuhalten eilig in einen einzelnen Behälter gefüllt wurden). Die Beobachtung der Kamera 9 kann hier wertvolle Dienste leisten, da das System erkennt, welche Ware 3 von welcher Quell-Box 5 in welche Ziel-Box 5 gelegt wird und prüft, ob dies auch korrekt ist.
Neben den genannten einfachen Anweisungen an den Arbeiter 1 können seitens des Systems auch komplexere Anweisungen erfolgen. Beispielsweise kann ein Arbeiter 1 angewiesen wer- den, einen erfassten Gegenstand in eine bestimmte Lage zu drehen, bevor er abgelegt wird.
In einer vorteilhaften Variante des Verfahrens wird vor Schritt a) eine Ware 3 automatisch angeliefert und/oder nach Schritt c) abtransportiert, wenn der genannte Vergleich, ob die erfassten Bewegungen des Arbeiters 1 und gegebenenfalls der Ware 3 in einem Soll-Bereich einer ersten Bewegungssequenz liegen, positiv ausfällt. Beispielsweise können zu manipulierende Waren 3 über die Fördereinrichtung 10 angeliefert und/oder abtransportiert werden. Zum Beispiel können Waren 3 aus den Boxen 5 in Versandkartons (nicht dargestellt) auf der Fördereinrichtung 10 hinein kommissioniert werden. Ist der Auftrag fertiggestellt, so wird dies vom System automatisch erkannt, und der volle Versandkarton wird in die Versandabtei- lung abtransportiert und ein neuer leerer Versandkarton wird für den nächsten Auftrag antransportiert. Aber auch der umgekehrte Fall ist denkbar, nämlich dass Waren 3 über die Fördereinrichtung 10 aus einem Lager antransportiert werden und in die bereitstehenden Boxen 5 kommissioniert werden. Ist die entsprechende Anzahl an Waren 3 aus dem Lagerbehäl- ter (nicht dargestellt) entnommen, so wird er über die Fördereinrichtung 10 wieder zurück ins Lager transportiert.
Anstelle der automatischen Anlieferung und des automatischen Abtransports kann selbstver- ständlich auch vorgesehen sein, eine Anlieferung von Waren 3 und deren Abtransport bewusst zu steuern, eben beispielsweise durch Drücken einer Taste 7 oder durch Ausführen einer Geste. Beispielsweise kann ein Schwenken des Arms nach rechts bedeuten, dass die Fördereinrichtung 10 den nächsten Behälter antransportiert. In einer bevorzugten Variante des zu Fig. 1 erläuterten Verfahrens wird die Ausgabe eines Korrektursignals beziehungsweise die Anlieferung und der Abtransport von Waren 3 unterdrückt, wenn festgestellt wird, dass sich der Arbeiter 1 von seinem Arbeitsplatz/Arbeitsbereich entfernt hat. Somit wird der Arbeitsablauf angehalten, wenn erkannt wird, dass sich der Arbeiter 1 von seinem Arbeitsplatz/ Arbeitsbereich entfernt hat, beispiels- weise um die Toilette aufzusuchen. Der Arbeiter 1 braucht dazu keine explizite Angabe zu machen, um den Arbeitsablauf zu stoppen oder wieder anzufahren. Das Stoppen oder Anfahren erfolgt automatisch als Konsequenz darauf, dass der Arbeiter 1 am Arbeitsplatz/Arbeitsbereich anwesend ist oder auch nicht. Selbstverständlich kann hier abweichend auch vorgesehen sein, eine Anlieferung von Waren 3 und deren Abtransport bewusst zu steu- ern, beispielsweise wiederum durch Drücken einer Taste 7 oder durch Ausführen einer Geste.
Vorteilhaft kann die Kamera 9 respektive eine Bildverarbeitungs-Software für das von der Kamera 9 erfasste Bild die Struktur des Arbeiters 1 erfassen, das heißt beispielsweise dessen Rumpf, Gliedmaßen, Kopf und insbesondere Hände erfassen. Es wird gleichsam ein Skelett des Arbeiters 1 gebildet, wodurch dessen Bewegungen besonders genau beziehungsweise differenziert erkannt werden können. Dadurch ist es möglich zu erkennen, ob eine Ware 3 tatsächlich erfasst wurde. Wird eine Ware 3 beispielsweise nur durch Kopf oder Rumpf verdeckt, so kann davon ausgegangen werden, dass diese nicht erfasst wurde. Wird sie dagegen von einer Hand oder beiden Händen des Arbeiters 1 verdeckt, dann ist die Wahrscheinlichkeit sehr hoch, dass die Ware 3 auch tatsächlich erfasst wurde. Das„Skelett" des Arbeiters 1 kann zusätzlich um von ihm gehaltene Werkzeuge (z.B. Zange, Greifer, etc.) erweitert und eine Ware 3 dann als erfasst klassifiziert werden, wenn die Ware 3 durch das Werkzeug verdeckt wird. Auch dann ist die Wahrscheinlichkeit sehr hoch, dass die Ware 3 auch tatsächlich er- fasst wurde.
Fig. 2 zeigt nun eine Anlage 2 zur Manipulation von Waren 3, welche der in Fig. 1 dargestell- ten Anordnung sehr ähnlich ist. Im Unterschied dazu ist die Kamera 9 aber nicht auf einer
Säule, sondern an einer Decke montiert. Insbesondere kann auch vorgesehen sein, dass diese beispielsweise in einer Schiene verfahrbar gelagert und motorisch angetrieben ist. Auf diese Weise können Kameras 9 flexibler eingesetzt werden. Da sich diese entlang festgelegter Bahnen bewegen, fällt deren Ortung deutlich leichter, als zum Beispiel die Ortung von Helmka- meras, die von Arbeitern 1 getragen werden.
Zusätzlich umfasst die in Fig. 2 dargestellte Anlage 2 noch einen Raumtiefensensor 11.
Dadurch ist es möglich, Bewegungen die normal zur Bildebene der (zweidimensional abbildenden) Kamera 9 ausgeführt werden, auf einfache Weise zu erfassen. Dies ist beispielsweise von Vorteil, wenn die Kamera 9 frontal zum Arbeiter 1 positioniert ist und Waren 3 zwischen hintereinander stehender Ladehilfsmittel umsortiert werden. Zur Erfassung der Raumtiefe können beispielsweise Infrarotsensoren, Ultraschallsensoren oder auch Laserscanner eingesetzt werden. Selbstverständlich können die Kamera 9 und der Raumtiefensensor 11 auch in einem gemeinsamen Gehäuse angeordnet sein. Alternativ oder zusätzlich können auch soge- nannte„TOF- Kameras" („Time of Flight") eingesetzt werden.
Fig. 3 zeigt ein beispielhaftes, von einer Kamera 9 erfasstes Bild (Hinweis: Das Bild zeigt nicht die in Fig. 1 und 2 dargestellten Anordnungen, sondern eine andere beispielhafte Anordnung. Im Speziellen sind die Boxen 5 nicht in speziellen Mulden angeordnet, sondern ein- fach auf den Tisch 4 gestellt). In der Fig. 3 ist auch eine erwartete Bewegungssequenz 12 dargestellt. Der Arbeiter 1 soll die Ware/das Objekt 3 von der linken oberen Box 5 in die linke untere Box 5 legen. Mit Hilfe der Kamera 9 und einer entsprechenden Bild Verarbeitung wird nun überprüft, ob die Hand des Arbeiters 1 und das Objekt 3 entlang der dargestellten Bahn bewegt werden. Trifft dies zu, so wird dies als erfolgreiches Ausführen der angeforderten Ak- tion gewertet. Trifft dies nicht zu, so wird ein Fehlersignal ausgegeben und versucht, die angeforderte Aktion herbeizuführen. Vorteilhaft ist es, wenn zusätzlich zur Bewegung des Arbeiters 1 die Bewegungen der Ware 3, welche durch den Arbeiter 1 manipuliert wird, vor dem Schritt b) mit der zumindest einen Kamera 9 respektive dem Raumtiefensensor 11 erfasst werden und im Schritt b) verglichen wird, ob die erfassten Bewegungen des Arbeiters 1 und der Ware 3 in einem Soll- Bereich einer ersten Bewegungssequenz 12 liegen. Dadurch, dass nicht nur der Arbeiter 1 erfasst wird, sondern auch die von ihm manipulierte Ware 3, ist die Überwachung von Bewegungsabläufen besonders sicher. Bei dieser Au sführungs Variante reicht es nicht aus, beispielsweise bloß die Hand in einer vorgegebenen Art und Weise zu bewegen. Stattdessen muss auch die Ware 3 in einer vorgegebenen Art und Weise bewegt werden.
Besonders vorteilhaft ist es, wenn eine Ware 3 als vom Arbeiter 1 erfasst klassifiziert wird, wenn diese zwischen dem Erfassen und Ablegen, insbesondere während der gesamten Bewegungssequenz 12, wenigstens teilweise durch eine Hand des Arbeiters 1 beziehungsweise ein von ihm gehaltenes Werkzeug (z.B. Zange, Greifer, usw.) verdeckt ist. In der Regel wird eine Ware 3 - anders als in Fig. 3 dargestellt - zumindest teilweise verdeckt, wenn sie vom Arbeiter 1 gehalten wird. Wird sie zwischen dem Erfassen (Startpunkt der Bewegungssequenz 12) und dem Ablegen (Endpunkt der Bewegungssequenz 12) beziehungsweise während der gesamten Bewegungssequenz 12 nicht vollständig erkannt, so kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass sie vom Arbeiter 12 in der vorgegebenen Weise bewegt wird und nicht beispielsweise bloß zwischen Start- und Endpunkt auf einem Arbeitstisch 4 liegt.
Zur Bestimmung, ob eine Ware 3 wenigstens teilweise verdeckt ist, können beispielsweise Daten aus einer Datenbank, in der 3D-Modelle der Waren 3 gespeichert sind, herangezogen werden. Entspricht eine Ansicht des betreffenden 3D-Modells nicht vollständig der von der Kamera 9 und/oder vom Raumtiefensensor 11 erfassten Ansicht der Ware 3, und entspricht insbesondere der verdeckte Anteil (wenigstens teilweise) einer Hand des Arbeiters 1 beziehungsweise einem von ihm gehaltenes Werkzeug, dann kann die Ware 3 als erfasst klassifiziert werden.
Eventuell kann auch vorgesehen sein, dass der Arbeiter 1 die Ware 3 nach dem Aufnehmen in eine definierte Position zur Kamera 9 zu drehen hat, damit dieser beispielsweise anhand seiner Kontur, Farbgebung, etc. erkannt werden kann. Fig. 4 zeigt dieselbe Szenerie wie Fig. 3. Nun ist das von der Kamera 9 erfasste Bild jedoch mit einem Raster 13 in mehrere matrizenartig angeordnete Felder 100..146 unterteilt. Der Erfassungsbereich der zumindest einen Kamera 9 beziehungsweise des Raumtiefensensors 11 ist somit in Segmente 100..146 unterteilt, und eine Bewegungssequenz 12 enthält eine Belegung der Segmente 100..146 durch den Arbeiter 1 und/oder der Ware 3. Gemäß der Bewegungssequenz 12 soll der Arbeiter 1 das Objekt 3 von der linken oberen Box 5 in die rechte obere Box 5 legen. Der Berechnungsaufwand wird bei dieser Variante des Verfahrens gering gehalten, da lediglich geprüft werden muss, ob die Hand des Arbeiters 1 und die Ware 3 die Seg- mente 132, 133 und 134 in der genannten Reihenfolge belegen.
Insbesondere, wenn die Boxen 5 wahlfrei auf einem Arbeitstisch 4 aufgestellt werden können (also wenn zum Beispiel vorgegebenen Mulden fehlen), kann es von Vorteil sein, auch den Tisch 4 in ein vorgegebenes Raster aufzuteilen, in welchem die Boxen 5 zu stellen sind. Dazu können beispielsweise Linien auf den Tisch 4 aufgemalt sein oder darauf projiziert werden. Auf diese Weise wird vermieden, dass Boxen 5 in einer ungünstigen Position aufgestellt werden, beispielsweise an den Kreuzungspunkten mehrerer Rasterlinien. In der Darstellung der Fig. 4 stehen zum Beispiel die aus Sicht des Arbeiters 1 hinteren Boxen 5 relativ ungünstig, weil sie vergleichsweise viele Segmente belegen.
Denkbar ist auch, dass eine Bewegungssequenz 12 nur den Startpunkt 132 und Endpunkt 134 einer Bewegung enthält, so wie dies in Fig. 5 dargestellt ist. In diesem Fall wird nur geprüft, ob die Hand des Arbeiters 1 und die Ware 3 die Segmente 132, und 134 in der genannten Reihenfolge belegen. Dadurch ist es möglich, den Berechnungsaufwand für das genannte Verfahren noch geringer zu halten. Für die erfolgreiche Durchführung einer Bewegungssequenz ist es ausreichend, dass Startpunkt und danach der Endpunkt durch den Arbeiter 1 (respektive seiner Hand) und/oder einer Ware 3 erreicht wird.
In Fig. 6 ist eine weitere Variante des Verfahrens dargestellt, bei der nur ein Teil des Erfas- sungsbereichs der zumindest einen Kamera 9 beziehungsweise des Raumtiefensensors 11 in die genannten Segmente 100..103 unterteilt ist. Durch die Konzentration der Segmentierung auf einen Bereich, in welchem die vorgegebenen Bewegungssequenzen ausgeführt werden, kann der Berechnungsaufwand für das genannte Verfahren noch weiter reduziert werden. In dem in Fig. 6 dargestellten Anwendungsfall werden als Beispiel nur den Boxen 5 zugeordnete Segmente 100..103 verwendet. Demnach kann die Überprüfung darauf beschränkt werden, ob die erwartete Bewegungssequenz 12 durch Belegung der für die aktuelle Bewegungssequenz 12 benötigten, das heißt„aktiven" Segmente 100 und 103 beziehungsweise optional zusätzlich auch durch Nicht-Belegung von für die aktuelle Bewegungssequenz 12 nicht benötigten, das heißt„inaktiven" Segmenten 101 und 102 ausgeführt wurde. Denkbar ist natürlich auch, dass mehrere Segmente im Aktionsbereich des Arbeiters 1 vorgesehen werden.
Denkbar ist es insbesondere auch, dass der segmentierte Teil des Erfassungsbereichs auf die jeweils auszuführende Bewegungssequenz 12 angepasst wird, das heißt je Bewegungssequenz 12 ein anderer Teil des Erfassungsbereichs segmentiert wird. Für die konkret dargestellte Bewegungssequenz 12 würde dies bedeuten, dass der Erfassungsbereich nur in die Segmente 100 und 103 (beziehungsweise auch in weitere im Aktionsradius des Arbeiters 1 benötigte Segmente) unterteilt wird.
Bei der vorgestellten Ausführungsform wird also gleichsam eine„Hüllkurve" um je eine Box 5 gelegt. Ein Segment 100 und 103 kann dann als belegt klassifiziert werden, wenn diese Hüllkurve vom Arbeiter 1, insbesondere dessen Hand, durchbrochen wird. Um eine falsche Klassifikation bei nur zufälligem Durchdringen der Hüllkurve zu vermeiden, kann auch vor- gesehen sein, dass ein Segment 100 und 103 für eine bestimmte Zeit (z.B. eine Sekunde) belegt sein muss, damit es auch als belegt klassifiziert wird.
Denkbar ist auch, dass vor dem Schritt a) ein Ladehilfsmittel 5 (z.B. Box, Behälter) bevorzugt automatisiert antransportiert und diesem zumindest ein Segment 100 und 103 zugewiesen wird. Auf diese Weise können Lade-, Entlade- oder Sortiervorgänge sehr flexibel durchgeführt werden, da hierzu die Ladehilfsmittel 5 aus einem (großen) Lager herantransportiert werden können. Sobald das Ladehilfsmittel 5 seine vorgegebene Position auf einem Bereitstellplatz an der Anlage 2, insbesondere einem Bereitstellplatz (Andienungsplatz) für eine Quell- Box (Lagerbehälter) und/oder einem Bereitstellplatz (Pufferplatz) für eine Ziel-Box (Auftragsbe- hälter), erreicht hat, wird diesem ein Segment 100 und 103 zugeordnet. Selbstverständlich können einem Ladehilfsmittel 5 auch mehrere Segmente 100 und 103 zugeordnet werden, insbesondere wenn das Ladehilfsmittel 5 unterteilt ist. Vorstellbar ist generell, dass die Ist-Position und/oder Ist-Lage des Ladehilfsmittels 5 erfasst und für die Zuweisung des zumindest einen Segments 100 und 103 herangezogen wird, sodass das zumindest eine Segment 100 und 103 und das dem Ladehilfsmittel 5 aufeinander abgestimmt werden Dies kann beispielsweise mit Hilfe der Kamera 9 erfolgen. Günstig ist es in diesem Zusammenhang aber auch, wenn die Anwesenheit des Ladehilfsmittels 5 am Bereitstellplatz an der Anlage 2 mit Hilfe eines von der Kamera 9 verschiedenen Sensors erfasst wird, beispielsweise mit einer Lichtschranke oder einem Schalter. Denkbar ist schließlich auch, dass die Ist-Position und/oder Ist-Lage des Ladehilfsmittels 5 nicht weiter beachtet wird, und das zumindest eine Segment 100 und 103 an einer Standardposition zugewiesen wird, wenn die Anwesenheit eines Ladehilfsmittels 5 detektiert wird. Das angelieferte Ladehilfsmittel 5 kann generell leer sein oder bereits Waren 3 enthalten.
Günstig ist es weiterhin, wenn bei positivem Ausgang des Vergleichs in Schritt c) ein Ladehilfsmittel 5 abtransportiert und eine Zuweisung des zumindest einen Segments 100 und 103 aufgelöst wird. Auf diese Weise können Systemressourcen ökonomisch genutzt und ein Anhäufen von Segmenten 100 und 103 vermieden werden. Das abtransportierte Ladehilfsmittel 5 kann wiederum Waren 3 enthalten oder auch leer sein.
Fig. 7 zeigt nun den schon in Fig. 2 dargestellten Arbeitsplatz, nun aber mit Segmenten bezie- hungsweise Hüllkurven/Hüllflächen 100..102 über den Boxen 5. Dies soll visualisieren dass die Segmente/Hüllkurven 100..102 nicht notgedrungen planar beziehungsweise zweidimensional sind, sondern auch räumlich beziehungsweise dreidimensional sein können. Dies ist insbesondere dann von Vorteil, wenn der Arbeitsplatz/ Arbeitsbereich mit einem Raumtiefensensor 11 oder einer Anordnung mehrerer 2D-Kameras dreidimensional erfasst werden kann. Die weiter oben offenbarte Lehre bezüglich zweidimensionaler Segmente/Hüllkurven 100..146 ist natürlich uneingeschränkt auch auf dreidimensionale Segmente/Hüllkurven 100..102 anwendbar. Ergänzend wird erwähnt, dass die Segmente/Hüllkurven 100..102 in Fig. 7 natürlich auch eine andere Form aufweisen können, beispielweise die Form einer Halbkugel oder auch unregelmäßige Formen.
Fig. 8 zeigt die in Fig. 7 dargestellte Szenerie nun ausschnittsweise von oben. Konkret sind der Tisch 4, die Ladehilfsmittel 5, die Waren 3, die Anzeigeeinrichtungen 6, die Eingabetasten 7 sowie eine Hand des Arbeiters 1 dargestellt, die sich abweichend von der Fig. 7 aller- dings über dem rechten Ladehilfsmittel 5 befindet. Den Ladehilfsmitteln 5 sind wiederum die Segmente 100..102 zugeordnet. In der Fig. 8 ist die Szenerie im visuellen Bereich dargestellt, also so wie sie das menschliche Auge wahrnimmt. Fig. 9 zeigt dieselbe Szenerie nun als Abbild der Raumtiefe, also so wie sie von einer Raumtiefenkamera bzw. einem Raumtiefensensor 11 wahrgenommen wird. Von der Raumtiefenkamera bzw. dem Raumtiefensensor 11 unterschiedlich weit entfernte Flächen sind in der Fig. 9 unterschiedlich schraffiert. In einer realen Ausführung können unterschiedliche Entfernungen natürlich auch unterschiedlichen Grauwerten oder Farbwerten zugeordnet werden. Beispielsweise werden weiter entfernte Gegenstände hellgrau, nähere Gegenstände dunkelgrau dargestellt.
In der Fig. 9 ist anhand der Schraffuren zu sehen, dass die Hand des Arbeiters 1 über dem Ladehilfsmittel 5 positioniert ist, da die Hand anders schraffiert ist als der Boden der Lade- hilfsmittel 5 und auch anders als der Tisch 4. Weiterhin ist in der Fig. 9 erkennbar, dass die Anzeigeeinrichtungen 6 und die Eingabetasten 7 "verschwinden", da diese in dem konkret dargestellten Beispiel eben in den Tisch 4 eingebaut sind.
In der Fig. 10 ist die Hand des Arbeiters 1 gegenüber der in Fig. 9 gezeigten Darstellung ab- gesenkt. Die Hand weist nun dieselbe Schraffur auf wie die Waren 3. Die Fig. 10 zeigt die
Anordnung dabei vereinfacht, da sich die gesamte Hand auf einer anderen Ebene befindet wie der Arm des Arbeiters 1. In der Realität sind der Arm und die Hand natürlich schräg verlaufend und nicht stufenförmig ausgerichtet. Ein Segment 100..102 gilt beispielsweise dann als belegt, wenn die Hand des Arbeiters 1
(und/oder zum Beispiel ein von dieser gehaltenes Werkzeug) in einem bestimmten räumlichen Bereich detektiert wird. Im konkreten Fall wird angenommen, dass dieser Raumbereich dem von einem Ladehilfsmittel 5 umfassten Bereich entspricht. In der Fig. 9 ist die Hand des Arbeiters 1 oberhalb dieses Bereichs positioniert. Das Segment 100 gilt also als nicht belegt. In der Fig. 10 ist die Hand des Arbeiters 1 dagegen in das Ladehilfsmittel 5 abgesenkt. Das
Segment 100 gilt also als belegt. Auf diese Weise wird vermieden, dass eine lediglich oberhalb eines Segments 100..102 detektierte Hand seitens des Systems als Erfassen oder Ablegen einer Ware 3 missverstanden wird. Erst das Belegen eines (räumlichen) Segments 100..102 wird als Erfassen oder Ablegen einer Ware 3 aufgefasst.
Im obigen Beispiel wurde davon ausgegangen, dass der Raumbereich, in dem das Erfassen oder Ablegen einer Ware 3 detektiert wird, dem von einem Ladehilfsmittel 5 umfassten Bereich entspricht. Dies ist aber keine notwendige Bedingung. Der genannte Raumbereich kann auch nur einen Teilbereich umfassen, insbesondere vom Boden wegreichend und somit dem Bereich entsprechen, welche eine in das Ladehilfsmittel 5 eingefüllte Flüssigkeit einnehmen würde. Der Raumbereich kann aber auch vom Boden beabstandet angeordnet sein, ähnlich dem Raumbereich, den eine auf Wasser schwimmende Ölschicht im Ladehilfsmittel 5 einnehmen würde. Der Raumbereich kann aber auch über das Ladehilfsmittel 5 hinausragen (vergleiche Fig. 7) oder quasi über dem Ladehilfsmittel 5 schweben.
Aus den Figuren 8 bis 9 wird klar, dass die Erfassung der Raumtiefe für das Verfahren zur Unterstützung des Arbeiters 1 an sich ausreichend ist. Die Kamera 9 kann daher als Raumtiefenkamera ausgeführt sein und insbesondere ausschließlich zur Erfassung der Raumtiefe vorgesehen sein. Ein gesonderter Raumtiefensensor 11 ist dann nicht mehr erforderlich. Generell sind die Grenzen zwischen Raumtiefenkamera und Raumtiefensensor fließend und prinzipiell sind die im Zusammenhang mit den Figuren 1 bis 7 erläuterten Varianten und daraus resultie- renden Vorteile sinngemäß auch auf eine Ausführungsform anwendbar, bei der die Kamera 9 ausschließlich zur Erfassung der Raumtiefe vorgesehen ist.
Vorzugsweise ist eine Raumtiefenkamera 9 direkt über dem Arbeiter 1 positioniert, sodass diese direkt das in der Fig. 9 beziehungsweise in Fig. 10 dargestellte Bild liefert. Denkbar ist aber auch, dass diese etwas schräg oberhalb des Arbeiters 1 positioniert ist, wobei dann zu berücksichtigen ist, dass z.B. die Ladehilfsmittel 5 und auch die Segmente 100..102 aufgrund ihres Abstandes in der Ebene nicht gleich weit von der Raumtiefenkamera 9 entfernt sind. Die Segmente 100..102 gelten dann bei unterschiedlichen Abständen als belegt, die eben durch die Position der betreffenden Segmente 100..102 in der Ebene mitbestimmt werden.
Denkbar wäre auch, das von der Raumtiefenkamera 9 erfasste Bild insofern zu korrigieren, als die Relativposition eines Segments 100..102 zur Raumtiefenkamera 9 in der Ebene berücksichtigt. Die "Bildebene" der Raumtiefenkamera 9 kann also rechnerisch geneigt werden. Trotz der Position der Raumtiefenkamera 9 schräg oberhalb des Arbeiters 1 erscheinen die Segmente 100..102 dann gleich weit entfernt.
Ganz generell und daher nicht nur im Zusammenhang mit der in den Figuren 8 bis 10 darge- stellten Ausführungsform können weitere Parameter zur Entscheidung, ob ein Segment 100..102 nun belegt ist oder nicht, herangezogen werden. Beispielsweise kann die Verweildauer der Hand des Arbeiters 1 in einem Segment 100..102 für die Entscheidung herangezogen werden. Insbesondere wenn die Verweildauer für die Erfassung einer Ware 3 kürzer ist als dies allgemein dafür erforderlich wäre, so kann das Segment 100..102 als nicht belegt betrachtet werden. Ein weiterer Parameter für die genannte Entscheidung kann die Geschwindigkeit der Hand des Arbeiters 1 sein. Wird ein Segment 100..102 zu schnell durchstrichen, so kann dies auch ein Indiz dafür sein, dass eine Ware 3 nicht ordnungsgemäß erfasst beziehungsweise abgelegt wurde. Weiterhin kann der Verlauf der Geschwindigkeit und/oder die Beschleunigung der Hand des Arbeiters 1 für die Entscheidung, ob ein Segment 100..102 nun belegt ist oder nicht, herangezogen werden. Wird ein Segment 100..102 mit konstanter Geschwindigkeit durchstrichen beziehungsweise werden dabei keine oder nur geringe Beschleunigungen gemessen, so kann dies auch ein Indiz dafür sein, dass eine Ware 3 nicht ordnungsgemäß erfasst beziehungsweise abgelegt wurde. Üblicherweise wird eine Hand beim Erfassen beziehungsweise Ablegen einer Ware 3 ja verlangsamt. Umgekehrt kann eine Detektion einer solchen Verzögerung wieder ein positives Indiz für das Erfassen/ Ablegen einer Ware 3 sein. Insbesondere sollte beim Hineingreifen in ein Ladehilfsmittel 5 auch eine Umkehrung der Bewegung in vertikaler Richtung detektierbar sein. Ist dies nicht der Fall, so liegt unter Umständen ein Fehler in der Auswertung vor. Zur Detektion einer Hand oder eines Werkzeugs in oder über einem Segment 100..102 kann auch vorgesehen sein, dass einfach ein Bereich einer bestimmten Größe (zum Beispiel eine bestimmte Anzahl von Pixeln) in dem betreffenden
Bildbereich festgestellt wird. Das heißt, dass in einer einfachen Ausführungsform nur geprüft wird, ob ein Bereich einer bestimmten (Mindest)größe erkannt wird. Zusätzlich oder alternativ kann auch die Form des erkannten Bereichs ausgewertet werden. Für die korrekte Ausführung eines Arbeitsschritts kann auch vorgesehen sein, dass die Anfangs- und Endsegmente, in denen Waren 3 aufgenommen beziehungsweise abgelegt werden belegt, bestimmte dazwischen liegende Segmente jedoch nicht belegt sondern nur überstrichen werden. Ist zum Beispiel verlangt, eine Ware 3 vom rechten Ladehilfsmittel 5 in das linke Ladehilfsmittel 5 umzulagern, so kann vorgesehen sein, dass zuerst das Segment 100 belegt werden muss (Aufnehmen der Ware 3), dann das Segment 101 überstrichen werden muss, d.h. die Hand darüber hinweg geführt werden muss, und schließlich das Segment 102 belegt werden muss (Ablegen der Ware 3).
Umgekehrt ist es vorstellbar, dass "verbotene" Segmente 100..102 definiert werden. Ist zum Beispiel verlangt, eine Ware 3 vom mittleren Ladehilfsmittel 5 in das linke Ladehilfsmittel 5 umzulagern, so kann vorgesehen sein, dass das Segment 100 nicht überstrichen werden darf, sondern ausschließlich das Segmente 101 (Aufnehmen der Ware 3) und das Segment 102 be- legt werden müssen (Ablegen der Ware 3).
In einer weiteren bevorzugten und ganz allgemein anwendbaren Ausführungsform wird die Körpergröße des Arbeiters 1 erfasst und eine Bewegungssequenz 12 entsprechend der erfass- ten Körpergröße angepasst.
Dadurch ist es möglich, den Bewegungsablauf hinsichtlich ergonomischer Gesichtspunkte zu gestalten und somit die Leistungsfähigkeit des Arbeiters 1 zu steigern und/oder gesundheitliche Langzeitschäden aufgrund schlechter Ergonomie zu vermeiden. Beispielsweise kann dabei eine Armlänge des Arbeiters 1 berücksichtigt werden. Ist es wie in Fig. 6 dargestellt bei- spielswese die Aufgabe des Arbeiters 1, Waren 3 zwischen verschiedenen Ladehilfsmitteln 5 umzusortieren, dann kann ein Arbeiter 1 mit kurzer Armlänger angewiesen werden, die Ladehilfsmittel 5 enger aufzustellen als ein Arbeiter 1 mit langer Armlänge. Diese Vorgabe kann beispielsweise über den Bildschirm 8 erfolgen oder implizit auch dadurch, dass ein auf den Tisch 4 projizierter Raster enger oder weiter ist. Auf diese Weise wird ein Bereich, von dem Waren 3 entnommen werden, und/oder ein Bereich, in dem Waren 3 abgelegt werden, entsprechend der erfassten die Körpergröße des Arbeiters 1 angepasst.
Insbesondere ist unter der genannten Anpassung auch eine Anpassung der Höhe der genannten Bereiche zu verstehen. Beispielsweise können ein Arbeitstisch 4 oder auch die Fördermit- tel 10 höhenverstellbar ausgeführt sein. Beispielsweise können zur Höhenverstellung Linearmotoren (etwa Spindelantriebe) oder auch andere Antriebe eingesetzt werden. Wird die Anwesenheit eines großen Arbeiters 1 von der Kamera 9 erkannt, dann werden der Arbeits- tisch 4 und/oder die Fördermittel 10 nach oben gefahren. Wird ein kleiner Arbeiter 1 erkannt, dann dementsprechend nach unten.
Vorzugsweise kann auch die Höhe eines Warenstapels und/oder eines Ladehilfsmittels 5 be- rücksichtigt werden. Beispielsweise können die Bodenflächen der in den Fig. 1 und 2 dargestellten Mulden höhenverstellbar sein. Sind Waren 3 aus einem hohen Ladehilfsmittel 5 zu entnehmen oder in dieses abzulegen, kann dieses weiter nach unten verschoben werden als ein niedriges Ladehilfsmittel 5, sodass die Oberkante oder auch der Boden des Ladehilfsmittels 5 stets in optimaler Höhe liegt.
Insbesondere, wenn Waren 3 zu stapeln sind, zum Beispiel Kleidungsstücke, so kann der Bereich, von dem gestapelte Waren 3 entnommen werden, sukzessive nach oben verschoben werden, sodass die Waren 3 immer in derselben Höhe entnommen werden. Desgleichen kann der Bereich, in dem Waren 3 abgelegt werden, sukzessive nach unten verschoben werden, sodass die Waren 3 immer in derselben Höhe abgelegt werden.
Dieses Verfahren ist auch anwendbar, wenn Waren 3 in einem Ladehilfsmittel 5 zu stapeln sind. Wenn die Höhe des in einem Ladehilfsmittel 5 befindlichen Stapels durch die Kamera 9 nicht einsehbar ist, kann die Höhe des Stapels auch anhand der Höhe der manipulierten Ge- genstände errechnet werden.
Die Anpassung des Entnahmebereichs und/oder des Ablegebereichs auf die Körpergröße des Arbeiters 1 ist keineswegs auf die Höhe beschränkt. Beispielsweise kann auch eine Armlänge des Arbeiters 1 dazu herangezogen werden, den Entnahmebereich und/oder der Ablegebereich entsprechend seitlich an den Arbeiter 1 heran oder von diesem weg zu fahren. Die für die Höhenanpassung angestellten Erwägungen sind hier sinngemäß anzuwenden. Beispielsweise können der Entnahmebereich und/oder der Ablegebereich sukzessive seitlich verfahren werden, wenn Waren 3 seitlich aneinandergereiht werden, also gleichsam ein„horizontaler Stapel" gebildet wird.
Durch diese aktiven Vorgaben können Bewegungen des Arbeiters 1 vermieden werden, deren Schädlichkeit dem Arbeiter 1 selbst nicht bewusst ist, etwa weil die einzelne Bewegung keine Schmerzen verursacht und Schäden erst nach langer Zeit und häufiger Ausführung der schädlichen Bewegung auftreten.
Unter einer Anpassung eine Bewegungssequenz 12 entsprechend der erfassten Körpergröße kann auch eine Verteilung der Arbeiten innerhalb einer Gruppe von Arbeitern 1 verstanden werden. Beispielsweise werden Tätigkeiten, die große Armlänge und/oder große Körperhöhe erfordern, etwa die Bedienung eines relativ hohen Regals, an Arbeiter 1 vergeben, welche diese Kriterien erfüllen. Dementsprechend werden kleine Arbeiter 1 mit für sie passende Tätigkeiten betraut. Vorteilhaft ist es dazu, wenn eine Gruppe von Arbeitern 1 unterschiedliche Eigenschaften aufweist (Diversifikation).
In diesem Zusammenhang wird generell darauf hingewiesen, dass das vorgestellte Verfahren natürlich nicht auf die Anwendung an einem Arbeitstisch 4 beschränkt ist sondern auch auf andere Einrichtungen in einem Lager, wie zum Beispiel auf Arbeiten an einem Regal, ange- wendet werden kann. Beispielsweise können solche Regale nicht nur zum Lagern von Waren 3, sondern auch zum Kommissionieren dienen. Abweichend von den in den Figuren 1 und 2 Anordnungen können natürlich auch mehrere Kameras 9 und/oder Raumtiefensensoren 11 eingesetzt werden, deren Erfassungsbereiche sich auch überlappen können. Insbesondere können eine Kamera 9 und/oder ein Raumtiefensensor 11 auch verfahrbar ausgeführt sein.
Durch die Erfassung von sowohl der Bewegung eines Arbeiters 1 und der von ihm bewegten Waren 3 von einem abgesetzten Beobachterstandort ist das System sehr flexibel unter wechselnden Bedingungen einsetzbar und erkennt den überwachten Arbeitsablauf mit hoher Si- cherheit. Damit wird die Überwachung eines Arbeitsablaufs deutlich verbessert. Im Einzelnen resultieren insbesondere folgende die schon weiter oben ausführlich erläuterten Vorteile:
Die Bewegungen eines Arbeiters 1 können unabhängig von dessen Blickrichtung überwacht werden.
Der Arbeiter 1 ist leistungsfähiger, da er nicht durch eine Helmkamera beeinträchtigt wird.
Das System kann nicht„außer Tritt" fallen, da die Position der beobachtenden Kamera 9 stets bekannt ist.
Die Überwachung der Manipulation schwer zu unterscheidender Gegenstände wird erleichtert.
Die Überwachung mehrerer Arbeiter 1, die zusammenarbeiten und beispielsweise einander Gegenstände übergeben oder einen Gegenstand gemeinsam tragen wird erleichtert.
Einschränkungen oder auch Vorzüge eines Arbeiters 1, die aufgrund seines Körper- baus gegeben sind, können berücksichtigt werden.
Die Figuren 11 bis 13 zeigen nun einen beispielhaften Ablauf zur Unterstützung eines Arbeiters 1, bei dem nach Erteilung eines Auftrags an diesen die Anwesenheit eines Ladehilfsmittels 5 (LHM), insbesondere einer Quell-Box und/oder einer Ziel-Box, überprüft wird. Ist dies vorhanden, so wird dessen Position und/oder Lage erfasst und dem Ladehilfsmittel 5 dementsprechend ein Segment 100..146 zugewiesen. Im vorliegenden Beispiel wird angenommen, dass es sich dabei um eine Hüllfläche handelt. Selbstverständlich ist es aber auch möglich, dass es sich dabei um ein Hüllvolumen handelt. Wie eingangs erwähnt ist für das Segment 100..146 eine„statische Anpassungsfähigkeit" oder „dynamische Anpassungsfähigkeit" möglich.
Danach wird eine Objektsuche gestartet, bei der untersucht wird, ob sich eine Hand eines Arbeiters 1, ein von ihm gehaltenes Werkzeug oder ähnliches in einem vorgegebenen Bereich befindet. Zuerst wird dazu überprüft, ob ein detektiertes Objekt eine bestimmte Größe aufweist beziehungsweise überschreitet. Ist dies nicht der Fall, so wird die Objektsuche fortgesetzt. Trifft dies jedoch zu, so wird überprüft, ob sich das Objekt über einem Segment 100..146 befindet, das einem Ladehilfsmittel 5 zugeordnet ist. Ist dies nicht der Fall, so wird die Objektsuche fortgesetzt. Trifft dies jedoch zu, so wird geprüft, ob das betreffende Segment 100..146 Teil des erteilten Auftrags ist, das heißt ob es sich um ein in der vorgegebenen Bewegungssequenz erwartetes Segment 100..146 handelt. Ist dies nicht der Fall, wird eine Warnung ausgegeben und die Objektsuche fortgesetzt. Trifft dies dagegen zu, so wird geprüft, ob das Objekt die Hüllkurve des Segments 100..146 durchdringt respektive sich das Objekt im Hüllvolumen befindet. Ist dies nicht der Fall, wird mit der Objektsuche fortgesetzt. Ist dies jedoch der Fall, so wird geprüft, ob das Objekt die genannte Hüllkurve eine vorgegebene Zeit lang durchdringt respektive sich in dem genannten Hüllvolumen befindet. Trifft dies zu, so wird eine Ware 3 als erfasst oder abgelegt klassifiziert (d.h. ein„Pick" oder ein„Put" erkannt). Ist dies jedoch nicht der Fall, so wird mit der Objektsuche fortgesetzt. Der Ablauf endet, wenn der Auftrag mit dem Pick oder dem Put beendet ist. Andernfalls wird mit der Objektsuche fortgesetzt.
Gleichzeitig mit dem in den Figuren 11 bis 13 dargestellten Ablauf, kann auch überprüft wer- den, ob sich ein Objekt, also eine Hand eines Arbeiters 1, ein von ihm gehaltenes Werkzeug oder ähnliches sich nicht in einem vorgegebenen Bereich („verbotenes Segment") befindet. Bei der Erteilung eines Auftrags werden dazu verbotene Segmente 100..146 definiert. Im vorliegenden Beispiel wird angenommen, dass es sich dabei um eine Hüllfläche oder ein Hüllvolumen handelt.
Bei der darauf folgenden Objektsuche wird wiederum geprüft, ob ein detektiertes Objekt eine bestimmte Mindestgröße aufweist. Ist dies nicht der Fall, so wird mit der Objektsuche fortgesetzt. Trifft dies jedoch zu, so wird geprüft, ob sich das Objekt in einem verbotenen Segment 100..146 befindet. Ist dies der Fall, wird eine Warnung ausgegeben und mit der Objekt- suche fortgesetzt. Trifft dies jedoch nicht zu, so wird geprüft, ob der Auftrag beendet ist. Ist dies nicht der Fall wird weiter mit der Objektsuche fortgesetzt. Ansonsten endet der Ablauf.
Die Ausführungsbeispiele zeigen mögliche Ausführungsvarianten eines erfindungsgemäßen Assistenzsystems, wobei an dieser Stelle bemerkt sei, dass die Erfindung nicht auf die speziell dargestellten Ausführungsvarianten desselben/derselben eingeschränkt ist, sondern vielmehr auch diverse Kombinationen der einzelnen Ausführungsvarianten untereinander möglich sind und diese Variationsmöglichkeit aufgrund der Lehre zum technischen Handeln durch gegenständliche Erfindung im Können des auf diesem technischen Gebiet tätigen Fachmannes liegt. Es sind also auch sämtliche denkbaren Ausführungsvarianten, die durch Kombinationen ein- zelner Details der dargestellten und beschriebenen Ausführungsvariante möglich sind, vom Schutzumfang mit umfasst.
Insbesondere wird festgehalten, dass die dargestellten Vorrichtungen in der Realität auch mehr oder weniger Bestandteile als dargestellt umfassen können und in den Figuren bisweilen stark vereinfacht dargestellt sind. Der Ordnung halber sei abschließend darauf hingewiesen, dass die dargestellten Vorrichtungen sowie ihre Bestandteile zum besseren Verständnis ihres Aufbaus darüber hinaus teilweise unmaßstäblich und/oder vergrößert und/oder verkleinert dargestellt wurden.
Die den eigenständigen erfinderischen Lösungen zugrundeliegende Aufgabe kann der Beschreibung entnommen werden.
Bezugszeichenaufstellung
Arbeiter
Anlage zur Manipulation von Waren
Objekt (Ware)
Tisch
Ladehilfsmittel (Kiste, Box)
Anzeigelampe
Taste
Bildschirm
Kamera
Fördereinrichtung
Raumtiefensensor
Bewegungssequenz
Raster
Feld

Claims

P a t e n t a n s p r ü c h e
1. Verfahren zur Unterstützung eines Arbeiters (1) in einer Anlage (2) zur Manipulation von Waren (3) umfassend die Schritte:
a) Erfassen von Bewegungen des Arbeiters (1) mit zumindest einer anlagenseitig montierten Kamera (9),
b) Vergleichen ob die erfassten Bewegungen des Arbeiters (1) in einem Soll- Bereich einer ersten Bewegungssequenz (12) liegen,
c) Ausgabe eines Korrektursignals und Fortsetzen bei Schritt a) mit der ersten Be- wegungs sequenz (12), wenn der Vergleich negativ ausfällt oder Fortsetzen bei Schritt a) mit einer zweiten Bewegungssequenz (12), wenn der Vergleich positiv ausfällt, wobei eine Bewegungssequenz (12) das Erfassen und Ablegen wenigstens einer Ware (3) umfasst, wobei der Erfassungsbereich der zumindest einen Kamera (9) in Segmente (100..146) unterteilt ist und wobei eine Bewegungssequenz (12) eine Belegung der Segmente (100..146) durch den Arbeiter ( 1 ) enthält.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bewegungen der Ware (3), welche durch den Arbeiter (1) manipuliert wird, vor dem Schritt b) mit der zumindest einen Kamera (9) erfasst werden und im Schritt b) verglichen wird, ob die erfassten Be- wegungen des Arbeiters (1) und der Ware (3) in einem Soll-Bereich einer ersten Bewegungssequenz (12) liegen.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eine Ware (3) als vom Arbeiter (1) erfasst klassifiziert wird, wenn diese zwischen dem Erfassen und Ablegen wenigstens teilweise durch eine Hand des Arbeiters (1) beziehungsweise ein von ihm gehaltenes Werkzeug verdeckt ist.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass vor Schritt a) zumindest der Startpunkt (132) und/oder der Endpunkt (134) einer Bewegungsse- quenz (12) angezeigt werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass vor
Schritt a) eine Ware (3) automatisch angeliefert und/oder nach Schritt c) abtransportiert wird, wenn der genannte Vergleich positiv ausfällt.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die
Ausgabe eines Korrektursignals beziehungsweise die Anlieferung und der Abtransport von Waren (3) unterdrückt wird, wenn festgestellt wird, dass sich der Arbeiter (1) von seinem Arbeitsplatz entfernt hat.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass vor dem Schritt a) ein Ladehilfsmittel (5) zu einem Bereitstellplatz an der Anlage (2) antransportiert und bevorzugt die Kamera (9) eine Position und/oder Lage des antransportierten Ladehilfsmittels (5) relativ zum Bereitstellplatz erfasst sowie und diesem zumindest ein Segment (100..146) zugewiesen wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das zumindest eine Segment (100..146) in seiner Größenabmessung und/oder Lage variabel definiert und annähernd auf eine Kontur zumindest eines umlaufenden Randes des Ladehilfsmittels (5), welches sich in Lage und/oder Position am Bereitstellungsplatz befindet, abgestimmt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das zumindest eine Segment (100..146) in seiner Größenabmessung auf ein durch die Kontur zumindest eines umlaufenden Randes des Ladehilfsmittels (5) definiertes Flächenausmaß abge- stimmt wird, wobei ein Flächenbereich des Segmentes (100..146) mindestens 5% größer als das Flächenausmaß des Ladehilfsmittels (5) und voreingestellt wird.
10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass eine Anwesenheit des Ladehilfsmittels (5) mit Hilfe eines von der Kamera (9) verschiedenen Sen- sors erfasst wird.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass bei positivem Ausgang des Vergleichs in Schritt c) ein Ladehilfsmittel (5) abtransportiert und eine Zuweisung des zumindest einen Segments (100..146) aufgelöst wird.
12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass eine Bewegungssequenz (12) nur den Startpunkt (132) und Endpunkt (134) einer Bewegung enthält.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Erfassung von Bewegungen zusätzlich zu einer zweidimensional abbildenden Kamera (9) durch einen Raumtiefensensor (11) erfolgt.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass nur ein Teil des Erfassungsbereichs der zumindest einen Kamera (9) beziehungsweise des Raum- tiefensensors (11) in die genannten Segmente (100..146) unterteilt ist.
15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass die Körpergröße des Arbeiters (1) erfasst und eine Bewegungssequenz (12) entsprechend der er- fassten Körpergröße angepasst wird.
16. Verfahren nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die Körpergröße des Arbeiters (1) erfasst und ein Bereich, von dem Waren (3) entnommen werden, und/oder ein Bereich, in dem Waren (3) abgelegt werden, entsprechend der erfassten Körpergröße angepasst wird/werden.
17. Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass die zumindest eine Kamera (9) vor und/oder über einem für den Arbeiter (1) vorgesehenen Arbeitsplatz positioniert wird.
18. Assistenzsystem zur Unterstützung eines Arbeiters (1) in einer Anlage (2) zur
Manipulation von Waren (3), umfassend:
zumindest eine anlagenseitig montierte Kamera (9) zum Erfassen von Bewegungen des Arbeiters (1), Mittel zum Vergleichen ob die genannten Bewegungen des Arbeiters (1) in einem Soll-Bereich einer Bewegungssequenz (12) liegen, sowie zur Ausgabe eines Korrektursignals, wenn dies nicht der Fall ist, wobei eine Bewegungssequenz (12) das Erfassen und Ablegen wenigstens einer Ware (3) umfasst, wobei der Erfassungsbereich der zumindest ei- nen Kamera (9) in Segmente (100..146) unterteilt ist und wobei eine Bewegungssequenz (12) eine Belegung der Segmente (100..146) durch den Arbeiter (1) enthält.
19. Assistenzsystem nach Anspruch 18, dadurch gekennzeichnet, dass die Kamera (9) zum Erfassen von Bewegungen der Ware (3), welche durch den Arbeiter (1) manipu- liert wird, ausgebildet ist und die Vergleichsmittel zum Vergleichen, ob die Bewegungen des Arbeiters (1) und der Ware (3) in einem Soll-Bereich einer Bewegungssequenz (12) liegen ausgebildet sind.
20. Assistenzsystem nach Anspruch 18 oder 19, dadurch gekennzeichnet, dass die Kamera (9) vor und/oder über einem für den Arbeiter (1) vorgesehenen Arbeitsplatz positioniert ist.
21. Assistenzsystem nach einem der Ansprüche 18 bis 19, dadurch gekennzeichnet, dass die Kamera (9) verfahrbar ist.
22. Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 17 und/oder eines Assistenzsystems nach einem der Ansprüche 16 bis 21 in einem Warenlager.
23. Verwendung nach Anspruch 22, dadurch gekennzeichnet, dass eine Bewegungs- sequenz (12) das Kommissionieren und/oder Umsortieren von Waren (3) betrifft.
EP13780049.6A 2012-08-24 2013-08-23 Verfahren und system zur unterstützung eines arbeiters in einer anlage zur manipulation von waren Withdrawn EP2888185A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA921/2012A AT513130B1 (de) 2012-08-24 2012-08-24 Verfahren und System zur Unterstützung eines Arbeiters in einer Anlage zur Manipulation von Waren
PCT/AT2013/050166 WO2014028959A1 (de) 2012-08-24 2013-08-23 Verfahren und system zur unterstützung eines arbeiters in einer anlage zur manipulation von waren

Publications (1)

Publication Number Publication Date
EP2888185A1 true EP2888185A1 (de) 2015-07-01

Family

ID=49474163

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13780049.6A Withdrawn EP2888185A1 (de) 2012-08-24 2013-08-23 Verfahren und system zur unterstützung eines arbeiters in einer anlage zur manipulation von waren

Country Status (3)

Country Link
EP (1) EP2888185A1 (de)
AT (1) AT513130B1 (de)
WO (1) WO2014028959A1 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014113264B4 (de) * 2014-09-15 2020-10-15 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Steuersystem mit Gestensteuerung für einen Kommissionier-Arbeitsplatz und ein Gestensteuerungs-Verfahren zum Kommissionieren
DE102015200529A1 (de) * 2015-01-15 2016-08-04 Volkswagen Aktiengesellschaft Verfahren zur Herstellung eines Kraftfahrzeuges
US10110858B2 (en) * 2015-02-06 2018-10-23 Conduent Business Services, Llc Computer-vision based process recognition of activity workflow of human performer
DE102015007624A1 (de) 2015-06-16 2016-12-22 Liebherr-Components Biberach Gmbh Verfahren zum Montieren von elektrischen Schaltanlagen sowie Montagehilfsvorrichtung zum Erleichtern der Montage solcher Schaltanlagen
DE102015216062A1 (de) * 2015-08-21 2017-02-23 Insystems Automation Gmbh Sensorvorrichtung zur Erfassung eines manuellen Eingriffs in einen Vorratsbehälter
KR20190077423A (ko) 2016-10-21 2019-07-03 트룸프 베르크초이그마쉬넨 게엠베하 + 코. 카게 금속가공 산업에서의 내부 추적 시스템에 기초한 제조 프로세스 제어
DE102016120132A1 (de) 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Werkstücksammelstelleneinheit und Verfahren zur Unterstützung der Bearbeitung von Werkstücken
JP7074965B2 (ja) 2016-10-21 2022-05-25 トルンプフ ヴェルクツォイクマシーネン エス・エー プルス コー. カー・ゲー 金属処理産業における内部個人位置特定に基づく製造制御
DE102017107357A1 (de) 2016-10-21 2018-04-26 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Absortierunterstützungsverfahren, Absortiersystem und Flachbettwerkzeugmaschine
DE102016120131B4 (de) * 2016-10-21 2020-08-06 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Absortierunterstützungsverfahren und Flachbettwerkzeugmaschine
DE102017126457A1 (de) * 2017-11-10 2019-05-16 ARS Computer und Consulting GmbH Vorrichtung zur Unterstützung eines Benutzers an einem Arbeitsplatz, Verfahren und Computerprogrammprodukt
DE102018100187A1 (de) * 2018-01-05 2019-07-11 ADT GmbH Verfahren zur Überwachung von Lagerarbeiten an Regalen auf Arbeitsflächen zur Erkennung von Fehllagerungsprozessen
DE102018000733A1 (de) * 2018-01-29 2019-08-01 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Überwachungs- und Bediensystem für einen Fertigungsarbeitsplatz und Verfahren zur Unterstützung und Überwachung eines Werkers beim Prozess zum Montieren oder Fertigen eines Produkts oder Teilprodukts
EP3696772A3 (de) * 2019-02-14 2020-09-09 Denso Wave Incorporated Vorrichtung und verfahren zum analysieren des zustands der handarbeit eines werkers und arbeitsanalyseprogramm
AU2020250004A1 (en) * 2019-03-28 2021-10-14 Dematic Corp. Touchless confirmation for pick and put system and method
DE102019210085A1 (de) * 2019-07-09 2021-01-14 Glatt Gmbh Archivierungssystem und Verfahren zur Archivierung von elektronischen Daten
ES2803083B2 (es) * 2019-07-22 2022-01-24 Nutrilife Int S L Dispositivo de asistencia al engomado de troqueles
US11488235B2 (en) 2019-10-07 2022-11-01 Oculogx Inc. Systems, methods, and devices for utilizing wearable technology to facilitate fulfilling customer orders
DE102019130154B4 (de) * 2019-11-08 2023-12-21 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren zum visuellen Unterstützen eines Handhabungsvorgangs und Flachbettwerkzeugmaschine
DE102019131235B4 (de) * 2019-11-19 2022-09-08 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zum Verknüpfen von Information mit einem Werkstückdatensatz und Flachbettwerkzeugmaschine
EP4075362A1 (de) * 2021-04-14 2022-10-19 Wincor Nixdorf International GmbH Selbstbedienungs-kassenterminal und verfahren zur sicherstellung einer sicheren eingabe einer persönlichen identifikationsnummer an einem selbstbedienungsendgerät
DE102023105124A1 (de) 2023-03-01 2024-09-05 Kardex Produktion Deutschland Gmbh Datenverarbeitungsvorrichtung, computer-implementiertes verfahren, bedienvorrichtung sowie kommissionierstation und lagergerät mit projizierter grafischer benutzeroberfläche

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
WO2003078112A2 (de) * 2002-03-20 2003-09-25 Volkswagen Aktiengesellschaft Automatische prozesskontrolle
RU2323475C2 (ru) * 2004-11-12 2008-04-27 Общество с ограниченной ответственностью "Центр Нейросетевых Технологий - Интеллектуальные Системы Безопасности" (ООО "ИСС") Способ (варианты) и устройство (варианты) автоматизированного обнаружения умышленных либо случайных нарушений технологической процедуры оператором
DE102006057266B4 (de) * 2006-11-23 2011-03-24 SSI Schäfer Noell GmbH Lager- und Systemtechnik Sortier- und Verteilsystem sowie Kommissionieranlage mit einem derartigen System
AT10520U3 (de) * 2008-09-05 2013-10-15 Knapp Systemintegration Gmbh Vorrichtung und verfahren zur visuellen unterstützung von kommissioniervorgängen
DE202011004401U1 (de) * 2011-03-17 2012-06-18 SSI Schäfer Noell GmbH Lager- und Systemtechnik Steuerung und Überwachung einer Lager- und Kommissionieranlage durch Bewegung und Sprache
DE202011107932U1 (de) * 2011-11-16 2012-01-18 Knapp Ag Vorrichtung für eine halbautomatische Prüfstation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VINCZE M ET AL: "Integrated vision system for the semantic interpretation of activities where a person handles objects", COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIC PRESS, US, vol. 113, no. 6, 1 June 2009 (2009-06-01), pages 682 - 692, XP026038465, ISSN: 1077-3142, [retrieved on 20081117], DOI: 10.1016/J.CVIU.2008.10.008 *

Also Published As

Publication number Publication date
WO2014028959A1 (de) 2014-02-27
AT513130A4 (de) 2014-02-15
AT513130B1 (de) 2014-02-15

Similar Documents

Publication Publication Date Title
AT513130B1 (de) Verfahren und System zur Unterstützung eines Arbeiters in einer Anlage zur Manipulation von Waren
EP2686254B1 (de) Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
EP2161219B1 (de) Verfahren und Vorrichtung zur visuellen Unterstützung von Kommissioniervorgängen
DE102015102740B4 (de) Vorrichtung und Verfahren zum Anordnen von Gegenständen mittels Roboter und Gegenstandübertragungssystem
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE102014016033B4 (de) Vorrichtung und Verfahren zum Aufnehmen von regellos verteilten Gegenständen mit einem Roboter
DE102014016032B4 (de) Vorrichtung und Verfahren zum Aufnehmen von wahllos gehäuften Gegenständen mit einem Roboter
DE102018101375B4 (de) Artikelbeförderungsvorrichtung, die mindestens einen Sensor nutzt
EP2561417B1 (de) Verfahren zur eingabe eines räumlichen aufbaus von fertigungseinrichtungen in ein rechnergestütztes planungsprogramm und dessen optimierung
DE10216023B4 (de) Verfahren und Vorrichtung zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einem Menschen
DE112017007399B4 (de) Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
EP3049879A2 (de) Transportfahrzeug zum transport von lastregalen mit teilweise autonomem fahrbetrieb und verfahren zum betrieb des transportfahrzeugs
DE102013220107A1 (de) Verfahren zur Anleitung und/oder Kontrolle von an einem Arbeitsplatz auszuführenden Montage- und Kommissionierungsprozessen
EP3118706B1 (de) Verfahren zur steuerung eines kommissionierflurförderzeugs
EP2607271B1 (de) Verfahren zum Kommissionieren von Artikeln sowie dazu ausgebildete Kommissioniervorrichtung
DE102011053547A1 (de) Verfahren und System zum Lagern und Kommissionieren von Artikeln, insbesondere von Apothekenartikeln
WO2019166169A1 (de) Kommissioniervorrichtung mit einem sich virtuell in einem arbeitsbereich befindlichen bild
DE202011004401U1 (de) Steuerung und Überwachung einer Lager- und Kommissionieranlage durch Bewegung und Sprache
DE102018101162B4 (de) Messsystem und Verfahren zur extrinsischen Kalibrierung
DE102014224843A1 (de) Aufbereitungssystem zum Reinigen und/oder Desinfizieren von medizinischen Geräten und Verfahren zum Betreiben desselben
DE102019130154B4 (de) Verfahren zum visuellen Unterstützen eines Handhabungsvorgangs und Flachbettwerkzeugmaschine
EP3378825A1 (de) Flurförderzeug mit einem flugfähigen objekt
DE102016125224A1 (de) Verfahren zur Navigation und Selbstlokalisierung eines sich autonom fortbewegenden Bearbeitungsgerätes
DE102017216863B3 (de) Verfahren und Robotersystem zum Anpassen eines Robotereinsatzes an einen Arbeitsprozess
DE102014113264B4 (de) Steuersystem mit Gestensteuerung für einen Kommissionier-Arbeitsplatz und ein Gestensteuerungs-Verfahren zum Kommissionieren

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150320

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20180410

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: TGW LOGISTICS GROUP GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200603