EP3271116A1 - Vorrichtung und verfahren zum verschrauben von gegenständen - Google Patents

Vorrichtung und verfahren zum verschrauben von gegenständen

Info

Publication number
EP3271116A1
EP3271116A1 EP16712766.1A EP16712766A EP3271116A1 EP 3271116 A1 EP3271116 A1 EP 3271116A1 EP 16712766 A EP16712766 A EP 16712766A EP 3271116 A1 EP3271116 A1 EP 3271116A1
Authority
EP
European Patent Office
Prior art keywords
unit
tool
data
torque
screwing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP16712766.1A
Other languages
English (en)
French (fr)
Other versions
EP3271116B1 (de
Inventor
Armin Baumgartner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nexustec GmbH
Original Assignee
Nexustec GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nexustec GmbH filed Critical Nexustec GmbH
Publication of EP3271116A1 publication Critical patent/EP3271116A1/de
Application granted granted Critical
Publication of EP3271116B1 publication Critical patent/EP3271116B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00—Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • B25B23/147—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for electrically operated wrenches or screwdrivers
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45F—TRAVELLING OR CAMP EQUIPMENT: SACKS OR PACKS CARRIED ON THE BODY
    • A45F5/00—Holders or carriers for hand articles; Holders or carriers for use while travelling or camping
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45F—TRAVELLING OR CAMP EQUIPMENT: SACKS OR PACKS CARRIED ON THE BODY
    • A45F5/00—Holders or carriers for hand articles; Holders or carriers for use while travelling or camping
    • A45F5/02—Fastening articles to the garment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00—Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45F—TRAVELLING OR CAMP EQUIPMENT: SACKS OR PACKS CARRIED ON THE BODY
    • A45F2200/00—Details not otherwise provided for in A45F
    • A45F2200/05—Holder or carrier for specific articles
    • A45F2200/0533—Cameras, e.g. reflex, digital, video camera
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45F—TRAVELLING OR CAMP EQUIPMENT: SACKS OR PACKS CARRIED ON THE BODY
    • A45F2200/00—Details not otherwise provided for in A45F
    • A45F2200/05—Holder or carrier for specific articles
    • A45F2200/0575—Portable tools

Definitions

  • the present invention relates to a device and a method for screwing objects, in particular in the manufacture and / or assembly of vehicles.
  • a wrench which is capable of electrical detection and logging of the torque. This allows logging of the respective screwing cases carried out in their sequence.
  • it is thus not possible to assign the recorded bolting cases to a respective bolting location on the vehicle.
  • a manual assignment, recording, acknowledgment or logging is also required here.
  • DE 10 2010 032 553 A1 discloses a device for monitoring torque and connection conditions during the manufacturing process in the automotive industry.
  • This device comprises a rotation sensor having a projector for projecting a predetermined pattern and an image converter 66 or camera. This generates three-dimensional data, so that it is possible to monitor the rotational distance traveled by a mechanical fastening means.
  • a fastening device is based on this visual information and / or torque data and / or connection data driven accordingly.
  • DE 10 2012 003 809 A1 relates to a system with which the torque, which is necessary for opening a plastic screw cap of a bottle, is determined without contact. This is done by detecting corresponding marks by means of a camera.
  • EP 1 963 786 B1 A system for writing a position of an object is described in EP 1 963 786 B1.
  • the objects are optically detected.
  • US 2008/01 15589 A1 discloses a torque wrench having a torque measuring device.
  • This system further includes a camera and a visible pointer.
  • the visible pointer is, for example, a light signal that marks a particular connection to be tightened with the torque wrench.
  • the camera can record the connected connection and automatically determine which connection is to be tightened next, so that the user is given an exact sequence.
  • information about the individual connections can also be stored.
  • a connection tool such. As a screwdriver out, with which connecting parts can be connected.
  • the connecting parts are assigned a marking.
  • the tool has a reading device that can detect this mark.
  • the marker may be, for example, a barcode. This information can be compared with corresponding information of a database.
  • a torque determination system which determines the corresponding torque from predetermined angular positions.
  • the angular positions can be detected with an X-ray system.
  • DE 10 2013 017 007 A1 discloses a robot in which the force and torque input exerted by the robot can be determined.
  • the present invention is based on the basic idea of monitoring an operating area with the object to be screwed and a tool unit designed for screwing screw connection elements by an image recording unit and analyzing the recorded images to at least the object and a screwing point a screwing is made to recognize and automatically generate a log in which the detected object and Verschraubungsort and applied during the screwing and detected torque or an applied angle of rotation are related to each other.
  • the records of the protocol may also represent data representing the tool unit also recognized by image analysis, and / or a time stamp representing a time at which the torque or torque is applied Rotation angle has been applied, and / or based on a work plan generated specifications regarding a Verschraubungsorts on the object and / or a ringfalls and / or a tool selection.
  • the log tuples can also be used to monitor the bolting operation, to check the bolting success and / or progress, to feed back defaults and / or check results to a user, and to guide the user.
  • Feedback can be made by optical and / or acoustic signaling and / or image display.
  • the protocol tuples are preferably not backed up until it has been determined that the tool unit has been removed from the screwing point; and / or the data acquired with respect to the object and the Verschraubungsorts and the applied torque or the executed rotation angle, preferably also with respect to the tool unit, comply with specifications; and / or a worn screw is acknowledged by a user.
  • a backup can be, for example, but not limited to, printing, persistent storage in nonvolatile memory or volume, transmission to a remote administrative office, etc.
  • the torque detected and contained in the protocol tuple, in particular in the secured protocol tuple is preferably a maximum torque applied at the screwing location.
  • a device for screwing objects according to a first aspect of the present invention comprises
  • a tool unit that is designed to screw threaded fasteners
  • a rotation specification output device which is designed to output the torque to be applied during screwing with the tool unit or the angle of rotation to be executed during screwing
  • a data processing unit configured to detect torque data or rotation angle data representing the torque applied when screwing, an image pickup unit having a stereo camera adapted to receive a spatial image of a work area with at least a cutout of an object to be screwed; to provide the captured image data, wherein
  • the data processing unit has an image analysis unit which is designed to detect the object, the tool unit and a screwing location on the object in the recorded image and a protocol tuple (p) with data representing the recognized screwing location and the detected torque data and / or rotation angle data associated with each other.
  • the data processing unit is designed such that the recognition of the object takes place on the basis of at least three reference points of the acquired spatial image. With three reference points, the object is clearly defined in space or in the three-dimensional coordinate system of the image acquisition unit.
  • Recognition of the object may also be based on the points describing a particular body that is part of the object.
  • the points of this body thus represent reference points.
  • Various algorithms are known with which individual bodies are extracted from spatial images, that is to say images which comprise three-dimensional information about the detected objects, and are described using a data model.
  • the detection of the object is preferably done by comparing the reference points with the corresponding points in a three-dimensional model of the object.
  • Such a model can be derived from design data.
  • a model of the object is created in an empty learning process in which a plurality of spatial images are taken with the image acquisition unit. The model is then created from these spatial images by superimposing and aligning these images.
  • Such a model, derived from the spatial images describes the object in a manner very similar to the spatial images acquired in later operation with the imaging unit.
  • a stereo camera to produce such spatial images of the object and comparison with a three-dimensional model of the object allows directing the camera with different viewing directions on the object and still achieve a reliable comparison with the model, whereby the object and its position in the coordinate system of the stereo camera can be reliably detected, even if the spatial images are detected by the object from different viewing directions.
  • a method of bolting articles according to another aspect of the present invention comprises the following steps:
  • a tool unit in the sense of the invention can be understood to mean any screwing tool which makes it possible to detect, measure, display, recognize, etc. a torque applied during screwing.
  • the tool unit can be designed as a so-called torque wrench with a lever unit a tool holder, wherein in or on the tool holder a replaceable tool is received or receivable.
  • the replaceable tool may be a so-called nut or a so-called bit, with or without extension, and is adapted for a respective screw to the screw connection element to be screwed or adaptable.
  • suitable tooling units include, but are not limited to, a screwdriver or impact wrench.
  • the indication of the torque may be, for example, but not limited to, by an optical display such as a pointer, a scale, a clock or a digital display, and / or by sensing and transmitting measurement data.
  • an optical display such as a pointer, a scale, a clock or a digital display
  • sensing and transmitting measurement data to capture the torque in the latter case, the sensor data is transmitted to a data processing unit wireless or wired and evaluated there, and in the former case, the image supplied by the image pickup unit is also evaluated to recognize the torque indicated by the optical display.
  • a corresponding sensor may be provided for sensing the torque.
  • the rotation specification output device is preferably arranged in or on the lever unit
  • the tool unit in particular the lever unit and / or the replaceable tool, carry an identification mark.
  • the identification tag may include a bar code, a color code, a 2D bar code, and / or a punch mark.
  • the identification mark makes it possible to recognize the tool unit by means of the identification mark.
  • the identification mark can be attached to an interchangeable marking unit, which is attached or attachable to a suitable location on the tool unit.
  • a carrier unit which carries at least the image pickup unit, may preferably be in the form of a spectacle frame, protective goggles, a protective helmet, a headband or part of a garment such as an epaulette, a collar or a belt or fasteners for attachment to glasses, goggles , a protective helmet, a headband or on a garment such as an epaulette, a collar, a belt.
  • a user can wear the image pickup unit on the body.
  • image acquisition advantageously follows the head movements of the user.
  • the image capture unit is configured to generate a spatial image.
  • the image acquisition unit in particular has a first image acquisition unit and a second image acquisition unit, which are arranged spatially separated from one another.
  • the object is preferably identified by means of predetermined, stationary, first detection points on the object, wherein the first detection points are recognized by comparison with a previously stored model of the object, and wherein the first detection points are preferably inherent in the object.
  • the detection of the Verschraubungsorts preferably takes place on the basis of predetermined, stationary second Er- points on the tool unit, the second detection points are detected by comparison with a previously stored model of the tool unit, the second detection points are preferably the tool unit immanent.
  • the model can be derived from design data such as CAD data or generated by prior learning.
  • a geometry reference defined by the relative spatial position of the two image acquisition units can be used to identify the object.
  • Fig. 1 is a block diagram illustrating an apparatus for bolting objects according to an embodiment of the present invention
  • Fig. 2 is a view of a tool unit which can be used in the embodiment
  • Fig. 3 is a perspective view of a replaceable marking unit for attaching an identification mark to the tool unit of Fig. 2; 4 is a perspective view of an image pickup unit with a carrier unit according to an embodiment of the present invention;
  • FIG. 5 is a perspective view of an image pickup unit with a carrier unit according to another embodiment of the present invention.
  • FIG. 6 is a view of an image pickup unit with a carrier unit according to a still further embodiment of the present invention.
  • FIG. 7 shows a schematic representation of a screwing situation to illustrate a method for screwing objects according to an exemplary embodiment of the present invention
  • Fig. 8 is a schematic diagram schematically illustrating selected points in the situation shown in Fig. 7 in a coordinate system
  • FIG. 9 is a block diagram illustrating the method of bolting articles according to the present invention.
  • FIG. 10 shows a marking unit with a two-dimensional barcode.
  • Fig. 1 is a block diagram schematically illustrating a device for bolting objects in a bolting case.
  • a device which has a plurality of elements, namely a tool unit 200, an image acquisition unit 300, a data processing unit 400 and an image output unit 500.
  • the object 100 has a plurality of reference points 1 10 and a screw 120 on.
  • the reference points 110 are immutable detection points on the object 100, which are predetermined by the construction of the object 100.
  • the reference points 110 can also be the points that describe a particular body of the object.
  • the reference points used are also those points which describe an elongate body.
  • a data model stored in a model data storage unit 440 which enables the recognition and spatial association of the reference points 110 on the object 100 from a spatial representation will be described in more detail below.
  • This model can be derived from design data and / or generated during a learning process in which multiple spatial images are taken with the image acquisition unit 300.
  • the model is generated from the spatial images acquired with the image acquisition unit 300, since such a model is very similar to the spatial images acquired during later operation.
  • the multiple spatial images are superimposed and aligned to create the model.
  • the screwing point 120 is predetermined by a work plan and linked to the bolting case.
  • the bolting location 120 shown in FIG. 1 is preferably just one of many bolting locations to be machined according to the work schedule.
  • more than three reference points can be defined on the object 100, but for spatial orientation at least three reference points 110 are required, which preferably do not lie on a straight line.
  • the screwing location 120 can be hidden behind a part of the object 100 both in the model and with the image acquisition unit 300 of acquired spatial images. For automatic recognition of the object 100, it is sufficient if the reference points are visible in the captured image. If the object 100 is identified and its arrangement in the space or in the coordinate system of the image acquisition unit 300 known, then such hidden Verschraubungsorte 120 can be identified. The Verschraubungsorte 120 and the reference points 1 10 can be entered during the learning process and integrated into the model to be created. Here, the work plan for learning the Verschraubungsorte 120 processed.
  • a screw 150 is provided in the present embodiment. As shown in FIG.
  • a tool unit 200 is used for the screw connection, which has a torque wrench and a nut 250 adapted to the screw or the screw head of the screw 150.
  • the torque wrench includes a lever arm 210, a pin 220 for coupling with the nut 250, and a torque indicator 230.
  • a marking unit 240 is attached with an identification mark. The identification mark is designed to uniquely distinguish the torque wrench 200 from other tools, and will be described in greater detail below with reference to a specific example of the marking unit 240.
  • the torque wrench is understood as a tool unit 200 in the sense of the present invention, the lever arm 210 being understood as a lever unit, the torque indicator 230 as a turning output device, the pin 220 as a tool holder, and the nut 250 as a replaceable tool.
  • the spigot 220 has a square cross-section in a known and conventional manner, which mates with a quadrangular recess in the nut 250, and may have a spring element (not shown in more detail) on one side, which has a lateral inner wall of the recess cooperates in the nut 250 to the nut 250 with the pin 220 captive, but releasably couple.
  • the pin 220 may also be mounted in a ratchet unit (not shown in detail), which allows quasi-continuous screwing without repeated settling and reapplication of the tool.
  • the torque indicator 230 comprises in the present embodiment an optical display 232 and a radio transmitter 234, which enables both a visual reading of the applied torque and a transmission of the torque in the form of measured value data or signals to a correspondingly configured radio receiver.
  • a radio transmitter instead of a radio transmitter, it is also possible to provide a cable interface or an attached cable in order to transmit measured value data or signals by cable.
  • the present invention also works with only one of the optical display and the radio transmitter / cable interface / transmission cable. Essentially, in the context of the present invention, it is important to output the torque that is applied to the tool unit during the screwing in perceptible or receivable form.
  • the detection of the rotation angle takes place by detection of the tool unit 200 in its different rotational positions by means of the image recording unit 300 and corresponding evaluation by the data processing unit 400.
  • assembly instructions that initially prescribe a specific torque for screwed connections. When this torque has been reached, the screw connection must still be screwed on by a predetermined angle (eg 45 ° or 90 °).
  • the rotation specification output device is therefore designed such that it can specify both a torque and a rotation angle.
  • the image acquisition unit 300 comprises as essential components a camera unit 310, a control unit 320 and a radio interface 305.
  • the camera unit 310 is designed and aligned to receive at least a section of the object 100 with the reference points 110 and the screwing location 120, and supplies image data of the recorded images to the control unit 320.
  • the control unit 320 is designed to receive image data from the camera unit 310 and may be configured to send control data to the camera unit 310 to adjust acquisition parameters such as focus, aperture, depth of field, or frame.
  • the control unit 320 is further coupled to the radio interface 305, and supplies the image data received from the camera unit 310 such that the radio interface 305 can provide the recorded image data to a remote station.
  • the image pickup unit 300 further includes a laser pointer 330 as a laser pointing device, a speaker unit 340 as an acoustic output unit, and a light emitting diode unit 350 as an optical output unit.
  • the laser pointer 330, the speaker unit 340 and the light-emitting diode unit 350 are data-coupled to the control unit 320, the control unit 320 being designed to output control data to the laser pointer 330, the loudspeaker unit 340 and the light-emitting diode unit 350.
  • the data processing unit 400 includes a radio interface 405, a control unit 410, an image data acquisition unit 420, a measurement data acquisition unit 430, a model data storage unit 440, an image analysis unit 450, a timer unit 460, a logging unit 470, a schedule storage unit 480 , a default unit 485, and a feedback generation unit 495.
  • the radio interface 405 is configured to establish and maintain a wireless data communication link with the rotation default output device 230 of the tool unit 200 and the radio interface 305 of the image capture unit 300.
  • the control unit 410 is coupled to the radio interface 405 and is designed to supply image data received from the image acquisition unit 300 via the radio interface 405 to the image data acquisition unit 420 and to supply torque data received from the rotation specification output device 230 via the radio interface 405 to the measurement data acquisition unit 430 and feedback data from the response generation unit 495.
  • the image data acquisition unit 420 is designed to receive image data from the control unit 410 and, if appropriate, store it temporarily and / or permanently and to provide it to the image analysis unit 450.
  • the model data storage unit 440 is designed to store model data which store constructive and geometric characteristics of the object 100 with its fixed reference points (110, FIG. 1), the tool unit 200 or their identification features and to the image analysis unit 450.
  • the image analysis unit 450 is configured to automatically recognize the object 100, the tool unit 200 and the screwing location 120 on the object 100 by comparing the image data supplied from the image data acquisition unit 420 with the model data supplied from the model data storage unit 440 and data indicating the detected bolting location and preferably reproduce the recognized tool unit to provide the log generation unit 470.
  • the measurement data acquisition unit 430 is designed to detect torque data and rotation angles received from the control unit 410, to temporarily and / or permanently store them, if necessary, and to provide them to the protocol generation unit 470.
  • the protocol generation unit 470 is configured to generate a protocol memory 275 from the data supplied by the image analysis unit 450 regarding the screwing location and preferably the detected tool unit, the torque data / rotation angle data supplied by the measurement data acquisition unit 430 and timestamps supplied by the timer unit 460 for backup and provide to the review unit 490.
  • the log tuples generated by the log generation unit 470 may further include default data supplied from the default generation unit 485.
  • the prediction generation unit 485 is designed to generate specification data from a work plan taken from the work plan storage unit 480 and to provide it to the protocol generation unit 470 and the verification unit 490. To synchronize with the actual workflow, the default generation unit 485 may also be coupled to the timer unit 460 and the image analysis unit 450.
  • the default generation unit 485 may generate default data based on a work cycle based on a time supplied by the timer unit 460 or may flexibly supply default data adapted to an individually selected work order based on a bolting location provided by the image analysis unit 450.
  • the checking unit 490 is configured to check the protocol tuples p (not yet saved) to see whether the defaults supplied by the default generating unit 485 have been reached or not, and to provide a corresponding check result to the feedback generating unit 495.
  • the backup of the protocol tuple p in the log memory 475 can be linked to the condition that the specifications supplied by the default generation unit 485 are achieved, at least with regard to the screwing location and the detected torque or detected rotational angle.
  • the backup of the protocol tuple p can also be done by manual acknowledgment be triggered by a user.
  • a backup of a protocol tup p can occur automatically when the screwing process is interrupted, for example when the tool is set down by the screw 150.
  • the feedback generation unit 495 is configured to receive protocol tuples provided by the protocol generation unit 470, and default data provided from the specification generation unit 485, and verification results provided by the verification unit 490, to generate feedback therefrom and to provide it to the control unit 410.
  • the control unit 410 is further configured to provide feedback received by the feedback generation unit 495 via the radio interface 405 of the image acquisition unit 300 and to an image output unit 500 to be described below.
  • the control unit 320 of the image acquisition unit 300 can be configured to convert, via the radio interface 305, feedback received from the data processing unit 400 into control signals to the laser pointer 330, the loudspeaker unit 340, the light-emitting diode unit 350 and / or the camera unit 310.
  • the feedback may be output in acoustic form via the speaker unit 340
  • an optical confirmation or warning signal may be output via the light-emitting diode unit 350 and / or the camera unit 310 may change image acquisition parameters.
  • the laser pointer unit 330 can also generate a laser beam directed onto the screwing location 120 to be processed in order to guide a person to the corresponding screwing location 120.
  • the above-mentioned image output unit 500 is provided in the present embodiment as a tablet PC having a radio interface 510, a display unit 520, and a speaker unit 530. Based on the feedback received via the radio interface 510, as shown here, default values for the screw 150 to be selected as well as the torque prescribed for this purpose (tightening torque) can be output. It is understood that the principle described above allows many variations and options. For example, a green, a red and possibly a yellow LED of the light-emitting diode unit 350 of the image recording unit 300 can be activated in order to convey a work result to a user in color-coded form.
  • the correct positioning of the tool unit 200 by a yellow illumination and the correct tightening torque achieved can be indicated by a green illumination.
  • a green illumination By flickering with different frequency in yellow color, for example, an approximation of the prescribed torque, by flickering in red color too high a tightening torque can be signaled.
  • the work success can be indicated by a text message or a color underlay.
  • An embodiment of the torque wrench (tool unit) 200 is shown in more detail in FIG. 2, and the marking unit 240 for use on the tool unit 200 is shown in FIG. 2 is a plan view of the tool unit 200 (torque wrench), and FIG. 3 is a perspective view of the marking unit 240 in the form of a sleeve.
  • the torque indicator 230 is in the form of a digital display.
  • the digital display of the torque indicator 230 is readily recognizable by the camera unit 310 of the image capture unit 300 (FIG. 1).
  • the marking unit 240 is attached to the lever unit 210 near the tool holder 220.
  • the applied torque can also be moved by a pointer instrument or a cantilever that does not deform with the lever unit 210, optionally in conjunction with a scale attached to the lever arm 210, which moves along the cantilever upon deformation of the lever arm 210 ., or any other suitable visual representation.
  • the two-shell cuff marking unit 240 is formed with a top 242 and a bottom 243 connected by a series of screws 244 for clamping the marking unit 240 to the lever arm 210.
  • the marking unit 240 further carries an identification mark in the form of a bar code 246 on the one hand and a hole marking or coding 248 on the other hand. Both types of marking can be easily read by the camera unit 310 of the image recording unit 300.
  • FIG. 10 shows an alternative example of an approximately rectangular marking unit 240 having a two-dimensional barcode 247 for coding an identification number for the respective tool and at the corners each having a position mark 248, by means of which the position of the tool in space or in the coordinate system the image acquisition unit is detectable.
  • the two-dimensional code is mirrored around a centerline. Based on the position marks 248, the position of the tool in the three-dimensional coordinate system of the camera can be easily determined.
  • This marking unit 240 can be printed out with a conventional printer.
  • the marking unit 240 is then glued onto the tool unit 200, in particular the lever arm 210.
  • After attaching the marking unit 240 to the tool unit 200 it is scanned in a learning process, whether the mounting unit is a collar or a glued label, so that the position of the marking unit 240 on the tool unit 200 is uniquely detected.
  • the position of the tool unit 200 in the three-dimensional coordinate system of the image recording unit 300 can then be clearly deduced on the basis of the detection of the marking unit 240.
  • a support unit may be provided on which the image pickup unit 300 can be carried compactly or distributed on the body.
  • the carrier unit 600 is designed according to a specific exemplary embodiment in the form of protective goggles.
  • This goggle comprises a mask unit 622 which encloses protective glasses 624 and an elastic band 626 located behind the head, the band 626 being adjustable by means of a closure unit 628.
  • the image pickup unit 300 is laterally attached to a junction between the mask unit 622 and the elastic band 626 in this embodiment.
  • the carrier unit 600 is in the form of safety glasses with a frame 642 which accommodates two protective glasses 644 and two brackets 646, 646, wherein the image recording unit 300 is distributedly arranged on the carrier unit 600 ,
  • each camera unit 310 is attached to the right and left brackets 646, 646, respectively, and a speaker unit 340, the housing of which also accommodates the control unit 320 and the radio interface 305 (FIG. 1), is attached to the left bracket 646 a light-emitting diode unit 350 with three different-colored LEDs mounted on a nose root portion of the frame 642.
  • a wiring 648 between the camera units 310, the light emitting diode unit 350 and the speaker unit 340 with radio interface 305 and control unit 320 is integrated at the upper edge of the frame 642.
  • a carrier unit 600 is designed as a protective helmet 660, on each of whose sides a camera unit 310 is attached.
  • the camera units 310 may be fixedly mounted, may be attached to a bracket integrated with the helmet 660, or may be integrated with a bracket attachable to the helmet 660.
  • the further device technology of the image recording unit 300 can be distributed in one of the camera units 310, on both camera units 310 or integrated into the protective helmet 660.
  • FIG. 7 is a spatial schematic representation of a deployment situation within the meaning of the present invention.
  • a user 700 uses the torque wrench 200 to make a screw connection at a screwing point 120 on an object 100, in this case a motor vehicle.
  • the user 700 carries an image pickup unit 300 by means of a helmet-shaped carrier unit 600 (see Fig. 6).
  • Three reference points 1 10, which are structurally predetermined and immutable per se, are specified on the object 100.
  • On the tool unit 200 (torque Key) are three reference points 710 constructive and / or by marking unit (240, Fig. 3) predetermined or identifiable.
  • the bolting site 120 is hidden behind structural members of the article 100. Nevertheless, it is possible to determine from the reference points 110 of the object 100 and the reference points 710 of the tool unit 200 at which point on the object 100 the tool unit 200 attaches.
  • FIG. 8 shows the reference points 110 of the object 100 and the reference points 710 of the tool unit 200 in a virtual space 800.
  • the reference points 110 of the article 100 span a first reference triangle 810 defining a first reference plane 815.
  • the reference points 710 of the tool unit 200 clamp a second reference triangle 820 defining a second reference plane 825.
  • the reference points 1 10, 710 are detected by the camera units 310 of the image acquisition unit 300.
  • the reference points 110, 710 can be assigned to coordinates X1, X2, X3 of the virtual space 800, whereby the absolute position of the object 100 and the tool unit 820 in virtual space 800 as well as the relative position between the object 100 and the tool unit 200 are completely defined.
  • FIGS. 5 and 6 each show a carrier unit 600 with two camera units 310, so that these camera units 310 each form a stereo camera.
  • the image pickup unit 300 is shown only schematically. This is also a stereo camera.
  • the imaging unit 300 generates two spatial images per second. It is expedient that at least one spatial image is generated at least every two seconds, preferably at least one, two or at least three images are generated per second. On the other hand, the resolution of a stereo camera is sufficient to be able to unambiguously indicate the screwing locations 120 to the operator.
  • the use of the stereo camera thus makes it possible to provide the image pickup unit 300 on a carrier body 600 arranged on an operator's body, whereby the operator can move freely and occupy an arbitrary position with respect to the object 100, as long as the viewing direction of the image pickup unit 300 on the object 100 is directed.
  • the spatial image data can be quickly matched with the spatial model.
  • the relative positions of the image pickup unit 300 relative to the object 100 are uniquely identified, so that the three-dimensional coordinate system of the image pickup unit 300 is fixed and the position of the object 100 in this coordinate system is determined.
  • Pointer elements such as the laser pointer 330, are preferably mechanically connected to the image acquisition unit 300, so that their position in the coordinate system of the image acquisition unit 300 is also clearly defined.
  • An operator who carries the carrier unit 600 can thus move freely with respect to the object 100, whereby on the one hand the screwing locations 120 are automatically displayed or predetermined and on the other hand the screwing is completely logged (torque and / or angle of rotation, time stamp).
  • FIG. 9 is a block diagram illustrating processes in the implementation of an article screwing method according to another embodiment of the present invention.
  • an area 910 symbolizes a physical production level
  • an area 920 symbolizes a data processing level
  • an area 930 symbolizes a tool data level.
  • a first interface level 921 establishes a link between the physical production level 910 and the data processing level 920
  • a second interface level 923 establishes a link between the tool level 930 and the data processing level 920.
  • the physical plane 910 may be substantially compared to the article of manufacture 100 image capture unit 300 and the image output device 500 in FIG. 1, the data processing plane 920 may be substantially equated with the data processing unit 400 of FIG.
  • the interface plane 921 can be compared here with the radio interfaces 305, 405, 510 and associated radio transmission links in FIG. 1, and the interface plane 923 can essentially be integrated with a radio transmitter integrated in the rotary output device 230 of the tool unit 200 and the radio interface 405 of FIG Data processing unit 400 in Fig. 1 are compared.
  • An arrow 912 in FIG. 9 symbolizes a production sequence, for example, on a vehicle assembly line during vehicle production. Once a vehicle can be picked up at an assembly site, a NOK message with vehicle ID is made in step 914.
  • the assembly of the vehicle can also be carried out manually (generally represented as step 915) with manual OK setting 916.
  • the assembly in particular the setting of fittings on the vehicle, but including the data processing level 920.
  • data from the physical production level 910 are introduced via the interface level 921 in the data processing level 920 and provided in the data processing level 920 data via the interface level 921 in the physical production level 910 made representable.
  • a query 917 takes place, in the form of a repetitive loop, until an OK message 918 takes place from the data processing level 920.
  • the vehicle can be returned from the assembly point in the production process 912.
  • multiple processing blocks are defined. These are in particular a start block 940, a data load block 950, a recognition block 960, a navigation block 970 and a monitoring block 980.
  • a measurement data generation block 990 is to be considered, in which at the request of the navigation block 970 of the data processing level 920 measurement data on the tool (FIG. Tool unit 200, FIG. 1) and provided to the monitoring block 980 of the data processing level 920.
  • the request and provision of data between the data processing level 920 and the tool level 930 is via the interface level 923.
  • the data load level 920 is implemented on the data processing level 920 where data is loaded on the vehicle, the screwing situation, and the tool.
  • the recognition block 960 is implemented, in which a recognition is first started in a step 962, then a recognition is performed in step 964 and, after recognition in step 966, the recognized state is registered.
  • the start of the recognition in step 962 can be compared to an activation of the image recognition unit 300 in FIG. 1, in particular of the camera units 310.
  • the execution of the detection in step 964 corresponds, for example, to the detection of the vehicle (object 100), the screw joint 120 and the tool unit 200 by image analysis in the image analysis unit 450 on the basis of the image data supplied by the camera unit 310 and acquired by the image data acquisition unit 420 in comparison with FIG the model data stored in the model storage unit 440, in particular based on the predetermined and invariable reference points 1 10 and the marking unit 240 (FIG. 1) as well as on the tool unit 200 identifiable reference points 710 (FIG. 7).
  • the registration of the detection in step 966 corresponds to the generation of a data set containing data that identifies the recognized vehicle (the detected object 100), the detected tool unit 200 and the recognized screw 120 (Fig. 1) play. The generated record is then passed to navigation block 970.
  • the assembler navigates to the screwing location in step 972, for example via the laser pointer device 330 in FIG. 1, the output of default data via the image output unit 500 and optical and / or acoustic signaling via the loudspeaker unit 340 or the light-emitting diode unit 350 can be done in Fig. 1.
  • a detection message is sent to the monitoring block 980 in step 974.
  • a start of the screwing operation includes a request for measurement data from the tool unit 200 (FIG. 1).
  • processing block 990 on tool level 930 Upon request by navigation block 970, processing block 990 on tool level 930 generates measurement data corresponding to the applied torque on tool unit 200 (FIG. 1) and also transmits it to the monitoring block.
  • the monitoring block 980 performs a monitoring of the tightening operation in step 982 based on the measurement data supplied from the tool level 930 (processing block 990), and ends the monitoring in step 984 at the time of Sole achievement. Thereupon, in step 986, a generation of logs is performed, generating log tuples, which generate and store the record registered in step 966 along with the data representing the detected torque.
  • the protocol can be transferred to the interface level 921 in the form of log files and / or video logs 925.
  • the monitor block 980 provides an OK message 927 to the interface level 921 when the vehicle is still active, and via the interface level 921, the OK message 927 is translated into the OK message 980 described above.
  • the sequence described above is under the regime of a predetermined clocking and, within the framework of this cycle, screwing operations are executed on the basis of a work plan (see 480, FIG. 1), with a bolting ID being generated for each screwing case ,
  • the fferfall-ID and the above-mentioned vehicle ID are respectively part of the protocol tuple of the generated protocol.
  • the article 100 is a motor vehicle.
  • other articles such as e.g. Aircraft, medical devices or the like may be used.
  • an operator or fitter carries the carrier unit 600, on which the camera units 310 are arranged.
  • the carrier unit 600 on which the camera units 310 are arranged.
  • an automatic screwing in which the tool unit 200 is automatically moved to the respective screw 120 and operated.
  • a robot arm may be provided.
  • the automatic screwing machine and the object to be screwed can be moved relative to each other, wherein in each case at least one spatial image of the object is detected in the different positions.
  • the spatial resolution of the spatial images acquired with the image acquisition unit 300 may not be sufficient to control the tool unit 200 sufficiently precisely to the screwing location 120 based solely on a single spatial image of the article 100.
  • additional spatial images can be recorded for positioning the tool unit 200 during the positioning process, wherein the tool unit 200 and the object 100 are detected here, so that the relative position of the tool unit 200 to the object 100 is determined on the basis of these images.
  • This relative position is determined with a much higher spatial resolution than the absolute position of the object 100 in the three-dimensional coordinate system of the camera.
  • the tool unit 200 can be positioned very precisely fully automatically at the screwing location 120.
  • Such a closed-loop control for positioning the tool unit 200 can also be used in a "mobile" system with a portable carrier unit 600, wherein the fitter then optical, acoustic or other instructions are given as the tool unit 200 relative to the object 100 to has to position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Details Of Spanners, Wrenches, And Screw Drivers And Accessories (AREA)
  • General Factory Administration (AREA)

Abstract

Eine erfindungsgemäße Vorrichtung zum Verschrauben von Gegenständen weist eine Werkzeugeinheit (200), eine Drehvorgabenausgabeeinrichtung (230) und eine Datenverarbeitungseinheit (400), die ausgebildet ist, Drehmomentdaten, welche das beim Schrauben aufgebrachte Drehmoment wiedergeben, zu erfassen, auf. Ferner ist eine Bildaufnahmeeinheit (300) vorgesehen, welche ausgebildet ist, um ein Bild eines Arbeitsbereichs mit wenigstens einem Ausschnitt eines zu verschraubenden Gegenstands (100) aufzunehmen und die aufgenommenen Bilddaten bereitzustellen, und weist die Datenverarbeitungseinheit (400) eine Bildanalyseeinheit (450) auf, welche ausgebildet ist, um den Gegenstand (100), die Werkzeugeinheit (200), einen Verschraubungsort und einen entsprechenden Drehwinkel an dem Gegenstand (100) in dem aufgenommenen Bild zu erkennen und einen Protokolltupel (p) mit Daten, welche den erkannten Verschraubungsort wiedergeben, und die erfassten Drehmomentdaten einander zugeordnet aufweist, zu erzeugen. Ein erfindungsgemäßes Verfahren zum Verschrauben von Gegenständen weist die Schritte auf: - Aufnehmen eines räumlichen Bildes eines Arbeitsbereichs mit einer Stereokamera, wobei das erfasste Bild wenigstens einen Ausschnitt eines zu verschraubenden Gegenstands (100) umfasst; Erkennen des Gegenstands (100), und eines Verschraubungsorts an dem Gegenstand (100) aus dem einen oder mehreren aufgenommenen Bildern; - automatisches Erfassen eines beim Schrauben durch die Werkzeugeinheit (200) aufgebrachten Drehmoments; Erzeugen eines Protokolltupels von Daten, die den Verschraubungsort und das Drehmoment einander zugeordnet wiedergeben.

Description

Vorrichtung und Verfahren zum Verschrauben von Gegenständen
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Verschrauben von Ge- genständen, insbesondere bei der Herstellung und/oder Montage von Fahrzeugen.
Bei der Herstellung bzw. der Montage von Kraftfahrzeugen ist heutzutage ein hoher Automatisierungsgrad erreicht. Insbesondere beim Verschrauben von Fahrzeugteilen wie etwa von Teilen der Karosserie oder des Fahrgestells, des Motors oder des Antriebstrangs ist eine hohe Zuverlässig- keit bei der Einhaltung des an der jeweiligen Verschraubungsstelle vorgeschriebenen Drehmoments von hoher Wichtigkeit. Derartige Verschraubungen werden oft in manueller Arbeit durch Fachkräfte ausgeführt. Dabei ist es bekannt, die Durchführung und insbesondere Überwachung des Verschraubungsvorgangs nach dem Vier-Augen-Prinzip durchzuführen. Dabei betätigt eine Person das Verschraubungswerkzeug wie etwa einen Drehmomentschlüssel mit aufgesetzter Nuss, und eine zweite Person beobachtet und protokolliert das am Werkzeug angezeigte Drehmoment. Eine solche Verfahrensweise ist ersichtlich mit einem hohen Personaleinsatz und den damit verbundenen Kosten belastet.
Ferner ist ein Schraubenschlüssel bekannt, der zur elektrischen Erfassung und Protokollierung des Drehmoments fähig ist. Damit kann eine Protokollierung der jeweils durchgeführten Verschrau- bungsfälle in ihrer Reihenfolge erreicht werden. Es ist damit jedoch nicht möglich, die protokollierten Verschraubungsfälle einem jeweiligen Verschraubungsort am Fahrzeug zuzuordnen. Damit im Nachhinein nachvollzogen werden kann, an welcher Stelle am Fahrzeug bzw. dem zu verschraubenden Gegenstand die jeweils protokollierten Drehmomente aufgetreten sind, ist auch hier eine manuelle Zuordnung, Aufzeichnung, Quittierung bzw. Protokollierung erforderlich.
Aus der Medizintechnik ist es gemäß einer Eigenentwicklung der Anmelderin bekannt, Eingriffe am Körper mit Video zu überwachen, wobei vorzugsweise mit Infrarotbildern gearbeitet wird. Bei diesem System werden über MlP-Punkte ISO-Oberflächen aufgespannt, die gegeneinander überla- gert werden. Für das System ist eine registrierte Videoüberlagerung von Realbildern und„Konstruktionsdaten" nötig. Markierungen am Werkzeug erleichtern dabei die Zuordnung und das Nachvollziehen der vorgenommenen Operationsschritte.
Aus der DE 10 2010 032 553 A1 geht eine Vorrichtung zum Überwachen von Drehmoment- und Verbindungsbedingungen während des Fertigungsprozesses in der Automobilindustrie hervor. Diese Vorrichtung weist einen Rotationssensor auf, der einen Projektor zum Projizieren eines vorbestimmten Musters und einen Bildwandler 66 bzw. Kamera aufweist. Hiermit werden dreidimensionale Daten erzeugt, so dass eine Überwachung der von einem mechanischen Befestigungsmittel zurückgelegten Rotationsdistanz möglich ist. Eine Befestigungseinrichtung wird anhand dieser visuellen Informationen und/oder von Drehmomentdaten und/oder von Verbindungsdaten entsprechend angesteuert.
Die DE 10 2012 003 809 A1 betrifft ein System, mit welchen das Drehmoment, das zum Öffnen eines Kunststoff-Schraubverschlusses einer Flasche notwendig ist, berührungslos ermittelt wird. Dies erfolgt durch Detektieren entsprechender Marken mittels einer Kamera.
In der EP 1 963 786 B1 ist ein System zum Verfassen einer Position eines Objektes beschrieben. Hierbei werden die Objekte optisch erfasst.
Aus der US 2008/01 15589 A1 geht ein Drehmomentschlüssel hervor, der eine Dreh-moment- Messeinrichtung aufweist. Dieses System weist weiterhin eine Kamera und einen sichtbaren Zeiger auf. Der sichtbare Zeiger ist beispielsweise ein Lichtsignal, das eine bestimmte Verbindung markiert, die mit dem Drehmomentschlüssel angezogen werden soll. Mit der Kamera kann die an- gezogene Verbindung aufgenommen werden und daraus automatisch ermittelt werden, welche Verbindung als nächstes anzuziehen ist, so dass dem Benutzer eine exakte Reihenfolge vorgegeben wird. Weiterhin können auch Informationen über die einzelnen Verbindungen gespeichert werden. Aus der US 2008/0061 145 A1 geht ein Verbindungswerkzeug, wie z. B. ein Schraubendreher, hervor, mit welchem Verbindungsteile verbunden werden können. Den Verbindungsteilen ist eine Markierung zugeordnet. Das Werkzeug weist eine Leseeinrichtung auf, die diese Markierung erfassen kann. Die Markierung kann beispielsweise ein Barcode sein. Diese Information kann mit entsprechenden Informationen einer Datenbank verglichen werden.
In der US 2014/0137669 A1 ist ein Drehmomentbestimmungssystem beschrieben, das aus vorbestimmten Winkelstellungen das entsprechende Drehmoment ermittelt. Die Winkelstellungen können mit einem Röntgensystem erfasst werden. In der DE 10 2013 017 007 A1 ist ein Roboter offenbart, bei dem der mit dem Roboter ausgeübte Kraft- und Drehmomenteintrag bestimmt werden kann.
Es ist eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum Ver- schrauben von oder an Gegenständen, insbesondere bei der Herstellung bzw. Montage von Fahr- zeugen, zu schaffen, die es ermöglichen, die jeweils aufgebrachten Drehmomente unter Zuordnung zu den jeweils abgearbeiteten Verschraubungsorten mit geringerem Personalaufwand und ohne Veränderungen am zu verschraubenden Gegenstand zuverlässig zu protokollieren. Die vorstehende Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen der vorliegenden Erfindung bilden den Gegenstand der Unteransprüche. Die vorliegende Erfindung geht von der Grundidee aus, einen Arbeitsbereich mit dem zu verschraubenden Gegenstand und einer Werkzeugeinheit die zum Schrauben von Schraubverbin- dungselementen ausgebildet ist, durch eine Bildaufnahmeeinheit zu überwachen und die aufgenommenen Bilder zu analysieren, um zumindest den Gegenstand und einen Verschraubungsort, an dem eine Verschraubung vorgenommen wird, zu erkennen und automatisch ein Protokoll zu erzeugen, in welchem der erkannte Gegenstand und Verschraubungsort sowie ein bei der Verschraubung aufgebrachtes und erfasstes Drehmoment bzw. ein ausgeübter Drehwinkel miteinander in Bezug gebracht werden. Wahlweise können die Datensätze des Protokolls, die im Zusammenhang mit der vorliegenden Erfindung als Protokolltupel bezeichnet werden, auch Daten, welche die ebenfalls durch Bildanalyse erkannte Werkzeugeinheit wiedergeben, und/oder einen Zeit- Stempel, der eine Zeit, an welcher das Drehmoment bzw. der Drehwinkel aufgebracht wurde, und/oder anhand eines Arbeitsplans erzeugte Vorgaben hinsichtlich eines Verschraubungsorts an dem Gegenstand und/oder eines Schraubfalls und/oder einer Werkzeugauswahl aufweisen. Die Protokolltupel können auch zur Überwachung des Verschraubungsvorgangs, zur Überprüfung des Verschraubungserfolgs- und/oder Fortschritts, zur Rückmeldung von Vorgaben und/oder Überprü- fungsergebnissen an einen Benutzer und zur Führung des Benutzers verwendet werden. Rückmeldungen können durch optische und/oder akustische Signalisierung und/oder Bildanzeige erfolgen.
Bevorzugt werden die Protokolltupel erst dann gesichert, wenn festgestellt wurde, dass die Werk- zeugeinheit von der Verschraubungsstelle entfernt wurde; und/oder die erfassten Daten hinsichtlich des Gegenstands und des Verschraubungsorts und des aufgebrachten Drehmoments bzw. des ausgeführten Drehwinkels, vorzugsweise auch hinsichtlich der Werkzeugeinheit, mit Vorgaben übereinstimmen; und/oder ein abgearbeiteter Schraubfall durch einen Benutzer quittiert wird. Eine Sicherung kann beispielsweise, aber nicht nur, als Ausdruck, dauerhafte Speicherung in einem nichtflüchtigen Speicher oder Datenträger, Übertragung an eine entfernte Verwaltungsstelle, etc. erfolgen. Das erfasste und in dem Protokolltupel, insbesondere in dem gesicherten Protokolltupel, enthaltene Drehmoment ist vorzugsweise ein maximales an dem Verschraubungsort aufgebrachtes Drehmoment.
Eine Vorrichtung zum Verschrauben von Gegenständen gemäß einem ersten Gesichtspunkt der vorliegenden Erfindung umfasst
eine Werkzeugeinheit, die zum Schrauben von Schraubverbindungselementen ausgebildet ist, - eine Drehvorgabenausgabeeinrichtung, die ausgebildet ist, um das beim Schrauben mit der Werkzeugeinheit aufzubringende Drehmoment oder den beim Schrauben auszuführenden Drehwinkel auszugeben, und
eine Datenverarbeitungseinheit, die ausgebildet ist, Drehmomentdaten oder Drehwinkelda- ten, welche das beim Schrauben aufgebrachte Drehmoment wiedergeben, zu erfassen, eine Bildaufnahmeeinheit, welche eine Stereokamera aufweist ausgebildet ist, um ein räumliches Bild eines Arbeitsbereichs mit wenigstens einem Ausschnitt eines zu verschraubenden Gegenstands aufzunehmen und die aufgenommenen Bilddaten bereitzustellen, wobei
- die Datenverarbeitungseinheit eine Bildanalyseeinheit aufweist, welche ausgebildet ist, um den Gegenstand, die Werkzeugeinheit und einen Verschraubungsort an dem Gegenstand in dem aufgenommenen Bild zu erkennen und einen Protokolltupel (p) mit Daten, welche den erkannten Verschraubungsort wiedergeben, und die erfassten Drehmomentdaten und/oder Drehwinkeldaten einander zugeordnet aufweist, zu erzeugen.
Vorzugsweise ist die Datenverarbeitungseinheit derart ausgebildet, dass das Erkennen des Gegenstandes anhand von zumindest drei Referenzpunkten des erfassten räumlichen Bildes erfolgt. Mit drei Referenzpunkten ist der Gegenstand eindeutig im Raum bzw. im dreidimensionalen Koordinatensystem der Bildaufnahmeeinheit festgelegt.
Das Erkennen des Gegenstands kann auch anhand der Punkte erfolgen, die einen bestimmten Körper beschreiben, der Bestandteil des Gegenstandes ist. Die Punkte dieses Körpers stellen somit Referenzpunkte dar. Es sind unterschiedliche Algorithmen bekannt, mit welchen aus räumlichen Bildern, das heißt Bildern, die dreidimensionale Informationen über die erfassten Gegenstän- de umfassen, einzelne Körper extrahiert und mit einem Datenmodell beschrieben werden.
Das Bestimmen bzw. Erkennen des Gegenstandes erfolgt vorzugsweise durch Vergleichen der Referenzpunkte mit den entsprechenden Punkten in einem dreidimensionalen Modell des Gegenstandes.
Ein solches Modell kann aus Konstruktionsdaten abgeleitet werden. Vorzugsweise wird ein solches Modell des Gegenstandes jedoch in einem leeren Lernprozess erstellt, in dem mehrere räumliche Aufnahmen mit der Bildaufnahmeeinheit erstellt werden. Das Modell wird dann aus diesen räumlichen Aufnahmen erzeugt, indem diese Aufnahmen übereinander gelagert und abgeglichen werden. Ein solches von den räumlichen Bildern bzw. Aufnahmen abgeleitete Modell beschreibt den Gegenstand in einer Art und Weise, die den räumlichen Bildern, die im späteren Betrieb mit der Bildaufnahmeeinheit erfasst werden, sehr ähnlich ist.
Die Verwendung einer Stereokamera zur Erzeugung derartiger räumlicher Bilder des Gegenstandes und der Vergleich mit einem dreidimensionalen Modell des Gegenstandes erlaubt es, die Ste- reokamera mit unterschiedlichen Blickrichtungen auf den Gegenstand zu richten und trotzdem einen zuverlässigen Abgleich mit dem Modell zu erzielen, wodurch der Gegenstand und dessen Position im Koordinatensystem der Stereokamera zuverlässig erfasst werden kann, auch wenn aus unterschiedlichen Blickrichtungen die räumlichen Bilder vom Gegenstand erfasst werden.
Ein Verfahren zum Verschrauben von Gegenständen gemäß einem weiteren Gesichtspunkt der vorliegenden Erfindung weist die folgenden Schritte auf:
Aufnehmen eines räumlichen Bildes eines Arbeitsbereichs mit einer Stereokamera, wobei das erfasste Bild wenigstens einen Ausschnitt eines zu verschraubenden Gegenstands um- fasst;
Erkennen des Gegenstands anhand zumindest von drei Referenzpunkten des erfassten räumlichen Bildes und eines Verschraubungsorts an dem Gegenstand aus dem einen oder mehreren aufgenommenen Bildern;
- automatisches Erfassen eines beim Schrauben durch die Werkzeugeinheit aufgebrachten Drehmoments und/oder eines ausgeführten Drehwinkels;
Erzeugen eines Protokolltupels von Daten, die den Verschraubungsort und das Drehmoment und/oder den Drehwinkel einander zugeordnet wiedergeben.
Als eine Werkzeugeinheit im Sinne der Erfindung kann jedwedes Verschraubungswerkzeug ver- standen werden, das es ermöglicht, ein beim Verschrauben aufgebrachtes Drehmoment zu erfassen, zu messen, anzuzeigen, zu erkennen etc. Insbesondere kann die Werkzeugeinheit als sogenannter Drehmomentschlüssel ausgestaltet sein, der eine Hebeleinheit mit einer Werkzeugaufnahme aufweist, wobei in bzw. an der Werkzeugaufnahme ein auswechselbares Werkzeug aufgenommen bzw. aufnehmbar ist. Das auswechselbare Werkzeug kann etwa eine sogenannte Nuss oder ein sogenannter Bit, mit oder ohne Verlängerung, sein und ist für einen jeweiligen Schraubfall an das zu schraubende Schraubverbindungselement angepasst bzw. anpassbar. Weitere Beispiele für geeignete Werkzeugeinheiten sind beispielsweise, aber nicht nur, ein Schraubendreher oder ein Schlagschrauber. Die Anzeige des Drehmoments kann beispielsweise, aber nicht nur, durch eine optische Anzeige wie etwa einen Zeiger, eine Skala, eine Uhr oder eine Digitalanzeige und/oder und durch Sensieren und Übertragen von Messdaten, erfolgen. Dabei werden zur Erfassung des Drehmoments im letzteren Fall die Sensordaten an eine Datenverarbeitungseinheit drahtlos oder leitungsgebunden übertragen und dort ausgewertet, und wird im ersteren Fall das durch die Bildaufnahmeeinheit gelieferte Bild auch dahin ausgewertet, das durch die optische Anzeige angezeigte Drehmoment zu erkennen. Zum Sensieren des Drehmoments kann ein entsprechender Sensor vorgesehen sein. Die Drehvorgabenausgabeeinrichtung ist vorzugsweise in bzw. an der Hebeleinheit angeordnet In bevorzugten Ausführungsformen tragen die Werkzeugeinheit, insbesondere die Hebeleinheit und/oder das auswechselbare Werkzeug, eine Identifikationsmarkierung. Die Identifikationsmarkierung kann beispielsweise, aber nicht nur, einen Strichkode, einen Farbcode, einen 2D-Barcode und/oder eine Lochmarkierung, aufweisen. Die Identifikationsmarkierung ermöglicht es, die Werk- zeugeinheit anhand der Identifikationsmarkierung zu erkennen. Die Identifikationsmarkierung kann an einer auswechselbaren Markierungseinheit angebracht sein, welche an geeigneter Stelle an der Werkzeugeinheit angebracht bzw. anbringbar ist.
Eine Trägereinheit, welche wenigstens die Bildaufnahmeeinheit trägt, kann vorzugsweise in Form eines Brillengestells, einer Schutzbrille, eines Schutzhelms, eines Stirnbands oder Teil eines Kleidungsstücks wie etwa einer Schulterklappe, eines Kragens oder eines Gürtels ausgebildet sein oder Befestigungselemente zur Anbringung an einer Brille, einer Schutzbrille, einem Schutzhelm, einem Stirnband oder an einem Kleidungsstück wie etwa an einer Schulterklappe, einem Kragen, einem Gürtel aufweisen. Damit kann ein Verwender die Bildaufnahmeeinheit am Körper tragen. Wenn die Bildaufnahmeeinheit am Kopf getragen wird, folgt eine Bilderfassung in vorteilhafter Weise den Kopfbewegungen des Verwenders.
Vorzugsweise ist die Bildaufnahmeeinheit ausgebildet, um ein räumliches Bild zu erzeugen. Hierzu weist die Bildaufnahmeeinheit insbesondere eine erste Bilderfassungseinheit und eine zweite Bil- derfassungseinheit, die räumlich getrennt voneinander angeordnet sind, auf.
Es versteht sich, dass das Verfahren für eine Vielzahl von Verschraubungsorten bzw. Schraubfällen wiederholt werden kann. Die Erkennung des Gegenstands erfolgt vorzugsweise anhand vorgegebener, ortsunveränderlicher erster Erkennungspunkte an dem Gegenstand, wobei die ersten Erkennungspunkte durch Vergleich mit einem vorab gespeicherten Modell des Gegenstands erkannt werden, und wobei die ersten Erkennungspunkte vorzugsweise dem Gegenstand immanent sind. Die Erkennung des Verschraubungsorts erfolgt vorzugsweise anhand vorgegebener, ortsunveränderlicher zweiter Er- kennungspunkte an der Werkzeugeinheit, wobei die zweiten Erkennungspunkte durch Vergleich mit einem vorab gespeicherten Modell der Werkzeugeinheit erkannt werden, wobei die zweiten Erkennungspunkte vorzugsweise der Werkzeugeinheit immanent sind. Dabei kann das Modell jeweils aus Konstruktionsdaten wie etwa CAD-Daten abgeleitet oder durch vorheriges Anlernen erzeugt werden.
Das Bild ist ein räumliches Bild, welches durch zwei räumlich getrennte Bilderfassungseinheiten (=Stereokamera) aufgenommen wird. Dabei kann zur Erkennung des Gegenstands eine durch die relative räumliche Lage der zwei Bilderfassungseinheiten definierte Geometriereferenz verwendet werden. Weitere Merkmale, Aufgaben, Vorteile und Wirkungen der vorliegenden Erfindungen werden aus der nachstehenden Beschreibung spezieller Ausführungsbeispiele ersichtlich werden. Zur Veranschaulichung der Ausführungsbeispiele wird auf die beigefügte Zeichnung Bezug genommen. Dabei ist:
Fig. 1 ein Blockschaubild zur Veranschaulichung einer Vorrichtung zum Verschrauben von Gegenständen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 eine Ansicht einer Werkzeugeinheit, die in dem Ausführungsbeispiel verwendet werden kann;
Fig. 3 eine räumliche Ansicht einer auswechselbaren Markierungseinheit zum Anbringen einer Identifikationsmarkierung an der Werkzeugeinheit von Fig. 2; Fig. 4 eine räumliche Ansicht einer Bildaufnahmeeinheit mit einer Trägereinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 5 eine räumliche Ansicht einer Bildaufnahmeeinheit mit einer Trägereinheit gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 6 eine Ansicht einer Bildaufnahmeeinheit mit einer Trägereinheit gemäß einem noch weiteren Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 7 eine schematische Darstellung einer Verschraubungssituation zur Veranschaulichung eines Verfahrens zum Verschrauben von Gegenständen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 8 ein Prinzipschaubild, welches ausgewählte Punkte in der in Fig. 7 gezeigten Situation in einem Koordinatensystem schematisch darstellt;
Fig. 9 ein Blockschaubild zur Veranschaulichung des Verfahrens zum Verschrauben von Gegenständen gemäß der vorliegenden Erfindung;.
Figur 10 eine Markierungseinheit mit einem zweidimensionalen Barcode. Die vorliegende Erfindung wird nun anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben werden. Dabei ist zu verstehen, dass die bildlichen Darstellungen rein schematisch und nicht notwendigerweise maßstabsgetreu sind. Ebenso ist darauf hinzuweisen, dass die Zeichnungen und die nachfolgende Beschreibung sich auf die zum Verständnis der Erfindung hilfreichen Merkmale konzentrieren, ohne dass dadurch der Schutzbereich der vorliegenden Erfindung, der allein durch die beigefügten Ansprüche definiert ist, eingeschränkt werden soll.
Fig. 1 ist ein Blockschaubild, welches eine Vorrichtung zum Verschrauben von Gegenständen in einem Verschraubungsfall schematisch veranschaulicht. Zur Durchführung einer Verschraubung an einem Gegenstand 100 wird eine Vorrichtung verwendet, die mehrere Elemente aufweist, nämlich eine Werkzeugeinheit 200, eine Bildaufnahmeeinhit 300, eine Datenverarbeitungseinheit 400 und eine Bildausgabeeinheit 500. Gemäß der Darstellung in Fig. 1 weist der Gegenstand 100 eine Mehrzahl von Referenzpunkten 1 10 sowie einen Verschraubungsort 120 auf. Die Referenzpunkte 1 10 sind unveränderliche Erkennungspunkte an dem Gegenstand 100, die durch die Konstruktion des Gegenstands 100 vorgegeben sind. Die Referenzpunkte 1 10 können auch die Punkte sein, die einen bestimmten Körper des Gegenstandes beschreiben. Vorzugsweise werden als Referenzpunkte auch diejenigen Punk- te verwendet, die einen langgestreckten Körper beschreiben. Ein in einer Modeldatenspeichereinheit 440 gespeichertes Datenmodell, welches die Erkennung und räumliche Zuordnung der Referenzpunkte 1 10 am Gegenstand 100 aus einer räumlichen bildlichen Darstellung ermöglicht, wird nachstehend genauer beschrieben. Dieses Model kann aus Konstruktionsdaten abgeleitet und/oder während eines Lernprozesses, bei dem mehrere räumliche Aufnahmen mit der Bildauf- nahmeeinheit 300 erstellt werden, erzeugt werden. Vorzugsweise wird das Modell aus den mit der Bildaufnahmeeinheit 300 erfassten räumlichen Aufnahmen erzeugt, da ein solches Modell den im späteren Betrieb erfassten räumlichen Bildern sehr ähnlich ist. Die mehreren räumlichen Bildern werden zum Erzeugen des Modells einander überlagert und abgeglichen. Der Verschraubungspunkt 120 ist durch einen Arbeitsplan vorgegeben und mit dem Verschraubungsfall verknüpft. Der Verschraubungsort 120, der in Fig. 1 dargestellt ist, ist vorzugsweise nur einer von vielen Verschraubungsorten, die gemäß dem Arbeitsplan abzuarbeiten sind. Ferner können mehr als drei Referenzpunkte an dem Gegenstand 100 definiert sein, zur räumlichen Orientierung sind jedoch mindestens drei Referenzpunkte 1 10 erforderlich, die vorzugsweise nicht auf ei- ner Geraden liegen.
Der Verschraubungsort 120 kann sowohl im Modell als auch mit der Bildaufnahmeeinheit 300 erfassten räumlichen Bildern hinter einem Teil des Gegenstandes 100 versteckt sein. Zur automatischen Erkennung des Gegenstandes 100 genügt es, wenn die Referenzpunkte in dem erfassten Bild sichtbar sind. Ist der Gegenstand 100 identifiziert und seine Anordnung im Raum bzw. im Koordinatensystem der Bildaufnahmeeinheit 300 bekannt, dann können auch solche versteckten Verschraubungsorte 120 identifiziert werden. Die Verschraubungsorte 120 und die Referenzpunkte 1 10 können während des Lernprozesses eingegeben und in das zu erstellende Modell integriert werden. Hierbei kann der Arbeitsplan zum Lernen der Verschraubungsorte120 abgearbeitet werden. Zur Verschraubung an dem Gegenstand 100 ist im vorliegenden Ausführungsbeispiel eine Schraube 150 vorgesehen. Gemäß der Darstellung in Fig. 1 wird zur Verschraubung eine Werkzeugeinheit 200 verwendet, die einen Drehmomentschlüssel und eine an die Schraube bzw. den Schraubenkopf der Schraube 150 angepasste Nuss 250 aufweist. Der Drehmomentschlüssel weist einen Hebelarm 210, einen Zapfen 220 zur Koppelung mit der Nuss 250 und eine Drehmomentan- zeige 230 auf. An dem Hebelarm 210 ist eine Markierungseinheit 240 mit einer Identifikationsmarkierung angebracht. Die Identifikationsmarkierung ist so gestaltet, dass sie den Drehmomentschlüssel 200 eindeutig von anderen Werkzeugen unterscheidbar kennzeichnet und wird später anhand eines spezifischen Beispiels der Markierungseinheit 240 näher beschrieben. Der Drehmomentschlüssel wird als eine Werkzeugeinheit 200 im Sinne der vorliegenden Erfindung verstan- den, wobei der Hebelarm 210 als eine Hebeleinheit, die Drehmomentanzeige 230 als eine Dreh- vorgabenausgabeeinrichtung, der Zapfen 220 als eine Werkzeugaufnahme und die Nuss 250 als ein auswechselbares Werkzeug verstanden wird. Der Zapfen 220 weist in an sich bekannter und üblicher Weise einen viereckigen Querschnitt auf, der mit einer viereckigen Vertiefung in der Nuss 250 zusammenpasst, und kann ein Federelement (nicht näher dargestellt) an einer Seite aufwei- sen, die mit einer seitlichen Innenwandung der Vertiefung in der Nuss 250 zusammenwirkt, um die Nuss 250 mit dem Zapfen 220 verliersicher, aber lösbar zu koppeln. Der Zapfen 220 kann ferner in einer Ratscheneinheit (nicht näher dargestellt) gelagert sein, was ein quasi-kontinuierliches Schrauben ohne wiederholtes Absetzen und Neu-Ansetzen des Werkzeuges ermöglicht. Die Drehmomentanzeige 230 weist in dem vorliegenden Ausführungsbeispiel eine optische Anzeige 232 sowie einen Funksender 234 auf, was sowohl ein visuelles Ablesen des aufgebrachten Drehmoments als auch eine Übertragung des Drehmoments in Form von Messwertdaten bzw. - Signalen an einen entsprechend eingerichteten Funkempfänger ermöglicht. Alternativ kann anstelle eines Funksenders auch eine Kabelschnittstelle oder ein angesetztes Kabel vorgesehen sein, um Messwertdaten bzw. -Signale kabelgebunden zu übertragen. Es ist darauf hinzuweisen, dass die vorliegende Erfindung auch nur mit einer der optischen Anzeige und des Funksenders bzw. der Kabelschnittstelle/des Übertragungskabels funktioniert. Im Zusammenhang mit der vorliegenden Erfindung kommt es im Wesentlichen darauf an, das Drehmoment, das mit der Werkzeugeinheit beim Schrauben aufgebracht wird, in irgendeiner Form wahrnehmbar oder empfangbar auszuge- ben.
Anstelle des Drehmomentes kann auch der Drehwinkel einer Verschraubung erfasst werden. Das Erfassen des Drehwinkels erfolgt durch Detektion der Werkzeugeinheit 200 in ihren unterschiedlichen Drehstellungen mittels der Bildaufnahmeeinheit 300 und entsprechender Auswertung durch die Datenverarbeitungseinheit 400. Es gibt Montagevorschriften, welche bei Verschraubungen ein bestimmtes Drehmoment oder einen bestimmten Drehwinkel oder auch eine Kombination von beiden vorschreiben. Beispielsweise gibt es Montagevorschriften, die bei Verschraubungen zunächst ein bestimmtes Drehmoment vorschreiben. Wenn dieses Drehmoment erreicht ist, dann muss die Verschraubung noch um einen vorbestimmten Winkel (z.B. 45° oder 90°) weiter verschraubt wer- den. Die Drehvorgabenausgabeeinrichtung ist deshalb derart ausgebildet, dass sie sowohl ein Drehmoment als auch einen Drehwinkel vorgeben kann.
Gemäß der Darstellung in Fig. 1 weist die Bildaufnahmeeinheit 300 als wesentliche Bestandteile eine Kameraeinheit 310, eine Steuereinheit 320 und eine Funkschnittstelle 305 auf. Die Kamera- einheit 310 ist ausgebildet und ausgerichtet, um wenigstens einen Ausschnitt des Gegenstands 100 mit den Referenzpunkten 1 10 und dem Verschraubungsort 120 aufzunehmen, und liefert Bilddaten der aufgenommenen Bilder an die Steuereinheit 320. Die Steuereinheit 320 ist ausgebildet, um Bilddaten von der Kameraeinheit 310 zu empfangen und kann ausgebildet sein, um Steuerdaten an die Kameraeinheit 310 zu senden, um Aufnahmeparameter wie beispielsweise eine Fokus- sierung, eine Blende, eine Tiefenschärfe oder einen Bildausschnitt einzustellen. Die Steuereinheit 320 ist ferner mit der Funkschnittstelle 305 gekoppelt, und liefert dieser die von der Kameraeinheit 310 empfangenen Bilddaten so, dass die Funkschnittstelle 305 die aufgenommenen Bilddaten einer Gegenstelle bereitstellen kann. Im vorliegenden Ausführungsbeispiel weist die Bildaufnahmeeinheit 300 ferner einen Laserpointer 330 als eine Laser-Zeigevorrichtung, eine Lautsprechereinheit 340 als eine akustische Ausgabeeinheit und eine Leuchtdiodeneinheit 350 als eine optische Ausgabeeinheit auf. Der Laserpointer 330, die Lautsprechereinheit 340 und die Leuchtdiodeneinheit 350 sind datentechnisch mit der Steuereinheit 320 gekoppelt, wobei die Steuereinheit 320 ausgebildet ist, um Steuerdaten an den Laserpointer 330, die Lautsprechereinheit 340 und die Leuchtdiodeneinheit 350 auszugeben.
Gemäß der Darstellung in Fig. 1 weist die Datenverarbeitungseinheit 400 eine Funkschnittstelle 405, eine Steuereinheit 410, eine Bilddatenerfassungseinheit 420, eine Messdatenerfassungsein- heit 430, eine Modelldatenspeichereinheit 440, eine Bildanalyseeinheit 450, eine Zeitgebereinheit 460, eine Protokolliereinheit 470, eine Arbeitsplan-Speichereinheit 480, eine Vorgabeeinheit 485 und eine Rückmeldungserzeugungseinheit 495 auf.
Wie in Fig. 1 gezeigt, ist die Funkschnittstelle 405 ausgebildet, um eine drahtlose Daten- bzw. Signalübertragungsverbindung mit der Drehvorgabenausgabeeinrichtung 230 der Werkzeugeinheit 200 und der Funkschnittstellt 305 der Bildaufnahmeeinheit 300 zu etablieren und aufrecht zu erhalten. Die Steuereinheit 410 ist mit der Funkschnittstelle 405 gekoppelt und ist ausgebildet, um von der Bildaufnahmeeinheit 300 über die Funkschnittstelle 405 empfangene Bilddaten an die Bilddatenerfassungseinheit 420 zu liefern und von der Drehvorgabenausgabeeinrichtung 230 über die Funkschnittstelle 405 empfangene Drehmomentdaten an die Messdatenerfassungseinheit 430 zu liefern sowie Rückmeldungsdaten von der Rückmeldungserzeugungseinheit 495 zu empfangen. Die Bilddatenerfassungseinheit 420 ist ausgebildet, um Bilddaten von der Steuereinheit 410 zu empfangen und gegebenenfalls temporär und/oder dauerhaft zu speichern und der Bildanalyseeinheit 450 bereitzustellen. Die Modelldatenspeichereinheit 440 ist ausgebildet, um Modelldaten, welche konstruktive und geometrischen Charakteristika des Gegenstands 100 mit dessen unveränderlichen Referenzpunkten (1 10, Fig.1 ), der Werkzeugeinheit 200 bzw. deren Identifizierungsmerkmale zu speichern und der Bildanalyseeinheit 450 bereitzustellen. Die Bildanalyseeinheit 450 ist ausgebildet, um den Gegenstand 100, die Werkzeugeinheit 200 und den Verschraubungsort 120 an dem Gegenstand 100 durch einen Vergleich der von der Bilddatenerfassungseinheit 420 gelieferten Bilddaten mit den von der Modelldatenspeichereinheit 440 gelieferten Modelldaten automatisch zu erkennen und Daten, welche den erkannten Verschraubungsort und vorzugsweise die erkannte Werkzeugeinheit wiedergeben, der Protokollerzeugungseinheit 470 bereitzustellen.
Die Messdatenerfassungseinheit 430 ist ausgebildet, um von der Steuereinheit 410 empfangene Drehmomentdaten und Drehwinkel zu erfassen, gegebenenfalls vorübergehend und/oder dauerhaft zu speichern und der Protokollerzeugungseinheit 470 bereitzustellen.
Die Protokollerzeugungseinheit 470 ist ausgebildet, aus den von der Bildanalyseeinheit 450 gelieferten Daten bezüglich des Verschraubungsorts und vorzugsweise der erkannten Werkzeugein- heit, den von der Messdatenerfassungseinheit 430 gelieferten Drehmomentdaten/Drehwinkeldaten und von der Zeitgebereinheit 460 gelieferten Zeitstempeln jeweilige Protokolltupel p zu erzeugen, einem Protokollspeicher 275 zur Sicherung zuzuführen und der Überprüfungseinheit 490 bereitzustellen. Die von der Protokollerzeugungseinheit 470 erzeugten Protokolltupel können ferner Vorgabedaten beinhalten, die von der Vorgabeerzeugungseinheit 485 geliefert werden. Die Vorga- beerzeugungseinheit 485 ist ausgebildet, um anhand eines der Arbeitsplanspeichereinheit 480 entnommenen Arbeitsplans Vorgabedaten zu erzeugen und diese der Protokollerzeugungseinheit 470 und der Überprüfungseinheit 490 bereitzustellen. Zur Synchronisierung mit dem tatsächlichen Arbeitsablauf kann die Vorgabeerzeugungseinheit 485 auch mit der Zeitgebereinheit 460 und der Bildanalyseeinheit 450 gekoppelt sein. So kann die Vorgabeerzeugungseinheit 485 beispielsweise anhand eines von der Zeitgebereinheit 460 gelieferten Zeit an einem Arbeitstakt orientierte Vorgabedaten erzeugen oder kann anhand eines von der Bildanalyseeinheit 450 gelieferten Verschraubungsort flexibel an eine individuell gewählte Arbeitsreihenfolge angepasste Vorgabedaten liefern.
Die Überprüfungseinheit 490 ist ausgebildet, die (noch nicht gesicherten) Protokolltupel p dahin zu überprüfen, ob die von der Vorgabeerzeugungseinheit 485 gelieferten Vorgaben erreicht sind oder nicht, und ein entsprechendes Überprüfungsergebnis der Rückmeldungserzeugungseinheit 495 bereitzustellen. Die Sicherung der Prokolltupel p in dem Protokollspeicher 475 kann an die Bedingung geknüpft sein, dass die von der Vorgabeerzeugungseinheit 485 gelieferten Vorgaben zumindest hinsichtlich des Verschraubungsorts und des erfassten Drehmoments bzw. erfassten Dreh- Winkels erreicht sind. Die Sicherung des Protokolltupels p kann auch durch manuelle Quittierung durch einen Verwender ausgelöst werden. Ferner kann eine Sicherung eines Protokolltupels p bei Abbruch des Verschraubungsvorgangs, etwa wenn das Werkzeug von der Schraube 150 abgesetzt wird, automatisch erfolgen. Die Rückmeldungserzeugungseinheit 495 ist ausgebildet, von der Protokollerzeugungseinheit 470 gelieferte Protokolltupel, und von der Vorgabeerzeugungseinheit 485 gelieferte Vorgabedaten und von der Überprüfungseinheit 490 gelieferte Überprüfungsergebnisse zu empfangen, hieraus eine Rückmeldung zu erzeugen und diese der Steuereinheit 410 bereitzustellen. Die Steuereinheit 410 ist ferner ausgebildet, um von der Rückmeldungserzeugungseinheit 495 empfangene Rückmel- düngen über die Funkschnittstelle 405 der Bildaufnahmeeinheit 300 sowie einer nachstehend zu beschreibenden Bildausgabeeinheit 500 bereitzustellen.
Die Steuereinheit 320 der Bildaufnahmeeinheit 300 kann ausgebildet sein, um über die Funkschnittstelle 305 von der Datenverarbeitungseinheit 400 empfangene Rückmeldungen in Steuer- Signale an den Laserpointer 330, die Lautsprechereinheit 340, die Leuchtdiodeneinheit 350 und/oder die Kameraeinheit 310 umzusetzen. Daraufhin kann beispielsweise über die Lautsprechereinheit 340 die Rückmeldung in akustischer Form ausgegeben werden, kann über die Leuchtdiodeneinheit 350 ein optisches Bestätigungs- oder Warnsignal ausgegeben werden und/oder kann die Kameraeinheit 310 Bildaufnahmeparameter ändern. Sofern die von der Rückmeldungser- zeugungseinheit 495 erzeugte Rückmeldung Vorgabedaten enthält, kann auch die Laserpointereinheit 330 einen auf den zu bearbeitenden Verschraubungsort 120 gerichteten Laserstrahl erzeugen, um eine Person an den entsprechenden Verschraubungsort 120 zu leiten.
Die vorstehend erwähnte Bildausgabeeinheit 500 ist im vorliegenden Ausführungsbeispiel als ein Tablet-PC vorgesehen, der eine Funkschnittstelle 510, eine Bildschirmeinheit 520 und eine Lautsprechereinheit 530 aufweist. Anhand der über die Funkschnittstelle 510 empfangenen Rückmeldung können, wie vorliegend dargestellt, Vorgabewerte für die zu wählende Schraube 150 sowie das hierfür vorgeschriebene Drehmoment (Anzugsmoment) ausgegeben werden. Es versteht sich, dass das vorstehend beschriebene Prinzip viele Variationen und Optionen ermöglicht. Beispielsweise können eine grüne, eine rote und gegebenenfalls eine gelbe Leuchtdiode der Leuchtdiodeneinheit 350 der Bildaufnahmeeinheit 300 angesteuert werden, um ein Arbeitsergebnis einem Benutzer farbkodiert zu vermitteln. Beispielsweise kann das richtige Positionieren der Werkzeugeinheit 200 durch eine gelbe Illuminierung und das richtige erreichte Anzugsmoment durch eine grüne Illuminierung angezeigt werden. Durch Flackern mit unterschiedlicher Frequenz in gelber Farbe kann beispielsweise eine Annäherung an das vorgeschriebene Anzugsmoment, durch Flackern in roter Farbe ein zu hoher Anzugsmoment signalisiert werden. Zusätzlich kann auf dem Bildschirm 520 der Bildausgabeeinheit 500 der Arbeitserfolg durch eine Textnachricht oder eine farbliche Unterlegung angezeigt werden. Ein Ausführungsbeispiel des Drehmomentschlüssels (Werkzeugeinheit) 200 ist in Fig. 2 genauer dargestellt, und die Markierungseinheit 240 zur Verwendung an der Werkzeugeinheit 200 ist in Fig. 3 dargestellt. Dabei ist Fig. 2 eine Draufsicht der Werkzeugeinheit 200 (Drehmomentschlüssel), und Fig. 3 ist eine räumliche Ansicht der Markierungseinheit 240 in Form einer Manschette.
Wie in Fig. 2 gezeigt, ist die Drehmomentanzeige 230 in Form einer Digitalanzeige ausgeführt. Die Digitalanzeige der Drehmomentanzeige 230 ist durch die Kameraeinheit 310 der Bildaufnahmeeinheit 300 (Fig. 1 ) gut erkennbar. Die Markierungseinheit 240 ist an der Hebeleinheit 210 nahe der Werkzeugaufnahme 220 angebracht. Alternativ zu einer Digitalanzeige kann das aufgebrachte Drehmoment auch durch ein Zeigerinstrument oder einen sich mit der Hebeleinheit 210 nicht mit- verformenden Ausleger, gegebenenfalls in Verbindung mit einer an dem Hebelarm 210 angebrachten Skala, die sich bei Verformung des Hebelarms 210 an dem Ausleger entlang bewegt bzw. verschiebt, oder jeder andere geeignete optische Darstellungsweise angezeigt werden. Wie in Fig. 3 gezeigt, ist die Markierungseinheit 240 in Form einer zweischaligen Manschette mit einem Oberteil 242 und einem Unterteil 243, die durch eine Reihe von Schrauben 244 verbunden sind, um die Markierungseinheit 240 an den Hebelarm 210 festzuklemmen, ausgebildet.
Die Markierungseinheit 240 trägt ferner eine Identifikationsmarkierung in Form einerseits eines Strichcodes 246 und andererseits einer Lochmarkierung bzw. Lochkodierung 248. Beide Markierungsarten sind durch die Kameraeinheit 310 der Bildaufnahmeeinheit 300 gut ablesbar.
Fig. 10 zeigt eine alternatives Beispiel einer etwa rechteckförmigen Markierungseinheit 240, mit einem zweidimensionalen Barcode 247 zum Kodieren einer Identifikationsnummer für das jeweili- ge Werkzeug und an den Ecken mit jeweils einer Positionsmarke 248, anhand derer die Position des Werkzeuges im Raum bzw. im Koordinatensystem der Bildaufnahmeeinheit erfassbar ist. Der zweidimensionale Code ist um eine Mittellinie gespiegelt. Anhand der Positionsmarken 248 kann die Position des Werkzeuges im dreidimensionalen Koordinatensystem der Kamera einfach bestimmt werden.
Diese Markierungseinheit 240 kann mit einem herkömmlichen Drucker ausgedruckt werden. Die Markierungseinheit 240 wird dann auf die Werkzeugeinheit 200, insbesondere den Hebelarm 210, geklebt. Nach dem Befestigen der Markierungseinheit 240 an der Werkzeugeinheit 200 wird diese, gleichermaßen, ob die Befestigungseinheit eine Manschette oder ein aufgeklebtes Etikett ist, in einem Lernprozess abgetastet, sodass die Position der Markierungseinheit 240 auf der Werkzeugeinheit 200 eindeutig erfasst ist. Im späteren Betrieb kann dann anhand der Detektion der Markierungseinheit 240 eindeutig auf die Position der Werkzeugeinheit 200 im dreidimensionalen Koordinaten- System der Bildaufnahmeeinheit 300 geschlossen werden. Zum bequemen Mitführen der Bildaufnahmeeinheit 300 durch einen Benutzer kann eine Trägereinheit vorgesehen sein, an welcher die Bildaufnahmeeinheit 300 kompakt oder verteilt am Körper getragen werden kann. Einige konkrete Ausführungsbeispiele für die Bildaufnahmeeinheit 300 mit Trägereinheit 600 sind in Fign. 4 bis 6 schematisch dargestellt.
Gemäß der Darstellung in Fig. 4 ist die Trägereinheit 600 gemäß einem konkreten Ausführungsbeispiel in Form einer Schutzbrille ausgeführt. Diese Schutzbrille weist eine Maskeneinheit 622, welche Schutzgläser 624 einfasst, und ein hinter dem Kopf anliegendes elastisches Band 626 auf, wobei das Band 626 durch eine Verschlusseinheit 628 verstellbar ist. Die Bildaufnahmeeinheit 300 ist in diesem Ausführungsbeispiel seitlich an einem Übergang zwischen der Maskeneinheit 622 und dem elastischen Band 626 angebracht. Gemäß der Darstellung in Fig. 5 ist die Trägereinheit 600 gemäß einem weiteren konkreten Ausführungsbeispiel in Form einer Schutzbrille mit einem Rahmen 642, der zwei Schutzgläser 644 aufnimmt, und zwei Bügeln 646, 646 ausgeführt, wobei die Bildaufnahmeeinheit 300 verteilt an der Trägereinheit 600 angeordnet ist. So ist jeweils eine Kameraeinheit 310 an dem rechten bzw. linken Bügel 646, 646 angebracht sind, ist eine Lautsprechereinheit 340, deren Gehäuse auch die Steuereinheit 320 und die Funkschnittstelle 305 (Fig. 1 ) aufnimmt, an dem linken Bügel 646 angebracht, und ist eine Leuchtdiodeneinheit 350 mit drei verschiedenfarbigen Leuchtdioden, die an einem Nasenwurzelteil des Rahmens 642 angebracht bzw. eingebaut. Eine Verkabelung 648 zwischen den Kameraeinheiten 310, der Leuchtdiodeneinheit 350 und der Lautsprechereinheit 340 mit Funkschnittstelle 305 und Steuereinheit 320 ist am oberen Rand des Rahmens 642 integriert.
Gemäß der Darstellung in Fig. 6 ist eine Trägereinheit 600 gemäß einem noch weiteren Ausführungsbeispiel der vorliegenden Erfindung als Schutzhelm 660 ausgebildet, an dessen Seiten jeweils eine Kameraeinheit 310 angebracht ist. Die Kameraeinheiten 310 können fest montiert sein, sie können an einer am Helm 660 integrierten Halterung angebracht sein, oder sie können mit ei- ner Halterung integriert sein, die an dem Helm 660 anbringbar ist. Die weitere Gerätetechnik der Bildaufnahmeeinheit 300 kann in einer der Kameraeinheiten 310, auf beide Kameraeinheiten 310 verteilt oder in den Schutzhelm 660 integriert sein.
Fig. 7 ist eine räumliche schematische Darstellung einer Einsatzsituation im Sinne der vorliegen- den Erfindung. Ein Benutzer 700 nimmt mithilfe des Drehmomentschlüssels 200 eine Verschrau- bung an einer Verschraubungsstelle 120 an einem Gegenstand 100, hier einem Kraftfahrzeug, vor. Der Benutzer 700 trägt eine Bildaufnahmeeinheit 300 mittels einer Trägereinheit 600 in Form eines Helms (vgl. Fig. 6). Drei Referenzpunkte 1 10, die konstruktiv vorgegeben und an sich unveränderlich sind, sind an dem Gegenstand 100 vorgegeben. An der Werkzeugeinheit 200 (Drehmoment- Schlüssel) sind drei Referenzpunkte 710 konstruktiv und/oder durch Markierungseinheit (240, Fig. 3) vorgegeben bzw. identifizierbar.
Wie in Fig. 7 ersichtlich, ist in dem dargestellten Anwendungsfall die Verschraubungsstelle 120 hinter Konstruktionselementen des Gegenstands 100 verborgen. Dennoch ist es möglich, anhand der Referenzpunkte 1 10 des Gegenstands 100 und der Referenzpunkte 710 der Werkzeugeinheit 200 festzustellen, an welcher Stelle am Gegenstand 100 die Werkzeugeinheit 200 ansetzt.
Dieser Vorgang wird nachstehend anhand eines Prinzipschaubilds, das in Fig. 8 gezeigt ist, näher beschrieben werden. In Fig. 8 sind die Referenzpunkte 1 10 des Gegenstands 100 sowie die Referenzpunkte 710 der Werkzeugeinheit 200 in einem virtuellen Raum 800 dargestellt. Wie in Fig. 8 gezeigt, spannen die Referenzpunkte 1 10 des Gegenstands 100 ein erstes Referenzdreieck 810 auf, das eine erste Referenzebene 815 definiert, auf. Des Gleichen spannen die Referenzpunkte 710 der Werkzeugeinheit 200 ein zweites Referenzdreieck 820, das eine zweite Referenzebene 825 definiert, auf. Die Referenzpunkte 1 10, 710 werden von den Kameraeinheiten 310 der Bildaufnahmeeinheit 300 erfasst. Da die Kameraeinheiten 310 räumlich voneinander beabstandet sind, kann aus den gewonnenen Bilddaten eine Zuordnung der Referenzpunkte 1 10, 710 zu Koordinaten X1 , X2, X3 des virtuellen Raums 800 erfolgen, womit die absolute Lage des Gegenstands 100 und der Werkzeugeinheit 820 in virtuellem Raum 800 sowie die relative Lage zwischen dem Ge- genstand 100 und der Werkzeugeinheit 200 vollständig definiert sind. Es versteht sich, dass die hierfür erforderlichen mathematischen Vorgänge einschließlich der Erzeugung eines mathematischen Modells des Gegenstands 100 mit seinen Referenzpunkten 1 10, eines mathematischen Modells der Werkzeugeinheit 200 mit ihren Referenzpunkten 710, die Erzeugung einer räumlichen Abbildung aus zwei stereoskopischen Bildern und deren Zuordnung zu Koordinaten in einem virtu- eilen Raum in der Technik ebenso wohlbekannt sind wie die Techniken einer Bildanalyse, die zum Vergleich gelieferter Bilddaten mit dem vorher erzeugten und gespeicherten Modell herangezogen werden können, und daher an dieser Stelle nicht beschrieben werden müssen, sondern stattdessen auf den einschlägigen Stand der Technik verwiesen werden kann. Die Figuren 5 und 6 zeigen jeweils eine Trägereinheit 600 mit zwei Kameraeinheiten 310, sodass diese Kameraeinheiten 310 jeweils eine Stereokamera bilden. In Figur 4 ist die Bildaufnahmeeinheit 300 lediglich schematisch dargestellt. Hierbei handelt es sich auch um eine Stereokamera. Die Verwendung einer Stereokamera gegenüber anderen bekannten Bildaufnahmeeinheiten zum Erfassen von dreidimensionalen Strukturen bietet den Vorteil, dass die dreidimensionalen Bilder sehr schnell erzeugt werden können. In einem Prototyp der Erfindung werden von der Bildaufnahmeeinheit 300 zwei räumliche Bilder pro Sekunde erzeugt. Es ist zweckmäßig, dass zumindest alle zwei Sekunden zumindest ein räumliches Bild erzeugt wird, vorzugsweise werden pro Sekunde zumindest ein, zwei oder zumindest drei Bilder erzeugt. Andererseits ist die Auflösung einer Stereokamera ausreichend, um den Bediener eindeutig die Verschraubungsorte 120 angeben zu kön- nen. Die Verwendung der Stereokamera erlaubt es somit an einem Körper eines Bedieners angeordneten Trägereinheit 600 die Bildaufnahmeeinheit 300 vorzusehen, wobei der Bediener sich frei bewegen kann und eine an sich beliebige Position gegenüber dem Gegenstand 100 einnehmen kann, solange die Blickrichtung der Bildaufnahmeeinheit 300 auf den Gegenstand 100 gerichtet ist. Durch das Vergleichen des bzw. der erfassten räumlichen Bilder mit dem in der Modelldatenspeichereinheit 440 hinterlegten räumlichen Modell des Gegenstandes können die räumlichen Bilddaten schnell mit dem räumlichen Modell in Übereinstimmung gebracht werden. Hierdurch wird die relativen Positionen der Bildaufnahmeeinheit 300 bezüglich des Gegenstandes 100 eindeutig iden- tifiziert, sodass das dreidimensionale Koordinatensystem der Bildaufnahmeeinheit 300 festgelegt ist und die Position des Gegenstandes 100 in diesem Koordinatensystem bestimmt ist. Zeigerelemente, wie zum Beispiel der Laserpointer 330 sind vorzugsweise mit der Bildaufnahmeeinheit 300 mechanisch verbunden, sodass auch deren Position im Koordinatensystem der Bildaufnahmeeinheit 300 eindeutig festgelegt ist.
Ein Bediener, der die Trägereinheit 600 trägt, kann sich somit frei bezüglich des Gegenstandes 100 bewegen, wobei ihm einerseits die Verschraubungsorte 120 automatisch angezeigt bzw. vorgegeben werden und andererseits die Verschraubung vollständig (Drehmoment und/oder Drehwinkel; Zeitstempel) protokolliert wird.
Fig. 9 ist ein Blockschaubild zur Veranschaulichung von Prozessabläufen in der Implementierung eines erfindungsgemäßen Verfahrens zum Verschrauben von Gegenständen gemäß einer weiteren Ausführungsform der vorliegenden Erfindung. In Fig. 9 symbolisiert ein Bereich 910 eine physikalische Produktionsebene, symbolisiert ein Bereich 920 eine Datenverarbeitungsebene und symbolisiert ein Bereich 930 eine Werkzeugdatenebene. Eine erste Schnittstellenebene 921 stellt eine Verknüpfung zwischen der physikalischen Produktionsebene 910 und der Datenverarbeitungsebene 920 her, und eine zweite Schnittstellenebene 923 stellt eine Verknüpfung zwischen der Werkzeugebene 930 und der Datenverarbei- tungsebene 920 her. Die physikalische Ebene 910 kann im Wesentlichen mit dem in Produktion stehenden Gegenstand 100 Bildaufnahmeeinheit 300 und der Bildausgabeeinheit 500 in Fig. 1 verglichen werden, die Datenverarbeitungsebene 920 kann im Wesentlichen mit der Datenverarbeitungseinheit 400 von Fig. 1 gleichgesetzt werden, und die Werkzeugebene 930 kann im Wesentlichen mit der Werkzeugeinheit 200 verglichen werden. Die Schnittstellenebene 921 kann da- bei mit den Funkschnittstellen 305, 405, 510 und zugehörigen Funkübertragungsstrecken in Fig. 1 verglichen werden, und die Schnittstellenebene 923 kann im Wesentlichen mit einem in der Dreh- vorgabenausgabeeinrichtung 230 der Werkzeugeinheit 200 integrierten Funksender und der Funkschnittstelle 405 der Datenverarbeitungseinheit 400 in Fig. 1 verglichen werden. Ein Pfeil 912 in Fig. 9 symbolisiert einen Produktionsablauf etwa an einer Fahrzeugmontagestrecke bei der Fahrzeugproduktion. Sobald ein Fahrzeug an einem Montageort übernommen werden kann, erfolgt in einem Schritt 914 eine NOK-Meldung mit Fahrzeug-ID. Unter Umgehung der Datenverarbeitungsebene 920 kann die Montage des Fahrzeugs selbstverständlich auch auf manuel- lern Umweg (allgemein als Schritt 915 dargestellt) mit manueller OK-Setzung 916 durchgeführt werden. Erfindungsgemäß erfolgt die Montage, insbesondere das Setzen von Verschraubungen am Fahrzeug, jedoch unter Einbeziehung der Datenverarbeitungsebene 920. Dabei werden Daten aus der physikalischen Produktionsebene 910 über die Schnittstellenebene 921 in die Datenverarbeitungsebene 920 eingebracht und in der Datenverarbeitungsebene 920 bereitgestellte Daten über die Schnittstellenebene 921 in der physikalischen Produktionsebene 910 darstellbar gemacht. Hierzu erfolgt eine Abfrage 917, in Form einer sich ständig wiederholenden Schleife, bis von der Datenverarbeitungsebene 920 eine OK-Meldung 918 erfolgt. Nach manueller OK-Setzung 916 oder automatischer OK-Meldung 918 kann das Fahrzeug von der Montagestelle wieder in den Produktionsablauf 912 übergeben werden.
In der Datenverarbeitungsebene 920 sind mehrere Verarbeitungsblöcke definiert. Dies sind insbesondere ein Startblock 940, ein Datenladeblock 950, ein Erkennungsblock 960, ein Navigationsblock 970 und ein Überwachungsblock 980. Auf der Werkzeugebene 930 ist im Wesentlichen ein Messdatenerzeugungsblock 990 zu beachten, in welchem auf Anforderung des Navigationsblocks 970 der Datenverarbeitungsebene 920 Messdaten am Werkzeug (Werkzeugeinheit 200, Fig. 1 ) erzeugt und dem Überwachungsblock 980 der Datenverarbeitungsebene 920 bereitgestellt werden. Die Anforderung und Bereitstellung von Daten zwischen der Datenverarbeitungsebene 920 und der Werkzeugebene 930 erfolgt über die Schnittstellenebene 923. Nach Implementierung des Startblocks 940 wird auf der Datenverarbeitungsebene 920 der Datenladeblock 950 implementiert, in welchem Daten zum Fahrzeug, der Schraubsituation und zum Werkzeug geladen werden. Sodann wird der Erkennungsblock 960 implementiert, in welchem zunächst in einem Schritt 962 eine Erkennung gestartet wird, dann in Schritt 964 eine Erkennung durchgeführt wird und nach Erkennung in Schritt 966 der erkannte Sachverhalt registriert wird. Der Start der Erkennung in Schritt 962 kann mit einer Aktivierung der Bilderkennungseinheit 300 in Fig. 1 , insbesondere der Kameraeinheiten 310 verglichen werden. Die Durchführung der Erkennung in Schritt 964 entspricht beispielsweise der Erkennung des Fahrzeugs (Gegenstand 100), der Ver- schraubungsstelle 120 und der Werkzeugeinheit 200 durch Bildanalyse in der Bildanalyseeinheit 450 anhand der von der Kameraeinheit 310 gelieferten und durch die Bilddatenerfassungseinheit 420 erfassten Bilddaten im Vergleich mit den in der Modellspeichereinheit 440 gespeicherten Modelldaten, insbesondere anhand der vorgegebenen und unveränderlichen Referenzpunkte 1 10 und der Markierungseinheit 240 (Fig. 1 ) sowie an der Werkzeugeinheit 200 identifizierbaren Referenzpunkten 710 (Fig. 7). Die Registrierung der Erkennung in Schritt 966 entspricht der Erzeugung eines Datensatzes mit Daten, welche das erkannte Fahrzeug (den erkannten Gegenstand 100), die erkannte Werkzeugeinheit 200 und den erkannten Verschraubungsort 120 (Fig. 1 ) wiedergeben. Der erzeugte bzw. registrierte Datensatz wird dann dem Navigationsblock 970 übergeben.
In dem Navigationsblock 970 erfolgt eine Navigation des Monteurs zur Schraubstelle in Schritt 972, die beispielsweise über die Laserzeigeeinrichtung 330 in Fig. 1 , die Ausgabe von Vorgabedaten über die Bildausgabeeinheit 500 sowie optische und/oder akustische Signalisierungen über die Lautsprechereinheit 340 bzw. die Leuchtdiodeneinheit 350 in Fig. 1 erfolgen kann. Sobald erkannt worden ist, dass das Werkzeug (die Werkzeugeinheit) 200 mit der erforderlichen Schraube 150 an der vorgesehenen Verschraubungsstelle 120 angesetzt ist, erfolgt in Schritt 974 eine Erken- nungsmeldung an den Überwachungsblock 980. Gleichzeitig erfolgt in Schritt 976 ein Start des Schraubvorgangs, der eine Anforderung von Messdaten von der Werkzeugeinheit 200 (Fig. 1 ) beinhaltet.
Aufgrund der Anforderung durch den Navigationsblock 970 erzeugt der Verarbeitungsblock 990 auf der Werkzeugebene 930 Messdaten, welche dem aufgebrachten Drehmoment an der Werkzeugeinheit 200 (Fig. 1 ) entsprechen und überträgt diese ebenfalls an den Überwachungsblock.
Der Überwachungsblock 980 führt in Schritt 982 eine Überwachung des Schraubvorgangs anhand der von der Werkzeugebene 930 (Verarbeitungsblock 990) gelieferten Messdaten und beendet die Überwachung in Schritt 984 bei Sollerreichung. Daraufhin erfolgt noch in Schritt 986 eine Generierung von Protokollen, wobei Protokolltupel erzeugt werden, welche den in Schritt 966 registrierten Datensatz zusammen mit den Daten, die das erfasste Drehmoment wiedergeben, erzeugt und gespeichert wird. Das Protokoll kann in Form von Log-Files und/oder Videoprotokollen 925 an die Schnittstellenebene 921 übergeben werden. Ebenso liefert der Überwachungsblock 980 eine OK- Meldung 927 an die Schnittstellenebene 921 , wenn das Fahrzeug noch aktiv ist, und über die Schnittstellenebene 921 wird die OK-Meldung 927 in die oben beschriebene OK-Meldung 980 umgesetzt.
Es ist darauf hinzuweisen, dass der oben beschriebene Ablauf unter dem Regime einer vorgege- benen Taktung steht und im Rahmen dieses Taktes anhand eines Arbeitsplans (vgl. 480, Fig. 1 ) Schraubfälle abgearbeitet werden, wobei für jeden Schraubfall eine Schraubfall-ID erzeugt wird. Die Schraubfall-ID sowie die oben erwähnte Fahrzeug-ID sind jeweiliger Bestandteil der Protokolltupel des generierten Protokolls. Beim oben erläuterten Beispiel ist der Gegenstand 100 ein Kraftfahrzeug. Im Rahmen der Erfindung können auch andere Gegenstände, wie z.B. Luftfahrzeuge, medizinische Vorrichtungen oder dgl. Verwendet werden.
Bei dem oben beschriebenen Ausführungsbeispielen trägt ein Bediener bzw. Monteur die Trä- gereinheit 600, auf welcher die Kameraeinheiten 310 angeordnet sind. Im Rahmen der Erfindung ist es auch möglich, einen automatischen Verschraubungsautomat vorzusehen, bei welchem die Werkzeugeinheit 200 automatisch zum jeweiligen Verschraubungsort 120 bewegt und betätigt wird. Hierzu kann beispielsweise ein Roboterarm vorgesehen sein. Der Verschraubungsautomat und der zu verschraubende Gegenstand können relativ zueinander bewegt werden, wobei in den unterschiedlichen Positionen jeweils zumindest ein räumliches Bild des Gegenstands erfasst wird. Die Ortsauflösung der mit der Bildaufnahmeeinheit 300 erfassten räumlichen Bilder kann nicht genügen, um alleine anhand eines einzelnen räumlichen Bildes des Gegenstandes 100 die Werkzeugeinheit 200 ausreichend präzise zum Verschraubungsort 120 zu steuern. Falls dies der Fall ist, können zur Positionierung der Werkzeugeinheit 200 während des Positioniervorganges weitere räumliche Bilder aufgenommen werden, wobei hierin die Werkzeugeinheit 200 und der Gegenstand 100 erfasst sind, sodass anhand dieser Bilder die relative Position der Werkzeugeinheit 200 zum Gegenstand 100 bestimmt ist. Diese relative Position ist mit einer wesentlich höheren Ortsauflösung als die absolute Position des Gegenstandes 100 im dreidimen- sionalen Koordinatensystem der Kamera bestimmt. Somit kann mit einer geschlossenen Regelschleife die Werkzeugeinheit 200 sehr präzise vollautomatisch am Verschraubungsort 120 positioniert werden.
Eine derartige Regelung mit geschlossener Regelschleife zur Positionierung der Werkzeugeinheit 200 kann auch bei einem„mobilen" System mit einer tragbaren Trägereinheit 600 verwendet werden, wobei dann dem Monteur optische, akustische oder sonstige Hinweise gegeben werden, wie er die Werkzeugeinheit 200 relativ zum Gegenstand 100 zu positionieren hat.
Es versteht sich, dass die vorstehende Beschreibung nur beispielhafte Ausführungsmöglichkeiten der vorliegenden Erfindung umfassen kann und die Erfindung nicht auf die beschriebenen spezifischen Ausführungsformen beschränkt ist, sondern allein durch die beigefügten Patentansprüche in ihrem breitesten Verständnis definiert ist. Abwandlungen, Ergänzungen, Ersetzungen und Äquivalente, die der Fachmann anhand seines Fachwissens an den beschriebenen Ausführungsbeispielen vornimmt, sind als Ausführungsformen der vorliegenden Erfindung zu verstehen, soweit sie in den Schutzbereich der beigefügten Patentansprüche fallen.

Claims

Patentansprüche
Vorrichtung zum Verschrauben von Gegenständen, aufweisend:
eine Werkzeugeinheit (200), die zum Schrauben von Schraubverbindungselementen (150) ausgebildet ist,
eine Drehvorgabenausgabeeinnchtung (230), die ausgebildet ist, um das beim Schrauben mit der Werkzeugeinheit (200) aufzubringende Drehmoment und oder beim Schrauben auszuführenden Drehwinkel auszugeben, und
eine Datenverarbeitungseinheit (400), die ausgebildet ist, Drehmomentdaten oder Drehwinkeldaten, welche das beim Schrauben aufgebrachte Drehmoment oder den beim Schrauben ausgeführten Drehwinkel wiedergeben, zu erfassen,
eine Bildaufnahmeeinheit (300), welche eine Stereokamera aufweist, um ein räumliches Bild eines Arbeitsbereichs mit wenigstens einem Ausschnitt eines zu verschraubenden Gegenstands (100) aufzunehmen und die aufgenommenen Bilddaten bereitzustellen, und die Datenverarbeitungseinheit (400) eine Bildanalyseeinheit (450) aufweist, welche ausgebildet ist, um den Gegenstand (100), die Werkzeugeinheit (200) und einen Verschrau- bungsort an dem Gegenstand (100) in dem aufgenommenen Bild zu erkennen und einen Protokolltupel (p) mit Daten, welche den erkannten Verschraubungsort wiedergeben, und die erfassten Drehmomentdaten und/oder Drehwinkeldaten einander zugeordnet aufweist, zu erzeugen.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die Datenverarbeitungseinheit derart ausgebildet ist, dass das Erkennen des Gegenstands (100) anhand zumindest von drei Referenzpunkten (1 10) des erfassten räumlichen Bildes erfolgt.
3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das Erkennen des Gegenstands (100) anhand eines Körpers erfolgt, der Bestandteil des Gegenstandes ist und im räumlichen Bild durch eine Vielzahl von Referenzpunkten dargestellt wird.
4. Vorrichtung gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Protokolltupel (p) ferner Daten, welche die erkannte Werkzeugeinheit (200) wiedergeben, und/oder einen Zeitstempel, der eine Zeit, an welcher das Drehmoment aufgebracht bzw. der Drehwinkel ausgeführt wurde, wiedergibt, aufweist. 5. Vorrichtung gemäß einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Werkzeugeinheit (200) eine Hebeleinheit (210) mit einer Werkzeugaufnahme (220) und ein auswechselbares Werkzeug (250), welches in bzw. an der Werkzeugaufnahme (220) aufgenommen bzw. aufnehmbar ist, aufweist, wobei das Werkzeug (250) an das zu schraubende Schraubverbin- dungselement (150) angepasst bzw. anpassbar ist, wobei die Drehvorgabenausgabeeinnchtung (230) vorzugsweise in bzw. an der Hebeleinheit (210) angeordnet ist.
6. Vorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Drehvorgabenausgabeeinrichtung (230) wenigstens eine der nachstehenden aufweist:
- eine optische Anzeige (232) wie etwa einen Zeiger, eine Skala, eine Uhr oder eine Digital- anzeige, wobei die Bildanalyseeinheit (450) der Datenverarbeitungseinheit (400) ausgebildet ist, um das durch die optische Anzeige (232) angezeigte Drehmoment bzw. den Drehwinkel aus dem von der Bildaufnahmeeinheit (300) gelieferten Bild zu erkennen;
- eine Datenübertragungseinheit (234), die ausgebildet ist, um Messdaten, welche ein sen- siertes Drehmoment wiedergeben, zu übertragen, wobei eine Empfangseinheit (405) der Datenverarbeitungseinheit (400) ausgebildet ist, um die von der Datenübertragungseinheit
(234) gelieferten Messdaten zu empfangen, und wobei eine Messdatenerfassungseinheit (430) der Datenverarbeitungseinheit (400) ausgebildet ist, um die empfangenen Messdaten als die Drehmomentdaten zu interpretieren und zu erfassen. 7. Vorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Werkzeugeinheit (200), insbesondere die Hebeleinheit (210) und/oder das auswechselbare Werkzeug (250), eine Identifikationsmarkierung (246, 248), insbesondere einen Strichkode, einen Farbcode, einen 2D-Barcode und/oder eine Lochmarkierung, tragen, wobei die Datenverarbeitungseinheit (400) ausgebildet ist, um die Werkzeugeinheit (200) anhand der Identifikationsmarkie- rung (246, 248) zu erkennen, wobei die Werkzeugeinheit (200) vorzugsweise eine auswechselbare Markierungseinheit (240) aufweist, welche die Identifikationsmarkierung (246, 248) trägt.
8. Vorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass weiter aufweisend eine Trägereinheit (600), welche wenigstens die Bildaufnahmeeinheit (300) trägt und vorzugsweise in Form eines Brillengestells, einer Schutzbrille, eines Schutzhelms, eines Stirnbands oder Teil eines Kleidungsstücks wie etwa einer Schulterklappe, eines Kragens oder eines Gürtels ausgebildet ist oder Befestigungselemente zur Anbringung an einer Brille, einer Schutzbrille, einem Schutzhelm, einem Stirnband oder an einem Kleidungsstück wie etwa an einer Schulterklappe, einem Kragen, einem Gürtel aufweist.
9. Vorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (400) eine Vorgabeerzeugungseinheit (485), welche ausgebildet ist, Vorgaben hinsichtlich eines Verschraubungsorts an dem Gegenstand (100) und/oder eines Schraubfalls und/oder einer Werkzeugauswahl, vorzugsweise anhand eines vorab gespeicherten Arbeitsablaufplans, zu generieren, aufweist, wobei die Protokollerzeugungseinheit (470) vorzugsweise ausgebildet ist, von der Vorgabeerzeugungseinheit (485) erzeugten Vorgaben dem jeweiligen Protokolltupel (p) hinzuzufügen, und wobei die Datenverarbeitungseinheit (400) vorzugsweise eine Überprüfungseinheit (485), welche ausgebildet ist, das Erreichen der Vorgaben zu überprüfen und ein Überprüfungsergebnis zu generieren, aufweist.
10. Vorrichtung gemäß Anspruch 9, weiter gekennzeichnet durch eine akustische Ausgabeeinheit (340), die mit der Datenverarbeitungseinheit (400) gekoppelt ist, wobei die Datenverarbeitungseinheit (400) ausgebildet ist, die Vorgaben und/oder Überprüfungsergebnisse an die akusti- sehe Ausgabeeinheit (340) zu übermitteln, und die akustische Ausgabeeinheit ausgebildet ist, den Vorgaben und/oder Überprüfungsergebnissen entsprechende akustische Hinweis-, Warn- und/oder Bestätigungssignale auszugeben.
1 1 . Vorrichtung gemäß Anspruch 9 oder 10, weiter gekennzeichnet durch eine optische Aus- gabeeinheit (330, 350), die mit der Datenverarbeitungseinheit (400) gekoppelt ist, wobei die Datenverarbeitungseinheit (400) ausgebildet ist, die Vorgaben und/oder Überprüfungsergebnisse an die optische Ausgabeeinheit (330, 350) zu übermitteln, und die optische Ausgabeeinheit (330, 350) ausgebildet ist, den Vorgaben und/oder Überprüfungsergebnissen entsprechende optische Hinweis-, Markierungs-, Warn- und/oder Bestätigungssignale auszugeben, wobei die optische Ausga- beeinheit (330, 350) vorzugsweise eine oder mehrere Leuchtdioden (350) einer oder unterschiedlicher Farben, eine Laser-Zeigevorrichtung (330) und/oder eine Hologramm-Erzeugungseinrichtung aufweist.
12. Vorrichtung gemäß einem der Ansprüche 9 bis 1 1 , weiter gekennzeichnet durch eine Bild- ausgabeeinheit (500), die mit der Datenverarbeitungseinheit (400) gekoppelt ist, wobei die Datenverarbeitungseinheit (400) ausgebildet ist, die Vorgaben und/oder Überprüfungsergebnisse der Bildausgabeeinheit (500) zu übermitteln, wobei die Bildausgabeeinheit (500) ausgebildet ist, den Vorgaben und/oder Überprüfungsergebnissen entsprechende Hinweise, Anweisungen, Warnungen oder Bestätigungen auszugeben.
13. Vorrichtung gemäß einem der vorstehenden Ansprüche, weiter gekennzeichnet durch eine Protokollsicherungseinheit (475), die ausgebildet ist, die durch die Protokollerzeugungseinheit (470) erzeugten Protokolltupel (p) zu sichern, wobei die Protokollerzeugungseinheit (470) ausgebildet ist, einen Protokolltupel (p) vorzugsweise dann an die Protokollsicherungseinheit (475) zu übergeben, wenn wenigstens eine der folgenden Bedingungen erfüllt ist:
die Werkzeugeinheit (200) wird von der Verschraubungsstelle (120) entfernt;
- die erfassten Daten hinsichtlich des Gegenstands (100) und des Verschraubungsorts und des aufgebrachten Drehmoments, vorzugsweise auch hinsichtlich der Werkzeugeinheit (200), stimmen mit Vorgaben überein;
- ein abgearbeiteter Schraubfall wird durch einen Benutzer quittiert.
Verfahren zum Verschrauben von Gegenständen, mit den Schritten:
Aufnehmen eines räumlichen Bildes eines Arbeitsbereichs mit einer Stereokamera, wobei das erfasste Bild wenigstens einen Ausschnitt eines zu verschraubenden Gegenstands (100) umfasst; Erkennen des Gegenstands (100) anhand von zumindest drei Referenzpunkten (1 10) des erfassten räumlichen Bildes, und eines Verschraubungsorts an dem Gegenstand (100) aus dem einen oder mehreren aufgenommenen Bildern;
- automatisches Erfassen eines beim Schrauben durch die Werkzeugeinheit (200) aufge- brachten Drehmoments und/oder eines ausgeführten Drehwinkels;
Erzeugen eines Protokolltupels von Daten, die den Verschraubungsort und das Drehmoment und/oder den Drehwinkel einander zugeordnet wiedergeben.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass das Erkennen des Gegen- Standes (100) anhand von Referenzpunkten erfolgt, die einen Körper beschreiben, der Bestandteil des Gegenstandes ist.
16. Verfahren nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass das Erkennen des Gegenstandes durch Vergleichen der Referenzpunkte mit den entsprechenden Punkten in einem dreidimensionalen Modell des Gegenstandes (100) erfolgt.
17. Verfahren gemäß einem der Ansprüche 14 bis 16, weiter gekennzeichnet durch die Schritte:
Erkennen einer Werkzeugeinheit (200) zum Verschrauben des Gegenstands (100), - Erzeugen von Daten, welche die erkannte Werkzeugeinheit (200) wiedergeben, und
Hinzufügen der Daten zu dem jeweiligen Protokolltupel (p).
18. Verfahren gemäß einem der Ansprüche 14 bis 17, weiter gekennzeichnet durch die Schritte:
- Erfassen einer Zeit, an welcher das Drehmoment und/oder Drehwinkel aufgebracht wurde, Erzeugen eines Zeitstempels, welcher die erfasste Zeit wiedergibt, und
Hinzufügen des Zeitstempels zu dem jeweiligen Protokolltupel (p).
19. Verfahren gemäß einem der Ansprüche 14 bis 18, dadurch gekennzeichnet, dass das Verfahren für eine Vielzahl von Verschraubungsorten wiederholt wird.
20. Verfahren gemäß einem der Ansprüche 14 bis 19, dadurch gekennzeichnet, dass das erfasste und in dem Protokolltupel (p) enthaltene Drehmoment ein maximales an dem Verschraubungsort (120) aufgebrachtes Drehmoment ist.
21 . Verfahren gemäß einem der Ansprüche 14 bis 20, dadurch gekennzeichnet, dass der Gegenstand (100) anhand vorgegebener, ortsunveränderlicher erster Erkennungspunkte (1 10) an dem Gegenstand (100) erkannt wird, wobei die ersten Erkennungspunkte (1 10) durch Vergleich mit einem vorab gespeicherten Modell des Gegenstands (100) erkannt werden, wobei die ersten Erkennungspunkte (1 10) vorzugsweise dem Gegenstand (100) immanent sind.
22. Verfahren gemäß einem der Ansprüche 14 bis 21 , dadurch gekennzeichnet, dass der Ver- schraubungsort anhand vorgegebener, ortsunveränderlicher zweiter Erkennungspunkte (710) an der Werkzeugeinheit (200) erkannt wird, wobei die zweiten Erkennungspunkte (710) durch Ver- gleich mit einem vorab gespeicherten Modell der Werkzeugeinheit (200) erkannt werden, wobei die zweiten Erkennungspunkte (710) vorzugsweise der Werkzeugeinheit (200) immanent sind.
23. Verfahren gemäß Anspruch 21 oder 22, dadurch gekennzeichnet, dass das Modell aus Konstruktionsdaten wie etwa CAD-Daten abgeleitet oder durch vorheriges Anlernen erzeugt wird.
24. Verfahren gemäß einem der Ansprüche 14 bis 23, dadurch gekennzeichnet, dass die Werkzeugeinheit (200) anhand einer an der Werkzeugeinheit (200) vorab angebrachten Bildkodierung (240 erkannt wird.
25. Verfahren gemäß einem der Ansprüche 14 bis 24, dadurch gekennzeichnet, dass die Erfassung des Drehmoments wenigstens einen der Schritte aufweist:
Auswerten des Bildes und Erkennen einer Drehmomentenanzeige (230) an der Werkzeugeinheit (200) in dem Bild;
- Auswerten von Sensordaten, die durch die Werkzeugeinheit (200) erzeugt werden und vorzugsweise an eine Datenverarbeitungseinheit (400) drahtlos oder leitungsgebunden übertragen werden.
26. Verfahren gemäß einem der Ansprüche 14 bis 25, weiter gekennzeichnet durch den Schritt:
- Vorgeben eines Verschraubungsorts und/oder eines Schraubfalls und/oder einer Werkzeugauswahl, vorzugsweise anhand eines vorab gespeicherten Arbeitsablaufplans, wobei das erzeugte Protokolltupel (p) vorzugsweise auch Daten, welche den vorgegebenen Ver- schraubungsort und/oder den vorgegebenen Schraubfall und/oder das vorgegebene Werkzeug wiedergeben, umfasst.
27. Verfahren gemäß Anspruch 26, dadurch gekennzeichnet, dass weiter aufweisend den Schritt:
Ausgeben von Informationen zu dem vorgegebenen Verschraubungsort und/oder dem vorgegebenen Schraubfall;
wobei das Ausgeben wenigstens eine der nachstehenden Maßnahmen umfasst:
- Anzeigen der Information auf einer Bildschirmeinheit (520);
- Ausgeben einer Sprach nach rieht durch eine akustische Ausgabeeinheit (340, 530);
- Markieren des Verschraubungsorts durch Beleuchtung (350) und/oder Laserlicht (330);
- Erzeugen eines Hologramms; - Ausgeben eines akustischen und/oder optischen Annährungssignals, welches die Entfernung bzw. Annäherung bezüglich des Verschraubungsorts und/oder das Erreichen des Verschraubungsorts und/oder das Erreichen eines vorgegebenen Drehmoments anzeigt, durch eine akustische Ausgabeeinheit (340, 530) oder eine optische Ausgabeeinheit (350).
Verfahren gemäß einem der Ansprüche 14 bis 27, weiter gekennzeichnet durch den Schritt Rückmeiden eines Arbeitsfortschritts und/oder -ergebnisses an einen Benutzer, vorzugsweise durch wenigstens eine der im vorangehenden Anspruch 25 angegebenen Maßnahmen.
Verfahren gemäß einem der Ansprüche 14 bis 28, weiter gekennzeichnet durch den Schritt Sichern des Protokolltupels (p), vorzugsweise wenn wenigstens eine der folgenden Bedingungen erfüllt ist:
- die Werkzeugeinheit (200) wird von der Verschraubungsstelle (120) entfernt;
- die erfassten Daten hinsichtlich des Gegenstands (100) und des Verschraubungsorts und des aufgebrachten Drehmoments, vorzugsweise auch hinsichtlich der Werkzeugeinheit (200), stimmen mit Vorgaben überein;
- ein abgearbeiteter Schraubfall wird durch einen Benutzer quittiert.
EP16712766.1A 2015-03-17 2016-03-16 Vorrichtung und verfahren zum verschrauben von gegenständen Active EP3271116B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015103941.9A DE102015103941A1 (de) 2015-03-17 2015-03-17 Vorrichtung und Verfahren zum Verschrauben von Gegenständen
PCT/EP2016/055721 WO2016146705A1 (de) 2015-03-17 2016-03-16 Vorrichtung und verfahren zum verschrauben von gegenständen

Publications (2)

Publication Number Publication Date
EP3271116A1 true EP3271116A1 (de) 2018-01-24
EP3271116B1 EP3271116B1 (de) 2020-02-12

Family

ID=55642418

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16712766.1A Active EP3271116B1 (de) 2015-03-17 2016-03-16 Vorrichtung und verfahren zum verschrauben von gegenständen

Country Status (3)

Country Link
EP (1) EP3271116B1 (de)
DE (1) DE102015103941A1 (de)
WO (1) WO2016146705A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174049A (zh) * 2019-05-22 2019-08-27 上海交通大学 钢管螺纹图像检测装置及其移动方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017002363A1 (de) 2017-03-10 2018-09-13 SAMA GmbH Regalbediengerät und regallagersystem
DE102017205430A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh Werkzeugmaschine
JP7266451B2 (ja) 2019-04-19 2023-04-28 株式会社ディスコ ドライバー
DE102022113385A1 (de) 2022-05-27 2023-11-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Dokumentation einer Fügestellenverschraubung eines Fahrzeugs

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10217416C1 (de) * 2002-04-18 2003-07-31 Ivo Geilenbruegge Drehmomentmessvorrichtung
JP5314428B2 (ja) * 2005-12-23 2013-10-16 ジーコデール システムズ アクチボラゲット 測位用パターン
US20080061145A1 (en) * 2006-03-20 2008-03-13 Mcgushion Kevin D Identifier Scanning Joinder Tools
US7984657B2 (en) * 2006-11-17 2011-07-26 General Electric Company Method for operating a torque system configured to tighten a series of fasteners
US20110023280A1 (en) * 2009-08-03 2011-02-03 Gm Global Technology Operations, Inc. Torque monitoring assembly gun with integral vision system
JP2013151043A (ja) * 2012-01-25 2013-08-08 Honda Motor Co Ltd 締付トルク管理システム
DE102012003809A1 (de) * 2012-02-27 2013-08-29 Heuft Systemtechnik Gmbh Verfahren und Vorrichtung zum berührungslosen Prüfen des zum Öffnen eines Kunststoff-Schraubverschlusses erforderlichen Drehmoments
WO2013183279A1 (ja) * 2012-06-07 2013-12-12 パナソニック株式会社 トルク測定装置、方法、及び、プログラム
DE102013017007B4 (de) * 2013-10-14 2015-09-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Roboter mit einem Endmanipulatorarm mit Endeffektor sowie Verfahren zur Bestimmung eines Kraft- und Drehmomenteintrages auf einen Endeffektor eines Roboters

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174049A (zh) * 2019-05-22 2019-08-27 上海交通大学 钢管螺纹图像检测装置及其移动方法

Also Published As

Publication number Publication date
EP3271116B1 (de) 2020-02-12
DE102015103941A1 (de) 2016-09-22
WO2016146705A1 (de) 2016-09-22

Similar Documents

Publication Publication Date Title
EP3271116B1 (de) Vorrichtung und verfahren zum verschrauben von gegenständen
DE102015015503B4 (de) Robotersystem, das eine mit erweiterter Realität kompatible Anzeige aufweist
EP3030359B1 (de) Biegepresse
DE102010023736B4 (de) Robotersystem mit Problemerkennungsfunktion
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
DE102017122857A1 (de) Robotersystem mit einem auf einem beweglichen Gestellwagen getragenen Roboter
DE102012219871A1 (de) Verfahren und Vorrichtung zur Protokollierung von Verschraubungen
WO2011073428A2 (de) Anordnung und verfahren zur verifikation eines realen modells unter verwendung eines virtuellen modells sowie verwendung im flugzeugbau
DE102015215406A1 (de) Vorrichtung und Verfahren zur kamerabasierten Überwachung von Fertigung und Montage
EP3467623B1 (de) Verfahren für einen montagearbeitsplatz, montagearbeitsplatz, computerprogramm und computerlesbares medium
DE102013017007B4 (de) Roboter mit einem Endmanipulatorarm mit Endeffektor sowie Verfahren zur Bestimmung eines Kraft- und Drehmomenteintrages auf einen Endeffektor eines Roboters
DE102014204969A1 (de) Verfahren zur Überwachung von Fertigungsvorgängen, sowie zugehörige Überwachungsvorrichtung
DE102005045854B3 (de) Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen
DE102017111886B3 (de) Bestimmen der Bewegung einer abzusichernden Maschine
EP1746402A2 (de) Simulations-Prüfstand sowie Verfahren zur Prüfung von Kraftfahrzeug-Bauteilen
DE102006005990B4 (de) Werkstückvermessung für 3-D Lageerkennung in mehreren Multi-Roboter-Stationen
DE202005011615U1 (de) Simulations-Prüfstand zur Prüfung von Kraftfahrzeug-Bauteilen
DE102013221899A1 (de) Industrieroboter
DE102019113764A1 (de) Verfahren zur Konfiguration einer werkstückbezogenen Werkstückhalteeinrichtung für die Pressenautomatisierung
DE102006003569A1 (de) Positionsbestimmungssystem
DE102014113070A1 (de) Justiervorrichtung und Verfahren zum Ausrichten eines Bauteils an einem Fahrzeug
EP2080585B2 (de) Überwachungsvorrichtung
DE102020214960A1 (de) E/a-signalinformations-anzeigesystem
DE102017215518A1 (de) Verfahren und System zur Ortung eines Objekts
WO2019229136A1 (de) Herstellungsverfahren für eine antriebseinrichtung und prüfeinrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20171017

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: BAUMGARTNER, ARMIN

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20190912

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1231471

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200215

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502016008704

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200512

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20200212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200612

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200512

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200513

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200705

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502016008704

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20200331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200316

26N No opposition filed

Effective date: 20201113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200331

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200316

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200331

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20200512

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200512

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502016008704

Country of ref document: DE

Representative=s name: HGF EUROPE LLP, DE

Ref country code: DE

Ref legal event code: R081

Ref document number: 502016008704

Country of ref document: DE

Owner name: NEXUSTEC GMBH, DE

Free format text: FORMER OWNER: NEXUSTEC GMBH, 81377 MUENCHEN, DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1231471

Country of ref document: AT

Kind code of ref document: T

Effective date: 20210316

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210316

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230310

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240320

Year of fee payment: 9