DE10229555A1

DE10229555A1 - Operation of a robotic handling system provides precise position control based upon a 2D camera and a distance sensor to give 3D control

Info

Publication number: DE10229555A1
Application number: DE2002129555
Authority: DE
Inventors: Oliver Wessel; Hubert Lettenbauer; Robert Ludwig; Jens Prof. Wulfsberg
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2002-07-01
Filing date: 2002-07-01
Publication date: 2004-01-15

Abstract

The system has a camera (1) that is mounted on the automated handling unit (2) together with a distance sensor (4).The image data is continuously fed to a processor (3) and this can be coupled onto a network. The two dimensional, 2D, camera data when combined with the sensor signal provides three dimensional, 3D, position data.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Handhabungsgerätes mit Kamera zur Verbesserung von zu handhabenden Werkstücken, sowie eine Einrichtung gemäß Oberbegriff der Patentansprüche 1 und 8 sowie ein Softwareprogrammprodukt gemäß Anspruch 15.The invention relates to a method for operating a handling device with camera to improve workpieces to be handled, as well a facility according to the preamble of claims 1 and 8 and a software program product according to claim 15.

Verfahren sowie Einrichtungen der gattungsgemäßen Art werden in der industriellen Serienfertigung, insbesondere bei Robotersystemen eingesetzt. Im Fertigungsprozess werden über entsprechende Transportmittel Werkstücke oder Teile davon zu einem Endprodukt mittels einer chronologischen Abfolge von Bearbeitungen an verschiedenen Bearbeitungsstationen vorgenommen. An den Bearbeitungsstationen selbst sind Handhabungsgeräte vorgesehen, die die Montage teilweise automatisch oder halbautomatisch durchführen.Procedures and facilities of generic type are used in industrial series production, especially in robot systems used. In the manufacturing process, appropriate means of transport are used workpieces or parts thereof to an end product using a chronological sequence of processing at different processing stations. Handling devices are provided at the processing stations themselves, who carry out the assembly partly automatically or semi-automatically.

Verfahren und Einrichtungen dieser Art werden auch in der Automobilindustrie eingesetzt. Dabei kommt es darauf an, dass die Werkstücke zu einem passgenauen Zwischen- oder Endprodukt zusammengefügt werden. Der eigentliche Montageprozess muss somit überwacht werden. Dabei kommt es zunächst auf die Erfassung des an der jeweiligen Bearbeitungsstation angelieferten Montage-Istzustandes an. Dies bedeutet, dass das Zwischenprodukt oder das entstandene Werkstück vermessen werden muss. Hierzu gibt es verschiedene Verfahren, um Körperkanten als solche zu erfassen bzw. zwischen ihnen zu vermessen.Procedures and facilities of this Art are also used in the automotive industry. Here comes it depends on the workpieces can be combined to form a precisely fitting intermediate or end product. The actual assembly process must therefore be monitored. Here comes it first on the detection of the delivered to the respective processing station Current assembly status. This means that the intermediate or the resulting workpiece must be measured. There are various methods of doing this around body edges as such or to measure between them.

So ist aus der DE 44 05 865 C2 ein entsprechendes Verfahren bzw. eine entsprechende Einrichtung angegeben. Dabei wird ein CCD-Bildsensor verwendet, der sich lediglich auf das Auslesen von Zeilen der CCD-Bildmatrix beschränkt. Hierdurch werden zwar Körperkanten erfasst, aber eine konstruktive Gesamtsituation wird durch das Vermeiden eines Gesamtbildes nicht erfasst.So is from the DE 44 05 865 C2 a corresponding method or a corresponding device is specified. A CCD image sensor is used, which is limited to reading lines from the CCD image matrix. Although body edges are captured in this way, avoiding an overall picture does not capture a constructive overall situation.

Aus der DE 36 35 076 A1 ist eine Roboteranlage mit beweglichen Manipulatoren bekannt, sowie einer Sensorik zur Lage- und Bewegungskontrolle sowie Sensoren zur Mustererkennung mit zugesteuerter Steuer- und Auswerteelektronik. Hierbei wird mittels nachführbarem CCD-Kamerasystem und zusätzlichem Laserradar mit 3-D-Bildkorrelation eine stark vereinfachte Mustererkennung ermöglicht, so dass die Rückwirkung der manipulierten Objekte auf die Manipulatorarme laufend kontrolliert und diese dadurch in Leichtbauweise ausgeführt werden können. Hierbei steht die leichte Beweglichkeit und die kompakte Bauform im Vordergrund. Auch hierbei ist nur ein beschränkter Einsatz der Erfassung als solches angegeben.From the DE 36 35 076 A1 a robot system with movable manipulators is known, as well as a sensor system for position and movement control as well as sensors for pattern recognition with controlled control and evaluation electronics. Here, a highly simplified pattern recognition is made possible by means of a trackable CCD camera system and an additional laser radar with 3-D image correlation, so that the reaction of the manipulated objects to the manipulator arms is continuously monitored and they can therefore be designed in a lightweight design. The focus here is on easy mobility and the compact design. Here, too, only a limited use of the recording as such is indicated.

Aus der DE 199 37 265 ist ein Verfahren sowie eine Vorrichtung zur Positionierung eines Messkopfes auf einer kontaktfreien, dreidimensionalen Messmaschine angegeben. Auch hier wird mit einem Laserstrahl vermessen und ein entsprechendes Kamerabild ausgewertet.From the DE 199 37 265 describes a method and a device for positioning a measuring head on a contact-free, three-dimensional measuring machine. Here, too, measurements are made with a laser beam and a corresponding camera image is evaluated.

Aus der DE 200 03 381 U1 ist eine Prüfeinrichtung für bewegliche optische Messeinrichtungen angegeben. Diese Prüfeinrichtung für den Arbeitspunkt von beweglichen ein- oder mehrachsigen optischen Messeinrichtungen insbesondere von 3-D-Sensoren oder Messkameras zeichnen sich dadurch aus, dass die Prüfeinrichtung mit einem optischen Messsystem, das in einem verbindbaren Halter angeordnet ist, zur temporären Positionierung eines Referenzmusters im Bereich des Arbeitspunktes und eine Stelleinrichtung zur ein- oder mehrachsigen Relativverstellung zwischen dem Referenzmuster und der optischen Messeinrichtung aufweist. Hierbei kommt es lediglich zu einer Angleichung an eine Referenzbewegung.From the DE 200 03 381 U1 a test device for movable optical measuring devices is specified. This test device for the working point of movable single or multi-axis optical measuring devices, in particular 3-D sensors or measuring cameras, is characterized by the fact that the testing device with an optical measuring system, which is arranged in a connectable holder, for the temporary positioning of a reference pattern in the area of the working point and an actuating device for single or multi-axis relative adjustment between the reference pattern and the optical measuring device. This only leads to an adjustment to a reference movement.

Aus der EP 0 091 132 wird ebenfalls eine dreidimensionale Kontur von einem Robotersystem erfasst, wobei hierbei eine entsprechende Ausleuchtung des Objektes im Vordergrund steht.From the EP 0 091 132 A three-dimensional contour is also recorded by a robot system, with the focus here being on appropriate illumination of the object.

Bei Verfahren und Einrichtungen der bekannten Art ist jedoch nach wie vor nur ein niedriger Automatisierungsgrad erfüllt und die Aufgabe besteht darin, dass der Automatisierungsgrad deutlich erhöht wird.In procedures and facilities of However, the known type is still only a low degree of automation Fulfills and the job is that the level of automation is clear is increased.

Bei einem Verfahren der gattungsgemäßen Art wird die gestellte Aufgabe efindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 1 gelöst.In a method of the generic type is the task according to the invention by the characterizing Features of claim 1 solved.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den abhängigen Ansprüchen 2–7 angegeben.Further advantageous configurations of the method according to the invention are in the dependent claims 2-7 specified.

Im Hinblick auf eine Einrichtung der gattungsgemäßen Art ist die gestellte Aufgabe erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 8 gelöst.With regard to an establishment of the generic type is the task according to the invention by the characterizing Features of claim 8 solved.

In weiterer vorteilhafter Ausgestaltung hierzu sind die abhängigen Ansprüche 9 bis 14 angegeben.In a further advantageous embodiment for this are the dependent ones Expectations 9 to 14 specified.

Im Hinblick auf ein Softwareprogrammprodukt ist die gestellte Aufgabe durch die Merkmale des Patentanspruches 15 gelöst.With regard to a software program product is the task set by the features of the claim 15 solved.

Weitere vorteilhafte Ausgestaltungen hierzu sind in den übrigen abhängigen Ansprüchen angegeben.Further advantageous configurations on this are in the rest dependent claims specified.

Kern der verfahrensgemäßen Erfindung ist, dass die Kamerabilder vor Ort aufgenommen und in einem ggf. Ortsfernen Rechner berechnet und ausgewertet werden und dass die Bilddaten und/oder die ausgewerteten Bilddaten in einem Datennetzwerk verfügbar sind. Hierdurch wird durch die erfindungsgemäße Konzeption des Verfahrens nunmehr ein hoher, konsequenter Automatisierungsgrad gegeben. Im übrigen wird die Bildauswertung von dem eigentlichen Sensor oder dem Erfassungssystem getrennt, was auch bauliche Vorteile hat. Auf diese Weise kann durch die ausgelagerte Bildbearbeitung das Bildertassungssystem kompakt gehalten werden und somit für ein Handhabungsgerät oder einen Roboter geeignet und leicht beweglich sein.Core of the process according to the invention is that the camera images are recorded on site and in a Remote computers are calculated and evaluated and that the Image data and / or the evaluated image data are available in a data network. As a result, the inventive concept of the method now there is a high, consistent level of automation. Otherwise the image evaluation from the actual sensor or the detection system separated, which also has structural advantages. That way, by the outsourced image processing the image capture system compact are held and therefore for a handling device or be suitable for a robot and easy to move.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass zusätzlich zur zweidimensionalen Bildinformation noch ein Abstandssensor eingesetzt und eine übergeordnete dreidimensionale Auswertung vorgenommen wird. So entsteht eine ausschließlich räumliche Erfassung der Messstrecke, und nicht eine zum Teil parallaktisch verzerrte, zweidimensionale Projektion. Dies führt zu höheren Fertigungsgenauigkeiten und durch die erfindungsgemäß ausgelagerte Bildbearbeitung können die somit dezidiert vorliegenden Daten auch aufwendig ausgewertet werden und über die Verbindung zum Datennetzwerk auch effizient in die Steuerung der Anlage miteinfließen.In a further advantageous embodiment is on given that in addition to the two-dimensional image information, a distance sensor is used and a superordinate three-dimensional evaluation is carried out. This creates an exclusively spatial detection of the measuring section, and not a partially parallactically distorted, two-dimensional projection. This leads to higher manufacturing accuracies and, due to the image processing outsourced according to the invention, the data which is thus specifically available can also be evaluated in a complex manner and can also be efficiently incorporated into the control of the system via the connection to the data network.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass die Bildauswertung an die Eigenlichtansteuerung gekoppelt wird, so dass die Ausleuchtung des Objektes bzw. des zu vermessenden Objektes immer in optimaler Weise mitnachgeführt wird, um optimale Bildergebnisse und Messergebnisse zu erreichen.In a further advantageous embodiment it is specified that the image evaluation to the self-light control is coupled so that the illumination of the object or the object is always tracked in an optimal manner in order to to achieve optimal image results and measurement results.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass das Verfahren regelungstechnisch in eine Master-Slave-Architektur eingebunden wird und dass mindestens ein Rechner als Master und die Mehrfachkameras als Slaves datentechnisch und regelungstechnisch miteinander verschaltet sind. Somit kann in chronologischer Abfolge der einzelnen Fertigungs- und Montagemaßnahmen eine Einbindung der Vermessungsaufgabe in einen chronologischen, mehrstufigen Fertigungsprozess eines aufzubauenden Endproduktes überwacht werden.In a further advantageous embodiment it is specified that the method is used in terms of control technology in a master-slave architecture is integrated and that at least one computer is the master and the multiple cameras as slaves in terms of data and control technology are interconnected. Thus, in chronological order the integration of the individual manufacturing and assembly measures Measurement task in a chronological, multi-stage manufacturing process of an end product to be set up are monitored.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass die Messvorgänge nach ferngesteuerter Positionierung der Kameras eingeleitet werden. Hierzu kann die Kamera automatisch oder von einer Überwachungsstelle, die von einem Menschen geführt wird, zunächst positioniert werden. Die Messaufgabe wird nach Positionierung danach eingeleitet. Der Vorgang kann aber auch automatisch eingeleitet werden, indem bestimmte Bildmuster abgefragt und anhand derer die Positionierung der Videokamera optimiert wird.In a further advantageous embodiment it is specified that the measuring operations after remote controlled positioning of the cameras. For this can the camera automatically or from a surveillance agency by led to a human will, initially be positioned. The measuring task will be after positioning afterwards initiated. The process can also be initiated automatically, by querying certain image patterns and based on which the positioning the video camera is optimized.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass die Messdaten der einzelnen Produktionsprozesse einer Datenarchivierung zugänglich gemacht werden. Dadurch können Fertigungsprozesse archiviert werden.In a further advantageous embodiment it is stated that the measurement data of the individual production processes made accessible for data archiving become. This allows Manufacturing processes are archived.

In weiterer vorteilhafter Ausgestaltung ist hierzu noch angegeben, dass die Datenauswertung adaptiv ist. Aus der Datenarchivierung kann dann auch eine adaptive Rückkopplung der Datenauswertung dahingehend stattfinden, dass Fertigungsprozesse optimiert werden.In a further advantageous embodiment it is also stated that the data evaluation is adaptive. An adaptive feedback can then also be obtained from data archiving the data evaluation take place in such a way that manufacturing processes be optimized.

Im Hinblick auf eine Einrichtung der gattungsgemäßen Art besteht der Kern der Erfindung darin, dass die Kamerabilder an einem vor Ort angeordneten Messroboter oder Handhabungsgerät aufgenommen und die Bilddaten in einem ortsfernen Rechner berechenbar bzw. auswertbar sind, und dass der Auswerterechner und/oder die Kamerabilddaten und/oder die ausgewerteten Bilddaten einem Datennetzwerk zuführbar sind. Hierdurch sind alle apparativen Voraussetzungen gegeben, um auch ein Verfahren gemäß Anspruch 1 realisieren zu können.With regard to an establishment of the generic type The essence of the invention is that the camera images on one measuring robot or handling device arranged on site and the image data can be calculated or evaluated in a remote computer and that the evaluation computer and / or the camera image data and / or the evaluated image data can be fed to a data network. This gives all the equipment requirements to a method according to claim 1 to be able to realize.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass zusätzlich zur zweidimensionalen CCD-Bildsensorauswertung auch ein Abstandssensor auswertbar ist, und hierüber eine übergeordnete, dreidimensionale Auswertung des Bildraumes herleitbar ist.In a further advantageous embodiment it is stated that in addition A distance sensor for two-dimensional CCD image sensor evaluation is evaluable, and about this a superordinate, three-dimensional Evaluation of the image space can be derived.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass die logische Bildauswertung derart erfolgt, dass sodann eine Eigenlichtansteuerung am Messkopf oder am Handhabungsgerät oder am Messroboter vorgenommen werden kann, so dass ein optimale Ausleuchtung des Objektes zur optimalen Erfassung der Messstrecke möglich ist.In a further advantageous embodiment it is stated that the logical image evaluation takes place in such a way that then a light control on the measuring head or on the handling device or on the measuring robot can be made so that an optimal illumination of the object for optimal detection of the measuring section is possible.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass eine Master-Slave-Architektur mit Zentralrechner als Master, und die Einbindung der Vielzahl von Kameras als Slaves realisierbar ist.In a further advantageous embodiment it is stated that a master-slave architecture with central computer as master, and the integration of the large number of cameras can be implemented as slaves is.

Weiterhin ist vorteilhaft ausgestaltet, dass eine Bilddatenübermittlung an ein Bilddatenarchiv erfolgt, aus dem heraus Produktionsprozesse nachvollziehbar sind.Furthermore, it is advantageously designed that an image data transmission to an image data archive from which production processes are carried out are understandable.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass die Bilddatenspeicher adaptiv angelegt werden.In a further advantageous embodiment it is stated that the image data memories are created adaptively.

Im Hinblick auf ein Softwareprogrammprodukt besteht der Kern der Erfindung darin, dass die erfindungsgemäße Einrichtung auch als Programm realisierbar ist, in dem die Ansteuerung der Videokamera zur Aufnahme von vor-Ort-Bildern am Handhabungsgerät ansteuerbar ist, und in einem ortsfernen Rechner die Bilddaten berechnet und ausgewertet werden, und dass die Bilddaten und/oder die ausgewerteten Bilddaten in einem Datennetzwerk bereitgestellt werden.With regard to a software program product The essence of the invention is that the device according to the invention can also be implemented as a program in which the control of the video camera Controllable for taking on-site images on the handling device and calculates the image data in a remote computer and are evaluated, and that the image data and / or the evaluated Image data are provided in a data network.

In weiterer vorteilhafter Ausgestaltung des Softwareprogrammproduktes ist angegeben, dass die Plattform, auf der dies programmtechnisch abläuft, eine frei programmierbare und ggf. adaptive Plattform ist.In a further advantageous embodiment of the software program product it is stated that the platform, on which this is done programmatically, a freely programmable and possibly an adaptive platform.

In weiterer vorteilhafter Ausgestaltung ist angegeben, dass das Softwareprogrammprodukt einen Ausgestaltungsmodus enthält, in dem das System selbstlernend ist.In a further advantageous embodiment it is stated that the software program product has a design mode contains in which the system is self-learning.

In weiterer vorteilhafter Ausgestaltung des Softwareprogrammproduktes ist angegeben, dass das Programmprodukt für einen Messcomputer appliziert ist und eine Interkommunikation über einen entsprechenden, ggf. seriellen Kanal mit der Robotersteuerung erfolgt und andererseits die Sensorik angesteuert wird.In a further advantageous embodiment of the software program product it is stated that the program product for one Measuring computer is applied and intercommunication via a corresponding possibly serial channel with the robot controller and on the other hand the sensors are controlled.

Die gesamte Konzeption ist dann die, dass ein Standardindustrie-PC die Ablaufsteuerung der Messapplikation übernimmt und stellt damit auch die Benutzerschnittstelle des Systems als solches dar. Hauptmerkmal der Steuerungssoftware ist hierbei, wie in einer Ausgestaltung angegeben, eine Master-Slave-Architektur. Der Messrechner übernimmt als Master in diesem Konzept die Steuerung aller Prozesse. Das Programm der Robotersteuerung ruft nach Erhalt der Anweisung vom Rechner die entsprechenden Unterprogramme auf und setzt die Kommandos in Bewegung des Messwerkzeuges um und löst die gewünschten Messvorgänge aus. Die gewonnenen Daten werden auf dem Rechner in Messergebnisse umgesetzt, für den Benutzer visualisiert und archiviert, so dass bei Vernetzung des Rechners im Unternehmen ein weiterer Zugriff darauf möglich ist. Das Messsystem ist in seiner Form sowohl als Einzelmesszelle, als auch in der Fertigungslinie zur Serienmessung während der Produktion einsetzbar. Durch Weiterleiten der Daten ist der Produktionsprozess damit entscheidend beeinflussbar.The entire concept is that a standard industrial PC takes over the sequence control of the measurement application and thus also represents the user interface of the system as such. The main feature of the control software, as stated in one embodiment, is a mask ter-slave architecture. As the master in this concept, the measuring computer controls all processes. After receiving the instruction from the computer, the robot control program calls the corresponding subroutines and converts the commands into movement of the measuring tool and triggers the desired measuring processes. The data obtained is converted into measurement results on the computer, visualized and archived for the user, so that further access is possible when the computer is networked in the company. The measuring system can be used both as a single measuring cell and in the production line for series measurement during production. The production process can be decisively influenced by forwarding the data.

Die Abbildung zeigt hierzu den prinzipiellen Aufbau. Dabei ist eine Kamera 1 vorgesehen, die auf dem Handhabungsgerät 2 angeordnet ist. Die Kamera 1 selbst ist ansteuerbar und somit vom Handhabungsgerät 2 oder auf demselben zusätzlich noch durch entsprechende Freiheitsgrade bewegbar. Auf dem Handhabungsgerät 2 selbst ist ebenfalls der Abstandssensor 4 angeordnet. Das Handhabungsgerät 2, auf dem datentechnisch dann die Bilddaten und die Abstandssensordaten zusammenlaufen, ist interkommunikativ in beiden Richtungen datentechnisch mit einem Rechner 3 oder mit dem Zentralrechner verbunden. Dieser wiederum hat auch Verbindung zu weiteren, hier nur noch andeutungsweise dargestellten Kameras und Abstandssensorsystemen zu anderen Handhabungsgeräten.The illustration shows the basic structure. There is a camera 1 provided on the handling device 2 is arranged. The camera 1 itself can be controlled and thus by the handling device 2 or additionally movable on the same by corresponding degrees of freedom. On the handling device 2 itself is also the distance sensor 4 arranged. The handling device 2 , on which the image data and the distance sensor data then converge, is intercommunicative in both directions with a computer 3 or connected to the central computer. This in turn also has a connection to other cameras and distance sensor systems, which are only indicated here, to other handling devices.

Der Rechner 3 selber kann dabei, wie in einer Ausgestaltung angegeben, mit einer Netzwerkverbindung 5 mit äußeren Systemen interkommunizieren. Wichtig ist hierbei, dass der Rechner 3 vom Handhabungsgerät 2 ausgelagert ist. Das Datennetzwerk kann bereits auch dort vorgesehen sein, wo zwischen Handhabungsgerät 2 und Rechner 3 die Interkommunikationsdatenschnittstelle dargestellt ist. Auch dort kann eine entsprechende Vernetzung stattfinden, so dass die Daten ortsbezogen adressiert dem Rechner zugeführt werden können.The computer 3 itself can, as stated in one embodiment, with a network connection 5 intercommunicate with external systems. It is important that the calculator 3 from the handling device 2 is outsourced. The data network can already be provided where between the handling device 2 and calculator 3 the intercommunication data interface is shown. A corresponding networking can also take place there, so that the data can be supplied to the computer in a location-specific manner.

Das Messprinzip und die Messwerkzeuge sind wie folgt zu verstehen. Für die Vermessung selbst kommt ein berührungslos arbeitendes Kombimesswerkzeug zum Einsatz. Das am Roboter oder am Handhabungsgerät befestigte Werkzeug dient als Trägereinheit für die benötigten Messkomponenten, wobei hier nur noch die Kamera dargestellt ist. Darüber hinausgehend ist auch ein Abstandssensor vorgesehen, der ebenfalls ortsnah angeordnet ist. Die Konstruktion des Messwerkzeuges stellt sicher, dass die elektronischen Sensorkomponenten ausreichend vor mechanischen Einflüssen geschützt sind.The measuring principle and the measuring tools are to understand as follows. For the measurement itself comes with a non-contact combination measuring tool for use. The one attached to the robot or handling device Tool serves as a carrier unit for the required Measurement components, only the camera is shown here. About that a distance sensor is also provided, which also is arranged locally. The construction of the measuring tool provides sure that the electronic sensor components are sufficient mechanical influences protected are.

Zusammen mit der Bildverarbeitungssoftware bildet die genannte Kamera 1, die als CCD-Kamera ausgestaltet ist, mit ihrem Linsensystem den Hauptbestandteil des Messwerkzeuges. Das eingesetzte Kamerasystem trennt die Bildaufnahme durch den CCD-Sensorchip, der hier nicht weiter dargestellt ist, aber innerhalb der Kamera angeordnet ist, von der Auswertung der elektronischen Signale. Dadurch besitzt der abgesetzte Kamerakopf eine kompakte Bauform, die es ermöglicht, die Bildaufnahmeeinheit des hochauflösenden Kamerasystems in das Messwerkzeug zu integrieren.Together with the image processing software, this camera forms 1 , which is designed as a CCD camera, with its lens system is the main component of the measuring tool. The camera system used separates the image recording from the evaluation of the electronic signals by the CCD sensor chip, which is not shown here further, but is arranged within the camera. As a result, the remote camera head has a compact design that enables the image recording unit of the high-resolution camera system to be integrated into the measuring tool.

Um das Messsystem von äußeren Lichteinflüssen unabhängig zu machen, ist der Messkopf mit einer eigenen Beleuchtungseinheit ausgerüstet. Die Lichtkreise können unterschiedlich angesteuert werden, auch sind unterschiedliche Helligkeitsstufen wählbar. Dies erlaubt auf die unterschiedlichen Bedingungen am Messobjekt schnell zu reagieren. Die Beleuchtung kann entsprechend angepasst werden und die Bildverarbeitung ist in der Lage, unterschiedlichste Bauteilmerkmale fremdlichtunabhängig zu detektieren.To make the measuring system independent of external light influences the measuring head is equipped with its own lighting unit. The circles of light can can be controlled differently, different brightness levels can also be selected. This allows for the different conditions on the measurement object quickly to react. The lighting can be adjusted accordingly and Image processing is capable of a wide variety of component features outside light independently to detect.

Da die Kamera 1 nur zweidimensional in ihrer Bildebene messen kann, die Bauteilvermessung jedoch dreidimensional erfolgen muss, integriert das Messwerkzeug zusätzlich einen Abstandssensor 4 neben der Kamera 1. Die Messachse des eingesetzten Abstandssensors, der beispielsweise als Lasertriangulationssensor ausgestaltet sein kann, schneidet die optische Achse der Kamera im Messwerkzeug Arbeitspunkt. Mit Hilfe dieses Sensors können Bündigkeitsmaße an Karosserien bestimmt werden. Der Roboter oder das Handhabungsgerät fährt dazu eine vorgegebene Strecke über den zu vermessenden Spalt, speichert dabei Abstandswerte und nutzt diese Information zur Bestimmung des Bündigkeitsmaßes.Because the camera 1 can only measure two-dimensionally in its image plane, but the component must be measured three-dimensionally, the measuring tool also integrates a distance sensor 4 next to the camera 1 , The measuring axis of the distance sensor used, which can be configured, for example, as a laser triangulation sensor, intersects the optical axis of the camera in the measuring point working point. With the help of this sensor, flush dimensions on bodies can be determined. For this purpose, the robot or the handling device travels a predetermined distance over the gap to be measured, saves distance values and uses this information to determine the level of flushness.

Speziell zur Vermessung von Spaltbreiten an Fahrzeugkarosserien wurde zusätzlich ein Linienlasermodul in den Sensorkopf integriert. Durch die von ihm auf die Bauteiloberfläche projizierte Linie sind Kamera und Bildverarbeitungssoftware in der Lage, anhand der erkannten Unterbrechungen der Linien die geforderten Spaltmaße zu ermitteln. Dies entspricht dem sog. Lichtschnittverfahren.Especially for measuring gap widths on vehicle bodies was additional a line laser module integrated in the sensor head. By him on the component surface projected line, camera and image processing software are able to use of the recognized interruptions in the lines to determine the required gap dimensions. This corresponds to the so-called light section process.

Als Bildverarbeitungssoftware kann eine frei programmierbare Plattform für die Entwicklung von eigenen Bildverarbeitungsapplikationen zum Einsatz kommen. Durch deren moderne Gestaltung ist es möglich, die Komponenten in eigene Programme einzubinden.As image processing software can a freely programmable platform for developing your own Image processing applications are used. Through their modern Design it is possible integrate the components into your own programs.

In Verbindung mit dem Mess-PC, der einerseits über ein serielles Kabel mit der Robotersteuerung bzw. der Handhabungsgerätesteuerung kommuniziert und andererseits die Sensorik steuert, ist der Roboter in der Lage, die durch einen Teach-Vorgang vorgegebenen Messpunkte zuerst grob anzufahren, seinen Arbeitspunkt dann automatisch exakt auf beliebig angelernte Messmerkmale zu positionieren und seine aktuellen Positionsdaten an den Mess-PC zu übermitteln, wo sie gespeichert und schließlich weiterverarbeitet werden können.In connection with the measuring PC, the on the one hand about a serial cable with the robot controller or the handling device controller communicates and controls the sensors on the other hand, is the robot able to measure points specified by a teach process first to approach roughly, then its working point automatically exactly to position any taught-in measurement features and its current Transfer position data to the measuring PC, where it is stored and finally can be processed further.

Claims

Method for operating a handling device with a camera for measuring workpieces to be handled, characterized in that the camera images are recorded on site and calculated and evaluated in a possibly remote computer and that the image data and / or the evaluated image data are available in a data network ,

A method according to claim 1, characterized in that in addition to 2-D image information plus the data of a distance sensor become a parent three-dimensional evaluation takes place.

A method according to claim 1 or 2, characterized in that the image is evaluated in such a way that the natural light control of the handling device is optimally controlled based on the image evaluation.

Method according to one of the preceding claims, characterized characterized that the entire procedural system is a master-slave architecture takes, with the central computer as the master and the majority act as connected slaves of cameras.

Method according to one of the preceding claims, characterized characterized that the measuring operations after remote controlled positioning of the cameras are initiated.

Method according to one of the preceding claims, characterized characterized that archiving of the determined and recorded Measurement data takes place.

Method according to one of the preceding claims, characterized characterized that the data evaluation is adaptive.

Device for measuring workpieces to be handled by means of a corresponding handling device with camera, characterized in that the camera ( 1 ) on site, i.e. on the handling device ( 2 ) arranged and with a possibly remote computer ( 3 ) is connected and that the image data and / or the evaluated image data in a data network ( 5 ) are kept available.

Device according to claim 8, characterized in that in addition to the camera ( 1 ) with 2-D image information another distance sensor ( 4 ) is provided for the superordinate three-dimensional evaluation.

Device according to Claim 8 or 9, characterized in that the handling device ( 2 ) in cooperation with the camera ( 1 ) is provided and that the image evaluation can be coupled to the natural light control.

Device according to one of the preceding claims 8 to 10, characterized in that the data network ( 5 ) is created in the master-slave architecture and the computer ( 3 ) as master and the multiple arrangement of cameras ( 1 ) can be connected as slaves.

Device according to one of the preceding claims 8 to 11, characterized in that the camera ( 1 ) can be controlled remotely.

Device according to one of the preceding claims 8 to 12, characterized in that a data archive is provided, in which the image data can be stored.

Device according to one of the preceding claims 8 to 13, characterized in that the data evaluation can be applied adaptively is.

Software program product for operating a handling device with Camera for measuring workpieces to be handled, in which a control an existing camera is, and is calculated and evaluated in a remote computer and that the image data and / or the evaluated image data in one Data network available being held.

Software program product according to claim 15, characterized in that the software program product is freely programmable and possibly as adaptive platform is formed.

Software program product according to claim 15 or 16, characterized in that that the software program product is designed as self-learning.

Software program product according to one of the preceding claims 15 to 17, characterized in that the software program product for one Measuring PC is designed and the intercommunication, if necessary, via a serial channel with the robot controller and on the other hand controls the sensors.