DE2513655C3 - Device for the control of automatic handling systems by means of a television camera - Google Patents

Device for the control of automatic handling systems by means of a television camera

Info

Publication number
DE2513655C3
DE2513655C3 DE19752513655 DE2513655A DE2513655C3 DE 2513655 C3 DE2513655 C3 DE 2513655C3 DE 19752513655 DE19752513655 DE 19752513655 DE 2513655 A DE2513655 A DE 2513655A DE 2513655 C3 DE2513655 C3 DE 2513655C3
Authority
DE
Germany
Prior art keywords
workpiece
determined
television camera
programming
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired
Application number
DE19752513655
Other languages
German (de)
Other versions
DE2513655B2 (en
DE2513655A1 (en
Inventor
Juergen 6900 Heidelberg Bretschi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to DE19752513655 priority Critical patent/DE2513655C3/en
Publication of DE2513655A1 publication Critical patent/DE2513655A1/en
Publication of DE2513655B2 publication Critical patent/DE2513655B2/en
Application granted granted Critical
Publication of DE2513655C3 publication Critical patent/DE2513655C3/en
Expired legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • G05D3/14Control of position or direction using feedback using an analogue comparing device
    • G05D3/1418Control of position or direction using feedback using an analogue comparing device with ac amplifier chain

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Description

Die Erfindung betrifft eine Einrichtung gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a device according to the preamble of claim 1.

Für die sich heute im praktischen Einsatz befindenden Handhabungsgeräte fehlen eigene Erkennungseinrichtungen. Dies bedingt, daß in einer Vielzahl von Fällen die Hilfe des Menschen benötigt wird, um Werkstücke in ihrer Lage zu erkennen (Klassifikation), in ihrer Lage auszurichten, ihre Lage zu finden und dem Handhabungssystem geordnet anzubieten. Die technische Lösung dieser Aufgaben beseitigt das häufig einzige Automatisierungshindernis bei der Montage und Fertigung mit Handhabungsgeräten und befreit den Menschen von monotonen Arbeiten.There are no separate detection devices for the handling devices in practical use today. This implies that in a large number of cases human help is required to recognize workpieces in their position (classification), in their position to align them, to find their location and to offer them to the handling system in an orderly manner. The technical Solving these tasks removes what is often the only obstacle to automation in assembly and production with handling devices and frees people from monotonous work.

Es ist in der Großserienfertigung üblich, dieIt is common in high volume production that

genannten Aufgaben mit rein mechanischen Qrdnungseinriehtungen (z, B, Förderer) zu lösen. Die benutzten werkstflckspezifischen Ordnungselemente müssen bei einem Werkstückwechsel unter hohem Entwicklungs-5 oder Justieraufwand ausgestauscht werden. Dies ist bei der Klein- und Mittelserie unwirtschaftlich. Weiterhin gibt es Werkstücke, die nicht mechanisch zu ordnen sind, so daß für diese Arbeiten der Einsatz des Menschen unumgänglich istto solve the mentioned tasks with purely mechanical Qrdnungseinriehtungen (e.g. conveyor). The used Organizational elements specific to the workpiece must be included a workpiece change with high development or 5 adjustment effort. This is at the small and medium series uneconomical. There are also workpieces that cannot be sorted mechanically so that human involvement is essential for this work

ίο In der Patentanmeldung P 24 26 1993 wird ein Verfahren beschrieben, bei dem die vereinzelten Werkstücke auf einem Förderband liegend gegen einen Anschlag geführt werden. Hierdurch ist nur eine begrenzte Anzahl von diskreten Lageklassen derίο In the patent application P 24 26 1993 a Method described in which the separated workpieces lying on a conveyor belt against a Stop are guided. As a result, only a limited number of discrete position classes is available Werkstücke möglich. Die Klassifikation und Positionsbestimmung erfolgt mit Hilfe eines inkohärentoptischen !Correlators als Sensorsystem. Der Aufbau dieses Korrelators bedingt mechanisch bewegte Teile wie Schwingspiegel oder rotierende Scheibe. Die UmstelWork pieces possible. The classification and position determination takes place with the help of an incoherent optical ! Correlators as a sensor system. The structure of this correlator requires mechanically moving parts such as Oscillating mirror or rotating disk. The change lung auf andere Werkstücke erfolgt durch ein Auswechseln der rotierenden Scheibe, auf der die einzelnen Lageklassen fotografisch gespeichert sind. In die für die elektronische Programmierung des Handhabungssystems ohnehin notwendige Lernphase (teach-in)on other workpieces is carried out by a Replacing the rotating disc on which the individual position classes are stored photographically. In the learning phase (teach-in), which is necessary anyway for the electronic programming of the handling system läßt sich dieses fotografische Verfahren im Gegensatz zu elektronischen Möglichkeiten nicht integrieren.In contrast to electronic possibilities, this photographic process cannot be integrated.

Neben der mechanischen Ordnungseinrichtungen und den optischen' Korrelatoren gibt es die Klasse der »Intelligenten Roboter«, die mit FernsehsystemenIn addition to the mechanical ordering devices and the optical correlators, there is the class of "Intelligent Robots" that work with television systems arbeiten. Die bisherigen Entwicklungen auf diesem Gebiet sind nicht für eine Anwendung bei industriellen Handhabungssystemen ausgelegt Hier steht vor allem der Einsatz in einer gefährlichen Umwelt (Meeres- und Weltraumforschung, Katastropheneinsatz bei radioaktiwork. The previous developments on this Area are not for use in industrial Handling systems designed Here, the main focus is on use in a dangerous environment (marine and Space research, disaster deployment in radioacti ver Verseuchung u.a.) im Vordergrund. Sämtliche »Intelligenten Roboter« werden wegen der komplexen Aufgabenstellung von aufwendigen und teueren Rechnersystemen gesteuert. Das gleiche gilt auch für die heute bekannten, mitver contamination etc.) in the foreground. All "Intelligent robots" are controlled by complex and expensive computer systems because of their complex tasks. The same goes for those known today, with Fernsehkameras gesteuerten Haiidhabungssysteme (z. B. OS 24 09 478). Diese Systeme sind zwar für den Einsatz an industriellen Handhabungssystemen konzipiert, benötigen aber ebenfalls speicherintensive Digitalrechner zur Durchführung des Erkennungsvorgan-Shark handling systems controlled by television cameras (e.g. OS 24 09 478). Although these systems are designed for use on industrial handling systems, they also require memory-intensive digital computers to carry out the recognition process. ges. Als typisches Beispiel sei eine programmierbaretotal A typical example is a programmable one

Montagemaschine genannt (Heginbothan, W. B.Called assembly machine (Heginbothan, W. B.

et al, The Nottingham Sirch Assembly Robot, Paper R 9et al, The Nottingham Sirch Assembly Robot, Paper R 9 1 st Conference on Industrial Robot Technology, 1973).1st Conference on Industrial Robot Technology, 1973).

Hier wird beim Erkennungsvorgang die gesamteThe entire

Außenstruktur des Werkstückes verarbeitet. Hierzu ist ein großer Rechenaufwand und demgemäß ein aufwendiger Rechner notwendig.External structure of the workpiece processed. This requires a great deal of computing effort and, accordingly, a complex computer.

Der Erfindung liegt die Aufgabe zugrunde, mit einfachen Mitteln die Lageart, Orientierung undThe invention is based on the object of using simple means the type of location, orientation and

5r> Position eines Objektes, z. B. eines Werkstückes oder Werkzeuges zu bestimmen, den Erkennungsvorgang zu vereinfachen und den apparativen Aufwand zu vermindern. Diese Aufgabe wird erfindungsgemäß durch eine5 r > position of an object, e.g. B. to determine a workpiece or tool, to simplify the detection process and to reduce the expenditure on equipment. According to the invention, this object is achieved by a Einrichtung gemäß dem kennzeichnenden Teil des Anspruches 1 gelöst. Weitere vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.Establishment according to the identifying part of the Claim 1 solved. Further advantageous refinements are given in the subclaims.

Als Beispiel für solche signifikanten Merkmale sind zu nennen: Winkel von Kanten, Abmessungen derAs an example of such significant features are to be mentioned: angles of edges, dimensions of the

h> Außenkontur, Abmessungen besonderer Aussparungen, Differenzen von Aussparungen bzw. Innenkonturen und Außenkonturen, Flächen und das Vorhandensein oder nicht Vorhandensein von werkstückerfassenden Fern- h > Outer contour, dimensions of special cutouts, differences between cutouts or inner contours and outer contours, surfaces and the presence or absence of remote workpiece detection

sehzeilen. Es kann sich dabei sowohl um Werkstücke handeln, die mjf einem Förderband liegend gegen einen Anschlag geführt werden, so daß entsprechend der Anmeldung P 24 261993 diskrete Lageklassen gebildet werden, die durch das Verfahren klassefiziert und in ihrer Position vermessen werden, so daß der Greifer des Handhabungssystems entsprechend einem zugeordneten Greifprogramm gesteuert werden kann. Das Verfahren ist jedoch nicht nur auf Werkstücke beschränkt, die auf einem Förderband liegend gegen to einen Anschlag gefahren werden. Es können in gleicher Weise Relativpostionen von Werkstücken oder Werkzeugen ermittelt werden, wobei gleichzeitig in der vorher geschilderten Weise eine Werkstückerkennung durchgeführt werden kann. Aufgaben dieser Art treten vor allem bei automatischen Fügevorgängen auf, an die sich dann ein weiterer Bearbeitungsschritt, z.B. das Zusammenschweißen der Teile, anschließt Hierbei ist es möglich, mit zwei Fernsehkameras dreidimensionale Lagekoordinaten zu vermessen.lines of sight. It can be both workpieces act, the mjf lying against a conveyor belt Stop are performed so that according to the application P 24 261993 discrete position classes are formed which are classified by the process and in their position are measured so that the gripper of the Handling system can be controlled according to an assigned gripping program. That However, the method is not limited to workpieces that are lying on a conveyor belt against to a stop can be driven. Relative positions of workpieces or tools can be determined in the same way, while at the same time in the a workpiece recognition can be carried out in the manner described above. Such tasks especially with automatic joining processes to which Then another processing step, e.g. the Welding the parts together, then it is possible to do three-dimensional work with two television cameras To measure position coordinates.

Zur Durchführung des Verfahrens werden die zu erkennenden Objekte entweder im Durchücht — oder im Auflicht betrachtetTo carry out the method, the objects to be recognized are either checked or viewed in incident light

Ein wesentlicher Vorteil der Einrichtung Sensorsystem) ist es, daß für das Erfassen der vorher genannten Merkmale nur Zählvorgänge benötigt werden, wobei wegen der Beschränkung auf wenige Merkmale auch nur wenige Zählergebnisse anfallen. Zählergebnisse sind mit Hilfe der Digitalelektronik leicht zu realisieren, die geringe Anzahl der zu verarbeitenden Zählergebnisse bedeutet eine Datenreduktion und damit eine Abnahme des benötigten Speicherplatzes.A major advantage of the device sensor system) is that for the detection of the aforementioned Features only counting operations are required, and because of the restriction to a few features there are only a few counting results. Counting results are easy to achieve with the help of digital electronics low number of counting results to be processed means a data reduction and thus a decrease the required storage space.

Bei der Durchführung des Erkennungsvorganges (Klassifikation) werden die gespeicherten aktuellen Zählerstände mit vorgegebenen Sollwerten verglichen (elektronische Korrelation) und auf die Klasse mit maximaler Obereinstimmung entschieden.When the recognition process (classification) is carried out, the stored current Counter readings are compared with specified target values (electronic correlation) and on the class with maximum consensus decided.

Bei der Durchführung der Positionsbestimmung beinhaltet die Zeitdifferenz zwischen dem Zeilenanfang oder einem beliebigen anderen Anfangszeitpunkt und dem Eintreffen eines oder mehrerer Fernsehzeilen auf das Werkstück oder Werkzeug bei bekannter Zeilenabtastgeschwindigkeit die Information der Werkstückoder Werkzeuglage.When performing the position determination, includes the time difference between the start of the line or any other starting time and the arrival of one or more television lines the workpiece or tool the information about the workpiece or tool position at a known line scanning speed.

Ein zusätzlicher mit der Erfindung erzielbarer Vorteil ist die Unempfindlichkeit des Sensorsystems gegenüber Störeinflüssen der Fernsehkamera. Durch den Verzicht auf die für den vorliegenden Anwendungsfall unnötige Detailerkennung und die Anzahl signifikanter Merkmale mit relativ großen geometrischen Abmessungen sind Linearitäts- und Zeilenfehler der Fernsehkamera sowie die begrenzte Auflösung bedeutungslos.An additional advantage that can be achieved with the invention is the insensitivity of the sensor system to this Interferences from the television camera. By giving up which are unnecessary for the present application detail recognition and the number of significant features with relatively large geometric dimensions Linearity and line errors of the television camera as well as the limited resolution are meaningless.

Ein weiteres wesentliches Kennzeichen des Sensorsystems ist die leichte Programmierbarkeit. Gleichzeitig mit der gewünschten Flexibilität von Handhabungssystemen für den Einsatz bei verschiedenen Werkstücken und Handhabungsvorgängen müssen auch die mustererkennenden Sensorsysteme programmierbar sein. Bei der Vielzahl der möglichen Werkstücke und Handhabungsvorgänge ist bei einer universellen Verwendbar- to keit des Sensorsystems eine leichte Anpassung an die jeweilige Aufgabenstellung anstrebenswert. Die Programmierung des Sensorsystems ist dadurch möglich, daß bei einer Kombination aus fest vorgegebenen Zählschaltungen, Speichern und logischen Baugruppen i,r> alle unveränderlichen Funktionen fest verdrahtet sind. Die Zeilenauswahl, die Wahl der durch einen Zählvorgang je nach ausgewalzten Merkmal zu erfassendenAnother key feature of the sensor system is that it is easy to program. At the same time as the desired flexibility of handling systems for use with different workpieces and handling processes, the pattern-recognizing sensor systems must also be programmable. Given the large number of possible workpieces and handling processes, if the sensor system can be used universally, easy adaptation to the task at hand is desirable. The programming of the sensor system is possible in that with a combination of fixed predetermined counting circuits, memories and logic modules i, r > all unchangeable functions are hard-wired. The selection of lines, the choice of which are to be recorded by a counting process depending on the rolled out feature Meßgröße und die logische Entscheidungsstufe wird in bekannter Weise zum Beispiel über Kreuzschienenverteiler mit Diodensteckern programmiert. Hierzu ist ein Teil der für den Meß- und Erkennungsvorgang notwendigen Auswerteschaltung für alle Objekte gleich und dementsprechend fest verdrahtet Ein Teil der Schaltung ist jedoch durch variable Steckverbindungen flexibel gestaltet, so daß eine objektabhängige Programmierung mittels Steckverbindungen möglich istThe measured variable and the logical decision level are programmed in a known manner, for example using crossbar distributors with diode plugs. This is a Part of the evaluation circuit necessary for the measurement and detection process, the same for all objects and accordingly hard-wired. However, part of the circuit is through variable plug connections flexibly designed so that object-dependent programming using plug-in connections is possible

In gleicher Weise ist die Programmierung über Microprocessoren oder Ablaufsteuerungen (Mikrocontroller) möglich, bei denen die Programminstruktionen in leicht austauschbaren Festwertspeichern festgelegt sind.In the same way, programming via microprocessors or sequence controls (microcontrollers) is possible, in which the program instructions are set in easily exchangeable read-only memories.

Die Eingabe der für die Klassifikation benötigten Sollwerte kann auf zweierlei Weise erfolgen. Es ist zum einen möglich, die Sollwerte aus den jeweiligen Werkstückdaten zu bestimmen und fest in die Speicher einzugeben. Es ist ebenso möglich, die Sollwerte durch einen direkten Bildschirm-Bediener-Dialog einzugeben. Dieser Vorgang entspricht dem der eigentlichen Programmierung (teach-in) der Handhpbungssysteme. Hierbei werden der Fernsehkamera je nach Handhabungsaufgabe nacheinander die verschiedenen Objekte oder Objektlagen angeboten. Mit Hilfe eines Monitorbildes, bsi dem eine verschiebbar angeordnete Zeile z. B. durch eine Dunkeltastung dieser Zeile gekennzeichnet ist, bringt der Bediener die gekennzeichnete Zeile an die gewünschte signifikante Stelle des Objektes. Auf Knopfdruck werden die sich als Zählergabnisse in dieser Zeile ergebenden Abschnitte der Schwarz-Weiß-Strekken eines z. B. im Durchücht erscheinenden Objektes in die Sollwertspeicher eingegeben. Dies wird für jede mögliche Lageklasse wiederholtThe setpoints required for the classification can be entered in two ways. It is for One is possible to determine the setpoints from the respective workpiece data and store them permanently in the memory to enter. It is also possible to use the setpoints enter a direct screen operator dialog. This process corresponds to the actual one Programming (teach-in) the handling systems. In this case, the television camera is shown the various objects one after the other, depending on the handling task or object locations are offered. With the help of a monitor image, bsi the one displaceably arranged line z. B. is marked by blanking this line, the operator brings the marked line to the desired significant point of the object. At the push of a button, the results are displayed as counter results in this Line resulting sections of the black-and-white lines of a z. B. in the looking through object in entered the setpoint memory. This is repeated for each possible location class

Die Ablaufsteuerung des Erkennungsvorganges und die logischen Entscheidungen übernimmt ein Microprocessor, der in vielen Fällen eine reine Ablaufsteuerung (Mikrocontroller) sein kann. Hierbei wird in bekannter Weise die gesamte Programminformaticn in einem Festwertspeicher gespeichert Je nach Aufgabe wird dieser Speicher mit den Programminformationen ausgetauscht Durch die Datenreduktion ist der Speicherplatz für Befehle und Daten gering.The process control of the recognition process and the logical decisions are taken over by a microprocessor, which in many cases is a pure process control (Microcontroller) can be. This is known in Way, the entire program information is stored in a read-only memory, depending on the task this memory is exchanged with the program information Low memory space for commands and data.

Ein Ausführungsbeispiel für eine Werkstückklassifizierung und ein Ausführungsbeispiel für eine Relativpositionierung von Werkstücken ist in der Zeichnung dargestellt und im folgenden näher beschrieben. Es zeigtAn exemplary embodiment for a workpiece classification and an exemplary embodiment for a relative positioning of workpieces is shown in the drawing shown and described in more detail below. It shows

F i g. 1 die an einem Beispiel durchgeführte Datenreduktion durch die Beschränkung auf einige wenige Fernsehzeilen an signifikanten Werkstückstellen bei der Aufgabe der Werkstückklassifikation und Positionsbestimmung.F i g. 1 the data reduction carried out using an example by limiting it to a few Television lines at significant workpiece locations when the task of workpiece classification and position determination.

F i g. 2 ein Beispiel für die Anwendung des Verfahrens bei de·· Relativpositionierung von Werkstücken.F i g. 2 an example for the application of the method for the relative positioning of workpieces.

F i g. 3 die Draufsicht der Anordnung zur Relativpositionierung von Werkstücken.F i g. 3 shows the plan view of the arrangement for the relative positioning of workpieces.

F i g. 4 ein Blockschaltbild des Sensorsystems.F i g. 4 is a block diagram of the sensor system.

Zur Durchführung des Verfahrens zur Werkstückklassifikation und Positionsbestimmung wird das in F i g. 1 beispielsweise als Winkel ausgeführte Werkstück in bekannter Weise gegen einen Anschlag 1 geführt. Hierdurch ergeben sich die dargestellten sechs stabilen Anlauflagen L)-L6. Bei der Erfassung dieses Bildes mit Hilfe einer senkrecht zur Bildebene stehenden Fernsehkamera ist eine Bildauflösung von 625 Zeilen pro Bildausschnitt möglich. Von diesen 625 möglichen Zeilen sind entsprechend F i g. I die vier nicht äquidistanten Zeilen Zi-Zt herausgegriffen. Wie imTo carry out the method for workpiece classification and position determination, the method shown in FIG. 1, for example, a workpiece designed as an angle is guided in a known manner against a stop 1. This results in the six stable abutment positions L) -L 6 shown . When capturing this image with the aid of a television camera that is perpendicular to the image plane, an image resolution of 625 lines per image section is possible. Of these 625 possible lines, FIG. I picked out the four non-equidistant lines Zi-Zt. Like in

folgenden gezeigt wird, genügen diese vier Zeilen zu einer vollständigen Beschreibung der möglichen Lage klassen L\ — Li. Dies bedeutet eine wesentliche Aufwands- und Datenreduktion und führt demgemäß zu einer Vereinfachung des Sensorsystems. As shown below, these four lines are sufficient for a complete description of the possible location classes L \ - Li. This means a significant reduction in effort and data and accordingly leads to a simplification of the sensor system.

Man erkennt aus F i g. 1, daß nur die Zeilen Z\ und Z2 die Werkstücklagen L\ und L2 erfassen. Im Videosignal der Fernsehkamera bewirkt das Vorhandensein eines Gegenstandes bei der betreffenden Abtastzeile eine deutliche Pegeländerung. Das Vorhandensein einer solchen Pegeländemng in einer Zeile wird gespeichert. It can be seen from FIG. 1, only the lines Z \ and Z2 the workpiece layers L \ and L2 detect. In the video signal of the television camera, the presence of an object causes a significant change in level in the relevant scan line. The presence of such a level change in a line is saved.

Die Entscheidung welche der beiden möglichen Lagen L\ oder Li vorliegt, wird bei der zweiten Fernsehzeile Zi getroffen. Bei gemeinsamen Loslaufen aller Fernsehzeilen von einer Anfangsmarke 2 (Fig. 1) trifft bezogen auf diesen Anfangspunkt bei der Lage L\ die Zeile Zi früher auf das Werkstück als die Zeile Z\. Bei der Lage Li ist dies umgekehrt. Durch Erfassung derThe decision as to which of the two possible positions L \ or Li is present is made for the second television line Zi . When all television lines start together from a starting mark 2 (FIG. 1), based on this starting point at position L \, line Zi hits the workpiece earlier than line Z \. In the case of Li , this is the other way round. By capturing the

Werkstück mittels vom Videosignal getriggerten Zählern kann auf die Lage L\ oder L1 entschieden werden. In gleicher Weise ist es möglich, aus den unterschiedlichen Steigungswinkeln der Werkstückkanten die restlichen Lageklassen Li— U zu bestimmen. Für den Erkennungsvorgang wurden dabei im vorliegenden Beispiel von den früher genannten Merkmalen nur die Winkel von Werkstückkanten und das Vorhandensein oder Nichtvorhandensein von werkstückerfassenden Fernsehzeilen ausgenutzt. Workpiece position L \ or L 1 can be decided by means of counters triggered by the video signal. In the same way, it is possible to determine the remaining position classes Li-U from the different angles of inclination of the workpiece edges. In the present example, of the features mentioned earlier, only the angles of workpiece edges and the presence or absence of workpiece-detecting television lines were used for the recognition process.

In gleicher Weise ist es möglich, durch das Verwenden anderer Merkmale den Erkennungsvorgang durchzuführen. So kann die Lage Li und L·, von der Lage U und Li dadurch unterschieden werden, daß durch den Zählvorgang die unterschiedlichen Breiten der Außenkonturen oder das Vorhandensein einer Aussparung des Werkstückes bei der Lage Lj und U in Zeile Zi ermittelt werden.In the same way, it is possible to carry out the recognition process by using other features. Thus, the position Li and L ·, can be distinguished from the position U and Li in that the counting process determines the different widths of the outer contours or the presence of a recess in the workpiece in the position Lj and U in line Zi.

Für den Erkennungsvorgang (Klassifikation) werden die gespeicherten aktuellen Zählerstände mit vorgegebenen Sollwerten verglichen (elektronische Korrelation) und auf die Klasse mit maximaler Übereinstimmung entschieden.For the identification process (classification), the stored current meter readings are also specified Target values compared (electronic correlation) and assigned to the class with maximum agreement decided.

Die Positionsvermessung des Werkstückes erfolgt aus der Zeitdauer (Zählvorgang), die beispielsweise die Zeile Zi. die alle Werkstücklagen L^-U erfaßt, vom Anfangspunkt 2 bis zum Werkstück benötigt.The position of the workpiece is measured from the period of time (counting process) required, for example, by line Zi, which records all workpiece positions L ^ -U , from starting point 2 to the workpiece.

Nun sind Werkstücklage und Werkstückposition bekannt, so daß mit diesen Daten der Greifer des Handhabungssystems entsprechend der für jede Lageklasse vorprogrammierten Greifbewegung gesteuert werden kann.The workpiece position and workpiece position are now known, so that the gripper of the Handling system controlled according to the gripping movement preprogrammed for each position class can be.

Die für jedes Werkstück vorzunehmende Programmierung des Steuersystems kann zum einen bei einer vorher festgelegten Zeilenauswahl aus den geometrischen Abmessungen erfolgen. Im vorliegenden Beispiel sind das beispielsweise die Wegdifferenzen der einzelnen Zeilen oder die Breite der Außenkonturen. Desgleichen ist es möglich, mittels eines Monitorbildes in einem Bildschirm-Bediener-Dialog für jede Werkstücklage mittels einer durch Dunkeltastung gekennzeichneten und verschieblichen Monitorzeile die signifikanten Stellen des Werkstückes abzutasten und direkt die vom Videosignal getriggerten Schwarz-Weiß-Bereiche der jeweiligen Zeile als Sollwerte zu speichern.The programming of the control system to be carried out for each workpiece can be done on the one hand with a predefined line selection can be made from the geometric dimensions. In this example are, for example, the path differences of the individual lines or the width of the outer contours. It is also possible to use a monitor image in a screen operator dialog for each workpiece position the significant ones by means of a shiftable monitor line marked by blanking To scan positions of the workpiece and directly the black and white areas triggered by the video signal of the respective line as setpoints.

Als weiteres Beispiel für die Anwendbarkeit des Verfahrens bei nicht vorliegenden diskreten Lagekiassen ist in Fig. 2 die Relativpositionierung von Werkstücken näher ausgeführt.As a further example for the applicability of the method in the absence of discrete position classes is in Fig. 2 the relative positioning of Workpieces detailed.

Das Werkstück 3 wird beispielsweise über ein Förderband 4 auf eine Haltevorrichtung 5, beispielsweise eine magnetische oder mit Vakuum arbeitende Vorrichtung, aufgesetzt Die Aufsetzlage des Werkstükkes kann beliebig sein. Im oder auf dem Werkstück befindet sich ein signifikantes Merkmal. Im Beispiel ist dies eine rechteckige Werkstückaussparung 6. Wird das Werkstück im Durchlicht betrachtet, so erscheint diese Aussparung als heller Fleck auf dem dunklen Werk- The workpiece 3 is placed on a holding device 5, for example a magnetic or vacuum device, via a conveyor belt 4. The placement position of the workpiece can be any. There is a significant feature in or on the workpiece. In the example this is a rectangular workpiece recess 6. If the workpiece is viewed in transmitted light , this recess appears as a light spot on the dark workpiece.

ίο stück. Es muß sich hierbei keineswegs um Aussparungen handeln, die an dieser Stelle lichtdurchlässig ist. Ir gleicher Weise kann es auch eine lichtundurchlässige Vertiefung oder eine Erhöhung sein. Im Werkstück befindet sich eine in der Seitenansicht nicht sichtbare ίο piece. It does not have to be recesses that are translucent at this point . In the same way, it can also be an opaque depression or elevation. In the workpiece there is one that is not visible in the side view

π öffnung 7. In diese öffnung soll ein ganz bestimmte; Werkstück 8 von einer Zubringeeinrichtung 9 eingefügi werden. Diese Aufgabe wird dadurch gelöst, daß da« Werkstück 3 von einer Zeile Z\ einer FernsehkamerE sb^eisstst wird. Dies« F**rnsehzei!e !st so r»r»cjijr»nj*»rt daß sie die signifikante Aussparung 6 erfaßt. Durch Drehen der Halterung 5 durch das Handhabungssysterr bis zur maximalen von der Fernsehzeile erfaßten unc bekannten Abmessung der Innenkontur 6 ist die Lagt bis auf eine Parallelverschiebung senkrecht zur Zeichenπ opening 7. In this opening to a very specific; Workpiece 8 are inserted by a feeder 9. This object is achieved in that the workpiece 3 is cut from a line Z of a television camera. This "TV mark! E! St so r" r "cjijr" nj * "rt that it covers the significant recess 6. By rotating the holder 5 through the handling system up to the maximum unc known dimension of the inner contour 6 detected by the television line, the position is perpendicular to the character, except for a parallel shift

2't ebene erfaßt. 2't level recorded.

Handelt es sich beispielsweise bei dem signifikanter Merkmal um eine lichtundurchlässige Aussparung odei eine Erhebung, so nutzt man als Sollwert für die Drehung des Werkstückes das Intensitätsmaximum de;For example, if the significant feature is an opaque recess or an opaque recess a survey, the maximum intensity de is used as the target value for the rotation of the workpiece;

in Videosignals beim Glanzwinkel aus.in video signal at the glancing angle.

In F i g. 3 ist zur Verdeutlichung die Draufsicht dei Anordnung mit dem Werkstück 3 und der Fernsehka mera 10 dargestellt. Die Kamera 10 erfaßt ir beschriebener Weise die sich gegen eine von deiIn Fig. 3 is the top view of the illustration for clarity Arrangement with the workpiece 3 and the Fernsehka mera 10 shown. The camera 10 detects ir described way against one of the dei

r. Rückseite durch eine Lampe 11 beleuchtete Maltschei be 12 hell vom Werkstück 3 abhebende Aussparung 6.r. Maltschei back lit by a lamp 11 be 12 bright recess 6 that lifts off the workpiece 3.

Tritt nach der Ausrichtung des Werkstückes durch die beschriebene Drehung noch ein Freiheitsgrad durri eine mögliche Parallelverschiebung in y-Richtung auf.seIf, after the workpiece has been aligned by the described rotation, there is still a degree of freedom durri a possible parallel shift in the y direction

■»'■ läßt sich diese mit einer senkrecht zur erster Fernsehkamera 10 angeordneten zweiten Kamera 1; durch eine einzige Zeile erfassen, die die Außenkontu ren des Werkstückes abtastet.■ »'■ can be this with a perpendicular to the first TV camera 10 arranged second camera 1; capture by a single line, which is the outer contour the workpiece is scanned.

Wegen der starren und bekannten RelativpositiorBecause of the rigid and well-known relative position

-i zwischen der Marke 6 und der Werkstücköffnung 1 (F i g. 2) ist es nun möglich, die Zubringeeinrichtung 9 se zu steuern, daß das Werkstück 8 in die öffnung eingefügt werden kann. Hierbei ist es möglich, durcl eine zweite Zeile Zi der ersten Fernsehkamera 10 da:Between the mark 6 and the workpiece opening 1 (FIG. 2) it is now possible to control the feeder device 9 so that the workpiece 8 can be inserted into the opening. Here it is possible, by means of a second line Zi of the first television camera 10:

'■'' zugebrachte Werkstück in gleicher Weise zu klassifizie ren und in der Lage auszurichten. So ;st e: beispielsweise auch möglich, je nach der Art de Werkstückes 8 verschiedene Manipulationen vorzuneh men, beispielsweise in verschiedene Öffnungen de '■'' to classify and align the workpiece in the same way. So ; st e: for example, it is also possible, depending on the type of workpiece 8, to undertake different manipulations, for example in different openings

''·"> Werkstückes3 einzusetzen. '' · "> To insert workpiece3.

Die Lage in x-Richtung ergibt sich in beschriebene Weise aus dem Zeitabstand der Fernsehzeilen Z\ und Z von der Anfangsmarke 14 (F i g. 2\ The position in the x-direction results in the manner described from the time interval between the television lines Z \ and Z from the starting mark 14 (F i g. 2 \

In F i g. 4 ist ein Blockschaltbild des SensorsystemIn Fig. 4 is a block diagram of the sensor system

rl] dargestellt. Das von einer Fernsehkamera 15 erfaßti Bild wird in einer Impulstrennstufe 16 in das Videosigna und die Zeilenimpulse zerlegt Das Videosignal dient zu Ansteuerung einer Triggerstufe 17 für Schwarzweiß Obergänge des Bildes und zur Ansteuerung eine rl] shown. The image captured by a television camera 15 is broken down in a pulse separator 16 into the video signal and the line pulses

'·' Triggerstufe 18 für Weißschwarz-Übergänge de abgetasteten Bildes. Diese Stufen steuern über ein Start-Stop-Schaltung 19 die Zählimpulse, die von einer HF-Oszillator 20 in einen Zähler 21 eingegeben werdei'·' Trigger level 18 for white-black transitions de scanned image. These stages control a start-stop circuit 19, the counting pulses from a RF oscillator 20 is input into a counter 21

Die Zählergebnisse werden für jede Zeile bei der angegebenen Stellung des Schalters 22 in den Istwertspeicher 23 eingegeben. Die gewünschte Fernsehzeilen werden nach der Impulstrennstufe 16 über einen Zeilenzähler 24 und einen Zeilendekodierer 23, der zur Auswahl der gewünschten Zeilen dient, in einem Zeilenspeicher 26 gespeichert Über eine Koinzidenzschaltung 27 werden dem aus der Steuereinheit 28, dem programmierbarem Festwertspeicher 29 und der Ein-Ausgabelogik (Entscheidungsstufe) 30 bestehenden Microprocessor Steuerbefehle zugeführt. Dieser Microprocessor steuert seinerseits nach Maßgabe des flexiblen und programmierbaren Festwertspeichers 29The counting results are for each line with the indicated position of the switch 22 in the Actual value memory 23 entered. The desired television lines are after the pulse separator 16 over a line counter 24 and a line decoder 23, which is used to select the desired lines, stored in a line memory 26 via a coincidence circuit 27 are derived from the control unit 28, the programmable read-only memory 29 and the Input-output logic (decision level) 30 existing Microprocessor control commands supplied. This microprocessor in turn controls according to the flexible and programmable read-only memory 29

den Meßvorgang und trifft in der Ein-Ausgabelogik durch Vergleich der Inhalte des Istwert- und Sollwertspeichers die Entscheidung auf die Lageklasse. Die Position des Werkstückes ist für eine bestimmte Zeile im Istwertspeicher 23 festgehalten, woraus in einer Schaltung 33 beispielsweise die Position des Schwerpunktes ermittelt werden kann. Zur Programmierung des Sensorsystems wird das Bild der Fernsehkamera 15 auf dem Monitor 31 beobachtet, die gewünschte Zeile mit dem Zeilenzähler 24 eingestellt, und die Sollwerte der Werkstückabmessungen nach Umschalten des Schalters 22 in den Sollwertspeicher 32 eingegeben.the measuring process and occurs in the input / output logic by comparing the contents of the actual value and setpoint memory the decision on the location class. The position of the workpiece is for a specific line held in the actual value memory 23, from which in a circuit 33, for example, the position of the center of gravity can be determined. The image from the television camera 15 is used to program the sensor system observed on the monitor 31, set the desired line with the line counter 24, and the setpoints of the workpiece dimensions entered into the setpoint memory 32 after switching the switch 22.

Hierzu 4 Blatt ZeichnungenFor this purpose 4 sheets of drawings

Claims (7)

Patentansprüche:Patent claims: 1. Einrichtung zur Bestimmung der Lageart, Orientierung und Position eines Objektes, z, B, eines Werkstückes oder Werkzeuges, dessen Auflugemöglichketten bekannt sind, für die Steuerung von automatischen Handhabungssystemen mittels Abtastung des Objektes mit Hilfe einer Fernsehkamera, dadurch gekennzeichnet, daß in einer Programmierphase aus der Objektgeometrie durch Abtastung des Objektes mit einigen, wenigen — elektronisch über Wahlschalter, Zeilenzähler (24) und Zeilendekodierer (25) — ausgewählten und auf die signifikanten Stellen des Objektes eingestellten Zeilen der Fernsehkamera (15) Streckenabschnitte ermittelt und in einem Speicher (23) gespeichert werden und in der Meßphase von dem zu bestimmenden Objekt von den gleichen Zeilen Streckenabschnitte ermittelt werden und diese mit den in der Programmierphase ermittelten Streckenabschnitten in der Auswerteschaltung (28—30) korreliert werden und dadurch die Lageart, Orientierung und Position des Objektes ermittelt wird.1. Device for determining the type of position, Orientation and position of an object, e.g. one Workpiece or tool, whose Auflugemossiblechains are known, for the control of automatic handling systems by scanning the object with the help of a television camera, characterized in that in a programming phase from the object geometry Scanning the object with just a few - electronically via selector switch, line counter (24) and row decoders (25) - selected and set to the significant digits of the object Lines of the television camera (15) determined route sections and stored in a memory (23) and in the measuring phase of the object to be determined from the same lines Route sections are determined and these with the route sections determined in the programming phase in the evaluation circuit (28-30) are correlated and thereby the type of location, orientation and position of the object is determined. 2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Streckenabschnitte als Zählimpulse in einem Zähler (21) erfaßt werden, wobei die Zahl der Zählimpulse die Abstände des Objektes von einer Bezugsmarke, Winkel von Objektkanten oder Abmessungen von Außen- oder Innenkonturen des Objektes sein können.2. Device according to claim 1, characterized in that the route sections as counting pulses in a counter (21) are detected, the number of counting pulses the distances of the object from a reference mark, angles of object edges or dimensions of outer or inner contours of the Object can be. 3. Einrichtung nach Anspruch 1 und 2, dadurch gekennzeichnet, daß der Ablauf der Programmier- und Meßphase von der Auswes-.eschaltung (28—30) gesteuert wird, die mittels, austauschbarer Festwertspeicher programmiert ist3. Device according to claim 1 and 2, characterized in that the sequence of programming and the measuring phase is controlled by the evaluation circuit (28-30) which is programmed by means of exchangeable read-only memories 4. Einrichtung nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß die Programmier- und Meßphase sowie die elektronische Korrelation von einem Mikroprozessor gesteuert und durchgeführt wird.4. Device according to claim 1 to 3, characterized in that the programming and measuring phase and the electronic correlation of is controlled and carried out by a microprocessor. 5. Einrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß von der Fernsehkamera die Objekte im Durchlicht erfaßt werden.5. Device according to claim 1 to 4, characterized in that the television camera Objects can be detected in transmitted light. 6. Einrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß von der Fernsehkamera die Objekte im Auflicht erfaßt werden.6. Device according to claim 1 to 4, characterized in that the television camera Objects can be detected in incident light. 7. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Objektlage aus dem Auftreten der Maximalintensität des Videosignals beim Glanzwinkel bestimmt wird.7. Device according to claim 6, characterized in that the object position from the occurrence of the Maximum intensity of the video signal at the glancing angle is determined.
DE19752513655 1975-03-27 1975-03-27 Device for the control of automatic handling systems by means of a television camera Expired DE2513655C3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19752513655 DE2513655C3 (en) 1975-03-27 1975-03-27 Device for the control of automatic handling systems by means of a television camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19752513655 DE2513655C3 (en) 1975-03-27 1975-03-27 Device for the control of automatic handling systems by means of a television camera

Publications (3)

Publication Number Publication Date
DE2513655A1 DE2513655A1 (en) 1976-10-07
DE2513655B2 DE2513655B2 (en) 1979-03-29
DE2513655C3 true DE2513655C3 (en) 1979-11-29

Family

ID=5942595

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19752513655 Expired DE2513655C3 (en) 1975-03-27 1975-03-27 Device for the control of automatic handling systems by means of a television camera

Country Status (1)

Country Link
DE (1) DE2513655C3 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3014500A1 (en) * 1980-04-16 1981-10-22 Spritztechnik Kopperschmidt Gmbh & Co Kg, 4800 Bielefeld Automatic paint spraying system for flat components - has facility to scan component profile and acquire data to control spray head
DE3765659D1 (en) * 1986-03-04 1990-11-29 Bbc Reaktor Gmbh METHOD AND DEVICE FOR SUPPORTING THE LOADING PROCESS OF A REACTOR CORE WITH LENGTH EXTENDED FUEL ELEMENTS.
DE3710380A1 (en) * 1987-03-28 1988-10-13 Fraunhofer Ges Forschung Gripping device for an industrial robot
DE3742867C3 (en) * 1987-12-17 1998-04-09 Fraunhofer Ges Forschung Device for joining elements into corresponding receiving elements of an object
DE3822756A1 (en) * 1988-07-05 1990-01-11 Siemens Ag Flexible unit for placing parts in readiness
US5293322A (en) * 1989-10-24 1994-03-08 Mitsubishi Denki Kabushiki Kaisha Industrial robot apparatus
JPH03136739A (en) * 1989-10-24 1991-06-11 Mitsubishi Electric Corp Industrial robot

Also Published As

Publication number Publication date
DE2513655B2 (en) 1979-03-29
DE2513655A1 (en) 1976-10-07

Similar Documents

Publication Publication Date Title
DE2702452C2 (en) Device for determining the position of an object having a different degree of remission than the background
DE112004002120T5 (en) Pick and place machine with improved component placement test
DE3012559A1 (en) DEVICE AND METHOD FOR THE AUTOMATIC EXAMINATION OF PRODUCTS
EP1036003A1 (en) Method for checking that batches of cigarettes are complete and that the cigarettes are sufficiently filled
DE3100392A1 (en) "DEVICE FOR IDENTIFYING WORKPIECES"
DE2513655C3 (en) Device for the control of automatic handling systems by means of a television camera
DE102006017337A1 (en) Method for optically detecting moving objects and apparatus
DE2704983C3 (en) Device for detecting defects in the surface or the dimensions of an object and for detecting the position of the object with the aid of a line of photodiodes
DE69124189T2 (en) DEVICE FOR MEASURING THE LEAF LENGTH
DE3545960C1 (en) Method and arrangement for recognizing parts
DE10016963C2 (en) Method for determining the position of a workpiece in 3D space
WO2013072020A2 (en) Device and method for a semiautomatic testing station preferably in an order-picking system
DE102018103129A1 (en) Apparatus and method for generating an operating program of an inspection system
EP2629280A1 (en) Teaching system for testing and sorting different workpieces
EP0322523A2 (en) Method to digitally store a sewing pattern for an industrial sewing machine, and device to manually modify a stored pattern
DE3730396A1 (en) Method and device for contactless determination of the jaw position on the gripper of an automatic manipulator
DE10153581A1 (en) Determining effective contour of rotary machine tool in adjusting apparatus, by measuring maximum excursion of shadow boundary line from tool axis at certain points
EP1111334B1 (en) Method and apparatus for the localisation of cylindrical objects
DD239369A1 (en) ARRANGEMENT FOR AUTOMATIC MONITORING OF ONE-PIECE AND MULTI-CUTTING TOOLS ON MACHINING MACHINES
EP0436884B1 (en) Method for entering scan-zone coordinates in automatic reading systems for letters, forms etc.
EP0251379B1 (en) Object alignment and positioning method
DE3038147C2 (en)
DE2544233A1 (en) AUTOMATIC MACHINE TOOL
DE3010112A1 (en) Automatic sorting of rectangular components - using code disc that generates pulse sequence with photoelectric sensing to allow orientation to be determined
DE2628358A1 (en) Pattern recognition using electrical signals - has actual and required patterns arranged to transfer comparative data to summation logic unit

Legal Events

Date Code Title Description
C3 Grant after two publication steps (3rd publication)
8339 Ceased/non-payment of the annual fee