DE3742867A1

DE3742867A1 - Vorrichtung zum fuegen von elementen in entsprechende aufnahmeelemente eines objekts

Info

Publication number: DE3742867A1
Application number: DE19873742867
Authority: DE
Inventors: Karl Prof Dr Rabold; Ernst Dipl Ing Schmidberger; Wolfgang Dipl Ing Rauh; Jianzhong Lu; Leo Dipl Ing Schreiber; Hartmut Dr Grimm
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 1987-12-17
Filing date: 1987-12-17
Publication date: 1989-07-06
Anticipated expiration: 2007-12-18
Also published as: DE3742867C2; DE3742867C3

Description

Die Erfindung bezieht sich auf eine Vorrichtung zum Fügen von Elementen in Aufnahmeelemente eines Objekts, deren Lage und Größe in drei Dimensionen innerhalb bestimmter Erwartungsbereiche variabel ist, gemäß dem Oberbegriff des Patentanspruchs 1.

Bei der Automatisierung von Fügevorgängen besteht häufig das Problem, daß weder die Lage noch die genaue Größe der Aufnahmeelemente in bzw. an die zu fügenden Elemente ge fügt werden sollen, genau bekannt sind. In der Regel ist es vielmehr so, daß die Lage und/oder die Größe der Auf nahmeelemente innerhalb bestimmter Bereiche von Objekt zu Objekt unterschiedlich sind bzw. Toleranzen aufweisen.

Beispielsweise bei der Automatisierung von Melkvorgängen stellt sich das Problem, daß nicht nur die Größe und die jeweilige Stellung der verschiedenen Kühe in den Melk ständen unterschiedlich ist, sondern daß darüberhinaus auch noch die Form und die Größe der Euter schwanken.

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung zum Fügen von Elementen in entsprechende Aufnahmeelemente eines Objekts, deren Lage und Größe in drei Dimensionen innerhalb bestimmter Erwartungsbereiche variabel ist, derart weiterzubilden, daß der Fügevorgang auch bei unter schiedlicher Lage und Größe der Aufnahmeelemente sicher durchgeführt werden kann.

Eine erfindungsgemäße Lösung dieser Aufgabe ist mit ihren Weiterbildungen in den Patentansprüchen gekennzeichnet.

Die Erfindung basiert auf dem Grundgedanken, daß mittels zweier elektronischer Kameras, beispielsweise zweier Fern sehkameras eine stereoskopische Aufnahme des Erwartungs bereichs für die Lage der Aufnahmeelemente durchgeführt wird. Aus den Ausgangssignalen dieser Kameras wird ein digitales Bild, beispielsweise ein Binärbild, d. h. eine reines schwarz/weiß-Bild (Anspruch 8) gewonnen, aus dem wiederum signifikante Konturmerkmale der Aufnahmeelemente, an bzw. in die zu fügenden Elemente gefügt werden sollen, extrahiert wird. Aus der Lage dieser signifikanten Kontur merkmale im Aufnahmebereich der jeweiligen Kamera sowie der (vorgegebenen) Orientierung der beiden Kameras zuein ander ist es dann möglich, die Koordinaten des Aufnahme elements im Erwartungsbereich zu bestimmen. Entsprechend dieser Koordinatenbestimmung erfolgt dann die Steuerung der Mehrachsigen Handhabungseinrichtung, also beispiels weise eines handelsüblichen Industrieroboters.

Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.

Erfindungsgemäß ist weiterhin erkannt worden, daß es für eine genaue Absolutbestimmung der Koordinaten erforderlich ist, die Abbildungsverläufe der eingesetzten Kameras zu kennen. Dabei ist überraschender Weise erfindungsgemäß festgestellt worden, daß die auch bei typgleichen Kamera modellen auftretenden geringen Herstelltoleranzen aufgrund der Verwendung einer stereoskopischen Bestimmung der Lage der Aufnahmeelemente einen großen Einfluß auf den Absolut fehler der Koordinatenbestimmung haben. Deshalb erfolgt erfindungsgemäß eine Kalibrierung der eingesetzten Ka meras, um individuell für jede Kamera den Abstand zwischen Projektionszentrum und Bildebene sowie die Raumorien tierung des Kamerasystems zu bestimmen.

Die erfindungsgemäße Vorrichtung kann - wie bereits ein leitend ausgeführt - für beliebige Fügevorgänge, bei spielsweise zum selbsttätigen Ansetzen von Abgasschläuchen an die Auspuffrohre von Kraftfahrzeugen verwendet werden. Besonders vorteilhaft kann die erfindungsgemäße Vorrich tung jedoch in automatischen Melkständen verwendet werden, um selbsttätig die Melkbecher an die Euter einer im Melk stand befindlichen Kuh anzusetzen. Es ist nämlich aus einer Reihe von Gründen wünschenswert, den Melkvorgang zu automatisieren, da häufiges Melken der Kühe sich zwar positiv auf die Eutergesundheit und die Milchqualität auswirkt, jedoch sehr personalintensiv ist und so den Milchpreis erhöht.

Bei der Verwendung der erfindungsgemäßen Vorrichtung zum automatischen Ansetzen der Melkbecher an die Euter von Kühen sind bevorzugt die beiden Kameras derart angeordnet, daß sie die zu melkende Kuh frontal aufnehmen. Als signi fikantes Konturmerkmal werden die Zitzenspitzen herangezo gen, da die Zitzenspitzen unabhängig von der tatsächlichen Größe und Form des Euters leicht beispielsweise durch Vergleich des digitalen Ausgangssignals mit einem für Zit zenspitzen typischen Ausgangssignal identifiziert werden können.

Als Kameras können beliebige Kameras, beispielsweise Fern sehkameras verwendet werden. Im Falle der im Anspruch 3 gekennzeichneten bevorzugten Verwendung der erfindungsge mäßen Vorrichtung können darüberhinaus auch Wärmebildka meras (Anspruch 4) eingesetzt werden, die sich besonders zum Aufnehmen der Euter eignen.

In jedem Falle ist es jedoch vorteilhaft, wenn eine zu sätzliche Beleuchtungseinrichtung vorgesehen ist, die bevorzugt gemäß Anspruch 5 als Auflicht-Quelle ausgebildet ist.

Im Falle eines sich bewegenden Objekts, wie beispielsweise einer Kuh, kann es - um Verwischungseffekte oder dgl. zu vermeiden - vorteilhaft sein, wenn darüberhinaus die Be leuchtungseinrichtung in Art einer Stroboskop-Lichtquelle ausgebildet ist (Anspruch 6), da dann Bewegungsunschärfen etc. sicher vermieden werden.

Durch die erfindungsgemäße Vorrichtung wird eine hohe Positioniergenauigkeit erreicht. Die erreichbare Posi tioniergenauigkeit kann jedoch unter Umständen bei be stimmten Anwendungsfällen noch nicht genügen. Deshalb ist es gemäß Anspruch 7 von Vorteil, wenn im Bereich des zu fügenden Objekts ein zusätzlicher Sensor, der wiederum eine elektronische Kamera, aber auch ein Magnetfeldsensor etc. sein kann, vorgesehen ist, der das Aufnahmeelement erfaßt und dessen Ausgangssignal zur Feinkorrektur der Positionierung der Handhabungseinrichtung dient.

Die Erfindung wird nachstehend anhand eines Ausführungs beispiels unter Bezugnahme auf die Zeichnung näher be schrieben, in der zeigen:

Fig. 1 eine erfindungsgemäße Vorrichtung bei Verwendung in einem automatisierten Melkstand,

Fig. 2 eine schematische Darstellung zur Erläuterung der Bestimmung der Koordinaten eines signifikanten Konturmerkmals.

Fig. 1 zeigt schematisch die Anordnung der Bildebenen B 1 und B 2 der erfindungsgemäß verwendeten Kameras in bezug auf die Euter 1 bis 4 einer Kuh in einem automatisierten Melkstand. Dabei ist mit einem Pfeil 5 die Bewegungsrich tung der Kuh beim Eintreten in den Melkstand bezeichnet.

Im Bereich der Bildebenen B 1 und B 2 ist schematisch das Signal angedeutet, das die Kontur der Euter 1 bis 4 auf den Sensoren der Kamera angibt. Als signifikante Teilgeo metrie eines Euters kann der Konturverlauf und das untere Ende (Zitzenspitze) verwendet werden. Die räumliche Lage dieser Teilgeometrie stellt die Steuergröße für das An setzen des Melkbechers dar.

Um nun die Zitzenlage aus dem gesamten, mit anderer In formation überlagerten Videobild zu extrahieren, wird zunächst ein digitales Bild, das beispielsweise ein Binärbild (reines Schwarz-Weiß-Bild), aber auch ein Grauwertbild sein kann, erzeugt und aus diesem Bild die auf den Sensor der Kamera projezierte Euter-Außenkontur extrahiert.

Aus diesen Konturdaten werden mittels Bildvergleichs- Operationen die Zitzenspitzen extrahiert. Durch Bewerten der beiden stereooptischen Abbildungen liegen damit zwei zweidimensionale, reduzierte Datensätze bezüglich der Eutergeometrie vor.

Die Bestimmung der dreidimensionalen Koordinaten wird im folgenden anhand von Fig. 2 erläutert. Hierzu wird zu nächst ein Koordinatensystem O ₁-X ₁-Y ₁-Z ₁ der Bildebene B 1 der ersten Kamera zugeordnet.

Die Z ₁-Achse ist gleichzeitig die optische Achse der Ka mera ₁. Analog wird das Koordinatensystem O ₂-X ₂-Y ₂-Z ₂ der Bildebene der Kamera ₁ zugewiesen.

In dem vorgegebenen Koordinatensystem O-X-Y-Z sind aufgrund von vorher durchgeführten Kalibriervorgängen die Lage der beiden Kameras und ihre innere Orientierung bekannt. Es seien:

Wx₁, Wy₁, Wz₁ = die Drehwinkel des Koordinatensystems O₁-X₁-Y₁-Z₁ um die X-Y-Z-Achse des Koordinatensystems O-X-Y-Z
Wx₂, Wy₂, Wz₂ = die Drehwinkel des Koordinatensystems O₂-X₂-Y₂-Z₂ um die X₁-Y₁-Z₁-Achse des Koordinatensystems O₁-X₁-Y₁-Z₁

Aus den einzelnen Winkeln der Drehungen um die Koordinatenachsen von O-X-Y-Z können die entsprechenden einzelnen Transformationsmatrizen bestimmt werden. Es ergibt sich aus

Wx₁ =< Ax₁
Wy₁ =< Ay₁
Wz₁ =< Az₁
Wx₂ =< Ax₂
Wy₂ =< Ay₂
Wz₂ =< Az₂

Die Transformationsmatrix A₁ zur Transformation der Koordinaten vom Koordinatensystem O₁-X₁-Y₁-Z₁ zu O-X-Y-Z und die A₂ von O₂-X₂-Y₂-Z₂ zu O₁-X₁-Y₁-Z₁ werde wie folgend definiert:

P(x, y, z) = A*P(x₁, y₁, z₁) + O₁(x, y, z)
P(x₁, y₁, z₁) = A*P(x₂, y₂, z₂) + O₂(x₁, y₁, z₁)

Erfindungsgemäß wird nun ein Punkt P₂ im Koordinatensystem O₂-X₂-Y₂-Z₂ ausgesucht. Zusammen mit dem Projektionszentrum H₂ werden dessen Koordinaten in das Koordinatensystem O₁- X₁-Y₁-Z₁ transformiert:

P₂(x₁, y₁, z₁) = A₂ * P₂(x₂, y₂, z₂) + O₂(x₁, y₁, z₁)
H₂(x₁, y₁, z₁) = A₂ * H₂(x₂, y₂, z₂) + O₂(x₁, y₁, z₁)

Aus geometrischen Gründen muß das Bild von P ₁ eines räum lichen Punktes entsprechend P ₂ gleichzeitig auf zwei Ebe nen liegen. Eine dieser Ebenen wird von den drei Punkten H ₁, H ₂ und P ₂ bestimmt, wobei gilt:

( = 0

und die andere wird von den Achsen O₁-X₁ und O₁-Y₁ bestimmt, wobei gilt

Z₁ = 0

Diese Gleichungen definieren eine Gerade auf der Bildebene der Kamera ₁. Somit kann Punkt P ₁ ermittelt werden.

Aus den Ergebnissen der Punkte P ₂ und P ₁ wird ein räum licher Punkt P definiert. Die Bedingungen sind:

+ λ₁ *
+ λ₂ *

Die Koeffizienten λ₁ sowie λ₂ (λ₂ ist nicht zwingend nötig) können durch die Gleichungen

+ λ₁ · = k · ( + λ₂ ·

mit

+ g₁ · + λ₂ · + λ₁ · + λ₂ · die Einheitsvektoren der Achsen des Koordinatensystems O₁-X₁-Y₁-Z₁. Mit Hilfe der Matrix A₁ können somit die Koordinaten des räumlichen Punktes P

P(x, y, z) = A₁ · P(x₁, y₁, z₁)

bezüglich des Koordinatensystems O-X-Y-Z berechnet werden.

Die vorstehend beschriebenen Vorgänge werden von der Steuereinheit ausgeführt, so daß aus den stereoskopischen Bildern die räumlichen Koordinaten der Zitze von der Steuereinheit ermittelt und entsprechend die Handhabungs einrichtung, beispielsweise ein handelsüblicher, nicht dargestellter Industriebroboter gesteuert wird.

Vorstehend ist die Erfindung anhand eines Ausführungsbei spiels ohne Beschränkung des allgemeinen Erfindungsgedan kens beschrieben worden.

Claims

1. Vorrichtung zum Fügen von Elementen in Aufnahmeelemen te eines Objekts, deren Lage und Größe in drei Dimensionen innerhalb bestimmter Erwartungsbereiche variabel ist, mittels einer mehrachsigen Handhabungseinrichtung, deren Bewegung eine Steuereinheit steuert, gekennzeichnet durch die Kombination folgender Merkmale:

- zwei elektronische Kameras sind derart angeordnet, daß ihr Abstand größer als die Abmessung des Erwartungsbe reichs in Richtung der Verbindungslinie der Kameras ist, und daß sie den gesamten Erwartungsbereich unter einem Winkel erfassen,
- die Ausgangssignale der beiden Kameras sind an eine Bildauswerteeinheit angelegt, die die Ausgangssignale in ein digitales Bild zur Erfassung der Kontur der Aufnahme elemente umwandelt,
- die Steuereinheit extrahiert aus den D-Objektdaten 2-dimensionalen Daten signifikanter Konturmerkmale und berechnet aus diesen Daten die 3-dimensionale Position der signifikanten Konturmerkmale und steuert entsprechend die Handhabungseinrichtung.

2. Vorrichtung Anspruch 1, dadurch gekennzeichnet, daß die Kameras individuell hin sichtlich Vergrößerungsfaktor und Raumorientierung kali briert sind.

3. Vorrichtung nach Anspruch 1 oder 2 zum Ansetzen von Melkbechern an Kuheuter insbesondere in automatischen Melkständen, dadurch gekennzeichnet, daß die beiden Kameras die Kuh frontal von vorne aufnehmen, und daß das signifikante Konturmerkmal die Zitzenspitze und die Zitzenorientierung ist.

4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die elektronischen Kameras Wärmebildkameras sind.

5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß eine als Auflicht-Quelle aus gebildete geregelte Beleuchtungseinrichtung vorgesehen ist.

6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß die Beleuchtungseinrichtung in Art eine Infrarot-Stroboskop-Lichtquelle ausgebildet ist.

7. Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß angrenzend an das zu fügende Element ein weiterer Sensor vorgesehen ist, der das Auf nahmeelement erfaßt und dessen Ausgangssignal zur Fein korrektur der Position dient.

8. Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß das digitale Bild ein Binär bild oder ein Grauwertbild ist.