DE102021121977A1

DE102021121977A1 - Verfahren und Vorrichtung zum Bestimmen des Abstands eines Objekts von einem Kamerasystem

Info

Publication number: DE102021121977A1
Application number: DE102021121977.9A
Authority: DE
Inventors: Viktor Oster
Original assignee: Phoenix Contact GmbH and Co KG
Current assignee: Phoenix Contact GmbH and Co KG
Priority date: 2021-08-25
Filing date: 2021-08-25
Publication date: 2023-03-02

Abstract

Um auf einfache Weise mit Hilfe eines Kamerasystems den Abstand zu einem Objekt zu ermitteln, sieht die Erfindung ein Verfahren mit folgenden Schritten vor:
a) Erzeugen eines ersten und eines zweiten Bildes (410, 420) durch das Kamerasystem, wobei das Erzeugen des ersten Bildes (410) eine optische Abbildung entlang einer ersten optischen Achse (213) und das Erzeugen des zweiten Bildes (420) eine Abbildung entlang einer zweiten optischen Achse (223) umfasst, und wobei sich die erste und zweite optische Achse voneinander unterscheiden,
b) Erkennen von Objekten in dem ersten und in dem zweiten Bild,
c) Bestimmen der Position innerhalb des jeweiligen Bildes für jedes erkannte Objekt,
d) Identifizieren wenigstens eines Objekts, welches im ersten und zweiten Bild erkannt wurde, und
e) Berechnen des Abstands (350) des identifizierten Objekts (300) von dem Kamerasystem in Abhängigkeit der für dieses Objekt innerhalb des ersten und zweiten Bildes bestimmten Position.
Ferner sieht die Erfindung ein zum Ausführen des Verfahrens ausgebildetes digitales Kamerasystem (100, 500, 500`, 600, 700, 700`) vor, sowie eine Vorrichtung einer Automatisierungsanlage und ein fahrerloses Transportsystem, welche jeweils das digitale Kamerasystem umfassen.

Description

Die Erfindung betrifft allgemein die Abstandsbestimmung von Objekten, und insbesondere ein Verfahren zum Bestimmen des Abstands eines Objekts von einem Kamerasystem, sowie ein digitales Kamerasystem zum Ausführen des Verfahrens.
Zur Absicherung von Gefahrenbereichen werden in Automatisierungsanlagen und fahrerlosen Transportsystemen Vorrichtungen zur Abstandsüberwachung eingesetzt, insbesondere zur Überwachung des Abstands zwischen Personen und potentiell gefahrbringenden Maschinen. Diese Vorrichtungen umfassen beispielsweise Lichtgitter oder Laserscanner, wobei Lichtgitter häufig dazu eingesetzt werden, den Zutritt zu einem gefährlichen Bereich zu überwachen, wobei ein Unterbrechen eines Lichtstrahls des Lichtgitters beispielsweise einen Befehl zur Abschaltung einer gefahrbringenden Maschine innerhalb des überwachten Bereichs auslöst. Laserscanner sind aufgrund der verwendeten Technologie sehr gut geeignet, Menschen oder Hindernisse auf dem Boden bzw. auf einer definierten Höhe zu erkennen und entsprechend zu reagieren, d.h. zum Beispiel auszuweichen oder anzuhalten. Die verfügbaren Laserscanner eignen sich aufgrund der verwendeten Technologie zum Überwachen einer Ebene, wobei der zu überwachende Bereich typischerweise eingelernt werden muss.
Da Gefahren jedoch in einem dreidimensionalen Raum vorliegen können, wird heute mit organisatorischen Maßnahmen gearbeitet. Eine enge Kollaboration mit einem Roboter wäre mit dieser Technik schwer bis unmöglich, da der Roboter im dreidimensionalen Raum seine Bewegungen ausführt. Im Worst Case würde das bedeuten, dass der Abstand zur Person mindestens so groß sein muss, wie der maximale Abstand im ausgefahrenen Zustand der Roboterarme inklusive montierter Werkzeuge, wobei bei Änderung der Werkzeuge der Abstand entweder für Worst Case berechnet werden und/oder entsprechend angepasst werden muss.
Zur Überwachung einer dreidimensionalen Umgebung, beispielsweise im Bereich des autonomen Fahrens, werden heute typischerweise verschiedene Sensoren kombiniert, wobei unter anderem auch optische Kamerasysteme eingesetzt werden. Zu diesem Zweck eingesetzte digitale Kamerasysteme sind heute kostengünstig verfügbar.
Die Aufgabe der Erfindung kann darin gesehen werden, einen Weg aufzuzeigen, wie auf einfache Weise mit Hilfe eines Kamerasystems der Abstand zu einem Objekt ermittelt werden kann. Eine weitere Aufgabe der Erfindung kann darin gesehen werden, einen Weg aufzuzeigen, wie ein in einem solchen Kamerasystem eingesetzter Bildsensor auf Fehler geprüft werden kann.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, wobei die angegebenen Merkmale und Vorteile im Wesentlichen für alle unabhängigen Ansprüche gelten können.
Ein Kerngedanke der Erfindung kann darin gesehen werden, mittels einer optischen Abbildung entlang zweier unterschiedlicher optischer Achsen wenigstens zwei Bilder der Umgebung eines Kamerasystems zu erzeugen und wenigstens ein Objekt zu identifizieren, welches mittels Objekterkennung in beiden Bildern erkannt werden kann, um aus den jeweiligen Positionen des Objekts in den Bildern den Abstand des Objekts zum Kamerasystem zu berechnen. Ein weiterer Kerngedanke der Erfindung kann darin gesehen werden, durch gezielte Variation von Kameraparametern eine Fehlerüberprüfung der eingesetzten Bildsensoren zu ermöglichen.
Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zum Bestimmen des Abstands eines Objekts von einem Kamerasystem vorgesehen, welches die folgenden Schritte umfasst:

a) Erzeugen eines ersten und eines zweiten Bildes durch das Kamerasystem, wobei das Erzeugen des ersten Bildes eine optische Abbildung entlang einer ersten optischen Achse und das Erzeugen des zweiten Bildes eine Abbildung entlang einer zweiten optischen Achse umfasst, und wobei sich die erste und zweite optische Achse voneinander unterscheiden,
b) Erkennen von Objekten in dem ersten und in dem zweiten Bild,
c) Bestimmen der Position innerhalb des jeweiligen Bildes für jedes erkannte Objekt,
d) Identifizieren wenigstens eines Objekts, welches im ersten und zweiten Bild erkannt wurde,
e) Berechnen des Abstands des identifizierten Objekts von dem Kamerasystem in Abhängigkeit der für dieses Objekt innerhalb des ersten und zweiten Bildes bestimmten Position.

Gemäß einem weiteren Aspekt der Erfindung ist ein digitales Kamerasystem vorgesehen, welches zum Ausführen des Verfahrens ausgebildet ist und welches eine optische Abbildungsvorrichtung mit wenigstens einem Bildsensor umfasst, welche dazu ausgebildet ist, ein erstes und ein zweites Bild zu erzeugen, wobei das Erzeugen des ersten Bildes eine optische Abbildung entlang einer ersten optischen Achse und das Erzeugen des zweiten Bildes eine Abbildung entlang einer zweiten optischen Achse umfasst, und wobei sich die erste und zweite optische Achse voneinander unterscheiden, sowie eine mit dem wenigstens einen Bildsensor verbundene Verarbeitungseinheit, welche dazu ausgebildet ist, Objekte in dem ersten und in dem zweiten Bild zu erkennen, für jedes erkannte Objekt dessen Position innerhalb des jeweiligen Bildes zu bestimmen, wenigstens ein Objekt zu identifizieren, welches im ersten und im zweiten Bild erkannt wurde, und den Abstand des identifizierten Objekts von dem Kamerasystem in Abhängigkeit der für dieses Objekt innerhalb des ersten und zweiten Bildes bestimmten Position zu berechnen.
Gemäß weiteren Aspekten der Erfindung ist eine Vorrichtung einer Automatisierungsanlage vorgesehen, welche zur Abstandsüberwachung potentiell gefahrbringender Objekte und/oder zur Abstandsüberwachung von Personen in einem Gefahrenbereich ein solches digitales Kamerasystem umfasst, sowie ein fahrerloses Transportsystem, welches zur Abstandsüberwachung ein solches Kamerasystem umfasst.
Die Merkmale und Vorteile der vorliegenden Erfindung ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert werden. Es zeigen dabei

1 eine schematische Darstellung einer bevorzugten Kameraanordnung eines Kamerasystems zum Ausführen eines erfindungsgemäßen Verfahrens,
2 schematisch und beispielhaft zwei mit dem in 1 dargestellten Kamerasystem aufgenommene digitale Bilder, mit deren Hilfe der Abstand zu einem auf den Bildern erkannten Objekt berechnet werden kann,
3 eine schematische Darstellung einer ersten bevorzugten Ausführungsform eines erfindungsgemäßen digitalen Kamerasystems mit nur einem Bildsensor,
4 eine schematische Darstellung einer zweiten bevorzugten Ausführungsform eines erfindungsgemäßen digitalen Kamerasystems mit nur einem Bildsensor,
5 eine schematische Darstellung einer dritten bevorzugten Ausführungsform eines erfindungsgemäßen digitalen Kamerasystems mit nur einem Bildsensor,
6 eine schematische Darstellung einer vierten bevorzugten Ausführungsform eines erfindungsgemäßen digitalen Kamerasystems mit nur einem Bildsensor, und
7 eine schematische Darstellung einer Abwandlung des in 6 dargestellten digitalen Kamerasystems.

In 1 ist eine schematische Darstellung eines beispielhaften Kamerasystems 100 in Aufsicht dargestellt, welches zum Ausführen eines erfindungsgemäßen Verfahrens ausgebildet ist. Im dargestellten Ausführungsbeispiel umfasst das Kamerasystem 100 eine erste digitale optische Kamera 210 mit einer ersten optischen Achse 213 und ein zweite optische Kamera 220 mit einer zweiten optischen Achse 223. Die optischen Achsen 213 und 223 verlaufen im dargestellten Ausführungsbeispiel parallel und sind im Abstand 250 zueinander angeordnet. Der horizontale Bildwinkel der ersten Kamera 210 ist durch die Linien 211 und 212 und der horizontale Bildwinkel der zweiten Kamera 220 durch die Linien 221 und 222 dargestellt. Durch die dargestellten Bildwinkel der Kameras 210 und 220 ergibt sich ein Bereich 330, in welchem Objekte von beiden Kameras erfasst werden. Als beispielhaftes Objekt ist in 1 eine Person 300 dargestellt, welche sich im Bereich 330 befindet.
Im dargestellten Beispiel treffen Lichtstrahlen von dem Objekt 300 unter einem Winkel α auf die Kamera 210 und unter einem Winkel β auf die Kamera 220. Der Abstand des Objekts 300 zum Kamerasystem, genauer der Abstand 350 des Objekts 300 senkrecht zu der Verbindungslinie 201 der Abbildungsoptiken der Kameras 210 und 220, lässt sich aus den Auftreffwinkeln α und β und dem Abstand 250 der optischen Achsen in an sich bekannter Weise mit Hilfe trigonometrischer Funktionen berechnen. Wie nachfolgend mit Bezug zu 2 dargelegt, kann dies mit Hilfe eines ersten, mit der Kamera 210 und eines zweiten, mit der Kamera 220 aufgenommenen digitalen Bildes, insbesondere automatisiert, erfolgen. Um den Abstand 350 des Objektes 300 automatisch zu ermitteln, umfasst das in 1 dargestellte Kamerasystem 100 eine Verarbeitungseinheit 400, welche kommunikativ mit den Kameras 210 und 220 verbunden ist.
Die Kameras 210 und 220 nehmen zu vorgegeben Zeitpunkten, beispielsweise zyklisch, jeweils ein digitales Bild auf und übertragen dieses an die Verarbeitungseinheit 400, welche in den digitalen Bildern mittels Objekterkennung jeweils Abbildungen des Objektes 300 identifiziert und aus den Positionen in den digitalen Bildern den Abstand 350 des Objektes 300 ermittelt.
Dies ist in 2 schematisch veranschaulicht. In 2 a) ist ein mit der Kamera 210 aufgenommenes Bild 410 mit einer Abbildung 361 des Objektes 300, sowie ein mit der Kamera 220 aufgenommenes Bild 420 mit einer Abbildung 362 des Objektes 300 dargestellt. Ferner ist in 2 a) der Abstand 411 der Objektabbildung 361 von der Bildmitte des Bildes 410, sowie der Abstand 421 der Objektabbildung 362 von der Bildmitte des Bildes 420 dargestellt.
Der Abstand der Objektabbildung von der Bildmitte steht in einer eindeutigen Beziehung zu dem Auftreffwinkel, unter dem das Licht vom Objekt die Kamera erreicht, wobei diese Beziehung durch die jeweiligen Kameraparameter definiert ist.
In einer vorteilhaften Ausführungsform ist daher in einem Speicher der Verarbeitungseinheit 400 zu jeder der Kameras 210 und 220 jeweils eine Nachschlagetabelle oder eine Berechnungsvorschrift gespeichert, auf welche die Verarbeitungseinheit 400 zugreifen kann, um den jeweiligen Auftreffwinkel in Abhängigkeit des jeweiligen Abstands von der Bildmitte zu ermitteln bzw. zu berechnen. Der Abstand von der Bildmitte kann dabei vorzugsweise als Pixelabstand angegeben werden.
In einer bevorzugten Ausführungsform sieht das Verfahren zum Bestimmen des Abstands 350 des Objekts 300 von dem Kamerasystem 100 vor, mit der Kamera 210 durch eine optische Abbildung entlang der optischen Achse 213 ein erstes Bild 410 und mit der Kamera 220 durch eine optische Abbildung entlang der optischen Achse 223 ein zweites Bild 420 aufzunehmen und an die Verarbeitungseinheit 400 weiterzuleiten. Die Verarbeitungseinheit 400 führt eine Objekterkennung aus, um Objekte in dem ersten Bild 410 und in dem zweiten Bild 420 zu erkennen. Für jedes erkannte Objekt ermittelt die Verarbeitungseinheit 400 dessen Position in dem jeweiligen Bild und identifiziert wenigstens ein Objekt, welches im ersten und zweiten Bild erkannt wurde. Im dargestellten Ausführungsbeispiel wird das Objekt 300 anhand der Objektabbildungen 361 und 362 im ersten Bild 410 bzw. im zweiten Bild 420 identifiziert. In Abhängigkeit der für das erkannte Objekt innerhalb des ersten und zweiten Bildes bestimmten Position berechnet die Verarbeitungseinheit 400 den Abstand des identifizierten Objektes von dem Kamerasystem 100, d.h. im dargestellten Beispiel der senkrechte Abstand zu der Verbindungslinie 201 der Abbildungsoptiken der Kameras 210 und 220.
Wie oben beschrieben umfasst das Bestimmen der Position vorzugsweise das Bestimmen des Pixelabstands von der Bildmitte des jeweiligen Bildes für das jeweilige erkannte Objekt, und das Berechnen des Abstands des identifizierten Objekts von dem Kamerasystem umfasst vorteilhaft das Ermitteln eines ersten Auftreffwinkels für Licht des identifizierten Objekts für das erste Bild und das Ermitteln eines zweiten Auftreffwinkels für Licht des identifizierten Objekts für das zweite Bild, wobei der erste Auftreffwinkel den Winkel zwischen dem vom Objekt auftreffenden Licht und der ersten optischen Achse des Kamerasystems und der zweite Auftreffwinkel den Winkel zwischen dem vom Objekt auftreffenden Licht und der zweiten optischen Achse des Kamerasystems angibt.
Das Ermitteln des ersten und zweiten Auftreffwinkels umfasst, wie oben beschrieben, insbesondere das Nachschlagen in einer in einem Speicher der Verarbeitungseinheit 400 für die dem jeweiligen Bild zugeordnete optische Achse, bzw. zugeordnete Kamera, gespeicherten Naschschlagetabelle in Abhängigkeit des jeweils bestimmten Pixelabstands von der Bildmitte, wobei in der Nachschlagetabelle insbesondere jedem möglichen Pixelabstand jeweils ein Auftreffwinkel zugeordnet ist. Alternativ kann auch eine Berechnungsvorschrift gespeichert sein, mittels derer die Verarbeitungseinheit 400 den Auftreffwinkel in Abhängigkeit des Pixelabstands berechnen kann.
Die in 2 a) dargestellten Bilder 410 und 420 sind zur Veranschaulichung so übereinander positioniert, dass die Objektabbildungen 361 und 362 zusammenfallen, wobei sich dann ein Abstand 430 als Summe der Abstände 411 und 421 ergibt. Der in 2 b) dargestellte Abstand 430 entspricht dem in 2 c) dargestellten Abstand 440, der sich bei Übereinanderlegen der beiden Bilder 410 und 420 als Abstand zwischen den beiden Objektabbildungen 361 und 362 ergibt.
Es kann gezeigt werden, dass der Abstand 440 zwischen den Objektabbildungen 361 und 362, der sich bei Übereinanderlegen der Bilder 410 und 420 ergibt, ein direktes Maß für den Abstand 350 des Objekts 300 vom Kamerasystem 100 ist.
In einer besonders vorteilhaften Ausführungsform ist daher vorgesehen, in einem Speicher der Verarbeitungseinheit 400 eine Zuordnungstabelle zu speichern, in welcher jedem möglichen Bildabstand zwischen den Abbildungen des gleichen Objektes in den Bildern 410 und 420, der sich bei Übereinanderlegen der Bilder ergibt, ein Abstand des zugehörigen Objekts zugeordnet wird. Der Bildabstand lässt sich dabei in einfacher Weise durch Bilden der Differenz der horizontalen Pixelpositionen der Objektabbildungen in den beiden digitalen Bildern ermitteln, wenn die beiden Bilder mit der gleichen Pixelauflösung erzeugt werden.
In dieser Ausführungsform ist dann vorgesehen, den Abstand des identifizierten Objekts von dem Kamerasystem in Abhängigkeit des ermittelten Bildabstands der Objektabbildungen direkt durch Nachschlagen in der Zuordnungstabelle zu ermitteln, wobei in dieser Ausführungsform vorteilhaft auf das Berechnen trigonometrischer Funktionen verzichtet werden kann.
Bei dem in 1 dargestellten Kamerasystem 100 sind zwei Kameras 210 und 220 vorgesehen, die jeweils einen eigenen Bildsensor umfassen.
Besonders vorteilhaft kann aber auch vorgesehen sein, nur einen einzigen digitalen Bildsensor einzusetzen, wobei die Abbildungen entlang einer ersten optischen Achse und entlang einer zweiten optischen Achse auf diesen gemeinsamen Bildsensor erfolgt.
Bevorzugte Beispiele erfindungsgemäßer digitaler Kamerasysteme sind in den 3, 4 und 5 schematisch dargestellt.
In 3 ist schematisch ein Kamerasystem 500 dargestellt, welches einen einzigen Bildsensor 530 umfasst, auf welchen eine optische Abbildung entlang zweier unterschiedlicher optischer Achsen erfolgt, wobei die erste optische Achse durch ein oder mehrere optische Abbildungselemente, vereinfachend dargestellt als Linse 510, und den Spiegel 560 definiert ist, und wobei die zweite optische Achse durch ein oder mehrere optische Abbildungselemente, vereinfachend dargestellt als Linse 520, und den Spiegel 570 definiert ist.
Vorteilhaft wird entlang der ersten optische Achse Licht eines ersten Wellenlängenbereiches und entlang der zweiten optische Achse Licht eines zweiten, vom ersten unterschiedlichen Wellenlängenbereiches auf den einzigen Bildsensor 530 abgebildet. Zu diesem Zweck umfasst das Kamerasystem 500 zwei unterschiedliche Farbfilter 580 und 590, wobei beispielsweise der Farbfilter 580 nur Licht wenigstens einer ersten Farbe und der Farbfilter 590 nur Licht wenigstens einer zweiten Farbe durchlässt, und wobei der Bildsensor 530 die erste und zweite Farbe separat detektieren kann.
In dieser Ausführungsform wird ein von dem Bildsensor 530 aufgenommenes digitales Bild zu der Verarbeitungseinheit 540 übertragen, und von der Verarbeitungseinheit 540 in Abhängigkeit dieses Bildes wenigstens ein Objektabstand ermittelt. Zu diesem Zweck ist in einem Speicher der Verarbeitungseinheit 540 vorteilhaft eine Zuordnungstabelle gespeichert, in welcher - analog zu der oben beschriebenen Zuordnungstabelle - jedem möglichen Bildabstand zwischen den verschiedenfarbigen Abbildungen des gleichen Objektes in dem jeweils aufgenommenen Bild ein Abstand des zugehörigen Objekts zugeordnet wird.
Die Verarbeitungseinheit 540 führt auf Grundlage eines von dem Bildsensor 530 empfangenen digitalen Bildes zunächst eine Objekterkennung aus und ermittelt für jedes erkannte Objekt die Abbildungsposition im Bild und die jeweilige Farbe der Abbildung. Wird wenigstens ein Objekt identifiziert, für das eine Objektabbildung in der ersten und in der zweiten Farbe erkannt wurde, so wird für dieses identifizierte Objekt von der Verarbeitungseinheit 540 der Bildabstand zwischen der Objektabbildung in der ersten Farbe und der Objektabbildung in der zweiten Farbe bestimmt.
Der Abstand des identifizierten Objekts von dem Kamerasystem kann dann in Abhängigkeit des ermittelten Bildabstands der Objektabbildungen wiederum durch Nachschlagen in der Zuordnungstabelle ermittelt werden.
Die von der Auswerteinheit 540 ermittelten Objektabstände und weitere Informationen können vorteilhaft über eine Schnittstelle 550 weiteren Komponenten, beispielsweise einer Steuereinrichtung einer Automatisierungsanlage oder eines fahrerlosen Transportsystems, zugeführt werden.
In 4 ist schematisch ein Kamerasystem 500` dargestellt, welches ähnlich aufgebaut ist wie das in 3 dargestellte Kamerasystem 500. Statt der Farbfilter sind in dem Kamerasystem 500` jedoch Blenden 581 und 591 vorgesehen, welche, gesteuert durch die Verarbeitungseinheit 540, im zeitlichen Wechsel einen Lichtstrahl entlang der ersten und zweiten optischen Achse ausblenden, so dass eine Abbildung entlang der ersten optischen Achse und eine Abbildung entlang der zweiten optischen Achse im zeitlichen Wechsel erfolgt. Auf diese Weise können mit dem einzigen Bildsensor 530 zwei Bilder erzeugt werden, die auf eine Weise ausgewertet werden können, wie oben im Zusammenhang mit dem in 1 dargestellten Kamerasystem 100 beschrieben.
In 5 ist schematisch ein Kamerasystem 600 dargestellt, welches einen einzigen Bildsensor 630 umfasst, auf welchen eine optische Abbildung entlang zweier unterschiedlicher optischer Achsen erfolgt, wobei die erste optische Achse durch ein oder mehrere optische Abbildungselemente, vereinfachend dargestellt als Linse 610, und den Spiegel 660 in einer ersten Position definiert ist, und wobei die zweite optische Achse durch ein oder mehrere optische Abbildungselemente, vereinfachend dargestellt als Linse 620, und den Spiegel 660 in einer zweiten Position definiert ist, wobei in 5 der Spiegel 660 in der ersten Position dargestellt ist und die zweite gestrichelt angedeutet ist. Im dargestellten Ausführungsbeispiel kann der Spiegel 660 durch Rotation um eine senkrecht zur Bildebene angeordnete Rotationsachse zwischen der ersten und zweiten Position wechseln, gesteuert durch die Verarbeitungseinheit 640.
Von dem Bildsensor 630 aufgenommene digitale Bilder werden zu der Verarbeitungseinheit 640 übertragen, wobei mit dem Bildsensor 630 zwei Bilder erzeugt werden können, wobei sich bei einem ersten Bild der Spiegel 660 in der ersten Position und bei einem zweiten Bild der Spiegel 660 in der zweiten Position befindet, wobei diese beiden Bilder wiederum auf eine Weise ausgewertet werden können, wie oben im Zusammenhang mit dem in 1 dargestellten Kamerasystem 100 beschrieben.
Vorteilhaft kann das Kamerasystem 600 eine mit der Verarbeitungseinheit 640 verbundene Schnittstelle 650, analog zu der in 3 dargestellten Schnittstelle 550, umfassen.
In 6 ist schematisch ein Kamerasystem 700 dargestellt, welches einen einzigen Bildsensor 730 umfasst, auf welchen eine optische Abbildung entlang zweier unterschiedlicher optischer Achsen erfolgt, wobei die erste optische Achse durch ein oder mehrere optische Abbildungselemente, vereinfachend dargestellt als Linse 710, definiert ist, und wobei die zweite optische Achse durch ein oder mehrere optische Abbildungselemente, vereinfachend dargestellt als Linse 720, definiert ist.
Im dargestellten Ausführungsbeispiel erfolgt die Abbildung entlang der ersten optischen Achse auf einen ersten Teilbereich des einzigen Bildsensors 730 und die Abbildung entlang der zweiten optischen Achse auf einen zweiten Teilbereich des einzigen Bildsensors 730. Ein mit dem Bildsensor 730 aufgenommenes Bild umfasst somit im ersten Teilbereich ein erstes Teilbild, erzeugt durch Abbildung entlang der ersten optischen Achse, und im zweiten Teilbereich ein zweites Teilbild, erzeugt durch Abbildung entlang der zweiten optischen Achse.
Ein von dem Bildsensor 730 aufgenommenes digitales Bild wird zu der Verarbeitungseinheit 740 übertragen, wobei die in dem Bild enthaltenen zwei Teilbilder auf eine Weise ausgewertet werden können, wie oben für die zwei mit dem in 1 dargestellten Kamerasystem 100 aufgenommenen Bilder beschrieben.
Die verwendeten Nachschlage- bzw. Zuordnungstabellen berücksichtigen jeweils vorteilhaft die Abbildungseigenschaften der jeweils eingesetzten optischen Komponenten. Bei der in 6 dargestellten Ausführungsform eines Kamerasystems werden insbesondere vorteilhaft auch die nicht senkrecht zur Bildebene verlaufenden optischen Achsen berücksichtigt.
In 7 ist ein weiteres Ausführungsbeispiel eines digitalen Kamerasystems 700' dargestellt, bei welchem es sich um eine Abwandlung des in 6 dargestellten Kamerasystems 700 handelt. Bei dem in 7 dargestellten Kamerasystem 700` wird durch die als Linse 710 dargestellten Abbildungselemente eine erste optische Achse definiert, welche bis zu einem Spiegel 760 senkrecht zu der durch den Bildsensor 730 definierten Bildebene verläuft, und durch die als Linse 720 dargestellten Abbildungselemente wird eine zweite optische Achse definiert, welche bis zu einem Spiegel 770 senkrecht zu der durch den Bildsensor 730 definierten Bildebene verläuft. Durch die Spiegel 760 und 770 wird das Licht auf den jeweiligen Teilbereich des Bildsensors 730 geleitet.
Wenn zum Bestimmen des Objektsabstands zwei separate digitale Bilder erzeugt werden, so werden diese vorzugsweise zeitgleich oder in einem kurzen zeitlichen Abstand erzeugt, wobei zu diesem Zweck vorteilhaft jeweils Steuersignale zu den entsprechenden Komponenten des Kamerasystems übertragen werden können. So kann beispielsweise bei dem in 1 dargestellten Ausführungsbeispiel ein Steuersignal von der Auswerteinheit 400 zu den Kameras 210 und 220 übertragen werden, um eine zeitgleiche Bildaufnahme zu bewirken. Bei dem in 4 dargestellten Ausführungsbeispiel können vorteilhaft Steuersignale von der Steuereinheit 540 zu den Blenden 581 und 591 übertragen werden, um zwei Bilder, jeweils eines durch Abbildung entlang einer der beiden unterschiedlichen optischen Achsen, in einem kurzen zeitlichen Abstand aufzunehmen. Bei dem in 5 dargestellten Ausführungsbeispiel können vorteilhaft Steuersignale von der Steuereinheit 640 zu einer Vorrichtung übertragen werden, die dazu ausgebildet ist, den Spiegel 660 durch Rotation in die erste bzw. zweite Position zu bewegen, um zwei Bilder, jeweils eines durch Abbildung entlang einer der beiden unterschiedlichen optischen Achsen, in einem kurzen zeitlichen Abstand aufzunehmen.
Das beschriebene Verfahren und das beschriebene digitale Kamerasystem können insbesondere eingesetzt werden, um Abstände zu Objekten in einem Umfeld zu ermitteln, in welchem ein hohes Maß an Sicherheit erforderlich ist. Beispielsweise kann ein digitales Kamerasystem wie oben beschrieben in einer Vorrichtung einer Automatisierungsanlage eingesetzt werden, um eine Abstandsüberwachung potentiell gefahrbringender Objekte und/oder eine Abstandsüberwachung von Personen in einem Gefahrenbereich zu ermöglichen. Ein weiterer vorteilhafter Einsatzzweck ist ein fahrerloses Transportsystem (FTF; AGV: Automated Guided Vehicle), in welchem ein digitales Kamerasystem wie oben beschrieben zur Abstandsüberwachung des Transportsystems zu umgebenden Objekten eingesetzt werden kann.
Um eine Fehlersicherheit gerade in einem solchen Umfeld zu erhöhen, kann besonders vorteilhaft vorgesehen sein, dass das Verfahren eine Erkennung von Fehlern des eingesetzten Bildsensors vorsieht.
In einem ersten Ausführungsbeispiel einer Fehlererkennung kann zum Erkennen von Fehlern des Bildsensors vorgesehen sein, die Bestimmung des Abstands wenigstens eines Objekts mehrfach auszuführen, mit jeweils geänderten Brennweiten der optischen Abbildung entlang der ersten und/oder zweiten optischen Achse. Zu diesem Zweck können die optischen Abbildungselemente des Kamerasystems vorteilhaft für eine Brennweitenänderung ausgebildet sein, d.h. beispielsweise ein Zoomobjektiv umfassen.
Die Brennweitenänderung kann vorteilhaft automatisiert durch die jeweilige oben beschriebene Verarbeitungseinheit erfolgen. Durch diese Maßnahme können redundante und diversitäre Bilder desselben Objekts erzeugt werden, wobei sich bei unterschiedlichen Brennweiten jeweils gleiche Werte für den Objektabstand ergeben sollten, im Rahmen der Messgenauigkeit und unter Berücksichtigung einer möglichen Bewegung des Objekts zwischen den Zeitpunkten der Bestimmung des Objektabstands.
Ergeben sich hingegen innerhalb dieser Rahmenbedingungen keine gleichen Objektabstände bei der mehrfachen Bestimmung bei unterschiedlichen Brennweiten, so kann dies auf einen Fehler des Bildsensors deuten, wobei in diesem Fall ein Fehlersignal erzeugt werden kann, welches beispielsweise über eine der dargestellten Schnittstellen 550, 650 oder 750 an eine mit dem Kamerasystem verbundene Steuereinrichtung ausgegeben werden kann.
In einem zweiten Ausführungsbeispiel einer Fehlererkennung kann zum Erkennen von Fehlern des Bildsensors vorgesehen sein, die Bestimmung des Abstands wenigstens eines Objekts mehrfach auszuführen, wobei zwischen den Abstandsbestimmungen die Position und/oder die Orientierung des Bildsensors geändert wird. Beispielsweise kann die Position des Bildsensors zwischen einer ersten und einer zweiten Position oszillieren. In diesem Ausführungsbeispiel kann wiederum ein Fehler des Bildsensors erkannt werden, wenn sich innerhalb der oben beschriebenen Rahmenbedingungen keine gleichen Objektabstände ergeben. Bei Oszillieren des Bildsensors entstehen verschiedene Aufnahmen derselben Objekte, bei denen verschiedene Bereiche des Bildsensors dieselben Informationen tragen. Fehler im Bildsensor können daher bei oszillierend geänderter Position des Bildsensors auch bereits durch den Vergleich der Aufnahmen erkannt werden.
Statt die Position und/oder Orientierung des Bildsensors zu ändern, kann ein analoger Effekt erzielt werden, indem eine Position und/oder Orientierung eines Spiegels geändert wird, der für die Abbildung entlang der ersten bzw. der zweiten optischen Achse eingesetzt wird.
Beispielsweise könnte bei dem in 5 dargestellten Kamerasystem 600 eine Bestimmung des Abstands wenigstens eines Objekts mehrfach ausgeführt werden, mit jeweils leicht geänderten ersten und zweiten Positionen des Spiegels 660, so dass eine Abbildung auf den Bildsensor jeweils leicht versetzt erfolgt. Dies entspricht im Wesentlichen einer Änderung der horizontalen Position des Bildsensors 630.
Das Verfahren kann vorteilhaft vorsehen, aus einem zeitlichen Verlauf eines für ein Objekt ermittelten Abstands von dem Kamerasystem ein Maß für die Geschwindigkeit dieses Objekts zu ermitteln.
Falls mehrere Objekte identifiziert werden, für die ein Abstand bestimmt werden kann, so kann das Verfahren vorteilhaft vorsehen, jedem identifizierten Objekt jeweils eine Priorität in Abhängigkeit der innerhalb des ersten und zweiten Bildes bestimmten Positionen zuzuordnen, wobei die Abstandsbestimmung für jedes identifizierte Objekt in einer durch die jeweils zugeordnete Priorität vorgebebenen Reihenfolge ausgeführt werden kann, oder nur für diejenigen der identifizierten Objekte eine Abstandsbestimmung ausgeführt werden kann, für die Positionen innerhalb des ersten und zweiten Bildes bestimmt wurden, die vorgegebene Parameter erfüllen. Diese Parameter können beispielsweise den Abstand der Objektabbildung zur Bildmitte, bzw. die Summe oder Differenz der Abstände der Objektabbildungen zur Bildmitte im ersten und zweiten Bild, umfassen.
Auf diese Weise kann vorteilhaft vorgesehen sein, dass nur für nahe Objekte eine Abstandsbestimmung erfolgt oder eine Abstandsbestimmung naher Objekte priorisiert wird.
Vorteilhaft können die Parameter in Abhängigkeit einer ermittelten Objektgeschwindigkeit angepasst werden bzw. die Objektgeschwindigkeit als Parameter berücksichtigt wird, um auf diese Weise beispielsweise auch weiter entfernte Objekte zu berücksichtigen, sofern für diese eine Objektgeschwindigkeit oberhalb eines vorgegebenen Schwellwertes ermittelt wurde.
Mit dem beschriebenen Verfahren und dem beschriebenen digitalen Kamerasystem kann auf einfache und kostgengünstige Weise eine Objekterkennung ermöglicht werden, wobei vorteilhaft zur Erhöhung der Sicherheit eine Erkennung von Fehlern eines eingesetzten Bildsensors ermöglicht wird.

Claims

Verfahren zum Bestimmen des Abstands eines Objekts (300) von einem Kamerasystem (100, 500, 500`, 600, 700, 700`), umfassend die Schritte: a) Erzeugen eines ersten und eines zweiten Bildes (410, 420) durch das Kamerasystem, wobei das Erzeugen des ersten Bildes (410) eine optische Abbildung entlang einer ersten optischen Achse (213) und das Erzeugen des zweiten Bildes (420) eine Abbildung entlang einer zweiten optischen Achse (223) umfasst, und wobei sich die erste und zweite optische Achse voneinander unterscheiden, b) Erkennen von Objekten in dem ersten und in dem zweiten Bild, c) Bestimmen der Position innerhalb des jeweiligen Bildes für jedes erkannte Objekt, d) Identifizieren wenigstens eines Objekts, welches im ersten und zweiten Bild erkannt wurde, e) Berechnen des Abstands (350) des identifizierten Objekts (300) von dem Kamerasystem in Abhängigkeit der für dieses Objekt innerhalb des ersten und zweiten Bildes bestimmten Position.
Verfahren nach Anspruch 1, wobei - das Bestimmen der Position in Schritt c) das Bestimmen des Pixelabstands (411, 421) von der Bildmitte des jeweiligen Bildes für das jeweilige erkannte Objekt umfasst, und wobei - das Berechnen des Abstands (350) des identifizierten Objekts von dem Kamerasystem das Ermitteln eines ersten Auftreffwinkels (α) für Licht des identifizierten Objekts für das erste Bild (410) und das Ermitteln eines zweiten Auftreffwinkels (β) für Licht des identifizierten Objekts für das zweite Bild (420) umfasst, wobei der erste Auftreffwinkel den Winkel zwischen dem vom Objekt auftreffenden Licht und der ersten optischen Achse (213) des Kamerasystems und der zweite Auftreffwinkel den Winkel zwischen dem vom Objekt auftreffenden Licht und der zweiten optischen Achse (223) des Kamerasystems angibt, und wobei das Ermitteln des ersten und zweiten Auftreffwinkels insbesondere das Nachschlagen in einer im Kamerasystem für die dem jeweiligen Bild zugeordnete optische Achse hinterlegten Tabelle in Abhängigkeit des jeweils bestimmten Pixelabstands von der Bildmitte umfasst.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Kamerasystem wenigstens einen Bildsensor (530, 630, 730) umfasst, und wobei zum Erkennen von Fehlern des Bildsensors (530, 630, 730) die Schritte a) bis e) wiederholt mit jeweils geänderten Brennweiten der optischen Abbildung entlang der ersten und/oder zweiten optischen Achse ausgeführt werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Kamerasystem wenigstens einen Bildsensor (530, 630, 730) umfasst, und wobei zum Erkennen von Fehlern des Bildsensors (530, 630, 730) die Schritte a) bis e) wiederholt mit jeweils geänderter Position und/oder Orientierung des Bildsensors ausgeführt werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Kamerasystem wenigstens einen Spiegel (560, 570, 660, 760, 770) umfasst, und wobei zum Erkennen von Fehlern des Bildsensors die Schritte a) bis e) wiederholt mit jeweils geänderter Position und/oder Orientierung des Spiegels (560, 570, 660, 760, 770) ausgeführt werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Kamerasystem einen ersten Bildsensor für die Abbildung entlang der ersten optischen Achse und einen zweiten Bildsensor für die Abbildung entlang der zweiten optischen Achse umfasst.
Verfahren nach einem der Ansprüche 1 bis 5, wobei das Kamerasystem einen einzigen Bildsensor (530, 630, 730) umfasst, und wobei die Abbildung entlang der ersten optischen Achse und entlang der zweiten optischen Achse auf den einzigen Bildsensor (530, 630, 730) erfolgt.
Verfahren nach Anspruch 7, wobei die Abbildung entlang der ersten optischen Achse auf einen ersten Teilbereich des einzigen Bildsensors (730) und die Abbildung entlang der zweiten optischen Achse auf einen zweiten Teilbereich des einzigen Bildsensors (730) erfolgt.
Verfahren nach Anspruch 7, wobei entlang der ersten optischen Achse Licht eines ersten Wellenlängenbereiches und entlang der zweiten optischen Achse Licht eines zweiten, vom ersten unterschiedlichen Wellenlängenbereiches auf den einzigen Bildsensor abgebildet wird, wobei das Kamerasystem dazu insbesondere zwei unterschiedliche Farbfilter (580, 590) umfasst.
Verfahren nach Anspruch 7, wobei die Abbildung entlang der ersten optischen Achse und die Abbildung entlang der zweiten optischen Achse im zeitlichen Wechsel erfolgt.
Verfahren nach Anspruch 10, wobei zur zeitlich wechselnden Abbildung entlang der ersten und zweiten optischen Achse der Strahlengang entlang der ersten und zweiten optischen Achse zeitlich wechselnd abgedunkelt wird, oder durch Ändern der Position und/oder der Orientierung des Kamerasystems oder durch Ändern der Position und/oder der Orientierung eines optischen Elementes des Kamerasystems die erste und zweite optische Achse im zeitlichen Wechsel gebildet werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei, falls in Schritt d) mehrere Objekte identifiziert werden, jedem identifizierten Objekt jeweils eine Priorität in Abhängigkeit der innerhalb des ersten und zweiten Bildes bestimmten Positionen zugeordnet wird, und wobei Schritt e) für jedes identifizierte Objekt in einer durch die jeweils zugeordnete Priorität vorgebebenen Reihenfolge ausgeführt wird, oder Schritt e) nur für diejenigen der identifizierten Objekte ausgeführt wird, für die Positionen innerhalb des ersten und zweiten Bildes bestimmt wurden, die vorgegebene Parameter erfüllen.
Verfahren nach einem der vorstehenden Ansprüche, ferner umfassend das Ermitteln eines Maßes für die Geschwindigkeit eines Objekts in Abhängigkeit des zeitlichen Verlaufs des für das Objekt ermittelten Abstands von dem Kamerasystem.
Digitales Kamerasystem (100, 500, 500`, 600, 700, 700`), ausgebildet zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 13, umfassend - eine optische Abbildungsvorrichtung mit wenigstens einem Bildsensor (530, 630, 730), welche dazu ausgebildet ist, ein erstes und ein zweites Bild zu erzeugen, wobei das Erzeugen des ersten Bildes eine optische Abbildung entlang einer ersten optischen Achse und das Erzeugen des zweiten Bildes eine Abbildung entlang einer zweiten optischen Achse umfasst, und wobei sich die erste und zweite optische Achse voneinander unterscheiden, und - eine mit dem wenigstens einen Bildsensor verbundene Verarbeitungseinheit (400, 540 640, 740), welche dazu ausgebildet ist, - Objekte in dem ersten und in dem zweiten Bild zu erkennen, - für jedes erkannte Objekt dessen Position innerhalb des jeweiligen Bildes zu bestimmen, - wenigstens ein Objekt zu identifizieren, welches im ersten und im zweiten Bild erkannt wurde, und - den Abstand des identifizierten Objekts von dem Kamerasystem in Abhängigkeit der für dieses Objekt innerhalb des ersten und zweiten Bildes bestimmten Position zu berechnen.
Vorrichtung einer Automatisierungsanlage, welche zur Abstandsüberwachung potentiell gefahrbringender Objekte und/oder zur Abstandsüberwachung von Personen in einem Gefahrenbereich ein Kamerasystem (100, 500, 500`, 600, 700, 700`) nach Anspruch 14 umfasst.
Fahrerloses Transportsystem, welches zur Abstandsüberwachung ein Kamerasystem (100, 500, 500`, 600, 700, 700`) nach Anspruch 14 umfasst.