DE102020007045A1

DE102020007045A1 - Objektdetektionssystem mit Laufzeitsensor

Info

Publication number: DE102020007045A1
Application number: DE102020007045.0A
Authority: DE
Inventors: Minoru Nakamura; Yuuki Takahashi; Atsushi Watanabe
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-11-25
Filing date: 2020-11-18
Publication date: 2021-05-27
Also published as: JP7364439B2; JP2021085683A; US20210158562A1; US11328442B2; CN112835054A

Abstract

Ein Objektdetektionssystem enthält einen Laufzeitsensor, welcher das Bild eines Zielraumes ausgibt auf Basis einer Phasendifferenz zwischen auf den Zielraum gerichtetem Referenzlicht und vom Zielraum reflektiertem Licht, eine Objektdetektionseinrichtung, welche eine Position eines Objektes im Zielraum detektiert auf Basis des ausgegebenen Bildes, eine Abbildungsbedingungenberechnungseinrichtung, welche Abbildungsbedingungen berechnet einschließlich einer Integrationszeit und/oder einer Lichtemissionsperiode des Laufzeitsensors auf Basis eines Bildes des detektierten Objektes, und eine Abbildungsbedingungenänderungseinrichtung, welche eine Konfiguration des Laufzeitsensors ändert entsprechend den berechneten Abbildungsbedingungen, wobei die Objektdetektionseinrichtung eine Position des Objektes detektiert auf Basis des gemäß den geänderten Abbildungsbedingungen ausgegebenen Bildes.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Objektdetektionssystem und insbesondere ein Objektdetektionssystem, welches einen Laufzeitsensor verwendet.
Stand der Technik
Als Distanzmessvorrichtungen, welche die Distanz zu einem Objekt messen, sind Laufzeitsensoren (TOF-Sensoren) bekannt, die Distanzen auf Basis der Laufzeit von Strahlung ausgeben. Laufzeitsensoren verwenden häufig ein Phasendifferenzverfahren (ein sogenanntes „indirektes Verfahren“), bei dem ein Zielraum mit Referenzstrahlung bestrahlt wird, welche über vorgegebene Zyklen intensitätsmoduliert wird, wobei die Distanz zum Zielraum auf Basis der Phasendifferenz zwischen der emittierten Referenzstrahlung und der vom Zielraum reflektierten Strahlung berechnet wird. Diese Phasendifferenz wird gewonnen aus dem Betrag der empfangenen reflektierten Strahlung. Als Stand der Technik bezüglich Laufzeitsensoren sind die nachfolgenden Druckschriften bekannt.
Die veröffentlichte japanische Patentanmeldung (Kokai) 2012-123781 beschreibt, dass zum Abschätzen der Position und Stellung eines Zielobjektes mit hoher Genauigkeit unter Reduzierung des Einflusses von Rauschen in einem Distanzbild aufgrund von mehrfachen Reflexionen oder dergleichen Bildmerkmale aus einem zweidimensionalen Bild detektiert werden, welches dem Distanzbild entspricht, und bei dem die Koordinaten der Bildmerkmale aus dem Distanzbild berechnet werden.
Die veröffentlichte japanische Patentanmeldung (Kokai) 2013-101045 beschreibt, dass zum Erkennen einer dreidimensionalen Position und Stellung eines Objektes bei geringem Rechenaufwand ein Bereich zum Aufsuchen des Objektes in einem zweidimensionalen Bild mit einer Kamera eingestellt wird als Suchbedingung auf Basis von dreidimensionalen Informationen, die mit einem Bereichssensor gewonnen werden, wobei zweidimensionale Positionsinformationen des Objektes aus dem zweidimensionalen Bild innerhalb der eingestellten Suchbedingungen gewonnen werden und dreidimensionale Punktdaten verwendet werden zum Erkennen der dreidimensionalen Position und Stellung des Gegenstandes, die aus den dreidimensionalen Informationen ausgewählt werden auf Basis der gewonnenen zweidimensionalen Positionsinformationen.
Die veröffentliche japanische Patentanmeldung (Kokai) 2011-64498 beschreibt, dass beim Laufzeitverfahren weniger Licht weit entfernte Gegenstände erreicht, wenn das Licht auch auf Gegenstände in kurzer Entfernung emittiert wird, wodurch die Genauigkeit der Distanzmessung bezüglich der weit entfernten Gegenstände leidet, während dann, wenn Gegenstände in weiter Entfernung belichtet werden, die Lichtmenge, welche Gegenstände in kurzer Entfernung erreicht, anwächst, wodurch eine Sättigung der Pixel-Ladung eintritt, weshalb vorab Abbildungsbedingungen eingestellt werden auf Basis von Distanzinformationen und die Gegenstände gemäß den vorab eingestellten Abbildungsbedingungen aufgenommen werden.
Die veröffentlichte japanische Patentanmeldung (Kokai) 10-197635 beschreibt, dass zum Verbessern der Empfindlichkeit und zum Gewinnen stabiler Distanzmessungen auch in schwierigen Umgebungen, wie bei Regen, Schnee und Glasverschmutzungen, Umweltbedingungen detektiert werden und die Lichtemissionszeit für das emittierte Licht geändert wird entsprechend der detektierten Umweltbedingung zum Ändern der Detektionszeit für das Licht.
Wenn in dieser Beschreibung und in den Ansprüchen von „Licht“ die Rede ist, dann ist darunter auch immer allgemein „elektromagnetische Strahlung“ zu verstehen.
KURZBESCHREIBUNG DER ERFINDUNG
Laufzeitsensoren haben verschiedene Nachteile, die durch die Grundlagen ihrer Distanzmessungen selbst bedingt sind. Ein Nachteil ist durch die Distanz und das Reflexionsvermögen des Bildobjektes gegeben. Im Allgemeinen treten Schwankungen auf aufgrund des Einflusses von sogenanntem Schrotrauschen bei der Distanzmessung mit dem Laufzeitsensor und obwohl die Schwankungsbreite reduziert werden kann durch Verstärkung der Strahlungsemission oder dergleichen für die Referenzstrahlung, kann die Distanzmessung versagen, wenn die Referenzstrahlung zu stark ist für Objekte in kurzer Entfernung oder Objekte mit starkem Reflexionsvermögen, wobei sogenannte Sättigung oder Lichthofbildung auftreten kann. Für Objekte in größerer Entfernung oder Objekte mit geringem Reflexionsvermögen hingegen kann die reflektierte Lichtmenge des Referenzlichtes unzureichend sein, wodurch die Genauigkeit der Distanzmessung leidet.
Aufgrund des Distanzmessungsverfahrens von Laufzeitsensoren, welche die Phasendifferenzen zwischen Referenzstrahlung und reflektierter Strahlung detektieren, wird die Schwankungsbreite umso mehr reduziert, als die Lichtemissionsperiode der Referenzstrahlung verkleinert wird (umso größer die Lichtemissionsfrequenz ist), und wenn die Strahlungsemissionsperiode der Referenzstrahlung reduziert wird (die Lichtemissionsfrequenz erhöht wird), wird der Distanzmessbereich reduziert, wodurch Distanzmessfehler auftreten aufgrund des sogenannten „Aliasing“.
Ein weiterer Nachteil von Laufzeitsensoren besteht aufgrund des Effektes von Reflexionen auf mehreren Pfaden (Mehrfachreflexionen). Befindet sich beispielsweise ein stark reflektierendes Objekt in der Nähe des Objektes, wird das (letztgenannte) Objekt mit Referenzstrahlung bestrahlt, welche vom stark reflektierenden Objekt reflektiert wird, wodurch der Distanzmesswert des Objektes nach hinten verschoben wird.
Somit besteht Bedarf an einer Technik zum genauen Detektieren der Position eines Objektes mit einem Laufzeitsensor.
Eine Ausführung der vorliegenden Beschreibung stellt ein Objektdetektionssystem bereit mit einem Laufzeitsensor, welcher ein Bild eines Zielraumes ausgibt auf Basis einer Phasendifferenz zwischen zum Zielraum emittierter Referenzstrahlung und vom Zielraum reflektierter Strahlung, mit weiterhin einer Objektdetektionseinrichtung, die eine Position eines im Zielraum gegebenen Objektes detektiert auf Basis des ausgegebenen Bildes, eine Abbildungsbedingungenberechnungseinrichtung, die Abbildungsbedingungen berechnet einschließlich zumindest einer Integrationszeit und/oder einer Lichtemissionskperiode des Laufzeitsensors auf Basis eines Bildes des detektierten Objektes, und eine Abbildungsbedingungenänderungseinrichtung, die eine Konfiguration des Laufzeitsensors auf die berechneten Abbildungsbedingungen ändert, wobei die Objektdetektionseinrichtung eine Position des Objektes detektiert auf Basis des unter den geänderten Abbildungsbedingungen ausgegebenen Bildes.
Eine andere Ausführung der vorliegenden Beschreibung stellt ein Objektdetektionssystem bereit, welches einen Laufzeitsensor aufweist, der ein Bild eines Zielraumes ausgibt auf Basis einer Phasendifferenz zwischen in Richtung auf den Zielraum emittierter Referenzstrahlung und vom Zielraum reflektierter Strahlung, eine Objektdetektionseinrichtung, welche eine Position eines im Zielraum gegebenen Objektes detektiert auf Basis des ausgegebenen Bildes, eine Abbildungsberechnungseinheit bezüglich Position/Stellung, die zumindest eine Abbildungsposition des Laufzeitsensors berechnet auf Basis eines Bildes des detektierten Objektes, und einen Bewegungsmechanismus, welcher zumindest die Position des Laufzeitsensors oder des Objektes entsprechend der berechneten Abbildungsposition ändert, wobei die Objektdetektionseinrichtung eine Position des Objektes detektiert auf Basis des Bildes, welches entsprechend der geänderten Abbildungsposition ausgegeben ist.
Figurenliste

1 ist ein Blockdiagramm und zeigt den Aufbau eines Objektdetektionssystems gemäß einem Ausführungsbeispiel.
2 zeigt die Zeitfolgen für Strahlungsempfang und Strahlungsemission bei einem typischen Laufzeitsensor.
3 zeigt ein Beispiel für ein Rechenverfahren für Abbildungsbedingungen (Integrationszeit).
4 zeigt ein abgewandeltes Beispiel für ein Rechenverfahren für Abbildungsbedingungen (Integrationszeit).
5 zeigt ein abgewandeltes Beispiel für ein Rechenverfahren für Abbildungsbedingungen (Integrationszeit).
6 zeigt ein weiteres abgewandeltes Beispiel für ein Rechenverfahren für Abbildungsbedingungen (Integrationszeit).
7 zeigt ein weiteres abgewandeltes Beispiel für ein Rechenverfahren für Abbildungsbedingungen (Integrationszeit).
8 zeigt ein Beispiel für das Auftreten eines Distanzmessfehlers aufgrund von Aliasing (Alias-Effekt) und ein Verfahren zum Berechnen einer passenden Strahlungsemissionsfrequenz.
9 zeigt ein Beispiel für ein Verfahren zum Berechnen einer Abbildungsposition.
10 zeigt ein Beispiel für Bilder, in denen ein Objekt aufgenommen ist vor und nach einer Positionsänderung mit Vergrößerung.
11A zeigt in perspektivischer Darstellung ein Beispiel für eine vorab eingestellte Abbildungsposition und eine Abbildungsstellung in Bezug auf ein Objekt.
11B zeigt in perspektivischer Darstellung ein Beispiel für eine vorab eingestellte Abbildungsposition und eine Abbildungsstellung in Bezug auf ein Objekt.
12A zeigt eine Abbildungsposition, in welcher die Oberfläche eines Objektes zu erkennen ist, welche die Wirkung eines Mehrfachpfades hat.
12B zeigt eine Abbildungsposition, in der die Oberfläche eines Objektes zu erkennen ist, welche die Wirkung eines Mehrfachpfades hat.
13A zeigt ein Beispiel für einen Bewegungsmechanismus.
13B zeigt ein abgewandeltes Beispiel für einen Bewegungsmechanismus.
14 ist ein Flussdiagramm zur Darstellung des Betriebs eines Objektdetektionssystems gemäß einem Ausführungsbeispiel.
15 ist ein Blockdiagramm eines abgewandelten Beispiels für den Aufbau eines Objektdetektionssystems.

BESCHREIBUNG VON EINZELHEITEN
Ausführungsbeispiele der vorliegenden Beschreibung werden nunmehr mit Einzelheiten und in Bezug auf die begleitenden Figuren näher beschrieben. In den Figuren sind gleiche oder ähnliche Komponenten mit den gleichen Bezugszeichen versehen. Die nachfolgend beschriebenen Ausführungsbeispiele begrenzen den technischen Umfang der Erfindung nicht und sie begrenzen auch nicht die Bedeutung der Begriffe in den Patentansprüchen.
1 zeigt den Aufbau eines Objektdetektionssystems 1 gemäß dem vorliegenden Ausführungsbeispiel. Das Objektdetektionssystem 1 ist beispielsweise ein Robotersystem, welches einen Laufzeitsensor 10 einsetzt für die Roboter-Sicht, das System kann also aufweisen einen Laufzeitsensor 10, eine Steuerung 20, die mit dem Laufzeitsensor 10 über Draht oder drahtlos verbunden ist, und einen Roboter 10 sowie ein Werkzeug 31, welche durch die Steuerung 20 gesteuert werden.
Der Laufzeitsensor 10 kann eine Laufzeitkamera sein mit einer Mehrzahl von lichtemittierenden Elementen und einer Mehrzahl von Lichtempfangselementen, oder es kann auch ein Laser-Scanner sein mit einem lichtemittierenden Element und einem Lichtempfangselement, oder dergleichen. Der Laufzeitsensor 10 verwendet das sogenannte „indirekte Verfahren“ und gibt ein Distanzbild des Zielraumes aus auf Basis der Phasendifferenz zwischen der Referenzstrahlung S, die in Richtung auf den Zielraum emittiert wird, und der vom Zielraum reflektierten Strahlung. Der Laufzeitsensor 10 kann ein Strahlungsintensitätsbild der vom Zielraum empfangenen Strahlung ausgeben. Bei dem Distanzbild und dem Strahlungsintensitätsbild kann es sich um Grauskalenbilder handeln, je nach Sichtverhältnissen, oder auch um RGB-Bilder (rot, grün, blau), in denen der Betrag des numerischen Wertes durch die Farbdichte dargestellt ist, oder es kann sich einfach um eine Anordnung numerischer Werte handeln. Der Einfachheit der Darstellung halber sind nachfolgend alle vom Laufzeitsensor 10 ausgegebenen Bilddaten als „Bild“ bezeichnet.
Bei der Steuerung 20 kann es sich um eine herkömmliche Recheneinrichtung handeln mit einer CPU (zentrale Prozessoreinheit), einen FPGA (Feld-programmierbares Gatterfeld), einem ASIC (anwendungsspezifische integrierte Schaltung) oder dergleichen, oder es kann auch ein Quantencomputer sein mit einem Quantenprozessor. Die Steuerung 20 ist eingerichtet zum Detektieren der Position (und, falls erforderlich, auch der Stellung) eines Objektes W auf der Basis des vom Laufzeitsensor 10 ausgegebenen Bildes und zum Korrigieren des Betriebs des Roboters 30 als Teil des Bewegungsmechanismus und des Betriebs des Werkzeuges 31 als Teil des Bewegungsmechanismus, welche im Voraus auf Basis der detektierten Position des Objektes W angelernt sind.
Der Roboter 30 kann ein Gelenk-Roboter sein oder er kann auch ein anderer industrieller Roboter sein, wie ein Roboter mit Parallelgelenken. Bei dem Werkzeug 31 kann es sich um eine Hand mit Ansaugung handeln, welche ein Objekt W ansaugt, oder es kann auch eine Hand sein mit einer Mehrzahl von Fingern oder es kann sich auch um ein anderes Werkzeug handeln je nach der Aufgabe, die mit dem Objekt W auszuführen ist. Beispiele für andere Werkzeuge sind Abdichtungswerkzeuge, Schweißwerkzeuge, Schrauben-Anziehwerkzeuge, Lötwerkzeuge, Laser-Bearbeitungswerkzeuge etc.
2 zeigt die Zeitfolge der Strahlungsemission und des Strahlungsempfangs des beispielhaft dargestellten Laufzeitsensors 10. Der Laufzeitsensor 10 emittiert Referenzstrahlung in Richtung auf den Zielraum gemäß vorgegebenen Strahlungsemissionsperioden T, er nimmt die vom Zielraum reflektierte Strahlung gemäß einer Mehrzahl von Aufnahmezeitfolgen auf und gewinnt die jeweiligen Ladungsmengen Q1 bis Q4. Die Aufnahmezeitfolgen können Phasen aufweisen, die versetzt sind, beispielsweise um 0°, 90°, 180° und 270° in Bezug auf die Referenzstrahlung, jedoch ist die Aufnahmezeitfolge nicht hierauf beschränkt. Der Laufzeitsensor 10 berechnet die Distanz d des Zielraumes und die reflektierte Intensität s der Referenzstrahlung für jedes Pixel auf beispielsweise der Basis der nachfolgenden bekannten Gleichung. In der Gleichung ist c die Lichtgeschwindigkeit und f ist die Strahlungsemissionsfrequenz der Referenzstrahlung. Bekannt sind unterschiedliche Verfahren zum Berechnen der Distanz d und der Reflexionsintensität s der Referenzstrahlung und die vorliegende Beschreibung ist nicht auf ein Rechenverfahren eingeschränkt.
Nachfolgend wird der Einfachheit halber für die Strahlung allgemein der Begriff „Licht“ eingesetzt, was hier alle geeigneten elektromagnetischen Strahlungen erfasst. $d = \frac{c}{4 π f} \cdot arctan (\frac{Q 2 - Q 4}{Q 1 - Q 3})$
$s = | Q 1 - Q 3 | + | Q 2 - Q 4 |$
Der Laufzeitsensor 10 führt die Abbildung aus unter vorgegebenen Abbildungsbedingungen und mit einer vorgegebenen Abbildungsposition. Die Abbildungsbedingungen enthalten die Integrationszeit IT, die Lichtemissionsperiode T des Referenzlichtes, die Lichtstärke des Referenzlichtes, die erforderlichen Abbildungswiederholungen N und dergleichen. Die Integrationszeit IT entspricht der Integrationszeit, in der eine Ladungsmenge Qn angesammelt ist. Anstelle der Lichtemissionsperiode T des Referenzlichtes kann auch die Lichtemissionsfrequenz f (= 1/T) des Referenzlichtes verwendet werden. Die Lichtstärke des Referenzlichtes kann eingestellt werden durch die Anzahl der lichtemittierenden Elemente oder sie kann eingestellt werden durch einen Spannungswert oder einen Stromwert, welche bei den lichtemittierenden Elementen eingesetzt werden. Die erforderlichen Abbildungswiederholungen N entsprechend der Anzahl der Bilder, die erzeugt werden durch Abbildung mit dem Laufzeitsensor 10, die erforderlich sind, um eine Mehrzahl von Bildern zu kombinieren (beispielsweise für die Mittelwertbildung bezüglich der Pixel). Dies ermöglicht beispielsweise, dass der Laufzeitsensor 10 einen kontinuierlichen Aufnahmebetrieb mit Hochgeschwindigkeit ausführt, der unabhängig ist von der normalen Bildfrequenz. Die N-Bilder können schon auf Seiten des Laufzeitsensors 10 kombiniert werden oder sie können auch auf Seiten der Steuerung 20 kombiniert werden (oder auch in einer Hauptrecheneinheit 50, die weiter unten näher beschrieben ist). Im ersten Fall ist das vom Laufzeitsensor 10 ausgegebene Bild ein zusammengesetztes Bild. Weiterhin kann anstelle der erforderlichen Aufnahmewiederholungen N eine Zeitfilterkonstante N eingesetzt werden. „Zeitfilter“ betrifft hier einen Bildverarbeitungsfilter, der auf eine Mehrzahl von zeitseriellen Bildern angewandt wird, und der Begriff „Zeitfilterkonstante N“ entspricht der Anzahl von zeitseriellen Bildern. Der Zeitfilter kann auf Seiten des Laufzeitsensors 10 eingesetzt werden oder er kann auch auf Seiten der Steuerung 20 eingesetzt werden (oder auch in einem Hauptrechner 50, wie er weiter unten näher beschrieben ist).
Entsprechend 1 enthält das Objektdetektionssystem 1 eine Objektdetektionseinrichtung 21, welche die Position des Objektes W detektiert (einschließlich einer Stellung, je nach Erfordernis; dies gilt auch immer für das Folgende) auf Basis des vom Laufzeitsensor 10 ausgegebenen Bildes, eine Abbildungsbedingungenberechnungseinrichtung 22, welche die Abbildungsbedingungen berechnet auf Basis eines Bildes des detektierten Objektes W, und eine Abbildungsbedingungenänderungseinrichtung 23, welche die Konfiguration des Laufzeitsensors 10 an die berechneten Abbildungsbedingungen anpasst, wobei die Objektdetektionseinrichtung 21 die Position des Objektes W detektiert auf Basis des unter den angepassten Abbildungsbedingungen ausgegebenen Bildes.
Weiterhin kann das Objektdetektionssystem 1 eine Abbildungsberechnungseinrichtung 24 bezüglich Position/Stellung aufweisen, welche eine Abbildungsposition (einschließlich einer Abbildungsstellung, falls erforderlich, dies gilt auch für alle nachfolgenden Feststellungen zu „Position“) berechnet auf Basis des Bildes des detektierten Objektes W, und einem Bewegungsmechanismus, welcher die Position des Laufzeitsensors 10 oder des Objektes W ändert (einschließlich der Stellung, falls erforderlich, wobei diese Ergänzung zu „Position“ auch für alle nachfolgenden diesbezüglichen Merkmale gilt), entsprechend der berechneten Abbildungsposition. In diesem Falle detektiert die Objektdetektionseinrichtung 21 die Position des Objektes W auf Basis des Bildes, welches ausgegeben ist gemäß der geänderten Abbildungsposition und/oder den geänderten Abbildungsbedingungen. Der Bewegungsmechanismus kann ein Roboter 30 sein, welcher den Laufzeitsensor 10 abstützt, oder es kann auch ein Roboter 30 sein, welcher das Objekt W abstützt. Der Roboter 30 ändert die Position des Laufzeitsensors 10 oder des Objektes W entsprechend der berechneten Abbildungsposition.
Gemäß einer anderen Ausführung braucht das Objektdetektionssystem 1 nicht die Abbildungsbedingungenberechnungseinrichtung 22 und die Abbildungsbedingungenänderungseinrichtung 23 aufzuweisen. In diesem Falle hat das Objektdetektionssystem 1 die Abbildungsberechnungseinrichtung 24 bezüglich Position/Stellung und den Bewegungsmechanismus und das Objektdetektionssystem 1 detektiert die Position des Objektes W auf Basis des mit der geänderten Abbildungsposition aufgenommenen Bildes.
Die Objektdetektionseinrichtung 21 detektiert die Position des Objektes W durch Berechnung eines Bewertungswertes, der das Ausmaß der Ähnlichkeit des Objektes W auf Basis des vom Laufzeitsensor 10 ausgegebenen Bildes und von Referenzdaten des Objektes W oder eines charakteristischen Teils des Objektes W, welches im Voraus in der Speichereinrichtung 25 abgelegt ist, angibt. Die Objektdetektionseinrichtung 21 kann die Position des Objektes W detektieren unter Verwendung von zumindest einer der bekannten Objektdetektionsmethoden, beispielsweise durch ein Abgleichverfahren zum Abgleichen von Pixeln, die Blob-Analyse zum Analysieren von Merkmalsquantitäten (Fläche, Zentrum der Schwerkraft, Hauptachse, Nebenachse, Zahl der Ecken etc.) von Pixel-Gruppen, sowie Objekterkennung zum Erkennen eines Objektes unter Einsatz eines Lernmodells mit maschinellem Lernen oder dem sogenannten tiefen Lernen. Die Referenzdaten können ein Referenzbild sein, oder auch ein Referenzmodell, eine Referenz-Merkmalsquantität, oder Lerndaten bezüglich des Objektes W oder des charakteristischen Teils des Objektes W und es kann sich um zweidimensionale Daten oder dreidimensionale Daten handeln. Bei jeder der Objektdetektionstechniken berechnet die Objektdetektionseinrichtung 21 einen Bewertungswert, der das Ausmaß der Ähnlichkeit des Objektes W angibt, unter Verwendung einer bekannten Bewertungsfunktion und es wird eine Position detektiert, an welcher der Bewertungswert (also das Ausmaß der Ähnlichkeit) am höchsten ist und dies wird als die Position des Objektes W genommen. Der so gewonnene Bewertungswert wird eingesetzt für die Bestimmung in der Abbildungsbedingungenberechnungseinrichtung 22, was weiter unten näher beschrieben ist. Die Bewertungsfunktion kann beispielsweise die SSD (Summe der absoluten Differenz), die SAD (Summe der quadratischen Differenzen), die NCC (normierte Kreuzkorrelation), die ZNCC (auf null normalisierte Kreuzkorrelation) oder dergleichen verwenden. Die Bewertungsfunktion kann auch ein durch maschinelles Lernen gebildetes Lernmodell sein, oder auch auf tiefem Lernen etc. beruhen. Liegt eine Mehrzahl von Objekten W oder charakteristischen Teilen des detektierten Objektes W vor, dann ist es vorzuziehen, Kennzeichen anzuhängen, wie beispielsweise W1, W2, W3 etc. in der Reihenfolge der aufsteigenden Bewertungswerte, wonach dann die Verarbeitung durchgeführt wird.
Ist der berechnete Bewertungswert kleiner als ein vorgegebener Schwellenwert, kann die Abbildungsbedingungenberechnungseinrichtung 22 beispielsweise die optimalen Abbildungsbedingungen des Laufzeitsensors für das Objekt W oder den charakteristischen Teil des Objektes W, für den der höchste Bewertungswert detektiert ist, berechnen. Die Abbildungsbedingungen enthalten zumindest einen der folgenden Parameter: Integrationszeit, Lichtemissionsperiode des Referenzlichtes, Lichtstärke des Referenzlichtes, erforderliche Abbildungswiederholungen etc., wie oben beschrieben. Die Abbildungsbedingungenberechnungseinrichtung 22 kann die Abbildungsbedingungen berechnen auf Basis eines Bildes der Lichtstärken, der Distanzen etc. des detektierten Objektes W oder eines bestimmten Teils des Objektes W, d.h. auf Basis eines Bildes eines Abbildungsbereiches, der als das Objekt W spezifiziert ist oder des charakteristischen Teils des Objektes W im aufgenommenen Bild. Mit anderen Worten: die Objektdetektionseinrichtung 21 führt eine Berechnung aus bezüglich der Position und des Bewertungswertes des Objektes W oder eines charakteristischen Teils des Objektes W auf Basis eines ersten Bildes, welches unter den vorgegebenen Abbildungsbedingungen und der vorgegebenen Abbildungsstellung aufgenommen ist, und wenn der berechnete Bewertungswert kleiner ist als ein vorgegebener Schwellenwert, berechnet die Abbildungsbedingungenberechnungseinrichtung 22 die Abbildungsbedingungen. Die Objektdetektionseinrichtung 21 führt dann wiederum die Berechnung von Position und Bewertungswert des Objektes W oder eines charakteristischen Teils des Objektes W aus auf Basis eines zweiten Bildes, welches unter den berechneten Abbildungsbedingungen aufgenommen ist.
(Verfahren 1 für die Integrationszeitberechnung)
3 zeigt ein Beispiel für ein Verfahren zum Berechnen der Integrationszeit. Allgemein kann die Größe σ der Distanzmessungsschwankungen des Laufzeitsensors 10 mit der nachfolgenden Gleichung angegeben werden. In der Gleichung ist s die reflektierte Intensität des Referenzlichtes am Objekt W oder am spezifischen Teil des Objektes W, k ist eine stationäre Rauschkomponente des Laufzeitsensors 10 oder der reflektierten Lichtstärke von externem Licht (Umgebungslicht) etc. $σ \propto \frac{\sqrt{s + k}}{s \cdot f}$
Die vorstehende Gleichung zeigt: um Distanzmesswerte zu gewinnen mit geringer Schwankung, ist es förderlich, die reflektierte Intensität s des Referenzlichtes zu vergrößern. Da die Integrationszeit der Belichtungszeit entspricht, gemäß der der Verschluss einer sogenannten „herkömmlichen Kamera“ offen ist, kann die reflektierte Intensität s des Referenzlichtes vergrößert werden durch Vergrößerung der Integrationszeit. Um die reflektierte Intensität s des Referenzlichtes so zu vergrößern, dass gerade keine Sättigung auftritt, kann die Abbildungsbedingungenberechnungseinrichtung 22 eine Integrationszeit IT₂ berechnen auf Basis des Verhältnisses des reflektierten Intensität s₁ des Referenzlichtes am detektierten Objekt W oder des spezifizierten Teils des Objektes W und des Pegels sst, bei dem Sättigung auftritt, wie in der nachfolgenden Gleichung beispielhaft ausgedrückt ist. In der Gleichung ist IT₁ die Integrationszeit vor der Anpassung und α ist ein vorgegebener Spielraum. In der Gleichung ist α ein Verhältnis, welches als Spielraum (Toleranz) zur gemessenen reflektierten Intensität s₁ des Referenzlichtes zu addieren ist, wobei der Spielraum eine Konstante sein kann oder er kann auch mit einer Funktion bestimmt werden. In diesem Fall ändert die Abbildungsbedingungenänderungseinrichtung 23 die Konfiguration des Laufzeitsensors 10 auf die berechnete Integrationszeit IT₂ und die Objektdetektionseinrichtung 21 detektiert die Position des Objektes W auf Basis des aufgrund der geänderten Integrationszeit IT₂ ausgegebenen Bildes. Durch Anpassung der Integrationszeit IT₂ auf Basis der reflektierten Intensität s₁ des Referenzlichtes des Objektes W oder des spezifischen Teils des Objektes W wird die Distanzmessschwankung bezüglich des Objektes W reduziert, wodurch die Genauigkeit der Positionsdetektion des Objektes W mit der Objektdetektionseinrichtung 21 verbessert ist. $I T_{2} = \frac{s_{s t}}{s_{1} (1 + α)} \cdot I T_{1}$
(Verfahren 2 für die Integrationszeitberechnung)
Die 4 und 5 zeigen ein abgewandeltes Beispiel des Verfahrens zum Berechnen der Integrationszeit. Zusätzlich zu dem reflektierten Licht des Referenzlichtes S empfängt der Laufzeitsensor 10 auch das reflektierte Licht der externen Lichtquelle A, die am Rand der Messumgebung gegeben ist (auch als Umgebungslicht bezeichnet). Wenn entsprechend 5 die Integrationszeit IT nur durch die reflektierte Intensität s₁ des Referenzlichtes eingestellt wird, kann Sättigung auftreten, wenn die reflektierte Intensität a₁ des externen Lichtes stark ist. Wird die Integrationszeit IT verlängert, dann wird auch die reflektierte Intensität a₂ des empfangenen externen Lichtes proportional verstärkt, wodurch sich die Sättigung noch verstärkt. Deshalb ist es vorzuziehen, die Integrationszeit IT unter Berücksichtigung des reflektierten Intensität a₁ des externen Lichtes einzustellen. Die reflektierte Intensität a₁ des externen Lichtes kann beispielsweise berechnet werden mit der nachfolgenden Gleichung oder sie kann auch bestimmt werden aus der Ladungsmenge, die gewonnen wird durch die Abbildung ohne Emission des Referenzlichtes S (d.h. nur durch das reflektierte Licht der externen Lichtquelle). Die Abbildungsbedingungenberechnungseinrichtung 22 berechnet die Integrationszeit IT₂ unter Berücksichtigung der reflektierten Intensität a₁ der externen Lichtquelle gemäß beispielsweise der nachfolgenden Gleichung. In diesem Falle ändert die Abbildungsbedingungenänderungseinrichtung 23 die Konfiguration des Laufzeitsensors 10 auf die berechnete Integrationszeit IT₂ und die Objektdetektionseinrichtung 21 detektiert die Position des Objektes W auf Basis des Bildes, welches ausgegeben wird gemäß der geänderten Integrationszeit IT₂. Somit ist es möglich, die Distanzmessschwankungen bezüglich des Objektes W ohne das Auftreten von Sättigung zu reduzieren durch Einstellung der Integrationszeit IT₂ unter Berücksichtigung der reflektierten Intensität a₁ der externen Lichtquelle vom Objekt W oder von einem bestimmten Teil des Objektes W. $a = \frac{(Q 1 + Q 2 + Q 3 + Q 4) - 2 s}{2}$
$I T_{2} = \frac{s_{s t}}{(s_{1} + a_{1}) (1 + α)} \cdot I T_{1}$
(Verfahren 3 für die Berechnung der Integrationszeit)
Die 6 und 7 zeigen ein weiteres abgewandeltes Beispiel für ein Verfahren zum Berechnen der Integrationszeit. Tritt eine Änderung in der Abbildungsposition auf, kann die Integrationszeit berechnet werden unter Berücksichtigung der Distanzen d₁, d₂ zum Objekt W oder zu einem bestimmten Teil des Objektes W. Grundsätzlich ist die reflektierte Intensität s des Referenzlichtes S umgekehrt proportional zum Quadrat des Abstandes d zum Objekt W oder zum bestimmten Teil des Objektes W, wie in der nachfolgenden Gleichung angegeben ist. Somit steigt die reflektierte Intensität s₂ des reflektierten Lichtes S₂ des Referenzlichtes in der Abbildungsposition P₂ in der Nähe des Objektes W an entsprechend dem Quadrat des Verhältnisses der Distanz d₁ zum Objekt W oder zu einem bestimmten Teil des Objektes W in der Abbildungsposition P₁ zu der Distanz d₂ zum Objekt W oder zum bestimmten Teil des Objektes W in der Abbildungsposition P₂ im Vergleich zu der reflektierten Intensität s₁ des reflektierten Lichtes S₁ des Referenzlichtes an der Abbildungsposition P₁. Um also die reflektierte Intensität s₂ des reflektierten Lichtes S₂ des Referenzlichtes so anzuheben, dass keine Sättigung auftritt, wenn der Laufzeitsensor 10 näher an das Objekt W oder an den bestimmten Teil des Objektes W herankommt, kann die Abbildungsbedingungenberechnungseinrichtung 22 die Integrationszeit IT₂ berechnen unter Berücksichtigung des Verhältnisses der Distanz d₁ zum Objekt W oder zum bestimmten Teil des Objektes W in der Abbildungsposition vor der Änderung und der Distanz d₂ zum Objekt W oder zum bestimmten Teil des Objektes W in der geänderten Abbildungsposition, wie in der nachfolgenden Gleichung beispielhaft ausgedrückt ist. Die Distanz d₂ kann berechnet werden aus einem Bewegungsvektor P der Distanz d₁ zum Objekt W gemäß Berechnung auf Basis des Bildes, welches aus der Abbildungsposition P₁ aufgenommen ist, und aus der anschließenden Abbildungsposition P₂. Ist das Objekt W beispielsweise ein dunkles Objekt und werden die Abbildungsbedingungen eingestellt, nachdem die Abbildungsposition zunächst geändert worden ist, kann der Distanzmesswert des Objektes W, wie er vom Laufzeitsensor 10 nach der Bewegung in die Abbildungsposition P₂ ausgegeben wird, als die Distanz d₂ verwendet werden. Die Abbildungsbedingungenänderungseinrichtung 23 ändert die Konfiguration des Laufzeitsensors 10 entsprechend der berechneten Integrationszeit IT₂ auf diese Weise und die Objektdetektionseinrichtung 21 detektiert die Position des Objektes W auf Basis des Bildes, welches mit der geänderten Integrationszeit IT₂ ausgegeben ist. Somit kann durch Anpassung der Integrationszeit IT₂ unter Berücksichtigung der Distanzen d₁, d₂ zum Objekt W oder zu einem bestimmten Teil des Objektes W die Distanzmessschwankung bezüglich des Objektes W reduziert werden, ohne dass Sättigung auftritt, auch bei Änderung der Abbildungsposition. $s \propto \frac{1}{d^{2}}$
$I T_{2} = \frac{s_{s t}}{(s_{1} \cdot {(\frac{d_{1}}{d_{2}})}^{2} + a_{1}) (1 + α)} \cdot I T_{1}$
(Verfahren zum Berechnen der Lichtstärke)
Die in 1 gezeigte Abbildungsbedingungenberechnungseinrichtung 22 kann die Lichtstärke des Referenzlichtes berechnen mit den gleichen Ansätzen wie die oben erläuterten Verfahren 1 bis 3 für die Berechnung der Integrationszeit. Im Allgemeinen steigt oder sinkt die Menge an empfangenem Licht des reflektierten Lichtes der externen Lichtquelle proportional mit dem Anstieg bzw. dem Abfall der Integrationszeit, jedoch ändert sich die Menge an empfangenem Licht des reflektierten Lichtes der externen Lichtquelle nicht durch Vergrößerung oder Verkleinerung der Lichtstärke. Beispielsweise dient die nachfolgende Gleichung der Berechnung unter Berücksichtigung der reflektierten Intensität a₁ der externen Lichtquelle und die Gleichung ist einsetzbar in Fällen, in denen die Abbildungsposition weiter geändert wird und sie entspricht der Gleichung 8. Der Fall, bei dem die reflektierte Intensität der externen Lichtquelle nicht berücksichtigt wird, ist definiert durch a₁ = 0 und der Fall, bei dem keine Änderung in der Abbildungsposition vorliegt, ist definiert durch d₁ = d₂. In der Gleichung ist LI₁ die Lichtstärke vor der Anpassung und die Abbildungsbedingungenänderungseinrichtung 23 ändert die Konfiguration des Laufzeitsensors 10 auf die berechnete Lichtstärke LI₂ und die Objektdetektionseinrichtung 21 detektiert die Position des Objekts W auf Basis des Bildes, welches bei der geänderten Lichtstärke LI₂ ausgegeben wird. Die Lichtstärke des Referenzlichtes kann entsprechend der Anzahl der lichtemittierenden Elemente, wie oben beschrieben, eingestellt werden, oder sie kann durch einen Spannungswert oder einen Stromwert, der für die lichtemittierenden Elemente eingesetzt wird, eingestellt werden. Durch Einstellung der Lichtstärke auf Basis der Lichtintensität, der Distanz etc. des Objektes W oder des bestimmten Teils des Objektes W, wie oben beschrieben, können Schwankungen der Distanzmessung des Objektes W weiter reduziert werden. $L I_{2} = \frac{s_{s t} - a_{1}}{s_{1} (1 + α)} \cdot {(\frac{d_{2}}{d_{1}})}^{2} \cdot L I_{1}$
(Verfahren zum Berechnen der Lichtemissionsperiode)
Wie Gleichung 3 zeigt, kann die Größe σ der Distanzmessschwankung des Laufzeitsensors 10 reduziert werden durch Vergrößerung der Lichtemissionsfrequenz f (=1/T) des Referenzlichtes. Die Abbildungsbedingungenberechnungseinrichtung 22 kann weiterhin die Lichtemissionsfrequenz f (Lichtemissionsperiode T; wie auch nachfolgend immer eingeschlossen ist) des Referenzlichtes berechnen auf Basis der Distanz d zum detektierten Objekt W oder zu einem bestimmten Teil des Objektes W. Allerdings muss beachtet werden, dass bei Vergrößerung der Lichtemissionsfrequenz f der Distanzmessfehler aufgrund des Aliasing auftritt. 8 zeigt ein Beispiel für das Auftreten des Distanzmessfehlers aufgrund des Aliasing und die Figur erläutert auch ein Verfahren zum Berechnen einer geeigneten Lichtemissionsfrequenz f. Beträgt beispielsweise die Lichtemissionsfrequenz f des Referenzlichtes 30 MHz (Lichtemissionsperiode T 33 nm), dann beträgt gemäß der nachfolgenden Gleichung der Distanzmessbereich Imax, in dem der Laufzeitsensor 10 eine richtige Distanzmessung ausführt, 5 m. Wenn also beispielsweise die tatsächliche Distanz d zum detektierten Objekt W oder zu einem bestimmten Teil des Objektes W 6 m beträgt, tritt ein Distanzmessfehler auf aufgrund von Aliasing (die Distanz wird fälschlich mit 1 m gemessen). Deshalb wird die Abbildung ausgeführt bei einer geringen Lichtemissionsfrequenz mit einem Wert, entsprechend einer unbekannten Distanz zum Objekt W oder zum bestimmten Teil des Objektes W und wenn das Objekt W oder der bestimmte Teil des Objektes W detektiert ist und die Distanz erkannt ist, kann eine passende Lichtemissionsfrequenz berechnet werden, bei der das Aliasing nicht auftritt. Beträgt beispielsweise die Distanz d zu dem Objekt W oder zu dem bestimmten Teil des Objektes W 80 cm bei einer Abbildung mit geringer Emissionsfrequenz, dann berechnet zum Anheben der Lichtemissionsfrequenz f derart, dass ein Distanzmessfehler aufgrund von Aliasing nicht auftritt, die Abbildungsbedingungenberechnungseinrichtung 22 die Lichtemissionsfrequenz f zu 150 MHz (Lichtemissionsperiode T = 6 nm), so dass die Distanz (beispielsweise 1 m), die gewonnen wird durch Addition eines vorgegebenen Spielraums β (beispielsweise 20 cm) zur detektierten Distanz d, den Distanzmessbereich Lmax des Laufzeitsensors 10 ergibt, wie sich beispielsweise aus der nachfolgenden Gleichung ergibt. In jedem Falle ändert die Abbildungsbedingungenänderungseinrichtung 23 die Konfiguration des Laufzeitsensors 10 auf die berechnete Lichtemissionsfrequenz f und die Objektdetektionseinrichtung 21 detektiert die Position des Objektes W auf Basis des Bildes, welches aufgrund der geänderten Lichtemissionsfrequenz f ausgegeben ist. Somit kann durch Erhöhung der Lichtemissionsfrequenz auf Basis der Distanz d zum Objekt W oder zum bestimmten Teil des Objektes W die Distanzmessschwankung des Objektes W weiter reduziert werden, ohne dass Distanzmessfehler aufgrund von Aliasing auftreten. $L_{m a x} = \frac{c}{2 \cdot f}$
$T = \frac{2 (d + β)}{c}$
Die Distanzmessschwankung des Laufzeitsensors 10 gemäß Gleichung 3 beruht hauptsächlich auf dem sogenannten Schrotrauschen und die Distanzmessschwankung zeigt eine Verteilung, die als Normalverteilung betrachtet werden kann. Somit kann ein Distanzmesswert gewonnen werden mit einer reduzierten Distanzmessschwankung durch Aufnahme einer Mehrzahl von Bildern aus der gleichen Abbildungsposition und durch Verarbeitung derselben, wie beispielsweise durch Mittelwertbildung. Zurück zu 1: ist der Bewertungswert immer noch kleiner als der vorgegebene Schwellenwert, kann die Abbildungsbedingungenberechnungseinrichtung 22 die Anzahl der erforderlichen Abbildungswiederholungen (oder die Zeitfilterkonstante vergrößern). In diesem Fall ändert die Abbildungsbedingungenänderungseinrichtung 23 die Konfiguration des Laufzeitsensors 10 entsprechend den berechneten, erforderlichen Abbildungswiederholungen (oder die Filterkonstante), die Objektdetektionseinrichtung 21 detektiert die Position des Objektes W auf Basis des aus der Mehrzahl der Bilder kombinierten Bildes, die aufgenommen wurden gemäß der erforderlichen Anzahl von Abbildungswiederholungen (oder gemäß der Zeitfilterkonstante). Durch Vergrößerung der Anzahl von Abbildungswiederholungen (oder der Zeitfilterkonstante) ist es auf diese Weise möglich, die Distanzmessschwankungen bezüglich des Objektes W weiter zu reduzieren.
Ist der berechnete Bewertungswert kleiner als ein vorgegebener Schwellenwert, kann die Abbildungsberechnungseinrichtung 24 für Position/Stellung zumindest eine Abbildungsposition berechnen. In diesem Fall ändert der Roboter 30 als Bewegungsmechanismus die Position des Laufzeitsensors 10 oder des Objektes W auf die berechnete Abbildungsposition und die Objektdetektionseinrichtung 21 detektiert die Position des Objektes W auf Basis des Bildes, welches mit der geänderten Abbildungsposition ausgegeben ist.
9 zeigt ein Beispiel für die Abbildungspositionsberechnung. Beim in 9 links gezeigten Beispiel ist das Objekt W relativ weit entfernt vom Laufzeitsensor 10 in der Abbildungsposition P₁ und die Anzahl der Pixel, mit denen das Objekt W aufgenommen wird (d.h. die Anzahl der Distanzmesspunkte), ist klein und die reflektierte Intensität des Referenzlichtes S vom Objekt W ist schwach, so dass die Distanzmessschwankung relativ groß wird. Da der Bestrahlungsbereich für das Referenzlicht S des Laufzeitsensors so ausgelegt ist, dass er im Wesentlichen dem Abbildungsbereich gemäß der Abbildungsposition P₁ entspricht, wird das Objekt W mit Referenzlicht S bestrahlt, welches durch das stark reflektierende Objekt O in der Nähe des Objektes W reflektiert ist, so dass ein Phänomen auftritt, welches als „Mehrfachweg“ bezeichnet wird, wobei der Distanzmesswert d₁ für das Objekt W nach hinten verschoben wird, wie hier mit der gestrichelten Linie in der Figur angezeigt ist. Somit kann zur Verbesserung des Bewertungswertes und zum Detektieren genauer Positionen bei der Detektion des Objektes W die Abbildungsberechnungseinrichtung 24 für Position/Stellung eine Abbildungsposition berechnen, bei der die Anzahl der Pixel für die Abbildung des Objektes W möglichst groß ist, eine Abbildungsposition, bei der die reflektierte Intensität von Referenzlicht S vergrößert ist oder eine Abbildungsposition, bei der der Einfluss des sogenannten „Mehrfachweges“ reduziert ist.
(Verfahren 1 zum Berechnen der Abbildungsposition)
Da im Allgemeinen Laufzeitsensoren (oder TOF-Kameras) keine Zoom-Funktion haben, kann die Abbildungsberechnungseinrichtung 24 bezüglich Position/Stellung eine Abbildungsposition P₂ berechnen, wobei sie nahe an das detektierte Objekt W oder den charakteristischen Teil des Objektes W herangeht, um so ein größeres Bild desselben aufzunehmen. 10 zeigt eine Abbildungsposition P₂, in der eine größere Abbildung durch Annäherung an das Objekt W ausgeführt werden kann. Damit kann ein Anstieg in der Anzahl von Distanzmesspunkten bezüglich des Objektes W oder des charakteristischen Teils des Objektes W und ein Absinken der Distanzmessschwankungen aufgrund eines Anstiegs in der reflektierten Intensität des Referenzlichtes S vom Objekt W erwartet werden. Da in der Abbildungsposition P₂ das stark reflektierende Objekt O nicht im Aufnahmewinkel des Laufzeitsensors 10 liegt (das heißt: im Bestrahlungsbereich des Referenzlichtes S), wird das Objekt W nicht beeinflusst durch den Mehrfachweg aufgrund des stark reflektierenden Objektes O und das Phänomen, bei dem der Distanzmesswert d₂ des Objektes W nach hinten geschoben ist, tritt nicht auf. Durch Anpassung des Objektes W oder des charakteristischen (bestimmten) Teils des Objektes W an die Abbildungsposition P₂ derart, dass das Objekt im Bild größer aufgenommen ist, kann die Position des Objektes W mit höherer Genauigkeit detektiert werden.
Die Abbildungsberechnungseinrichtung 24 für Position/Stellung kann die Abbildungsposition und/oder die Abbildungsstellung so berechnen, dass das detektierte Objekt W oder der charakteristische Teil des Objektes W in einer Abbildungsposition und/oder einer Abbildungsstellung aufgenommen wird, die im Voraus in Bezug auf Referenzdaten eingestellt sind. 11A zeigt ein Beispiel einer Abbildungsposition und einer Abbildungsstellung, die im Voraus in Bezug auf das Objekt W eingestellt sind. Im Allgemeinen erfolgt die Einstellung auf eine Abbildungsposition und eine Abbildungsstellung, welche geeignet sind für die Positionsdetektion des Objektes. Wird ein Referenzbild des Objektes W für die Referenzdaten verwendet, werden die Abbildungsposition und die Abbildungsstellung bei Gewinnung dieses Bildes gemeinsam eingesetzt. Es können mehrere Abbildungspositionen und Abbildungsstellungen in Bezug auf das Objekt W vorliegen und in diesem Fall können eine geeignete Abbildungsposition und eine geeignete Abbildungsstellung entsprechend dem Zustand des detektierten Objektes ausgewählt werden. 11B zeigt eine Abbildungsposition und Abbildungsstellung P₃, welche im Voraus für das Objekt W eingestellt sind. Da das Objekt W in der Abbildungsposition und Abbildungsstellung P₁ relativ großen Abstand hat und geneigt ist, ist der Bewertungswert wahrscheinlich relativ gering. Ist der Bewertungswert niedrig, wie oben beschrieben, kann die Abbildungsberechnungseinrichtung 24 bezüglich Position/Stellung eine geeignete Abbildungsposition und eine geeignete Abbildungsstellung berechnen auf Basis der detektierten Position des Objektes W, um so die Abbildungsposition und -stellung P₃ zu erreichen, die im Voraus in Bezug auf die Referenzdaten des Objektes W eingestellt sind. Im Ergebnis dieser Maßnahmen ist eine bessere Positionsdetektion des Objektes W ermöglicht.
(Verfahren 2 für die Abbildungspositionsberechnung)
Wie in 9, unten rechts, gezeigt ist, kann die Abbildungsberechnungseinrichtung 24 für Position/Stellung eine Oberfläche des stark reflektierenden Objektes O spezifizieren, welche den Mehrfachweg-Einfluss ausübt, und eine Abbildungsposition P₄ berechnen, bei der die Oberfläche des Objektes O nicht mit Referenzlicht des Laufzeitsensors 10 bestrahlt wird. Da bei Laufzeitsensoren im Allgemeinen der Referenzlicht-Abstrahlungsbereich und der Bereich des Empfangs von reflektiertem Licht zusammenfallen und damit als an der gleichen Position befindlich angesehen werden können, ist die Abbildungsposition, bei der die Oberfläche des Objektes O nicht sichtbar ist, diejenige Position, in der die Oberfläche des Objektes O nicht mit Referenzlicht bestrahlt ist, so dass der Mehrfachweg-Einfluss von der Oberfläche des Objektes O nicht auftritt. 12A zeigt eine Abbildungsposition P₁, in welcher die Oberfläche F des Objektes O, welche einen Mehrfachweg-Einfluss ausübt, sichtbar ist und 12B zeigt eine Abbildungsposition P₄, in welcher die Oberfläche F des Objektes O, welche einen Mehrfachweg-Einfluss ausübt, sichtbar ist. Die Abbildungsberechnungseinrichtung 24 für Position/Stellung kann die Oberfläche des stark reflektierenden Objektes O in der Nähe des detektierten Objektes W oder des charakteristischen Teils des Objektes W innerhalb des Bildes spezifizieren, und weiterhin die Position und Stellung der spezifizierten Oberfläche F berechnen und einen Punkt auf der erweiterten Oberfläche entsprechend der Oberfläche F als Abbildungsposition P₄ berechnen. In Abhängigkeit von der Anordnung des Objektes und des stark reflektierenden Objektes kann der Laufzeitsensor 10 sich in einer Abbildungsposition befinden, in welcher die Oberfläche des stark reflektierenden Objektes nicht sichtbar ist indem der Laufzeitsensor 10 nahe an das Objekt W gebracht wird, wie in 9 oben rechts dargestellt ist sowie in 10, rechte Seite. Somit kann durch Einstellung auf die Abbildungsposition P₄, in welcher die Oberfläche des stark reflektierenden Objektes O, welche einen Mehrfachweg-Einfluss ausüben würde, nicht gesehen wird, die Position des Objektes W mit verbesserter Genauigkeit detektiert werden.
13A zeigt ein Beispiel für einen Bewegungsmechanismus, 13B zeigt ein abgewandeltes Beispiel für den Bewegungsmechanismus. Bei dem Bewegungsmechanismus kann es sich um einen Roboter 30 handeln, der den Laufzeitsensor 10 gemäß 13A abstützt, oder es kann sich um einen Roboter handeln, welcher das Objekt W abstützt, wie in 13B gezeigt ist. Beim Beispiel gemäß 13A ist der Laufzeitsensor 10 an der Spitze des Roboterarms angebracht und der Roboter 30, welcher den Laufzeitsensor 10 abstützt, ändert die Position des Laufzeitsensors 10 in die berechnete Abbildungsposition, so dass die Position des Objektes W genau detektiert werden kann. Beim Beispiel gemäß 13B detektiert der das Objekt W auf Basis von angenäherten Positionsinformationen für das Objekt W abstützende Roboter 30 die genaue Position, Stellung, Größe etc. des Objektes im abgestützten Zustand mittels des Laufzeitsensors 10 an einem vorgegebenen festen Punkt. Der das Objekt W abstützende Roboter 30 ändert die Position des Objektes W in die berechnete Abbildungsposition, so dass die Position, Stellung, Größe etc. des abgestützten Objektes O mit höherer Genauigkeit detektierbar sind. Durch die Konfiguration des Bewegungsmechanismus in Gestalt des Roboters 30 ist es auf diese Weise möglich, sowohl Aufgreifvorgänge als auch Positionierungsvorgänge, die mit dem Roboter 30 ausgeführt werden, und auch die Objektdetektion auszuführen.
14 zeigt den Ablauf des Betriebs des Objektdetektionssystems 1 gemäß dem vorliegenden Ausführungsbeispiel. Beginnt das Objektdetektionssystem 1 den Detektionsprozess, wird in Schritt S10 die Abbildung mit dem Laufzeitsensor unter den vorgegebenen Abbildungsbedingungen und in der vorgegebenen Abbildungsposition ausgeführt. In Schritt S11 wird das vom Laufzeitsensor ausgegebene Bild gewonnen. Sind erforderliche Bildwiederholungen eingestellt (oder eine Zeitfilterkonstante), kann in Schritt S12 das Kombinationsbild erstellt werden. Das Kombinationsbild kann auf Seiten des Laufzeitsensors erstellt werden oder auch auf Seiten der Steuerung (oder eines Hauptrechners, wie weiter unten beschrieben).
In Schritt S13 wird die Position des Objektes detektiert durch Berechnung eines Bewertungswertes, welcher das Ausmaß der Ähnlichkeit des Objektes angibt auf Basis des vom Laufzeitsensor ausgegebenen Bildes und der Referenzdaten des Objektes oder des charakteristischen Teils des Objektes, welche im Voraus abgespeichert sind. Werden mehrere Objekte detektiert, können Markierungen, beispielsweise W1, W2, W3 etc. in der Reihenfolge der höchsten Bewertungswerte zugeordnet werden und es kann die nachfolgende Bearbeitung ausgeführt werden. Schritt S14 ist nicht unumgänglich, jedoch ist vorzuziehen, die Oberflächen eines Objektes zu identifizieren, welche einen Mehrfachweg-Einfluss auf das Objekt ausüben könnten.
In Schritt S15 wird bestimmt, ob der berechnete Bewertungswert kleiner als ein vorgegebener Schwellenwert ist oder nicht. Weiterhin kann bestimmt werden, ob die Oberfläche eines Objektes, die einen Mehrfachweg-Einfluss auf das Objekt ausübt, identifiziert ist oder nicht. Wenn in Schritt S15 der Bewertungswert kleiner als der vorgegebene Schwellenwert ist oder wenn eine Oberfläche eines Objektes mit Mehrweg-Einfluss identifiziert ist (NEIN in Schritt S15), geht das Verfahren zu Schritt S16. In Schritt S16 werden die Abbildungsbedingungen berechnet auf Basis der Lichtintensität, der Distanz etc. bezüglich des Objektes oder des charakteristischen Teils des Objektes. Verbessert sich der Bewertungswert nicht, können die erforderlichen Bildwiederholungen (oder eine entsprechende Zeitfilterkonstante) eingesetzt werden.
In Schritt S17 wird die Abbildungsposition berechnet auf Basis der Position (und gegebenenfalls der Stellung) des Objektes oder des charakteristischen Teils des Objektes und der Oberfläche des Objektes, welches einen Mehrfachweg-Einfluss ausübt. Zumindest einer der Schritte S16 und S17 ist auszuführen. In Schritt S18 wird eine Änderung der Abbildungsbedingungen und/oder eine Änderung der Abbildungsposition ausgeführt. Danach geht der Prozess zurück zu Schritt S10. In Schritt S13 wird die Position des Objektes wiederum detektiert durch erneute Berechnung des Bewertungswertes auf Basis des nun ausgegebenen Bildes mit geänderter Abbildungsbedingung und/oder geänderter Abbildungsposition.
In Schritt S15 werden dann, wenn der Bewertungswert wieder unter dem vorgegebenen Schwellenwert liegt oder wenn eine Oberfläche eines Objektes mit Mehrfachweg-Einfluss wiederum identifiziert ist (NEIN in Schritt S15), die Schritte S16 bis S14 wiederholt. Eine Begrenzung der Wiederholungsschleifen kann vorgesehen sein, so dass dann, wenn die Schleife gemäß einer vorgegebenen Anzahl wiederholt worden ist, eine Mitteilung ausgegeben wird und der Detektionsprozess abgebrochen wird. Wenn in Schritt S15 der Bewertungswert größer ist als der vorgegebene Schwellenwert und keine Oberfläche identifiziert ist, welche einen Mehrfachweg-Einfluss ausübt (JA in Schritt S15), endet in Schritt S19 der Detektionsprozess und die detektierte Position des Objektes W ist die gültige Position. Die Operation des Roboters wird entsprechend der gültigen Position des Objektes W geändert (nicht dargestellt).
15 zeigt ein abgewandeltes Beispiel der Konfiguration des Objektdetektionssystems 1. Das Objektdetektionssystem 1 dieses Beispiels kann eine Mehrzahl von Laufzeitsensoren 10 aufweisen, sowie eine Hauptrechnereinrichtung 50, die über Draht oder drahtlos mit den mehreren Laufzeitsensoren 10 verbunden ist, eine Mehrzahl von Steuerungen 20, welche Befehle von der Hauptrechnereinrichtung 50 erhalten, eine Mehrzahl von Robotern 30 und eine Mehrzahl von Werkzeugen 31, die jeweils gesteuert werden durch die Mehrzahl von Steuerungen 20. Die Hauptrechnereinrichtung 50, wie die Steuerungen 20, können herkömmliche Rechner oder Quantenrechner sein. Durch die Aufnahme wesentlicher Komponenten des Objektdetektionssystems 1 in die Hauptrechnereinrichtung 50 kann die Prozessleistung, die Wartung etc. des Objektdetektionssystems verbessert werden.
Mit den oben beschriebenen Ausführungsbeispielen kann durch Änderung der Abbildungsbedingungen und/oder der Abbildungsposition auf Basis des aus dem Bild des Laufzeitsensors 10 detektierten Objektbildes die Position des Objektes W genau detektiert werden.
Das oben beschriebene, durch den Prozessor ausgeführte Programm kann in einem computerlesbaren, stabilen Aufzeichnungsmedium, wie einer CD-ROM oder dergleichen aufgezeichnet werden.
Zwar wurden vorstehend verschiedene Ausführungsbeispiele näher beschrieben, jedoch ist die vorliegende Erfindung nicht auf solche Beispiele beschränkt und es sind verschiedene Änderungen im Rahmen der nachfolgenden Patentansprüche möglich.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2012123781 [0003]
JP 2013101045 [0004]
JP 201164498 [0005]
JP 10197635 [0006]

Claims

Objektdetektionssystem (1), aufweisend: einen Laufzeitsensor (10), welcher ein Bild eines Zielraumes ausgibt auf Basis einer Phasendifferenz zwischen Referenzlicht, das in Richtung auf den Zielraum emittiert ist, und vom Zielraum reflektiertem Licht, eine Objektdetektionseinrichtung (21), welche auf Basis des ausgegebenen Bildes eine Position eines Objektes (W) detektiert, welches im Zielraum vorhanden ist, eine Abbildungsbedingungenberechnungseinrichtung (22), welche auf Basis eines Bildes des detektierten Objektes (W) Abbildungsbedingungen berechnet einschließlich einer Integrationszeit und/oder einer Lichtemissionsperiode des Laufzeitsensors (10), und eine Abbildungsbedingungenänderungseinrichtung (23), welche eine Konfiguration des Laufzeitsensors (10) entsprechend den berechneten Abbildungsbedingungen ändert, wobei die Objektdetektionseinrichtung (21) eine Position des Objektes detektiert auf Basis des Bildes, welches unter den geänderten Abbildungsbedingungen ausgegeben ist.
Objektdetektionssystem (1) gemäß Anspruch 1, weiterhin aufweisend eine Abbildungsberechnungseinrichtung (24) für die Position/die Stellung, welche zumindest eine Abbildungsposition berechnet auf Basis des Bildes des detektierten Objektes (W), und einen Bewegungsmechanismus (30), welcher eine Position des Laufzeitsensors (10) und/oder des Objektes (W) auf die berechnete Abbildungsposition ändert, wobei die Objektdetektionseinrichtung (21) die Position des Objektes (W) detektiert auf Basis des Bildes, welches ausgegeben ist gemäß der geänderten Abbildungsposition und/oder der geänderten Abbildungsbedingungen.
Objektdetektionssystem (1) gemäß Anspruch 2, wobei die Objektdetektionseinrichtung (21) weiterhin einen Bewertungswert berechnet, der das Ausmaß der Ähnlichkeit des Objektes (W) angibt auf Basis des ausgegebenen Bildes und vorab gespeicherter Referenzdaten bezüglich des Objektes (W) oder eines charakteristischen Teils des Objektes (W), wobei dann, wenn der berechnete Bewertungswert kleiner ist als ein vorgegebener Schwellenwert, die Abbildungsbedingungenberechnungseinrichtung (22) die Abbildungsbedingungen berechnet oder die Abbildungsberechnungseinrichtung (24) für Position/Stellung die Abbildungsposition berechnet.
Objektdetektionssystem (1) gemäß Anspruch 2 oder 3, wobei die Abbildungsberechnungseinrichtung (24) für Position/Stellung die Abbildungsposition derart berechnet, dass das detektierte Objekt (W) oder ein charakteristischer Teil des Objektes (W) in dem Bild vergrößert aufgenommen ist.
Objektdetektionssystem gemäß Anspruch 3 oder 4, wobei die Abbildungsberechnungseinrichtung (24) für Position/Stellung die Abbildungsposition und/oder die Abbildungsstellung so berechnet, dass das detektierte Objekt (W) oder ein charakteristischer Teil des Objektes (W) in einer vorgegebenen Abbildungsposition und/oder Abbildungsstellung in Bezug auf die Referenzdaten des Objektes (W) oder des charakteristischen Teils des Objektes (W) aufgenommen ist.
Objektdetektionssystem (1) gemäß einem der Ansprüche 2 bis 5, wobei die Abbildungsberechnungseinrichtung (24) für Position/Stellung eine Oberfläche eines Objektes identifiziert, welches einen Mehrfachweg-Einfluss ausübt auf das detektierte Objekt (W) und die Abbildungsposition so berechnet, dass das das vom Laufzeitsensor (10) emittierte Referenzlicht nicht auf die Fläche des Objektes emittiert wird.
Objektdetektionssystem (1) gemäß einem der Ansprüche 2 bis 6, wobei der Bewegungsmechanismus (30) ein Roboter ist, der den Laufzeitsensor (10) abstützt, oder ein Roboter, der das Objekt (W) abstützt.
Objektdetektionssystem (1) gemäß einem der Ansprüche 1 bis 7, wobei die Abbildungsbedingungenberechnungseinrichtung (22) die Integrationszeit berechnet auf Basis der reflektierten Intensität des Referenzlichtes des detektierten Objektes (W) oder eines bestimmten Teils des Objektes (W).
Objektdetektionssystem (1) gemäß Anspruch 8, wobei die Abbildungsbedingungenberechnungseinrichtung (22) die Integrationszeit berechnet unter Berücksichtigung der reflektierten Intensität von externem Licht vom detektierten Objekt (W) oder von einem bestimmten Teil des Objektes (W).
Objektdetektionssystem (1) gemäß Anspruch 8 oder 9, wobei die Abbildungsbedingungenberechnungseinrichtung (22) die Integrationszeit berechnet unter Berücksichtigung der Distanz zu dem Objekt (W) oder zu dem bestimmten Teil des Objektes (W).
Objektdetektionssystem (1) gemäß einem der Ansprüche 1 bis 10, wobei die Abbildungsbedingungenberechnungseinrichtung (22) die Lichtemissionsperiode berechnet auf Basis einer Distanz zu dem detektierten Objekt (W) oder zu einem bestimmten Teil des Objektes (W).
Objektdetektionssystem (1) gemäß einem der Ansprüche 1 bis 11, wobei die Abbildungsbedingungen weiterhin eine erforderliche Bildwiederholrate des Laufzeitsensors (10) enthalten und wobei das Bild ein Kombinationsbild ist, in dem mehrere gemäß der erforderlichen Wiederholrate aufgenommene Bilder kombiniert sind.
Objektdetektionssystem gemäß einem der Ansprüche 1 bis 12, wobei die Abbildungsbedingungen weiterhin eine Lichtstärke des Laufzeitsensors (10) beinhalten und wobei die Abbildungsbedingungenberechnungseinrichtung (22) die Lichtstärke berechnet auf Basis eines Bildes des detektierten Objektes (W).
Objektdetektionssystem (1), aufweisend: einen Laufzeitsensor (10), welcher ein Bild eines Zielraumes ausgibt auf Basis einer Phasendifferenz zwischen in Richtung auf den Zielraum emittiertem Referenzlicht und vom Zielraum reflektiertem Licht, eine Objektdetektionseinrichtung (21), welche eine Position eines Objektes (W) in dem Zielraum auf Basis des ausgegebenen Bildes detektiert, eine Abbildungsberechnungseinrichtung (24) für Position/Stellung, welche zumindest eine Abbildungsposition des Laufzeitsensors (10) berechnet auf Basis des Bildes des detektierten Objektes (W), und einen Bewegungsmechanismus (30), welcher eine Position des Laufzeitsensors (10) und/oder des Objektes (W) auf die berechnete Abbildungsposition ändert, wobei die Objektdetektionseinrichtung (21) eine Position des Objektes (W) detektiert auf Basis des mit der geänderten Abbildungsposition ausgegebenen Bildes.