DE112021000592T5 - System zur Erfassung von Bildern aus der Entfernung, das die Anzahl der Erfassungen von Bildern einstellt - Google Patents

System zur Erfassung von Bildern aus der Entfernung, das die Anzahl der Erfassungen von Bildern einstellt Download PDF

Info

Publication number
DE112021000592T5
DE112021000592T5 DE112021000592.8T DE112021000592T DE112021000592T5 DE 112021000592 T5 DE112021000592 T5 DE 112021000592T5 DE 112021000592 T DE112021000592 T DE 112021000592T DE 112021000592 T5 DE112021000592 T5 DE 112021000592T5
Authority
DE
Germany
Prior art keywords
image
range
distance
unit
ranging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021000592.8T
Other languages
English (en)
Inventor
Minoru Nakamura
Fumikazu Warashina
Yuuki Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE112021000592T5 publication Critical patent/DE112021000592T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Entfernungsbilderfassungssystem mit: einer Bilderfassungseinheit zum Erfassen einer Vielzahl von Bildern eines Objekts an der gleichen Bilderfassungsposition und in der gleichen Bilderfassungsausrichtung in Bezug auf das Objekt, um eine Vielzahl von ersten Entfernungsbildern zu erfassen; einer Bildsyntheseeinheit zum Synthetisieren der Vielzahl von ersten Entfernungsbildern, um ein zweites Entfernungsbild zu erzeugen; und einer Einheit zur Bestimmung der Anzahl von Bilderfassungsoperationen zum Schätzen eines Entfernungsmessfehlers in dem zweiten Entfernungsbild und zum Bestimmen der Anzahl von Bilderfassungsoperationen für die ersten Entfernungsbilder, bei denen der geschätzte Entfernungsmessfehler gleich oder kleiner als ein vorbestimmter Zielfehler ist.

Description

  • TECHNISCHER BEREICH
  • Die vorliegende Erfindung betrifft ein System zur Erfassung von Bildern aus der Entfernung, insbesondere ein System zur Erfassung von Bildern aus der Entfernung, das eine Anzahl der Erfassungen von Bildern einstellt.
  • TECHNISCHER HINTERGRUND
  • Als Abstandsmesssensoren, die den Abstand zu einem Objekt messen, sind TOF-Sensoren (Time of Flight) bekannt, die den Abstand auf der Basis der Lichtlaufzeit ausgeben. TOF-Sensoren bestrahlen einen Zielraum mit Referenzlicht, das in vorgegebenen Zyklen intensitätsmoduliert wird, und in vielen Fällen wird ein Phasendifferenzverfahren (das so genannte „indirekte Verfahren“) angewandt, bei dem ein Abstandsmesswert des Zielraums auf der Grundlage der Phasendifferenz zwischen dem Referenzlicht und dem vom Zielraum reflektierten Licht ausgegeben wird. Diese Phasendifferenz wird aus der Menge des empfangenen reflektierten Lichts gewonnen.
  • Es gibt Schwankungen in den Abstandsmesswerten solcher Abstandsmesssensoren, die durch TOF-Sensoren repräsentiert werden. Obwohl die Hauptursache für Abstandsmessungsschwankungen bei TOF-Sensoren das Schussrauschen ist, ist bekannt, dass solche Abstandsmessungsschwankungen im Wesentlichen normalverteilt sind. Obwohl es effektiv ist, die Integrationszeit und die vom TOF-Sensor emittierte Lichtmenge zu erhöhen, um die Schwankungen zu reduzieren, hat diese Lösung Einschränkungen bei den Spezifikationen des Entfernungsmesssensors, wie z. B. Einschränkungen bei der Lichtmenge, die vom Lichtempfangselement des Entfernungsmesssensors empfangen wird, und Einschränkungen bei der Wärmeerzeugung.
  • Bei der Erkennung der Position oder Haltung eines Objekts anhand eines Entfernungsbildes ist es zur Wahrung der Erkennungsgenauigkeit wünschenswert, dass der Fehler des Entfernungsbildes gleich oder kleiner als ein bestimmter Wert ist. Als weitere Lösung zur Verringerung der Variabilität kann die Anwendung eines Mittelungsprozesses in Betracht gezogen werden, bei dem die Entfernung für jedes entsprechende Pixel in einer Vielzahl von Entfernungsbildern gemittelt wird, ein Zeitfilter wie ein IIR-Filter (unendliche Impulsantwort) oder ein Raumfilter wie ein Medianfilter oder ein Gauß-Filter.
  • 8 zeigt ein herkömmliches Verfahren zur Mittelung von Entfernungsbildern. Die untere linke Seite der Zeichnung zeigt eine perspektivische Ansicht, in der ein Entfernungsbild dargestellt ist, in dem eine Oberfläche mit einer bestimmten Höhe vom Entfernungsmessungssensor aus gesehen erfasst ist. Weiterhin zeigt die obere linke Seite der Zeichnung einen Durchschnittswert µ der Abstandsmesswerte jedes Pixels im Oberflächenbereich dieses Abstandsbildes und eine Variation σ der Abstandsmesswerte. Wenn N solcher Entfernungsbilder erfasst werden und ein Mittelwertbildungsprozess durchgeführt wird, wie auf der oberen rechten Seite der Zeichnung gezeigt, wird die Variation σ des Entfernungsmesswerts jedes Pixels auf σ /N0.5 reduziert, und wie auf der unteren rechten Seite der Zeichnung gezeigt, wird ein zusammengesetztes Entfernungsbild erzeugt, das ein Bild einer im Wesentlichen ebenen Oberfläche ist. Zu den Technologien, die sich auf die zusammengesetzte Verarbeitung solcher Entfernungsbilder beziehen, ist die folgende Literatur bekannt.
  • Patentliteratur 1 beschreibt die Berechnung des gewichteten Durchschnittswertes der Abstandsinformation jedes Pixels, das der gleichen Pixelposition entspricht, für eine Vielzahl von Abstandsbildern, die unter schrittweiser Änderung der Belichtung aufgenommen wurden, um ein zusammengesetztes Abstandsbild zu erhalten, das so zusammengesetzt wird, dass der berechnete gewichtete Durchschnittswert die Abstandsinformation jedes Pixels ist, wobei die Berechnung des gewichteten Durchschnittswertes einen gewichteten Koeffizienten verwendet, der so berechnet wird, dass er der Genauigkeit der Abstandsinformation gemäß der Lichtempfangspegelinformation des Pixels entspricht.
  • Patentliteratur 2 beschreibt die Extraktion von Pixeln, die eine größere empfangene Lichtintensität zwischen einer Vielzahl von Entfernungsbildern darstellen, die unter verschiedenen Abbildungsbedingungen aufgenommen wurden, basierend auf der empfangenen Lichtintensität, die jedem Pixel in den Entfernungsbildern zugeordnet ist, und die Verwendung der extrahierten Pixel in einem zusammengesetzten Entfernungsbild einer Vielzahl von Entfernungsbildern.
  • In der Patentliteratur 3 wird beschrieben, dass eine Vielzahl von Bilddatensätzen mit unterschiedlichen Abbildungsempfindlichkeiten für jeden vorgegebenen Einheitsbereich erfasst wird, dass eine HDR-Verarbeitung (High Dynamic Range) in der Ebene durchgeführt wird, um Bilddaten mit einem erweiterten Dynamikbereich zu erzeugen, indem die Vielzahl von Bilddatensätzen zusammengesetzt wird, und dass eine Steuerung durchgeführt wird, so dass die Richtung, in der mehr Merkmale eines Ziels erscheinen, zur HDR-Verarbeitungsrichtung wird.
  • [ZITIERLISTE]
  • [PATENTLITERATUR]
    • [PTL 1] JP 2012-225807 A
    • [PTL 2] JP 2017-181488 A
    • [PTL 3] JP 2019-57240 A
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • [TECHNISCHES PROBLEM]
  • Die Anzahl der Entfernungsbilder, die bei der oben beschriebenen Mittelwertbildung usw. verwendet wird, ist im Allgemeinen eine vorgegebene feste Anzahl. Bei der zusammengesetzten Verarbeitung einer festen Anzahl von Entfernungsbildern wird es jedoch schwierig, Entfernungsmessungsschwankungen zu reduzieren, die durch Änderungen des Ziels verursacht werden, wodurch die Genauigkeit der Entfernungsmessung instabil wird.
  • 9 zeigt Beispiele für eine Zunahme der Abweichung aufgrund von Veränderungen des Ziels. Wie auf der linken Seite der Zeichnung gezeigt, gibt der Entfernungsmessungssensor 10 eine vorbestimmte Anzahl von Entfernungsbildern aus und kann ein zusammengesetztes Entfernungsbild mit einer kleinen Entfernungsmessungsvariation für ein Ziel W erfassen. Wie jedoch in der Mitte der Zeichnung gezeigt, nimmt die vom Entfernungsmessungssensor 10 empfangene Lichtmenge ab, wenn der Abstand zwischen dem Entfernungsmessungssensor 10 und dem Ziel W signifikant wird, wodurch die Entfernungsmessungsvariationen zunehmen. Ebenso nimmt, wie auf der rechten Seite der Zeichnung gezeigt, die Menge des reflektierten Lichts ab, wenn der Reflexionsgrad des Ziels W gering wird (z. B. beim Wechsel zu einem dunklen Ziel W), wodurch die Abweichungen bei der Abstandsmessung zunehmen. Daher ist es schwierig, eine Verringerung der Abweichungen mit einer festen Anzahl von zusammengesetzten Entfernungsbildern zu gewährleisten.
  • Umgekehrt wurde erwogen, die Anzahl der Bilder zu erhöhen, indem man einen Spielraum für die festgelegte Anzahl einräumt. In den meisten Fällen wird jedoch Zeit für die Bildaufnahme und die Bildzusammensetzung verschwendet. Daher sollte die Anzahl der Bilder für das Entfernungsbild je nach Situation des Ziels variabel sein.
  • Daher besteht ein Bedarf an einer Technologie zum Zusammensetzung von Entfernungsbildern, die eine stabile Genauigkeit der Entfernungsmessung und eine Verringerung des Zeitaufwands ermöglicht, auch wenn sich das Ziel ändert.
  • (LÖSUNG DES PROBLEMS)
  • Ein Aspekt der vorliegenden Offenbarung stellt ein Entfernungsbilderfassungssystem bereit, das eine Bilderfassungseinheit, die eine Vielzahl von ersten Entfernungsbildern durch mehrfaches Abbilden eines Ziels von der gleichen Abbildungsposition und der gleichen Abbildungsstellung in Bezug auf das Ziel erfasst, und eine Bildzusammensetzungseinheit umfasst, die ein zweites Entfernungsbild durch Zusammensetzen der Vielzahl von ersten Entfernungsbildern erzeugt, wobei das System eine Bildanzahlbestimmungseinheit umfasst, die einen Entfernungsmessfehler in dem zweiten Entfernungsbild abschätzt und eine Abbildungsanzahl der ersten Entfernungsbilder bestimmt, so dass der geschätzte Entfernungsmessfehler gleich oder kleiner als ein vorbestimmter Zielfehler wird.
  • [VORTEILHAFTE WIRKUNGEN DER ERFINDUNG]
  • Gemäß dem Aspekt der vorliegenden Offenbarung kann, da die Abbildungszahl automatisch angepasst wird, eine Bildkompositionstechnologie bereitgestellt werden, die eine stabile Entfernungsmessungsgenauigkeit und eine Verringerung der gebrauchten Zeit erreicht, selbst wenn sich das Ziel ändert.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das die Struktur eines Entfernungsbild-Erfassungssystems einer Ausführungsform zeigt.
    • 2 ist ein Diagramm, das eine Methode zur Bestimmung der Bildnummer durch eine Funktionsmethode darstellt.
    • 3 ist ein Flussdiagramm, das den Fluss eines Bildanzahl-Bestimmungsprozesses durch die Funktionsmethode zeigt.
    • 4 ist ein Diagramm, das ein Verfahren zur Bestimmung der Bildanzahl durch ein sequentielles Verfahren darstellt.
    • 5 ist ein Flussdiagramm, das den Ablauf eines Bildanzahlbestimmungsprozesses durch das sequentielle Verfahren zeigt.
    • 6 ist ein Diagramm, das ein modifiziertes Beispiel für ein Verfahren zur Bestimmung der Bildanzahl zeigt.
    • 7 ist ein Blockdiagramm, das ein modifiziertes Beispiel für den Aufbau eines Entfernungsbild-Erfassungssystems zeigt.
    • 8 ist eine schematische Ansicht, die die Ergebnisse der konventionellen Mittelwertbildung für Entfernungsbilder zeigt.
    • 9 ist eine schematische Ansicht, die ein Beispiel für die Erhöhung der Variation aufgrund von Änderungen an einem Ziel zeigt.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Die Ausführungsformen der vorliegenden Offenbarung werden im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen im Einzelnen beschrieben. In den Zeichnungen sind gleiche oder ähnliche Bestandteile mit den gleichen oder ähnlichen Bezugszeichen versehen. Darüber hinaus schränken die im Folgenden beschriebenen Ausführungsformen den technischen Umfang der in den Ansprüchen beschriebenen Erfindung oder die Definitionen der Begriffe nicht ein. Es ist zu beachten, dass sich die hier verwendete Bezeichnung „Abstandsbild“ auf ein Bild bezieht, in dem Abstandsmesswerte von einem Abstandsmesssensor zu einem Zielraum für jedes Pixel gespeichert werden, und dass sich die Bezeichnung „Lichtintensitätsbild“ auf ein Bild bezieht, in dem Lichtintensitätswerte des im Zielraum reflektierten Lichts für jedes Pixel gespeichert werden.
  • 1 zeigt den Aufbau eines Entfernungsbilderfassungssystems 1 der vorliegenden Ausführungsform. Das Entfernungsbilderfassungssystem 1 umfasst eine Bilderfassungseinheit 10, die ein Entfernungsbild eines Zielraums einschließlich eines Ziels W ausgibt, und eine Host-Rechnervorrichtung 20, die den Entfernungsmessungssensor 10 steuert. Bei der Bilderfassungseinheit 10 kann es sich um einen TOF-Sensor wie eine TOF-Kamera oder einen Laserscanner oder um einen anderen Abstandsmessungssensor wie eine Stereokamera handeln. Die Host-Rechnervorrichtung 20 ist über Kabel oder drahtlos mit der Bilderfassungseinheit 10 verbunden. Die Host-Rechnervorrichtung 20 umfasst einen Prozessor wie eine CPU (Central Processing Unit), ein FPGA (Field-Programmable Gate Array) und einen ASIC (Application Specific Integrated Circuit). Alle Bestandteile der Host-Rechnervorrichtung 20 können als Teil der Funktionen des Abstandsmessungssensors implementiert werden.
  • Die Bilderfassungseinheit 10 nimmt eine Vielzahl von ersten Entfernungsbildern auf, indem sie das Ziel W mehrfach von derselben Abbildungsposition und derselben Abbildungsposition in Bezug auf das Ziel W abbildet. Die Bilderfassungseinheit 10 hat vorzugsweise die Funktion, zusätzlich zu den ersten Entfernungsbildern Lichtintensitätsbilder zu erfassen, indem sie das Ziel W von derselben Abbildungsposition und derselben Abbildungsposition aus erfasst.
  • Die Host-Rechnervorrichtung 20 umfasst eine Bildzusammensetzungseinheit 21, die ein zweites Entfernungsbild durch Zusammensetzen der Vielzahl von ersten Entfernungsbildern erzeugt, die von der Bilderfassungseinheit 10 erfasst wurden. Obwohl die Bildzusammensetzungseinheit 21 das zweite Entfernungsbild erzeugt, indem sie die Vielzahl der ersten Entfernungsbilder für jedes entsprechende Pixel mittelt, kann sie das zweite Entfernungsbild erzeugen, indem sie auf die Vielzahl der ersten Entfernungsbilder einen zeitlichen Filter, wie z.B. einen IIR-Filter, einen räumlichen Filter, wie z.B. einen Median-Filter, einen Gauß-Filter oder eine diese kombinierende Filterverarbeitung anwendet. Ein solches zusammengesetztes Entfernungsbild verringert die Abweichungen bei der Entfernungsmessung.
  • Die Host-Rechnervorrichtung 20 umfasst vorzugsweise ferner eine Bildbereichsbezeichnungseinheit 24, die einen Bildbereich eines zusammengesetzten Ziels bezeichnet. Der Bildbereich des zusammengesetzten Ziels kann beispielsweise ein bestimmter Bereich des Ziels W sein (z. B. eine Oberfläche des Ziels W, die angesaugt werden soll, oder eine Oberfläche, auf der ein vorbestimmter Vorgang (Punktschweißen, Versiegeln, Befestigen usw.) auf das Ziel W angewendet wird). Der Bildbereich des zusammengesetzten Ziels kann manuell vom Benutzer oder automatisch von der Host-Rechnervorrichtung 20 bestimmt werden. Im Falle der manuellen Bestimmung wird beispielsweise vorzugsweise ein Eingabewerkzeug oder ähnliches bereitgestellt, mit dem der Benutzer den Bildbereich im erfassten Entfernungsbild oder Lichtintensitätsbild bestimmen kann. Durch die Begrenzung des Bildbereichs des zusammengesetzten Ziels kann die Verarbeitung des Entfernungsbildes beschleunigt werden.
  • Die Host-Rechnervorrichtung 20 kann ferner eine Zielspezifikationseinheit 25 umfassen, die automatisch einen Bildbereich spezifiziert, in dem zumindest ein Teil des Ziels W aus dem Entfernungsbild oder dem Lichtintensitätsbild erfasst wird. Als Verfahren zur Festlegung des Ziels W kann ein bekanntes Verfahren, wie z. B. eine Abgleichsverarbeitung, wie z. B. ein Musterabgleich, eine Blob-Analyse zur Analyse von Merkmalsmengen des Bildes und eine Clusterbildung zur Klassifizierung ähnlicher Regionen verwendet werden. Der angegebene Bildbereich wird von der Bildbereichsbezeichnungseinheit 24 als Bildbereich des zusammengesetzten Ziels bezeichnet.
  • Das System zur Erfassung von Entfernungsbildern (1) kann zum Beispiel für ein Robotersystem verwendet werden. Das Entfernungsbilderfassungssystem 1 umfasst ferner einen Roboter 40 und eine Robotersteuerung 30, die den Roboter 40 steuert, und die Robotersteuerung 30 gibt einen zweiten Entfernungsbildanforderungsbefehl an die Host-Rechnervorrichtung 20 aus und kann die Bewegung des Roboters 40 auf der Grundlage des zweiten Entfernungsbildes (d.h. mindestens eine der Positionen und Haltungen des Ziels W; dasselbe gilt weiter unten) korrigieren, das von der Host-Rechnervorrichtung 20 erfasst wurde.
  • In einem Robotersystem, das eine Vielzahl von Robotern 40 und eine Vielzahl von Robotersteuerungen 30 umfasst, ist es vorteilhaft, dass die Host-Rechnervorrichtung 20 mit der Robotersteuerung 30 in einer Eins-zu-Viel-Verbindung kommuniziert. Bei einer solchen Serverkonfiguration ist die Host-Rechnervorrichtung 20 für die hochbelastete Bildverarbeitung zuständig, und die Robotersteuerungen 30 können ihre Leistung auf die Steuerungsverarbeitung der Roboter 40 konzentrieren.
  • Der Roboter 40 ist zwar ein Knickarmroboter, kann aber auch ein anderer Industrieroboter sein, wie z. B. ein Parallelgelenkroboter. Der Roboter 40 umfasst vorzugsweise ferner ein Werkzeug 41, das Operationen an dem Ziel W durchführt. Das Werkzeug 41 kann eine Hand sein, die das Ziel W ergreift, oder kann ein anderes Werkzeug sein, das eine vorbestimmte Operation (Punktschweißen, Versiegeln, Befestigen usw.) an dem Ziel W durchführt. Obwohl das Ziel W durch eine Fördervorrichtung 50 transportiert wird und im Arbeitsbereich des Roboters 40 ankommt, kann eine Systemkonfiguration angenommen werden, bei der die Ziele W in loser Schüttung auf einer Palette (nicht dargestellt) oder dergleichen gestapelt werden. Die Transportvorrichtung 50 kann ein Förderer oder eine andere Transportvorrichtung wie ein fahrerloses Transportfahrzeug (FTS) sein.
  • Die Bilderfassungseinheit 10 ist an der Spitze des Roboters 40 installiert, kann aber auch an einem anderen festen Punkt als dem Roboter 40 installiert sein. Die Robotersteuerung 30 umfasst eine Bewegungssteuerungseinheit 31, die die Bewegung des Roboters 40 und des Werkzeugs 41 gemäß einem Bewegungsprogramm steuert, das im Voraus von einem Lehrgerät (nicht dargestellt) erstellt wurde. Wenn das Ziel W im Arbeitsbereich des Roboters 40 eintrifft, stoppt die Bewegungssteuerungseinheit 31 vorübergehend die Transportvorrichtung 50 und gibt einen zweiten Abstandsbildanforderungsbefehl an die Host-Rechnervorrichtung 20 aus. Ein zweiter Abstandsbildanforderungsbefehl kann jedoch an die Host-Rechnervorrichtung 20 ausgegeben werden, während die Spitze des Roboters 40 der Bewegung des Ziels W folgt.
  • Wenn die Transportvorrichtung 50 vorübergehend angehalten wird, nimmt die Bilderfassungseinheit 10 mehrere erste Entfernungsbilder des stationären Ziels W von der gleichen Abbildungsposition und der gleichen Abbildungsstellung auf. Umgekehrt, wenn der Roboter 40 der Bewegung des Ziels W folgt, nimmt die Bilderfassungseinheit 10 die Vielzahl der ersten Abstandsbilder des sich bewegenden Ziels W von der gleichen Abbildungsposition und der gleichen Abbildungsstellung auf. Die Bewegungssteuerungseinheit 31 korrigiert die Bewegung des Roboters 40 und/oder des Werkzeugs 41 auf der Grundlage des zweiten Abstandsbildes, das von der Host-Rechnervorrichtung 20 erfasst wurde.
  • Die Host-Rechnervorrichtung 20 ist dadurch gekennzeichnet, dass sie eine Bildanzahlbestimmungseinheit 22 umfasst, die eine erste Entfernungsbildabbildungszahl bestimmt. Beim Empfang eines zweiten Entfernungsbild-Anforderungsbefehls gibt die Bildanzahlbestimmungseinheit22 einen Abbildungsbefehl an die Bilderfassungseinheit 10 aus und erfasst die Vielzahl der ersten Entfernungsbilder. Die Bildanzahlbestimmungseinheit22 schätzt den Entfernungsmessungsfehler im zweiten Entfernungsbild und bestimmt die Abbildungsnummer des ersten Entfernungsbildes so, dass der geschätzte Entfernungsmessungsfehler kleiner oder gleich einem vorbestimmten Zielfehler wird. Es ist zu beachten, dass die Bildanzahlbestimmungseinheit 22 anstelle der Abbildungszahl die Anzahl der erfassten ersten Entfernungsbilder bestimmen kann, die die Bildzusammensetzungseinheit 21 von der Bilderfassungseinheit 10 erfasst, oder alternativ, wenn die Bildzusammensetzungseinheit 21 das zweite Entfernungsbild unter Verwendung eines Zeitfilters erzeugt, kann die Zeitkonstante des Zeitfilters bestimmt werden. Es gibt zwei Verfahren zur Bestimmung der Bildnummer, wie z. B. ein Funktionsverfahren und ein sequentielles Verfahren, und diese beiden Verfahren zur Bestimmung der Bildnummer werden im Folgenden der Reihe nach beschrieben.
  • 2 zeigt ein Diagramm, das die Methode zur Bestimmung der Bildnummer durch die Funktionsmethode detailliert darstellt. Im Allgemeinen kann bei TOF-Sensoren ein Lichtintensitätsbild gleichzeitig mit einem Entfernungsbild aufgenommen werden, und es besteht eine gewisse Korrelation zwischen dem Lichtintensitätswert s im Lichtintensitätsbild und der Entfernungsmessungsvariationσ im Entfernungsbild, wie in der Grafik dargestellt. Dieses Diagramm wird durch die folgende Formel angenähert. Dabei ist f die Emissionsfrequenz des Referenzlichts, und A und k sind Konstanten, die die Unterschiede in den Spezifikationen der Komponenten des Entfernungsmesssensors 10 und die Variationen in den individuellen Eigenschaften berücksichtigen. A und k der folgenden Formel können im Voraus experimentell ermittelt werden oder als Kalibrierungsdaten zum Zeitpunkt der Lieferung erfasst werden.
    [Formel 1] σ = A s + k s ƒ
    Figure DE112021000592T5_0001
  • Gemäß der Funktionsmethode kann der Entfernungsmessfehler σ1 im ersten Entfernungsbild geschätzt werden, indem der Lichtintensitätswert s1 aus dem erfassten Lichtintensitätsbild in einer ersten Bildgebung erfasst wird und der erfasste Lichtintensitätswert s1 beispielsweise in Formel 1 eingesetzt wird. Alternativ kann der Entfernungsmessfehler σ1 im ersten Entfernungsbild auch ohne Verwendung einer solchen Näherungsformel ermittelt werden, indem eine lineare Interpolation, polynomiale Interpolation usw. anhand einer Datentabelle durchgeführt wird, in der eine Vielzahl von Beziehungen zwischen dem Lichtintensitätswert s und der Entfernungsmessabweichung σ gespeichert sind, die im Voraus oder zum Zeitpunkt der Werkskalibrierung experimentell erfasst wurden. Da der Entfernungsmessfehler σ1 im ersten Entfernungsbild eine allgemeine Normalverteilungsvariation aufweist, ist außerdem bekannt, dass die Entfernungsmessvariation des zweiten Entfernungsbildes, für das ein Mittelungsprozess durchgeführt wurde, um die Entfernung für jedes entsprechende Pixel des ersten Entfernungsbildes, das N-mal erfasst wurde, zu mitteln, durch eine Reduktion von 1/N0,5 durch den zentralen Grenzwertsatz der Statistik reduziert wird. Wenn diese Abweichung der Entfernungsmessung σ1 /N0.5 als Fehler der Entfernungsmessung im zweiten Entfernungsbild betrachtet wird, kann der Fehler der Entfernungsmessung σ1 /N0,5 im zweiten Entfernungsbild geschätzt werden. Dann wird die Anzahl N der ersten Entfernungsbilder bestimmt, bei denen der Entfernungsmessfehler σ1 /N0.5 im geschätzten zweiten Entfernungsbild gleich oder kleiner als der vorgegebene Zielfehler σTG ist. Mit anderen Worten, wenn die mehreren ersten Entfernungsbilder gemittelt werden, um ein zweites Entfernungsbild zu erzeugen, ist es möglich, die Abbildungsanzahl N basierend auf der folgenden Formel zu bestimmen. Es ist zu beachten, dass der Abstandsmessfehler des zweiten Abstandsbildes in unterschiedlichem Maße reduziert wird, wenn ein anderer Zusammensetzungsprozess als der dargestellte Mittelungsprozess angewandt wird.
    [Formel 2] N = ( σ 1 σ T G ) 2
    Figure DE112021000592T5_0002
  • Wenn die Abbildungszahl durch das Funktionsverfahren bestimmt wird, bestimmt die Bildanzahlbestimmungseinheit 22 die Abbildungszahl des ersten Entfernungsbildes auf der Grundlage der Lichtintensitätsbilder, die von der Bilderfassungseinheit 10 erfasst wurden (siehe 1). Insbesondere schätzt die Bildanzahlbestimmungseinheit 22 den Abstandsmessungsfehler σ1 /N0.5 im zweiten Entfernungsbild aus den Lichtintensitätsbildern auf der Grundlage der Beziehung (Formel 1) zwischen dem Lichtintensitätswert s in den Lichtintensitätsbildern und der Abstandsmessungsabweichung σ in den Entfernungsbildern und bestimmt die Abbildungszahl N, für die der geschätzte Abstandsmessungsfehler σ1 /N0.5 im zweiten Entfernungsbild gleich oder kleiner als der Zielfehler σTG ist.
  • Darüber hinaus kann die Bildanzahlbestimmungseinheit 22 bei der Bestimmung der Abbildungszahl den Entfernungsmessungsfehler im zweiten Entfernungsbild in Einheiten von Pixeln in den Lichtintensitätsbildern schätzen, oder den Entfernungsmessungsfehler im zweiten Entfernungsbild in Einheiten von Pixelbereichen in den Lichtintensitätsbildern schätzen. Insbesondere kann die Bildanzahlbestimmungseinheit 22 den Entfernungsmessfehler im zweiten Entfernungsbild auf der Grundlage des Lichtintensitätswerts, beispielsweise eines bestimmten Pixels des Ziels W, schätzen, oder den Entfernungsmessfehler im zweiten Entfernungsbild auf der Grundlage des Durchschnittswerts oder des niedrigsten Werts des Lichtintensitätswerts eines bestimmten Pixelbereichs (beispielsweise eines 3× 3-Pixelbereichs) des Ziels W schätzen.
  • Ferner kann bei der Bestimmung der Bildzahl mindestens ein Lichtintensitätsbild oder eine Vielzahl von Lichtintensitätsbildern erfasst werden. Wenn eine Vielzahl von Bildern erfasst wird, kann die Bildanzahlbestimmungseinheit 22 den Abstandsmessungsfehler in dem zweiten Abstandsbild auf der Grundlage des Durchschnittswerts oder des Mindestwerts der Lichtintensitätswerte der entsprechenden Pixel unter der Vielzahl von Lichtintensitätsbildern schätzen, oder kann den Abstandsmessungsfehler in dem zweiten Abstandsbild auf der Grundlage des Durchschnittswerts oder des niedrigsten Werts der Lichtintensitätswerte der entsprechenden Pixelbereiche (beispielsweise 3× 3 Pixelbereiche) unter der Vielzahl von Lichtintensitätsbildern schätzen. Indem der Lichtintensitätswert von mehr Pixeln auf diese Weise verwendet wird, ist es möglich, den Entfernungsmessungsfehler im zweiten Entfernungsbild (und damit die Abbildungsanzahl der ersten Entfernungsbilder) mit höherer Genauigkeit abzuschätzen, oder denselben so abzuschätzen, dass er mit hoher Sicherheit kleiner oder gleich dem Zielfehler ist.
  • Darüber hinaus kann der Zielfehler σTG bei der Bestimmung der Bildnummer ein vorgegebener fester Wert oder ein vom Benutzer bestimmter Wert sein. Im Falle eines bestimmten Wertes kann das Entfernungsbilderfassungssystem 1 ferner eine Zielfehlerbestimmungseinheit 23 umfassen, die den Zielfehler σTG bestimmt. Beispielsweise ist es vorteilhaft, dass die Benutzerschnittstelle mit einem numerischen Eingabefeld oder ähnlichem ausgestattet ist, damit der Benutzer den Zielfehler σTG bestimmen kann. Durch die Ermöglichung der Bestimmung des Zielfehlers σTG ist es möglich, das zweite Entfernungsbild mit dem Zielfehler gemäß einer Benutzeranforderung zu erzeugen.
  • 3 zeigt den Ablauf einer Bildnummer-Bestimmungs-Verarbeitung durch die Funktionsmethode. Zunächst werden in Schritt S10 ein erstes Entfernungsbild und ein entsprechendes Lichtintensitätsbild in einer ersten Aufnahme (n = 1) erfasst. Es sollte beachtet werden, dass eine Vielzahl von ersten Entfernungsbildern und eine Vielzahl von entsprechenden Lichtintensitätsbildern durch mehrmaliges Durchführen einer Bildgebung (n = 2, 3, etc.) erfasst werden können. In Schritt S11 wird der Bildbereich des zusammengesetzten Ziels manuell auf der Grundlage des erfassten Bildes bestimmt, oder der Bildbereich, in dem zumindest ein Teil des Ziels W erfasst wird, wird nach Bedarf automatisch festgelegt.
  • In Schritt S12 wird der Entfernungsmessungsfehler im zweiten Entfernungsbild auf der Grundlage (des Bildbereichs) des Lichtintensitätsbildes geschätzt. Die Näherungsformel 1, in der die Beziehung zwischen dem Lichtintensitätswert s in (dem Bildbereich des) Lichtintensitätsbildes und der Abstandsmessungsvariation σ im ersten Entfernungsbild dargestellt wird, oder eine lineare Interpolation oder polynomiale Interpolation einer Datentabelle des Lichtintensitätswertes s und der Abstandsmessungsvariationσ. wird bei der Schätzung verwendet. Zu diesem Zeitpunkt kann der Entfernungsmessungsfehler im zweiten Entfernungsbild in Einheiten von Pixeln im (Bildbereich des) Lichtintensitätsbildes oder in Einheiten von Pixelbereichen im (Bildbereich des) Lichtintensitätsbildes geschätzt werden, oder der Entfernungsmessungsfehler im zweiten Entfernungsbild kann in Einheiten von entsprechenden Pixeln zwischen (den Bildbereichen der) mehreren Lichtintensitätsbildern oder in Einheiten von entsprechenden Pixelbereichen zwischen (den Bildbereichen der) mehreren Lichtintensitätsbildern geschätzt werden.
  • In Schritt S13 wird der Entfernungsmessungsfehler σ1 /N0,5 des zweiten Entfernungsbildes auf der Grundlage des geschätzten Entfernungsmessungsfehlers σ1 der ersten Entfernungsbilder und beispielsweise des Reduktionsgrades 1/N0.5 des Entfernungsmessungsfehlers des zweiten Entfernungsbildes, der durch Mittelwertbildung der mehreren ersten Entfernungsbilder erzeugt wird, geschätzt, und die Abbildungszahl N, für die der geschätzte Entfernungsmessungsfehler σ1 /N0.5 im zweiten Entfernungsbild gleich oder kleiner als der Zielfehler σTG ist, wird bestimmt. Wenn eine andere Filterverarbeitung als die Mittelwertbildung angewandt wird, werden verschiedene Reduktionsgrade angewandt, um die Abbildungsanzahl N zu bestimmen.
  • In Schritt S14 wird bestimmt, ob die aktuelle Abbildungszahl n die bestimmte Abbildungszahl N erreicht hat oder nicht. Wenn die aktuelle Abbildungszahl n die bestimmte Abbildungszahl N in Schritt S14 nicht erreicht hat (NEIN in Schritt S14), fährt der Prozess mit Schritt S15 fort, ein weiteres erstes Entfernungsbild wird erfasst (n = n + 1), und in Schritt S16 wird der Prozess des Zusammensetzens (der Bildbereiche der) ersten Entfernungsbilder und des Erzeugens des zweiten Entfernungsbildes (durch Ausführen eines Mittelungsprozesses oder dergleichen) wiederholt. Wenn die aktuelle Bildnummer n die in Schritt S14 bestimmte Bildnummer N erreicht hat (JA in Schritt S14), ist der Zusammensetzungsprozess der ersten Entfernungsbilder abgeschlossen, und das zweite Entfernungsbild wird zu diesem Zeitpunkt zum endgültigen zweiten Entfernungsbild.
  • Als Nächstes wird das Verfahren zur Bestimmung der Bildnummer unter Verwendung der sequentiellen Methode beschrieben. Die Entfernungsmessungsvariation in den ersten Entfernungsbildern hat eine allgemein normalverteilte Variation, und wenn der Entfernungsmessungsfehler in den ersten zu schätzenden Entfernungsbildern durch seine Standardabweichung σ ausgedrückt wird, wird der Entfernungsmessungsfehler des zweiten Entfernungsbildes, das durch n-maliges Abbilden des ersten Entfernungsbildes und Mittelwertbildung der Entfernung für jedes entsprechende Pixel erhalten wird, auf σn /n0.5 reduziert. Die folgende Formel ergibt sich, wenn man davon ausgeht, dass der Entfernungsmessfehler σn /n0.5 in dem auf diese Weise reduzierten zweiten Entfernungsbild gleich oder kleiner als der Zielfehler σTG ist.
    [Formel 3] σ N n σ T G
    Figure DE112021000592T5_0003
  • Wenn diese Formel umgewandelt wird, erhält man die folgende Formel.
    [Formel 4] n σ n 2 σ T G 2
    Figure DE112021000592T5_0004
  • σn 2 ist ein Wert, der als statistische Verteilung bezeichnet wird, und wenn der Durchschnitt von n Datensätzen von x1 bis xn als µn definiert ist, ist die Verteilung σn 2 wie in der folgenden Formel angegeben.
    [Formel 5] σ n 2 = 1 n i = 1 n ( x i + μ n ) 2
    Figure DE112021000592T5_0005
  • Hier können der Durchschnitt µn und die Verteilung σn 2 durch sequentielle Berechnung der Daten, wie in den folgenden Formeln gezeigt, erhalten werden.
    [Formel 6] μ n + 1 = 1 n + 1 ( n μ n + x n + 1 )
    Figure DE112021000592T5_0006

    [Formel 7] σ n + 1 2 = n ( σ n 2 + μ n 2 ) + x n + 1 2 n + 1 μ n + 1 2
    Figure DE112021000592T5_0007
  • So kann jedes Mal, wenn der Entfernungsmesswert durch Abbildung erhalten wird, durch sequentielle Berechnung des Durchschnitts µn und der Verteilung σn 2 und Bestimmung mit der Bestimmungsformel 4, die die Beziehung zwischen der Verteilung σn 2 und der Abbildungszahl n darstellt, abgeschätzt werden, ob der Entfernungsmessfehler σn /n0.5 des Durchschnitts µn (d.h. des zweiten Entfernungsbildes) gleich oder kleiner als der Zielfehler σTG ist, wodurch die Abbildungszahl n automatisch bestimmt wird. Wenn die verwendete Zusammensetzungsmethode unterschiedlich ist und der Grad der Verringerung des Abstandsmessfehlers in Bezug auf die Abbildungszahl n unterschiedlich ist, ist es ratsam, das Verhältnis des Verringerungsgrades mit der rechten Seite der Bestimmungsformel 4 zu multiplizieren und eine Beurteilung durchzuführen.
  • 4 zeigt ein Diagramm, das dieses Verfahren zur Bestimmung der Bildnummer durch ein sequentielles Verfahren detailliert darstellt. Hier ist die Zusammensetzungsmethode des zweiten Abstandsbildes ein Mittelwertbildungsprozess, bei dem der Abstand für jedes entsprechende Pixel des ersten Abstandsbildes gemittelt wird. In 4 stellt die horizontale Achse des Diagramms die Abbildungszahl (die Anzahl der Abstandsmesswerte eines bestimmten Pixels) und die vertikale Achse des Diagramms den Abstand (cm) dar. 4 zeigt Beispiele (schwarze Punkte), in denen ein Ziel W in einer tatsächlichen Entfernung von 100 cm 100 Mal abgebildet wird (d. h., es werden 100 Entfernungsmesswerte erfasst). Bei der sequentiellen Methode werden der sequentielle Durchschnitt (gestrichelte Linie) und die sequentielle Verteilung (gestrichelt-gepunktete Linie) der Entfernungsmesswerte jedes Mal berechnet, wenn ein erstes Entfernungsbild aufgenommen wird.
  • 4 zeigt auch sequentiell berechnete Werte des rechten Seitenwertes σn 2 /1,52 (dicke Linie) der Bestimmungsformel 4, wenn der Zielfehler σTG 1,5 cm beträgt. Das Bezugszeichen A steht für den Zeitpunkt, an dem die aktuelle Bildzahl n (durchgezogene Linie) σn 2 /1,52 (dicke Linie) übersteigt, was anzeigt, dass die Bedingung der Bestimmungsformel 4 erfüllt ist. Wenn die Bildnummer n des ersten Entfernungsbildes eine 33. Wiederholung darstellt, wird schließlich gezeigt, dass der Entfernungsmessfehler σn 2 im zweiten Entfernungsbild einen Zielfehler von 1,5 cm oder weniger bei einem vorgegebenen Zuverlässigkeitsgrad erreicht (wie später beschrieben wird, beträgt der Zuverlässigkeitsgrad in diesem Beispiel 68,3 %). Zu diesem Zeitpunkt beträgt der Durchschnittswert Ave 101,56 cm, und dieser Wert ist der Abstandsmesswert im zweiten Abstandsbild.
  • Darüber hinaus kann bei der Bestimmung der Abbildungszahl, obwohl die Abbildungszahl-Bestimmungseinheit 22 die Verteilung des Abstandsmesswerts σn 2 in Einheiten von entsprechenden Pixeln zwischen den mehreren ersten Abstandsbildern sequentiell berechnet, wenn nur der Bildbereich des Ziels W mit einer Oberfläche einer bestimmten Höhe vom Abstandsmesssensor 10 aus gesehen zusammengesetzt wird, die Verteilung σn 2 sequentiell in Einheiten von entsprechenden Pixelregionen (zum Beispiel 3× 3 Pixelregionen) unter den mehreren ersten Abstandsbildern berechnet werden. Durch die Verwendung der Abstandsmesswerte von mehr Pixeln auf diese Weise kann die Anzahl der Bilder weiter reduziert und die Zeitverschwendung verringert werden.
  • Bei der Bestimmung der Bildnummer kann der Zielfehler σTG ein vorgegebener fester Wert oder ein vom Benutzer bestimmter Wert sein. Wenn beispielsweise der Zielfehler σTG auf 1 cm festgelegt ist, da der Wert auf der rechten Seite σn 2 /12 der Bestimmungsformel 3 zur sequentiellen Verteilung σn 2 selbst wird, zeigt das Diagramm in 4 auch den Zeitpunkt B, wenn die aktuelle Bildnummer n (durchgezogene Linie) die sequentielle Verteilung σn 2 (gestrichelte Linie) überschreitet. Insbesondere wenn die Bildnummer n des ersten Entfernungsbildes eine 92. Wiederholung darstellt, zeigt sich, dass der Entfernungsmessfehler σn 2 im zweiten Entfernungsbild den Zielfehler von 1 cm oder weniger bei einem vorbestimmten Grad an Zuverlässigkeit erreicht. Zu diesem Zeitpunkt beträgt der Durchschnittswert Ave 100,61 cm, und dieser Wert ist der Abstandsmesswert des zweiten Abstandsbildes.
  • 5 zeigt den Ablauf einer Bildnummerbestimmungs-Verarbeitung durch ein sequentielles Verfahren. Zunächst wird in Schritt S20 ein erstes Abstandsbild in einer ersten Bildgebung (n = 1) erfasst. In Schritt S21 wird der Bildbereich des zusammengesetzten Ziels manuell auf der Grundlage des erfassten Bildes bestimmt oder der Bildbereich, in dem zumindest ein Teil des Ziels W erfasst wird, wird automatisch nach Bedarf festgelegt.
  • In Schritt S22 wird ein weiteres erstes Entfernungsbild aufgenommen (n = n + 1), und in Schritt S23 werden (die Bildbereiche der) mehreren ersten Entfernungsbilder zusammengesetzt, um ein zweites Entfernungsbild zu erzeugen (durch Ausführen eines Mittelungsprozesses oder dergleichen). Wenn der Zusammensetzungsprozess der ersten Abstandsbilder in Schritt S23 kein Mittelungsprozess zur Mittelung des Abstands für jedes entsprechende Pixel ist, kann der Zusammensetzungsprozess nach der Bestimmung der Bildnummer n (d.h. nach Schritt S25) durchgeführt werden.
  • In Schritt S24 wird die Verteilung σn 2 der Entfernung, die für die Schätzung des Entfernungsmessfehlers im zweiten Entfernungsbild erforderlich ist, sequentiell berechnet. Zu diesem Zeitpunkt kann die Verteilung σn 2 in Einheiten von entsprechenden Pixeln (der Bildbereiche) der mehreren ersten Entfernungsbilder oder in Einheiten von entsprechenden Pixelregionen in (den Bildbereichen) der mehreren ersten Entfernungsbilder berechnet werden.
  • In Schritt S25 wird bestimmt, ob die Bildnummer n die Bestimmungsformel 4 erfüllt, die die Beziehung zwischen der sequentiell berechneten Verteilung σn 2 und der Bildnummer n darstellt.
  • Wenn die Abbildungszahl n die Bestimmungsformel 4 in Schritt S25 nicht erfüllt (NO in Schritt S25), kehrt das Verfahren zu Schritt S22 zurück und es wird ein weiteres erstes Abstandsbild aufgenommen.
  • Wenn die Bildnummer n die Bestimmungsformel 4 in Schritt S25 erfüllt (Ja in Schritt S25), wird die Erfassung der ersten Entfernungsbilder beendet, und das zweite Entfernungsbild zu diesem Zeitpunkt wird zum endgültigen zweiten Entfernungsbild.
  • Wenn die ersten paar Entfernungsmesswerte zufällig ähnliche Werte sind, besteht das Risiko, dass die sequentiell berechnete Verteilung σn 2 kleiner wird und die Bestimmungsformel 4 erfüllt ist, obwohl der Fehler des zweiten Entfernungsbildes nicht kleiner als der gewünschte Wert ist. Um dieses Risiko auszuschalten, kann vor der Bestimmung in Schritt S25 ein Bestimmungsschritt von n ≥ K (wobei K die minimale Abbildungszahl ist) vorgesehen werden.
  • Die Schleife von Schritt S22 bis Schritt S25 kann fortgesetzt werden, bis die Bestimmungsformel 4 für alle Pixel der gesamten Bereiche der ersten Entfernungsbilder oder des in Schritt S21 festgelegten Bildbereichs festgelegt ist, oder die Schleife kann unter Berücksichtigung von Pixelfehlern verlassen werden, wenn die Bestimmungsformel 4 mit einem vorbestimmten Verhältnis von Pixeln zu der Anzahl von Pixeln in dem Bildbereich festgelegt ist, oder alternativ kann eine maximale Abbildungszahl festgelegt werden und die Schleife kann verlassen werden, wenn die maximale Abbildungszahl überschritten wird. So kann das Entfernungsbilderfassungssystem 1 eine Einheit zur Bestimmung der minimalen Abbildungszahl, eine Einheit zur Bestimmung des Erstellungsverhältnisses zur Bestimmung eines Erstellungsverhältnisses der Bestimmungsformel 4 und eine Einheit zur Bestimmung der maximalen Abbildungszahl umfassen. Es ist zum Beispiel vorzuziehen, dass die Benutzerschnittstelle mit einem numerischen Eingabefeld oder ähnlichem versehen ist, damit der Benutzer diese bestimmen kann.
  • Als nächstes wird ein modifiziertes Beispiel für die Bestimmung des Zuverlässigkeitsgrades des Abstandsmessfehlers im zweiten Abstandsbild beschrieben. Im Allgemeinen kann bei normalverteilten Werten der Mittelwert zwar mit hoher Genauigkeit geschätzt werden, wenn die Anzahl der Stichproben erhöht wird, aber es bleibt ein Fehler in Bezug auf den wahren Mittelwert. So wird statistisch die Beziehung des Konfidenzintervalls mit der Fehlermarge ε , der Anzahl der Stichproben n und der Abweichung σ definiert. 6 ist ein Diagramm, das die Beziehung des 95 %-Konfidenzintervalls in der Standardnormalverteilung N(0, 1) zeigt und verdeutlicht, dass 95 % der Fläche (= Wahrscheinlichkeit) im Bereich von -1,96 σ bis +1,96 σ verteilt ist. Wenn also die Abweichung σ der Grundgesamtheit bekannt ist und das Konfidenzintervall 95% beträgt, gilt die Beziehung der folgenden Formel zwischen der Fehlermarge ε und der Anzahl der Stichproben n.
    [Formel 8] ε = 1.96 × σ n
    Figure DE112021000592T5_0008
  • So kann bei der Funktionsmethode die Abbildungszahl N zur Erreichung des Zielfehlers σTG mit einem Zuverlässigkeitsgrad von 95 % aus dem geschätzten Entfernungsmessfehler σ1 im ersten Entfernungsbild durch die folgende Formel ermittelt werden.
    [Formel 9] N = ( 1.96 σ T G ) × σ 1 2
    Figure DE112021000592T5_0009
  • In ähnlicher Weise kann bei der sequentiellen Methode mit der folgenden Formel bestimmt werden, ob die Abbildungszahl n den Zielfehler σTG mit einer Zuverlässigkeit von 95 % erreicht oder nicht.
    [Formel 10] n ( 1.96 σ T G ) 2 × σ n 2
    Figure DE112021000592T5_0010
  • Bei einem Konfidenzintervall von 95 % beträgt der Konfidenzkoeffizient 1,96, bei einem Konfidenzintervall von 90 % beträgt er 1,65 und bei einem Konfidenzintervall von 99 % beträgt er 2,58. Wenn der Konfidenzkoeffizient 1 ist, beträgt das Konfidenzintervall 68,3 %. Somit ist die Abbildungszahl, die durch die oben beschriebene Funktionsmethode und die sequenzielle Methode bestimmt wird, eine Abbildungszahl, bei der der geschätzte Abstandsmessfehler gleich oder kleiner als der Zielfehler σTG bei einem Zuverlässigkeitsgrad von 68,3 % ist.
  • Die Bestimmung mit einem Zuverlässigkeitsgrad, der zum Zielfehler addiert wird, ermöglicht eine intuitivere Bestimmung in Bezug auf die Toleranz, wodurch ein zweites Entfernungsbild mit einem Zuverlässigkeitsgrad erzeugt werden kann, der der Anforderung des Benutzers entspricht. Wiederum Bezug nehmend auf 1 kann das Entfernungsbilderfassungssystem 1 ferner eine Zuverlässigkeitsbezeichnungseinheit 26 zur Bezeichnung eines solchen Zuverlässigkeitsgrades cd umfassen. Der Zuverlässigkeitsgrad cd kann ein Vertrauensintervall ci oder ein Vertrauenskoeffizient cc sein. Beispielsweise ist es vorteilhaft, dass die Benutzerschnittstelle mit einem numerischen Eingabefeld oder ähnlichem versehen ist, damit der Benutzer den Zuverlässigkeitsgrad cd angeben kann.
  • 7 zeigt ein modifiziertes Beispiel für die Konfiguration des Entfernungsbild-Erfassungssystems 1. Im Gegensatz zu dem oben beschriebenen System zur Erfassung von Entfernungsbildern umfasst das System zur Erfassung von Entfernungsbildern 1 keine Host-Rechnervorrichtung 20. Insbesondere sind alle in der Host-Rechnervorrichtung 20 implementierten Bestandteile in der Robotersteuerung 30 enthalten. In diesem Fall gibt die Robotersteuerung 30 einen Bildgebungsbefehl an die Bilderfassungseinheit 10. Eine solche eigenständige Konfiguration ist für ein Robotersystem mit einem Roboter 40 und einer Robotersteuerung 30 geeignet. Darüber hinaus können alle in der Host-Rechnervorrichtung 20 implementierten Funktionen als Teil der Funktionen des Abstandsmesssensors implementiert werden.
  • Die von dem oben beschriebenen Prozessor ausgeführten Programme und die Programme zur Ausführung der oben beschriebenen Flussdiagramme können auf einem computerlesbaren, nicht übertragbaren Aufzeichnungsmedium, wie z. B. einer CD-ROM, aufgezeichnet und bereitgestellt werden, oder sie können drahtgebunden oder drahtlos von einem Servergerät in einem WAN (Wide Area Network) oder LAN (Local Area Network) verteilt und bereitgestellt werden.
  • Gemäß der oben beschriebenen Ausführungsform kann, da die Bildnummer automatisch angepasst wird, eine Bildkompositionstechnologie bereitgestellt werden, die eine stabile Entfernungsmessungsgenauigkeit und eine Verringerung des Zeitaufwands erreicht, selbst wenn sich das Ziel W ändert.
  • Obwohl hier verschiedene Ausführungsformen beschrieben wurden, sollte beachtet werden, dass die Erfindung nicht auf die oben beschriebenen Ausführungsformen beschränkt ist und innerhalb des in den Ansprüchen beschriebenen Umfangs modifiziert werden kann.
  • Bezugszeichenliste
  • 1
    Bildaufnahmesystem für die Entfernung
    10
    Bildaufnahmeeinheit (Entfernungsmesssensor)
    20
    Host-Rechnervorrichtung
    21
    Bildzusammensetzungseinheit
    22
    Bildanzahlbestimmungseinheit
    23
    Zielfehlerbezeichnungseinheit
    24
    Bildbereichsbezeichnungeinheit
    25
    Zielspezifikationseinheit
    26
    Zuverlässigkeitsbezeichnungseinheit
    30
    Robotersteuerung
    31
    Bewegungssteuerungseinheit
    40
    Roboter
    41
    Werkzeug
    50
    Fördereinrichtung
    W
    Ziel
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2012225807 A [0008]
    • JP 2017181488 A [0008]
    • JP 2019057240 A [0008]

Claims (14)

  1. Entfernungsbilderfassungssystem, mit einer Bilderfassungseinheit, die eine Vielzahl von ersten Entfernungsbildern durch mehrfaches Abbilden eines Ziels von der gleichen Abbildungsposition und der gleichen Abbildungsstellung in Bezug auf das Ziel erfasst, und eine Bildzusammensetzungseinheit umfasst, die ein zweites Entfernungsbild durch Zusammensetzen der Vielzahl von ersten Entfernungsbildern erzeugt, wobei das System umfasst: eine Bildanzahlbestimmungseinheit, die einen Entfernungsmessungsfehler in dem zweiten Entfernungsbild schätzt und eine Abbildungsanzahl der ersten Entfernungsbilder bestimmt, so dass der geschätzte Entfernungsmessungsfehler gleich oder kleiner als ein vorbestimmter Zielfehler wird.
  2. Entfernungsbilderfassungssystem nach Anspruch 1, wobei die Bilderfassungseinheit ferner eine Funktion zum Erfassen eines Lichtintensitätsbildes durch Abbilden des Ziels aus der gleichen Abbildungsposition und der gleichen Abbildungsstellung aufweist und die Bildanzahlbestimmungseinheit die Abbildungszahl der ersten Entfernungsbilder auf der Grundlage des Lichtintensitätsbildes bestimmt.
  3. Entfernungsbilderfassungssystem nach Anspruch 2, wobei die Bildanzahlbestimmungseinheit den Entfernungsmessungsfehler aus dem Lichtintensitätsbild auf der Grundlage einer Beziehung zwischen der Lichtintensität und der Entfernungsmessungsänderung schätzt.
  4. Entfernungsbilderfassungssystem nach Anspruch 3, wobei die Bildanzahlbestimmungseinheit den Entfernungsmessfehler in Einheiten von Pixeln in dem Lichtintensitätsbild oder in Einheiten von Pixelbereichen in dem Lichtintensitätsbild schätzt.
  5. Entfernungsbilderfassungssystem nach Anspruch 1, wobei die Bildanzahlbestimmungseinheit jedes Mal, wenn ein erstes Entfernungsbild erfasst wird, sequenziell eine Entfernungsverteilung berechnet und ein Erfassungsende der ersten Entfernungsbilder auf der Grundlage einer Beziehung zwischen der Verteilung und der Bildnummer bestimmt.
  6. Entfernungsbild-Erfassungssystem nach Anspruch 5, wobei die Bildanzahlbestimmungseinheit sequentiell die Verteilung in Einheiten von entsprechenden Pixeln zwischen der Vielzahl von ersten Entfernungsbildern oder in Einheiten von entsprechenden Pixelbereichen zwischen der Vielzahl von ersten Entfernungsbildern berechnet.
  7. Entfernungsbilderfassungssystem nach einem der Ansprüche 1 bis 6, ferner mit einer Bildbereichsbezeichnungseinheit, die einen Bildbereich eines zusammengesetzten Ziels bezeichnet, wobei die Bildanzahlbestimmungseinheit den Entfernungsmessfehler in dem von der Bildbereichsbezeichnungseinheit bezeichneten Bildbereich schätzt.
  8. Entfernungsbilderfassungssystem nach Anspruch 7, das ferner eine Zielspezifizierungseinheit umfasst, die einen Bildbereich spezifiziert, in dem mindestens ein Teil des Ziels erfasst wird, wobei die Bildbereichsbezeichnungseinheit den durch die Zielspezifizierungseinheit spezifizierten Bildbereich als einen Bildbereich des zusammengesetzten Ziels bestimmt.
  9. Entfernungsbilderfassungssystem nach einem der Ansprüche 1 bis 8, ferner mit einer Zuverlässigkeitsbezeichnungseinheit, die einen Zuverlässigkeitsgrad des Entfernungsmessfehlers in dem zweiten Entfernungsbild angibt.
  10. Abstands-Bilderfassungssystem nach einem der Ansprüche 1 bis 9, wobei die Bilderfassungseinheit in einem Roboterspitzenteil oder einem festen Punkt installiert ist.
  11. Entfernungsbilderfassungssystem nach einem der Ansprüche 1 bis 10, wobei die Bilderfassungseinheit ein TOF-Sensor ist.
  12. Entfernungsbilderfassungssystem nach einem der Ansprüche 1 bis 11, ferner umfassend einen Roboter, eine Robotersteuerung, die den Roboter steuert, und eine Host-Rechnervorrichtung, die die Bildzusammensetzungseinheit und die Bildanzahlbestimmungseinheit umfasst, wobei die Robotersteuerung einen Anforderungsbefehl für das zweite Entfernungsbild an die Host-Rechnervorrichtung ausgibt.
  13. Entfernungsbilderfassungssystem nach einem der Ansprüche 1 bis 11, ferner mit einem Roboter und einer Robotersteuerung, die den Roboter steuert, wobei die Bildzusammensetzungseinheit und die Bildanzahlbestimmungseinheit in die Robotersteuerung integriert sind.
  14. Entfernungsbilderfassungssystem nach Anspruch 12 oder 13, wobei die Robotersteuerung die Bewegung des Roboters auf der Grundlage des zweiten Entfernungsbildes korrigiert.
DE112021000592.8T 2020-03-12 2021-03-08 System zur Erfassung von Bildern aus der Entfernung, das die Anzahl der Erfassungen von Bildern einstellt Pending DE112021000592T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-043475 2020-03-12
JP2020043475 2020-03-12
PCT/JP2021/009022 WO2021182405A1 (ja) 2020-03-12 2021-03-08 撮像回数を調整する距離画像撮像システム

Publications (1)

Publication Number Publication Date
DE112021000592T5 true DE112021000592T5 (de) 2022-12-01

Family

ID=77671761

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021000592.8T Pending DE112021000592T5 (de) 2020-03-12 2021-03-08 System zur Erfassung von Bildern aus der Entfernung, das die Anzahl der Erfassungen von Bildern einstellt

Country Status (5)

Country Link
US (1) US20230130830A1 (de)
JP (1) JP7410271B2 (de)
CN (1) CN115280183A (de)
DE (1) DE112021000592T5 (de)
WO (1) WO2021182405A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225807A (ja) 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
JP2017181488A (ja) 2016-03-23 2017-10-05 パナソニックIpマネジメント株式会社 距離画像生成装置、距離画像生成方法及びプログラム
JP2019057240A (ja) 2017-09-22 2019-04-11 株式会社デンソーウェーブ 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001317935A (ja) * 2000-05-09 2001-11-16 Minolta Co Ltd 測距装置
JP4828167B2 (ja) * 2005-06-16 2011-11-30 株式会社 ソキア・トプコン 距離測定装置及びその方法
JP2007155356A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 測距装置および測距方法
JP5190663B2 (ja) * 2007-03-27 2013-04-24 スタンレー電気株式会社 距離画像生成装置
JP5206297B2 (ja) * 2008-10-07 2013-06-12 トヨタ自動車株式会社 光学式測距装置及び方法
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
JP6321145B2 (ja) * 2014-05-02 2018-05-09 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
JP6406449B2 (ja) * 2015-06-24 2018-10-17 株式会社村田製作所 距離センサ
JP2020146773A (ja) * 2019-03-12 2020-09-17 株式会社不二越 ハンドリング装置およびロボット装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225807A (ja) 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法
JP2017181488A (ja) 2016-03-23 2017-10-05 パナソニックIpマネジメント株式会社 距離画像生成装置、距離画像生成方法及びプログラム
JP2019057240A (ja) 2017-09-22 2019-04-11 株式会社デンソーウェーブ 撮像装置

Also Published As

Publication number Publication date
CN115280183A (zh) 2022-11-01
WO2021182405A1 (ja) 2021-09-16
JPWO2021182405A1 (de) 2021-09-16
JP7410271B2 (ja) 2024-01-09
US20230130830A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
DE102005000646B4 (de) Vorrichtung und Verfahren zum Erfassen von sich bewegenden Objekten
DE10081029B4 (de) Bildbearbeitung zur Vorbereitung einer Texturnalyse
DE112010002047B4 (de) Objekterfassungsvorrichtung
DE60307583T2 (de) Auswertung der Schärfe eines Bildes der Iris eines Auges
DE69923119T2 (de) Vorrichtung zur integrierten Verarbeitung von Defektabbildungen
DE4444593C2 (de) Entfernungsmeßvorrichtung
DE102016013274A1 (de) Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten
DE4108288C2 (de)
DE102013210478A1 (de) Geometrische vorkorrektur zur automatischen nummernschilderkennung
DE4106825A1 (de) Belichtungskontrollvorrichtung fuer einzelbild-videokameras
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
DE112008002646T5 (de) Fahrzeuginterne Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
DE102019106398A1 (de) Bildanalysevorrichtung, verfahren und programm
DE102020007045A1 (de) Objektdetektionssystem mit Laufzeitsensor
DE102019205962A1 (de) Verfahren zur Generierung von digitalen Bildpaaren als Trainingsdaten für Neuronale Netze
DE112008003774T5 (de) Strukturmessgerät und Strukturmessverfahren
DE19536691B4 (de) Verfahren und Anordnung zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung
WO2020178198A1 (de) Schätzung der bewegung einer bildposition
DE102020120887B4 (de) Verfahren zum erfassen einer einhängeposition eines auflagestegs und flachbettwerkzeugmaschine
DE112021000592T5 (de) System zur Erfassung von Bildern aus der Entfernung, das die Anzahl der Erfassungen von Bildern einstellt
DE19848243A1 (de) Biegewinkelerfassungssystem
WO2017093227A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE112022001773T5 (de) Systeme und Verfahren zur Bestimmung eines adaptiven Bereichs von Interesse (ROI) für die Berechnung von Bildmetriken
DE102007027958A1 (de) Verfahren zur Optimierung eines stereoskopischen Bildes
DE4038220C2 (de) Verfahren und Anordnung zur Kompensation eines Bildsignals gegenüber Beleuchtungsänderungen

Legal Events

Date Code Title Description
R012 Request for examination validly filed