EP3728995A1 - Verfahren zum bestimmen von entfernungsinformation aus einer abbildung eines raumbereichs - Google Patents

Verfahren zum bestimmen von entfernungsinformation aus einer abbildung eines raumbereichs

Info

Publication number
EP3728995A1
EP3728995A1 EP18829322.9A EP18829322A EP3728995A1 EP 3728995 A1 EP3728995 A1 EP 3728995A1 EP 18829322 A EP18829322 A EP 18829322A EP 3728995 A1 EP3728995 A1 EP 3728995A1
Authority
EP
European Patent Office
Prior art keywords
pixel
image
similarity values
disparity
epipolar line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18829322.9A
Other languages
English (en)
French (fr)
Inventor
Joerg Haussmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pilz GmbH and Co KG
Original Assignee
Pilz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilz GmbH and Co KG filed Critical Pilz GmbH and Co KG
Publication of EP3728995A1 publication Critical patent/EP3728995A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1674Program controls characterised by safety, monitoring, diagnostic
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16PSAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/20Detecting, e.g. by using light barriers using multiple transmitters or receivers
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Definitions

  • the disparity region 56 extends from a pixel 58 respectively corresponding to the pixel 54 in the second and third image along the first and second epipolar lines 50, 52 and is bounded by a maximum disparity 60.
  • the search for possible correspondences is restricted to the defined disparity area 56.
  • each pixel within the disparity area 56 describes a possible discrete disparity.
  • each pixel in the disparity region 56 to the maximum disparity 60 is compared with the reference pixel 54.
  • not only the respective pixels themselves are considered, but also their environment is included. In other words, a so-called block matching method is preferably performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

Verfahren (100) und Vorrichtung (10) zum Bestimmen von Entfernungsinformationen aus einer Abbildung eines Raumbereichs (18). Das Verfahren umfasst die Schritte: Anordnen einer ersten (12), zweiten (14) und dritten bildgebenden Einheit (16) in einer definierten Aufnahmegeometrie (20), bei der die bildgebenden Einheiten (12, 14, 16) ein gleichschenkliges Dreieck aufspannen; Definieren eines Disparitätsbereichs (56) mit einer Anzahl diskreter Disparitäten; Abbilden des Raumbereichs (18), wobei ein erstes Bild (40) mit der ersten bildgebenden Einheit (12), ein zweites Bild (42) mit der zweiten bildgebenden Einheit (14) und ein drittes Bild (44) mit der dritten bildgebenden Einheit (16) aufgenommen wird; Bestimmen von ersten Ähnlichkeitswerten (66) für mindestens ein Pixel (54) des ersten Bilds (40) für alle diskreten Disparitäten in einem definierten Disparitätsbereich (56) entlang einer dem Pixel zugehörigen ersten epipolaren Linie (50) in dem zweiten Bild (42); Bestimmen von zweiten Ähnlichkeitswerten (68) für das zumindest eine Pixel (54) des ersten Bilds (40) für alle diskreten Disparitäten in dem definierten Disparitätsbereich (56) entlang einer dem Pixel (54) zugehörigen zweiten epipolaren Linie (52) in dem dritten Bild (44); Ferner umfasst das Verfahren: Verknüpfen der ersten Ähnlichkeitswerte (66) mit den zweiten Ähnlichkeitswerten (68); Bestimmen einer gemeinsamen Disparität zwischen dem ersten, zweiten und dritten Bild (40, 42, 44) für das zumindest eine Pixel (54) anhand der verknüpften Ähnlichkeitswerte (70), und Bestimmen einer Entfernung zu einem Raumbereichspunkt für das zumindest eine Pixel (54) aus der gemeinsamen Disparität und der definierten Aufnahmegeometrie (20).

Description

Verfahren zum Bestimmen von Entfernunqsinformation aus einer Abbildung eines Raum- bereichs
[0001] Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen von Entfernungsinforma- tionen aus einer Abbildung eines Raumbereichs sowie eine entsprechende Vorrichtung hierfür. Ferner betrifft die Erfindung die Verwendung einer solchen Vorrichtung zum Absichern eines Gefahrenbereiches einer technischen Anlage.
[0002] Es ist bekannt, anhand von zueinander versetzten Aufnahmen eines Raumbereichs
Entfernungsinformationen von Objekten in dem Raumbereich zu bestimmen. Der Versatz (Disparität) zwischen den Projektionen eines Objekts in den versetzten Aufnahmen ist abhängig von der Entfernung des Objekts zu den abbildenden Einheiten, so dass bei ei- nem bekannten Versatz mittels Triangulation unter Heranziehung der Aufnahmegeometrie die Entfernung zu einem Objekt bestimmt werden kann. [0003] Um den Versatz zu bestimmen, müssen in den zueinander versetzten Aufnahmen korrespondierende Elemente gefunden werden. Diesen Vorgang bezeichnet man als Korrespondenzanalyse. Während das Auffinden von korrespondierenden Elementen in verschiedenen Bildern für den Menschen einfach ist, stellt dies für den Computer eine große Herausforderung dar. Prinzipbedingt können daher Zuordnungsfehler auftreten, die schlussendlich zu falsch vermessenen Entfernungen führen.
[0004] Bei Standardstereosystemen, d.h. Systemen, bei denen ein in der Regel mit zwei Senso- ren aufgenommenes Stereobild betrachtet wird, versucht man die Zuordnungsprobleme zwischen dem linken und dem rechten Bild mit aufwendigen Algorithmen zur Korrespon- denzanalyse in den Griff zu bekommen. Trotz aller Anstrengungen können jedoch Zuord- nungsprobleme nicht ganz ausgeschlossen bzw. zuverlässig auf ein tolerierbares Maß reduziert werden. Es ist daher gerade bei kritischen Anwendungen, bei denen eine Entfer- nung zumindest in einem definierten Bereich zuverlässig erkannt werden muss, notwen- dig, ergänzende Maßnahmen zu treffen, um die gemessene Entfernung zu verifizieren.
[0005] Eine Möglichkeit die Zuordnungsqualität zu verbessern, ist das Hinzuziehen eines
weiteren Sensors, mit dessen Hilfe ein weiteres Stereopaar gebildet wird, um eine ergän- zende Entfernungsmessung durchzuführen. Die ermittelten Entfernungswerte beider Stereopaare werden im Anschluss dazu benutzt, die Ergebnisse des jeweils anderen Stereopaars zu überprüfen. Auf diese Weise wird versucht, die Zuordnungsprobleme insgesamt zu verringern. Wenn die ermittelten Entfernungswerte gleich sind, kann ange- nommen werden, dass die Entfernung korrekt ist. Weichen die Ergebnisse jedoch vonei- nander ab, muss in einem aufwendigen Entscheidungsprozess entweder die Vorrangig- keit eines der Ergebnisse ermittelt werden oder aber bestimmt werden, dass beide Ergebnisse zu verwerfen sind. Beides verlangt eine Nachbearbeitung der Ergebnisse, welche die Komplexität der Auswertesoftware deutlich steigert.
[0006] Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren sowie eine ent- sprechende Vorrichtung anzugeben, die eine treffsichere Disparitätsfindung ermöglichen, sich einfach und effizient implementieren lassen und eine aufwendige Nachbearbeitung nicht erforderlich machen. [0007] Gelöst wird diese Aufgabe durch ein Verfahren zum Bestimmen von Entfernungsinforma- tionen aus einer Abbildung eines Raumbereichs, mit den Schritten:
Anordnen einer ersten, zweiten und dritten bildgebenden Einheit in einer definier- ten Aufnahmegeometrie, bei der die bildgebenden Einheiten ein gleichschenkliges Dreieck aufspannen;
Definieren eines Disparitätsbereichs mit einer Anzahl diskreter Disparitäten;
Abbilden des Raumbereichs, wobei ein erstes Bild mit der ersten bildgebenden Einheit, ein zweites Bild mit der zweiten bildgebenden Einheit und ein drittes Bild mit der dritten bildgebenden Einheit aufgenommen wird;
Bestimmen von ersten Ähnlichkeitswerten für mindestens ein Pixel des ersten Bilds für alle diskreten Disparitäten in einem definierten Disparitätsbereich entlang einer dem Pixel zugehörigen ersten epipolaren Linie in dem zweiten Bild;
Bestimmen von zweiten Ähnlichkeitswerten für das zumindest eine Pixel des ersten Bilds für alle diskreten Disparitäten in dem definierten Disparitätsbereich entlang einer dem Pixel zugehörigen zweiten epipolaren Linie in dem dritten Bild;
Verknüpfen der ersten Ähnlichkeitswerte mit den zweiten Ähnlichkeitswerten;
Bestimmen einer gemeinsamen Disparität zwischen dem ersten, zweiten und dritten Bild für das zumindest eine Pixel anhand der verknüpften Ähnlichkeitswerte; und
Bestimmen einer Entfernung zu einem Raumbereichspunkt für das zumindest eine Pixel aus der gemeinsamen Disparität und der definierten Aufnahmegeometrie.
[0008] Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird die Aufgabe durch eine
Vorrichtung zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs gelöst, umfassend eine erste bildgebende Einheit zum Aufnehmen eines ersten Bilds des Raumbereichs, eine zweite bildgebende Einheit zum Aufnehmen eines zweiten Bilds des Raumbereichs und eine dritte bildgebende Einheit zum Aufnehmen eines dritten Bilds des Raumbereichs, wobei die erste, zweite und dritte bildgebende Ein- heit in einer definierten Aufnahmegeometrie angeordnet sind, bei der die bildgebenden Einheiten ein gleichschenkliges Dreieck aufspannen, sowie eine Bildverarbeitungseinheit, die dazu eingerichtet ist, innerhalb eines definierten Disparitätsbereichs mit einer Anzahl diskreter Disparitäten erste und zweite Ähnlichkeitswerte für zumindest ein Pixel des ers- ten Bilds zu bestimmen, wobei die Bildverarbeitungseinheit dazu eingerichtet ist, die ers- ten Ähnlichkeitswerte für das zumindest eine Pixel für alle diskreten Disparitäten in dem definierten Disparitätsbereich entlang einer dem Pixel zugehörigen ersten epipolaren Linie in dem zweiten Bild zu bestimmen und die zweiten Ähnlichkeitswerte für das zumindest eine Pixel für alle diskreten Disparitäten in dem definierten Disparitätsbereich entlang ei- ner dem Pixel zugehörigen zweiten epipolaren Linie in dem dritten Bild zu bestimmen, wo bei die Bildverarbeitungseinheit ferner dazu eingerichtet ist, die ersten Ähnlichkeitswerte mit den zweiten Ähnlichkeitswerten zu verknüpfen, eine gemeinsame Disparität für das zumindest eine Pixel zwischen dem ersten, zweiten und dritten Bild anhand der verknüpf- ten Ähnlichkeitswerte zu bestimmen, sowie eine Entfernung zu einem Raumbereichspunkt für das zumindest eine Pixel aus der gemeinsamen Disparität und der definierten Auf- nahmegeometrie zu ermitteln.
[0009] Es ist somit eine Idee der vorliegenden Erfindung, Entfernungsinformationen für einen
Raumbereich anhand drei bildgebender Einheiten zu bestimmen. Anstelle jedoch zwei Stereokorrespondenzanalysen für zwei realisierbare Stereopaare durchzuführen, wird eine erweiterte Korrespondenzanalyse durchgeführt, bei der vorab die in Frage kommen- den Ähnlichkeitsmaße aus den Bildpaaren miteinander verknüpft und gemeinsam ausge- wertet werden. Es werden somit nicht zwei Entfernungsmessungen durchgeführt, deren Ergebnisse im Anschluss fusioniert und verglichen werden, sondern nur eine Entfer- nungsmessung, welche jedoch die Information der bildgebenden Einheiten kombiniert und gleichermaßen berücksichtigt.
[0010] Dies ist aufgrund einer geeigneten Epipolargeometrie möglich. Die bildgebenden
Einheiten sind hierzu in einer definierten Aufnahmegeometrie angeordnet, bei der zwei benachbarte bildgebende Einheiten je ein Bildpaar in Epipolargeometrie erzeugen und gleiche Objektentfernungen in allen Bildpaaren zu denselben Disparitäten führen. Insbe- sondere sind die Abstände (Basisweiten) zwischen der ersten und der zweiten sowie zwischen der ersten und der dritten bildgebenden Einheit gleich groß, sodass die bildge- benden Einheiten ein gleichschenkliges (im Spezialfall gleichseitiges) Dreieck aufspan- nen. Die aufgenommenen Bilder stehen dann in einem Verhältnis zueinander, welches eine einfache Verknüpfung der Informationen aller bildgebenden Einheiten ermöglicht. Mit anderen Worten wird bereits bei der Korrespondenzanalyse auf einen vergrößerten Informationsraum zurückgegriffen, der sich aus einer Verknüpfung der Ähnlichkeitsmaße der einzelnen Bildpaare ergibt.
[0011] Wie bei bekannten Verfahren mit drei bildgebenden Einheiten werden zumindest zwei
Datensätze mit Ähnlichkeitswerten für zwei Stereobildpaare erzeugt. Anschließend erfolgt eine Disparitätsfindung jedoch nicht separat für jeden einzelnen Datensatz, sondern innerhalb einer Verknüpfung beider Datensätze. Die Verknüpfung selbst kann dabei auf- grund der geeigneten Epipolargeometrie, welche aus der speziellen Aufnahmegeometrie hervorgeht, auf einfache Weise mittels einer einfachen arithmetischen Operation erfolgen.
[0012] Durch die zusätzliche Verknüpfung der Ähnlichkeitswerte vor der Korrespondenzanalyse wird ein zusätzlicher Verknüpfungsschritt und damit ein weiterer Rechenschritt für die Korrespondenzanalyse benötigt. Es hat sich jedoch gezeigt, dass der zusätzliche Ver- knüpfungsschritt einfacher implementiert werden kann als eine komplexe Nachbereitung. Da es sich bei der Verknüpfung vorzugsweise um eine einfache Operation handelt, die auf alle Ähnlichkeitswerte gleichmäßig angewandt wird, lässt sich dieser zusätzliche Rechenschritt einfacher rechentechnisch umsetzen als eine Nachbearbeitung zweier separat ermittelter Entfernungsinformationen mit einer Vielzahl von Vergleichs- und Entscheidungsschritten. Die Implementierung kann so insgesamt vereinfacht werden.
[0013] Das neue Verfahren ermöglicht somit eine gute Zuordnungsqualität bei überschaubarer
Komplexität. Die eingangs genannte Aufgabe ist damit vollständig gelöst. [0014] In einer bevorzugten Ausgestaltung spannen die bildgebenden Einheiten in der definierten Aufnahmegeometrie ein gleichschenkliges, rechtwinkliges Dreieck auf.
[0015] Die Anordnung in einem rechtwinkligen Dreieck, wobei eine bildgebende Einheit in der
Spitze des Dreiecks und die beiden weiteren bildgebenden Einheiten am Ende der gleich langen Schenkel angeordnet sind, ist besonders vorteilhaft, da sich die Verknüpfung der Ähnlichkeitswerte bei dieser Anordnung weiter vereinfachen lässt. Eine erweiterte Korres- pondenzanalyse kann dann besonders einfach realisiert werden, da die Epipolarlinien senkrecht zueinander verlaufen und vorzugsweise auch senkrecht zu den jeweiligen Bildkanten sind.
[0016] In einer weiteren Ausgestaltung werden die ersten Ähnlichkeitswerte gebildet, indem das zumindest eine Pixel des ersten Bilds und dessen Umgebung mit jedem Pixel und dessen Umgebung innerhalb des definierten Disparitätsbereichs entlang der ersten epipolaren Linie in dem zweiten Bild verglichen wird, und wobei die zweiten Ähnlichkeitswerte gebildet werden, indem das zumindest eine Pixel des ersten Bilds und dessen Umgebung mit jedem Pixel in dessen Umgebung innerhalb des definierten Disparitätsbereichs entlang der zweiten epipolaren Linie im dritten Bild verglichen wird.
[0017] In dieser Ausgestaltung wird eine lokale Aggregation zur Bestimmung der Ähnlichkeits- werte durchgeführt. Auf diese Weise wird eine zuverlässige Korrespondenzanalyse möglich, wobei sich die resultierenden Ähnlichkeitswerte einfach verknüpfen lassen. Besonders bevorzugt wird zum Vergleich des zumindest einen Pixels und dessen Umge- bung mit jedem Pixel und dessen Umgebung entlang der ersten und zweiten epipolaren Linie die Summe absoluter oder quadratischer Differenzen gebildet.
[0018] In einer weiteren Ausgestaltung werden die ersten Ähnlichkeitswerte mit den zweiten
Ähnlichkeitswerten addiert.
[0019] In dieser Ausgestaltung erfolgt die Verknüpfung durch einfaches Addieren der ersten und zweiten Ähnlichkeitswerte. Mit anderen Worten werden die Ähnlichkeitswerte, die in einem definierten Disparitätsbereich für eine definierte Anzahl von diskreten Disparitäten für einen Pixel aus dem ersten Bild in Bezug auf das zweite Bild ermittelt worden sind, jeweils mit den Werten addiert, die für die gleichen Disparitäten für ein Pixel in Bezug auf das dritte Bild bestimmt worden sind. Die Addition ist eine einfache arithmetische Operati- on, die schnell und ressourcenschonend implementiert werden kann. Die Ausgestaltung trägt somit zu einer besonders effizienten Implementierung des Verfahrens bei.
[0020] In einer weiteren Ausgestaltung umfasst das Bestimmen der gemeinsamen Disparität für das zumindest eine Pixel eine Extremwertsuche in den verknüpften Ähnlichkeitswerten, insbesondere eine Suche nach einem Minimum.
[0021] In dieser Ausgestaltung erfolgt die Bestimmung der Disparität anhand einer
Extremwertsuche innerhalb der verknüpften Ähnlichkeitswerte. Es kann somit für die Bestimmung der Disparität aus den verknüpften Ähnlichkeitswerten auf dieselbe Vorge- hensweise zurückgegriffen werden, die auch bei bekannten Stereokorrespondenzanaly- sen angewandt wird. Die Implementierung des neuen Verfahrens kann so besonders einfach erfolgen, da auf bestehende Algorithmen zurückgegriffen werden kann.
[0022] In einer weiteren Ausgestaltung werden das erste, zweite und dritte Bild so zueinander transformiert, dass sich die erste epipolare Linie entlang einer ersten Achse und die zweite epipolare Linie entlang einer zweiten zur ersten epipolaren Linie senkrechten Achse erstreckt.
[0023] In dieser Ausgestaltung wird die mit der definierten Aufnahmegeometrie bevorzugte
Ausrichtung der Bilder zueinander weiter optimiert. Besonders bevorzugt weist das erste, zweite und dritte Bild je eine gleiche Anzahl an Pixelzeilen und eine gleiche Anzahl an Pixelspalten auf, wobei sich die erste epipolare Linie entlang einer Pixelzeile im zweiten Bild erstreckt, die mit der Pixelzeile des ersten Bilds korrespondiert, in der sich das zumindest eine Pixel befindet, und wobei sich die zweite epipolare Linie entlang einer Pixelspalte im dritten Bild erstreckt, die mit der Pixelspalte des ersten Bilds korrespon- diert, in der sich der zumindest eine Pixel befindet. In dieser Ausgestaltung können die Bilder vorteilhaft zeilen- und spaltenweise verarbeitet werden, wodurch eine einfache und effiziente Bildverarbeitung möglich ist. [0024] In einer weiteren Ausgestaltung wird für alle Pixel des ersten Bilds je eine gemeinsame Disparität bestimmt. Alternativ kann eine gemeinsame Disparität auch nur für eine defi nierte Anzahl an Pixeln des ersten Bilds bestimmt werden. Während die eine Ausgestal- tung die größtmögliche Auflösung einer Tiefenkarte ermöglicht, kann in der anderen Ausgestaltung die Tiefenwertbestimmung auf nur relevante Bereiche eines Bilds einge- grenzt werden, wodurch eine schnellere Berechnung von nur relevanten Bereichen möglich ist.
[0025] In einer weiteren Ausgestaltung umfasst das Verfahren ferner, das Bestimmen von dritten
Ähnlichkeitswerten für mindestens ein weiteres Pixel des zweiten Bilds für alle diskreten Disparitäten in einem definierten Disparitätsbereich entlang einer dem weiteren Pixel zugehörigen ersten epipolaren Linie in dem ersten Bild, das Bestimmen von vierten Ähnlichkeitswerten für das zumindest eine weitere Pixel des zweiten Bilds für alle diskre- ten Disparitäten in dem definierten Disparitätsbereich entlang einer dem weiteren Pixel zugehörigen zweiten epipolaren Linie in dem dritten Bild sowie das Bestimmen einer weiteren Entfernungsinformation aus den dritten und vierten Ähnlichkeitswerten.
[0026] In dieser Ausgestaltung wird somit mindestens eine weitere Entfernungsinformation
ermittelt, indem eines der anderen beiden Bilder als Referenzbild herangezogen wird, wobei ausgehend von dem neuen Referenzbild dritte und vierte Ähnlichkeitswerte ermit- telt und zur Bestimmung einer weiteren Entfernungsinformation verwendet werden. Das Bestimmen der weiteren Entfernungsinformation kann ebenfalls eine Verknüpfung der dritten und vierten Ähnlichkeitswerte und das Bestimmen einer weiteren gemeinsamen Disparität beinhalten. Alternativ kann aus den dritten und vierten Ähnlichkeitswerten die weitere Entfernungsinformation auch auf herkömmliche Weise bestimmt werden. So können nicht nur redundante Entfernungsinformationen bestimmt werden, sondern auch die Diversität des Verfahrens gesteigert werden. Insgesamt ermöglicht die Ausgestaltung, dass die Plausibilität der ermittelten Entfernungsinformationen auf einfache Weise über- prüft werden kann. Es versteht sich, dass eine weitere Steigerung der Qualität dadurch erreicht werden kann, dass jedes der Bilder der ersten, zweiten und dritten bildgebenden Einheit als Referenzbild herangezogen wird. [0027] Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rah- men der vorliegenden Erfindung zu verlassen.
[0028] Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels der neuen Vorrichtung,
Fig. 2 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung in einer perspekti- vischen Darstellung,
Fig. 3 ein Blockdiagramm eines Ausführungsbeispiels des neuen Verfahrens,
Fig. 4 eine schematische Darstellung von drei Abbildungen der ersten, zweiten und
dritten bildgebenden Einheit,
Fig. 5 erste und zweite Ähnlichkeitswerte in einer Diagrammdarstellung,
Fig. 6 verknüpfte Ähnlichkeitswerte in einer Diagrammdarstellung, und
Fig. 7 ein mögliches Anwendungsszenario eines Ausführungsbeispiels der neuen
Vorrichtung und des neuen Verfahrens.
[0029] In der Fig. 1 ist ein Ausführungsbeispiel der neuen Vorrichtung in seiner Gesamtheit mit der Bezugsziffer 10 bezeichnet.
[0030] Die Vorrichtung 10 umfasst in diesem Ausführungsbeispiel drei bildgebende Einheiten 12,
14, 16, die dazu ausgebildet sind, je ein Bild eines vor den Einheiten liegenden Raumbe- reichs 18 aufzunehmen. Die bildgebenden Einheiten 12, 14, 16 sind vorzugsweise digitale Kameraeinheiten mit je einer Optik, die den Raumbereich 18 auf einen Bildsensor der Kameraeinheit abbildet. Jeder Raumpunkt im Raumbereich 18 wird dabei eindeutig einem Pixel des Bildsensors zugeordnet. Die bildgebenden Einheiten 12, 14, 16 können kom- plette, eigenständige funktionsfähige Kameras sein, oder aber eine kombinierte Einheit, bei der einzelne Teile der bildgebenden Einheiten gemeinsam genutzt werden, so dass es sich dann im Wesentlichen um drei getrennte Bildsensoren, ggf. mit jeweils zugehöriger Optik, handelt.
[0031] Die drei bildgebenden Einheiten 12, 14, 16 sind in einer definierten Aufnahmegeometrie
20 angeordnet, die hier durch die gestrichelten Linien dargestellt ist. In der definierten Aufnahmegeometrie 20 bildet eine der bildgebenden Einheiten 12 eine zentrale Einheit, von der die anderen beiden bildgebenden Einheiten 14, 16 in einem gleichen Abstand angeordnet sind. Die bildgebenden Einheiten 12, 14, 16 spannen somit ein gleichschenk- liges Dreieck auf, wobei die bildgebenden Einheiten die Eckpunkte dieses Dreiecks bilden.
[0032] Besonders bevorzugt spannen die bildgebenden Einheiten 12, 14, 16 ein rechtwinkliges, gleichschenkliges Dreieck auf. Die zentralen bildgebenden Einheit 12 sitzt in der Spitze und die beiden weiteren bildgebenden Einheiten 14, 16 sind in den jeweils verbleibenden Ecken des Dreiecks angeordnet. Die Schenkel des Dreiecks schließen einen Winkel von 90° ein.
[0033] Aus den zueinander versetzten Aufnahmen des Raumbereichs 18, die von den
bildgebenden Einheiten 12, 14, 16 bereitgestellt werden, können Entfernungsinformatio- nen von Objekten 22, 24 in dem Raumbereich 18 bestimmt werden, da der Versatz zwischen den Projektionen der Objekte 22, 24 in den versetzten Aufnahmen abhängig von der Entfernung der Objekte 22, 24 zu den bildgebenden Einheiten 12, 14, 16 ist. Mittels Triangulation kann unter Heranziehung der Aufnahmegeometrie 20 aus dem bekannten Versatz die Entfernung zu den Objekten 22, 24 bestimmt werden. Neben der reinen Entfernung zu einem Objekt 22, 24 kann darüber hinaus auch ohne weitere Sensoren die relative Position der Objekte 22, 24 zueinander bestimmt werden [0034] Die Verarbeitung der Aufnahmen der bildgebenden Einheiten 12, 14, 16 erfolgt in dem hier dargestellten Ausführungsbeispiel durch eine Bildverarbeitungseinheit 26. Die Bild verarbeitungseinheit 26 ermittelt aus den Aufnahmen die Entfernungsinformationen zu den einzelnen Objekten 22, 24, die sich im Raumbereich 18 befinden. Hierfür bildet die Bildverarbeitungseinheit 26 aus den Aufnahmen der drei bildgebenden Einheiten 12, 14, 16 mindestens zwei Bildpaare und ermittelt für jedes Paar einen Satz Ähnlichkeitswerte. Aufgrund der speziellen Anordnung der bildgebenden Einheiten 12, 14, 16 können die Ähnlichkeitswerte der Bildpaare unmittelbar miteinander verknüpft werden, wodurch eine gemeinsame Auswertung der Ähnlichkeitswerte möglich ist, die im Folgenden noch näher erläutert wird.
[0035] Die gemeinsame Auswertung der Ähnlichkeitswerte ermöglicht eine treffsichere Dispari- tätsfindung, wobei eine aufwendige Nachbearbeitung entfallen kann. Das Verfahren ist somit im Wesentlichen ein einstufiges Verfahren, wobei eine erweiterte Korrespon- denzanalyse, welche die Informationen mehrerer Sensoren berücksichtigen kann, einge- setzt wird. Gegenüber einem zweistufigen Verfahren mit zweifacher Entfernungsbestim- mung und anschließender Plausibilitätskontrolle kann die softwaretechnische Implemen- tierung vereinfacht werden, wodurch insbesondere die Portierbarkeit auf Architekturen erleichtert wird, die für eine lineare Abarbeitung ohne viele Kontrollstrukturen ausgelegt sind, wie beispielsweise ein FPGA.
[0036] Die Bildverarbeitungseinheit 26 ist daher in einer bevorzugten Ausgestaltung als FPGA ausgebildet und zusammen mit den bildgebenden Einheiten 12, 14, 16 in einem Gehäuse 28 integriert. Es versteht sich, dass die Bildverarbeitungseinheit 26 in einem anderen Ausführungsbeispiel auch außerhalb des Gehäuses 28 als separate Einheit angeordnet sein kann.
[0037] Fig. 2 zeigt ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung in einer
perspektivischen Darstellung, insbesondere die Integration der drei bildgebenden Einhei- ten 12, 14, 16 und ggf. der Bildverarbeitungseinheit 26 in einem gemeinsamen Gehäuse 28. Gleiche Bezugszeichen bezeichnen hier gleiche Teile wie zuvor in Bezug auf Fig. 1. [0038] Die Vorrichtung 10 ist in einem Gehäuse 28 integriert und hier über ein Montageteil 30 an einer Wand, einem Mast oder dergleichen montierbar. Eine Grundfläche 32 der Vorrich- tung, die dem überwachenden Raumbereich (hier nicht dargestellt) zugewandt ist, weist drei Öffnungen 34a, 34b, 34c auf, hinter denen die drei bildgebenden Einheiten 12, 14, 16 innerhalb des Gehäuses 28 platziert sind. Die Optiken der bildgebenden Einheiten 12, 14, 16 befinden sich unmittelbar hinter den zentralen Eintrittsöffnungen 36a, 36b, 36c.
[0039] Die Verbindungslinien 38 durch die Eintrittsöffnungen 36 bilden ein gleichschenkliges
Dreieck in der Grundfläche 32, welches die definierte Aufnahmegeometrie 20 darstellt.
Der Abstand von der ersten bildgebenden Einheit 12 zur zweiten bildgebenden Einheit 14 ist somit gleich dem Abstand der ersten bildgebenden Einheit 12 zur dritten bildgebenden Einheit 16. Vorzugsweise ist, wie hier dargestellt, die definierte Aufnahmegeometrie 20 zudem ein rechtwinkliges, gleichschenkliges Dreieck, d.h. der Winkel, den die Geraden im Punkt der Austrittsöffnung 36a einschließen, ist ein 90°-Winkel.
[0040] Fig. 3 zeigt ein Blockdiagramm eines Ausführungsbeispiels des neuen Verfahrens. Das
Verfahren ist in seiner Gesamtheit hier mit der Bezugsziffer 100 bezeichnet.
[0041] In einem ersten Schritt 102 werden eine erste, zweite und dritte bildgebende Einheit in einer definierten Aufnahmegeometrie angeordnet, bei der die bildgebenden Einheiten ein gleichschenkliges Dreieck aufspannen. Dieser Schritt kann zusätzlich eine Kalibrierung der bildgebenden Einheiten beinhalten.
[0042] In einem nächsten Schritt 104 wird ein Disparitätsbereich mit einer Anzahl diskreter
Disparitäten bestimmt. Der Disparitätsbereich gibt den Bereich möglicher Disparitäten zwischen zwei Bildpaaren an. Der Disparitätsbereich kann durch eine minimale und eine maximale Disparität angegeben werden, wobei die diskreten Disparitäten entsprechende Zwischenwerte mit einem definierten Abstand zueinander sind. Wenn beispielsweise die minimale Disparität null ist und die maximale Disparität zehn Pixel, umfasst der Dispari- tätsbereich bei einem bevorzugten definierten Abstand von einem Pixel alle Pixel zwi- schen der minimalen und maximalen Disparität. [0043] I m Schritt 106 wird der Raumbereich abgebildet, wobei ein erstes Bild mit der ersten bildgebenden Einheit, ein zweites Bild mit der zweiten bildgebenden Einheit und ein drittes Bild mit der dritten bildgebenden Einheit aufgenommen wird. Beim Abbilden wird jeder Punkt im Raumbereich eindeutig einem Pixel der Bildsensoren der ersten, zweiten und dritten bildgebenden Einheit zugeordnet. Es liegen somit zu einem definierten Zeit- punkt drei zueinander versetzte Einzelbilder des Raumbereichs vor. Der Schritt kann zusätzlich eine Rektifizierung der Aufnahmen beinhalten.
[0044] Im Schritt 108 werden erste Ähnlichkeitswerte für einen Pixel des ersten Bilds für alle diskreten Disparitäten im definierten Disparitätsbereich entlang einer dem Pixel zugehöri- gen ersten epipolaren Linie in dem zweiten Bild bestimmt. In diesem Schritt findet somit ein Vergleich zwischen dem ersten und dem zweiten Bild statt. Es wird dabei die Ähnlich- keit eines Pixels in Bezug auf dasselbe Pixel im zweiten Bild sowie alle weiteren Pixel ausgehend von demselben Pixel im gesamten Disparitätsbereich bestimmt. Aufgrund der Epipolargeometrie kann ein korrespondierendes Pixel nur entlang der epipolaren Linie auftreten, so dass sich die Suche auf diesen Bereich beschränkt. Die ersten Ähnlichkeits- werte enthalten für einen Bezugspixel im ersten Bild für alle diskreten Disparitäten einen Ähnlichkeitswert, der die Ähnlichkeit des Bezugspixels mit dem jeweiligen Pixel im zwei- ten Bild im Abstand der diskreten Disparität beschreibt.
[0045] Mit anderen Worten wird zunächst die Ähnlichkeit des Pixels des ersten Bilds mit dem korrespondierenden Pixel des zweiten Bilds bestimmt. Anschließend wird die Ähnlichkeit des ersten Pixels mit dem benachbarten Pixel des korrespondierenden Pixels bestimmt. Dieser Vorgang wird fortgesetzt, bis für alle diskreten Disparitäten bis zur maximal mögli- chen Disparität Ähnlichkeitswerte bestimmt worden sind.
[0046] Bevorzugt werden beim Bestimmen der Ähnlichkeitswerte nicht nur die einzelnen Pixel miteinander verglichen, um deren Ähnlichkeit zu bestimmen, sondern jeweils die nähere Umgebung des Pixels betrachtet. Es handelt sich somit bevorzugt um ein klassisches Blockmatching-Verfahren, bei dem für jede mögliche Disparität beispielsweise in 7x7- Fenstern zwischen dem ersten Bild und dem zweiten Bild die Summe der absoluten (SAD-Werte) oder quadratische (SSD-Werte) Differenzen berechnet werden. Diese Werte sind ein Maß für die Ähnlichkeit der betrachteten Fensterausschnitte. Je ähnlicher sich die Fensterausschnitte sind, umso kleiner ist der Ähnlichkeitswert. Der kleinste mögliche
Ähnlichkeitswert ist in diesem Fall null und repräsentiert identische Fensterausschnitte.
[0047] Im Schritt 110 werden zweite Ähnlichkeitswerte bestimmt, indem der Vorgang gemäß
Schritt 108 auf das weitere Bildpaar angewandt wird. Die Ähnlichkeitswerte sind somit beispielsweise ebenfalls SAD- oder SSD-Werte, die für jede mögliche Disparität zwischen dem ersten Bild und dem dritten Bild berechnet werden. Die zweiten Ähnlichkeitswerte können nach den ersten Ähnlichkeitswerten bestimmt werden, oder aber parallel mit diesen.
[0048] Sind die ersten und zweiten Ähnlichkeitswerte bestimmt, werden diese im Schritt 112 geeignet miteinander verknüpft. Hierbei kann es sich um eine einfache arithmetische Operation handeln, die auf die ersten und zweiten Ähnlichkeitswerte derselben Disparität angewandt wird. Vorzugsweise werden die korrespondierenden Ähnlichkeitswerte addiert, um verknüpfte Ähnlichkeitswerte zu erhalten. Es versteht sich, dass normalerweise nicht ganzzahlige Disparitäten verwendet werden, sondern Subpixeldisparitäten herangezogen werden.
[0049] Nach der Verknüpfung der Ähnlichkeitswerte erfolgt die Disparitätsfindung. Die
Disparitätsfindung umfasst die Suche nach einem Minimum in den verknüpften Ähnlich- keitswerten. Da es einen oder mehrere kleinste Werte geben kann, wird vorzugsweise nicht nur der kleinste Wert gesucht, sondern die Stelle, an der ein eindeutiges Minimum vorliegt. Zum Auffinden einer solchen Stelle kann bspw. ein Schwellwert relativ zum kleinsten Wert verwendet werden. Ist der kleinste Wert 1000 und die Schwelle 20 %, werden alle Werte unter 1200 ermittelt. Hierbei dürfen auch zwei Werte unter dieser Schwelle liegen, sofern diese nebeneinanderliegen. Kann diese Bedingung nicht erfüllt werden, ist keine Zuordnung möglich.
[0050] Da die Ähnlichkeitswerte des ersten und des zweiten und des ersten und des dritten Bilds aufgrund der definierten Aufnahmegeometrie bei gleichen Objektentfernungen zu densel- ben Disparitäten führen sollten, wird im Schritt 114 anhand der verknüpften Ähnlichkeits- werte folglich eine gemeinsame Disparität zwischen dem ersten, zweiten und dritten Bild für das zumindest eine Pixel bestimmt.
[0051] Im Schritt 116 erfolgt anschließend die Entfernungsbestimmung für das zumindest eine
Pixel anhand der gemeinsamen Disparität. Hierbei wird mittels Triangulation aus der bekannten Aufnahmegeometrie sowie der gemeinsamen Disparität in an sich bekannter Weise die Entfernung berechnet.
[0052] Es versteht sich, dass das vorstehend aufgeführte Verfahren nicht nur für ein einzelnes
Pixel des Bilds angewandt werden kann, sondern für jedes Pixel eine entsprechende Entfernungsinformation bestimmt werden kann. Darüber hinaus ist es denkbar, dass eine Entfernungsinformation auch nur für einen definierten Pixelbereich des ersten Bilds bestimmt wird, um die Auswertung auf einen relevanten Bereich zu beschränken.
[0053] Die Schritte 108 bis 1 16 werden folglich für jeden weiteren bzw. jeden weiteren relevanten
Pixel des ersten Bilds wiederholt, bis für alle relevanten Pixel eine entsprechende Entfer- nungsinformation bestimmt worden ist.
[0054] Es versteht sich, dass das Verfahren neben den hier dargestellten Schritten weitere Vor- und Nachbereitungsschritte umfassen kann. Ebenso müssen die Schritte nicht sequenziell ausgeführt werden. In bevorzugten Ausführungsbeispielen werden einige Schritte, wie beispielsweise das Bestimmen der ersten und zweiten Ähnlichkeitswerte, parallel ausge- führt. Darüber hinaus ist es denkbar, dass nicht Einzelbilder aufgenommen werden, sondern auch kontinuierliche Bildfolgen berücksichtigt werden, aus denen konkrete Einzelbilder extrahiert werden.
[0055] In Fig. 4 ist exemplarisch ein erstes, zweites und drittes Bild 40, 42, 44 dargestellt. Das erste Bild 40 entspricht einer Aufnahme der ersten bildgebenden Einheit 12, das zweite Bild 42 entspricht einer zeitgleichen Aufnahme mit der zweiten bildgebenden Einheit 14 und das dritte Bild 44 entspricht einer weiteren zeitgleichen Aufnahme mit der dritten bildgebenden Einheit 16. Alle drei Bilder zeigen eine Aufnahme desselben Raumbereichs, in dem ein Objekt angeordnet ist, das hier exemplarisch durch die drei Schrägstrichte„III“ angedeutet ist.
[0056] Jedes Bild 40, 42, 44 entspricht einer Pixelmatrix mit einer Vielzahl von Pixelzeilen 46 und einer Vielzahl von Pixelspalten 48. In dem hier dargestellten bevorzugten Ausführungs- beispiel haben die Bildsensoren der bildgebenden Einheiten 12, 14, 16 dieselbe Auflö- sung und eine identische Einteilung in Pixelspalten und -zeilen. Das erste, zweite und drit- te Bild 40, 42, 44 haben somit eine gleiche Anzahl an Pixelzeilen 46 und Pixelspalten 48.
[0057] Jeder Punkt des Raumbereichs ist einem Pixel der Pixelmatrix zugeordnet und
unverdeckte Raumbereichspunkte werden auf der Pixelmatrix abgebildet. Da die bildge benden Einheiten zueinander versetzt sind, kann derselbe Punkt des Raumbereichs auf dem ersten, zweiten und dritten Bild 40, 42, 44 auf unterschiedliche Pixel der jeweiligen Pixelmatrix abgebildet werden.
[0058] Mit den Bezugsziffern 50 und 52 sind hier epipolare Linien bezeichnet, die sich aufgrund der definierten Aufnahmegeometrie ergeben. Zusätzlich zu der physikalischen Ausrich- tung der drei bildgebenden Einheiten können dabei weitere Kalibrierungsschritte notwen- dig sein, insbesondere eine Rektifizierung der Aufnahme, um die gewünschte Epipolar- geometrie zu erhalten. In dem bevorzugten Ausführungsbeispiel verläuft nach der Aus- richtung die erste epipolare Linie 50 senkrecht zur zweiten epipolaren Linie 52.
[0059] Die Aufgabe der Korrespondenzanalyse ist es, für die Pixel des ersten Bilds 40
entsprechende Korrespondenzen in dem zweiten und dritten Bild 42, 44 zu finden, um daraus anschließend die Disparität von abgebildeten Objekten in den Bildern zu bestim- men. Exemplarisch wird dies im Folgenden anhand des Pixels 54 des ersten Bilds 40 gezeigt.
[0060] Eine Korrespondenz zum Pixel 54 muss aufgrund der Epipolargeometrie im zweiten Bild
42 auf der epipolaren Linie 50 liegen. Ebenso muss eine Korrespondenz zu dem Pixel 54 im dritten Bild 44 auf der zweiten epipolaren Linie 52 liegen. Betrachtet werden dabei vorzugsweise nicht alle Pixel entlang der epipolaren Linie 50, 52, sondern nur diejenigen innerhalb eines definierten Disparitätsbereichs 56.
[0061] Der Disparitätsbereich 56 erstreckt sich hier von einem dem Pixel 54 in dem zweiten und dritten Bild jeweils korrespondierenden Pixel 58 entlang der ersten bzw. zweiten epipola- ren Linie 50, 52 und wird von einer maximalen Disparität 60 begrenzt. Die Suche nach möglichen Korrespondenzen wird auf den definierten Disparitätsbereich 56 beschränkt. In dem hier dargestellten bevorzugten Ausführungsbeispiel beschreibt jeder Pixel innerhalb des Disparitätsbereichs 56 eine mögliche diskrete Disparität. Für die Suche nach Korres- pondenzen wird demnach ausgehend von dem korrespondierenden Pixel 58 entlang der ersten bzw. zweiten epipolaren Linie 50, 52 jedes Pixel im Disparitätsbereich 56 bis zur maximalen Disparität 60 mit dem Bezugspixel 54 verglichen. Vorzugsweise werden nicht nur die jeweiligen Pixel selbst betrachtet, sondern auch deren Umgebung mit einbezogen. Mit anderen Worten wird bevorzugt ein sog. Blockmatching-Verfahren durchgeführt.
[0062] Aus dem hier dargestellten Beispiel wird ersichtlich, dass beim Vergleichen des ersten
Bilds 40 mit dem zweiten Bild 42 für den Pixel 54 drei Pixel 62a, 62b, 62c innerhalb des Disparitätsbereichs 56 dieselben Ähnlichkeitsmaße liefern. Die Suche innerhalb des Disparitätsbereichs 56 nach Korrespondenzen ist in diesem Fall somit nicht eindeutig.
[0063] Die Suche nach Korrespondenzen im ersten 40 und im dritten Bild 44 hingegen liefert ein eindeutiges Ergebnis. Für den Pixel 54 entlang der zweiten epipolaren Linie 52 im dritten Bild 44 findet sich nur eine mögliche Korrespondenz 64. Mit anderen Worten, während für Pixel 54 eine Korrespondenzanalyse mit dem zweiten Bild 42 zu Zuordnungsproblemen führen würde, würde eine Korrespondenzanalyse zwischen dem ersten Bild 40 und dem dritten Bild 44 eine eindeutige Lösung liefern.
[0064] Das erfindungsgemäße Verfahren sieht nun vor, die Ähnlichkeitswerte, die im
Zusammenhang mit der Suche nach Korrespondenzen in dem ersten, zweiten und dritten Bild 40, 42, 44 ermittelt worden sind, zu verknüpfen, bevor die Ähnlichkeitswerte weiter ausgewertet werden. Die Verknüpfung der Ähnlichkeitswerte wird im Folgenden anhand der Fig. 5 und 6 näher erläutert. [0065] In der Fig. 5 sind in einem ersten und in einem zweiten Diagramm erste und zweite
Ähnlichkeitswerte 66, 68 aufgetragen, die bei der Suche nach möglichen Korresponden- zen im zweiten und dritten Bild 42, 44 für ein Pixel 54 des ersten Bilds 40 ermittelt worden sind. In dem oberen Diagramm sind die Ähnlichkeitsmaße für ein Pixel 54 entlang der ersten epipolaren Linie 50 aufgetragen und im unteren Diagramm sind die Ähnlichkeits- maße für dasselbe Pixel 54 entlang der zweiten epipolaren Linie 52 aufgetragen. Insge- samt wurden hier für zweiunddreißig diskrete Disparitäten Ähnlichkeitswerte entlang der x-Achse aufgetragen. Je geringer der jeweilige Wert ist, um so ähnlicher sind sich das erste Pixel 54 und das betrachtete Pixel. Gemäß dem Beispiel aus Fig. 4 sind im oberen Diagramm drei Minima ersichtlich. Mit anderen Worten sind für drei konkrete Disparitäten die Ähnlichkeitsmaße zwischen den betrachteten Pixeln am kleinsten. Eine eindeutige Bestimmung der Disparität aus diesen Ähnlichkeitswerten ist daher nicht möglich. Im unteren Diagramm 68 hingegen findet sich genau ein Minimum, d.h. für eine konkrete Disparität ist die Ähnlichkeit zwischen den betrachteten Pixeln am kleinsten.
[0066] Das erfindungsgemäße Verfahren sieht nun vor, die ersten Ähnlichkeitswerte 66 und die zweiten Ähnlichkeitswerte 68 miteinander zu verknüpfen, so dass bereits vor einer Extremwertsuche die Ähnlichkeitswerte 66, 68 zusammengeführt werden. Ein Beispiel hierfür ist in der Fig. 6 dargestellt.
[0067] Fig. 6 zeigt zu den in Fig. 5 dargestellten Ähnlichkeitswerten die verknüpften
Ähnlichkeitswerte 70. Die Verknüpfung ist hier durch eine einfache Addition der zuvor aus den Bildpaaren ermittelten ersten und zweiten Ähnlichkeitswerte 66, 68 erfolgt. Hierdurch werden Extremwerte deutlicher hervorgehoben, da für dieselbe Information eine größere Informationsbasis gegeben ist. Wie aus Fig. 6 ersichtlich, besitzen die verknüpften Ähnlichkeitswerte nur an einer konkreten Position ein eindeutiges Minimum. Das erfin- dungsgemäße Verfahren ist somit in der Lage, bei ausreichend ausgeprägten Strukturen im Bild nahezu unabhängig von deren Orientierung eindeutige und korrekte Entfernungs- informationen für diese Strukturen zu ermitteln.
[0068] Fig. 7 zeigt abschließend ein mögliches Anwendungsszenario eines Ausführungsbeispiels der neuen Vorrichtung und des neuen Verfahrens. [0069] In der Fig. 7 wird eine erfindungsgemäße Vorrichtung 10 zur Absicherung einer tech- nischen Anlage 72 verwendet. Die technische Anlage 72 ist hier durch einen industriellen Roboter 74 angedeutet. Der Roboter 74 weist einen Manipulator 76 auf, der sich frei im Raum bewegen kann und dessen Bewegungsbereich einen Gefahrenbereich 78 der technischen Anlage 72 definiert. Innerhalb des Gefahrenbereichs 78 kann die Bewegung des Manipulators 76 für einen Bediener 80 eine Gefahr darstellen, so dass bei einem Zutritt in den Gefahrenbereich 78 der technischen Anlage 72 diese in einen für den Bediener 80 gefahrlosen Zustand überführt werden muss.
[0070] Die Vorrichtung ist in diesem Ausführungsbeispiel oberhalb der technischen Anlage 72, beispielsweise an der Decke einer Montagehalle, platziert, so dass die bildgebenden Einheiten 12, 14, 16 den Raumbereich um die technische Anlage 72 abbilden können.
[0071] In der zuvor beschriebenen Weise kann die Vorrichtung 10 für den Raumbereich
Entfernungsinformation bestimmen. Dabei können bestimmte Bereiche, wie hier der Bewegungsbereich 78, von der Bestimmung der Entfernungsinformation ausgespart werden. Sobald ein Bediener in den Raumbereich um die technische Anlage 72 eintritt, ändert sich die von der Vorrichtung 10 ermittelten Entfernungsinformationen für diesen Bereich. Indem die Vorrichtung 10 kontinuierlich Entfernungsinformationen bestimmt und entsprechende Veränderung registriert, kann eine Person oder ein Gegenstand im Raumbereich detektiert werden.
[0072] Die Vorrichtung 10 kann somit anhand der ermittelten Entfernungsinformationen das
Eintreten einer Person in den Raumbereich signalisieren und beispielsweise über eine mit der Vorrichtung 10 verbundenen Sicherheitseinrichtung (hier nicht dargestellt) das Über- führen der technischen Anlage in einen gefahrlosen Zustand herbeiführen. Die Sicher- heitseinrichtung kann beispielsweise ein gewöhnliches Sicherheitsschaltgerät oder aber eine sichere Steuerung sein, die dazu eingerichtet ist, in an sich bekannter Weise einen sicheren Zustand herbeizuführen, beispielsweise indem die technische Anlage 72 abge- schaltet wird. [0073] Vorzugsweise ermöglicht das neue Verfahren, dass die Vorrichtung samt
Bildverarbeitungseinrichtung in einem Gehäuse integriert werden kann, so dass die Vorrichtung als sicherer Sensor unmittelbar mit einer Sicherheitseinrichtung zusammen- wirken kann. Dies ist möglich, da sich das neue Verfahren bevorzugt auf eine für lineare Abläufe spezialisierte Hardware portieren lässt.

Claims

Patentansprüche
1. Verfahren (100) zum Bestimmen von Entfernungsinformationen aus einer Abbil- dung eines Raumbereichs (18), mit den Schritten:
Anordnen einer ersten (12), zweiten (14) und dritten bildgebenden Einheit (16) in einer definierten Aufnahmegeometrie (20), bei der die bildgebenden Einheiten (12, 14, 16) ein gleichschenkliges Dreieck aufspannen;
Definieren eines Disparitätsbereichs (56) mit einer Anzahl diskreter Dispari- täten;
Abbilden des Raumbereichs (18), wobei ein erstes Bild (40) mit der ersten bildgebenden Einheit (12), ein zweites Bild (42) mit der zweiten bildgeben- den Einheit (14) und ein drittes Bild (44) mit der dritten bildgebenden Ein- heit (16) aufgenommen wird;
Bestimmen von ersten Ähnlichkeitswerten (66) für mindestens ein Pixel (54) des ersten Bilds (40) für alle diskreten Disparitäten in einem definierten Disparitätsbereich (56) entlang einer dem Pixel zugehörigen ersten epipola- ren Linie (50) in dem zweiten Bild (42);
Bestimmen von zweiten Ähnlichkeitswerten (68) für das zumindest eine Pixel (54) des ersten Bilds (40) für alle diskreten Disparitäten in dem defi nierten Disparitätsbereich (56) entlang einer dem Pixel (54) zugehörigen zweiten epipolaren Linie (52) in dem dritten Bild (44);
Verknüpfen der ersten Ähnlichkeitswerte (66) mit den zweiten Ähnlich- keitswerten (68); Bestimmen einer gemeinsamen Disparität zwischen dem ersten, zweiten und dritten Bild (40, 42, 44) für das zumindest eine Pixel (54) anhand der verknüpften Ähnlichkeitswerte (70); und
Bestimmen einer Entfernung zu einem Raumbereichspunkt für das zumin- dest eine Pixel (54) aus der gemeinsamen Disparität und der definierten Aufnahmegeometrie (20).
2. Verfahren nach Anspruch 1 , wobei in der definierten Aufnahmegeometrie (20) die bildgebenden Einheiten (12, 14, 16) ein gleichschenkliges, rechtwinkliges Dreieck aufspannen.
3. Verfahren nach einem der Ansprüche 1 oder 2, wobei die ersten Ähnlichkeitswerte (66) gebildet werden, indem das zumindest eine Pixel (54) des ersten Bilds (40) und dessen Umgebung mit jedem Pixel und dessen Umgebung innerhalb des de- finierten Disparitätsbereichs (56) entlang der ersten epipolaren Linie (50) im zwei- ten Bild (42) verglichen wird, und wobei die zweiten Ähnlichkeitswerte gebildet werden, indem das zumindest eine Pixel (54) des ersten Bilds (40) und dessen Umgebung mit jedem Pixel und dessen Umgebung innerhalb des definierten Dis- paritätsbereichs (56) entlang der zweiten epipolaren Linie (52) im dritten Bild (44) verglichen wird.
4. Verfahren nach Anspruch 3, wobei zum Vergleich des zumindest einen Pixels (54) und dessen Umgebung mit jedem Pixel und dessen Umgebung entlang der ersten und zweiten epipolaren Linie (50, 52) die Summe absoluter oder quadratischer Dif- ferenzen gebildet wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die ersten Ähnlichkeitswerte (66) und die zweiten Ähnlichkeitswerte (68) addiert werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei das Bestimmen der gemein- samen Disparität für das zumindest eine Pixel (54) eine Extremwertsuche in den verknüpften Ähnlichkeitswerten (70) beinhaltet, insbesondere eine Suche nach ei- nem Minimum.
7. Verfahren nach einem der Ansprüche 1 bis 6, wobei das erste, zweite und dritte Bild (40, 42, 44) so zueinander transformiert werden, dass sich die erste epipolare Linie (50) entlang einer ersten Achse und die zweite epipolare Linie (52) entlang einer zweiten zur ersten epipolaren Linie senkrechten Achse erstreckt.
8. Verfahren nach Anspruch 7, wobei das erste, zweite und dritte Bild (40, 42, 44) je eine gleiche Anzahl an Pixelzeilen (46) und eine gleiche Anzahl an Pixelspalten (48) aufweist, wobei sich die erste epipolare Linie (50) entlang einer Pixelzeile im zweiten Bild (42) erstreckt, die mit der Pixelzeile des ersten Bilds (40) korrespon- diert, in der sich das zumindest eine Pixel (54) befindet, und wobei sich die zweite epipolare Linie (52) entlang einer Pixelspalte im dritten Bild (44) erstreckt, die mit der Pixelspalte des ersten Bilds (40) korrespondiert, in der sich das zumindest eine Pixel (54) befindet.
9. Verfahren nach einem der Ansprüche 1 bis 8, wobei für alle Pixel des ersten Bilds (40) je eine gemeinsame Disparität bestimmt wird.
10. Verfahren nach einem der Ansprüche 1 bis 8, wobei nur für eine definierte Anzahl an Pixeln des ersten Bilds (40) je eine gemeinsame Disparität bestimmt wird.
1 1. Verfahren nach einem der Ansprüche 1 bis 10, wobei das Verfahren ferner um- fasst:
Bestimmen von dritten Ähnlichkeitswerten für mindestens ein weiteres Pixel (54‘) des zweiten Bilds (42) für alle diskreten Disparitäten in einem definier- ten Disparitätsbereich (56) entlang einer dem weiteren Pixel (54‘) zugehöri- gen ersten epipolaren Linie (50) in dem ersten Bild (40); Bestimmen von vierten Ähnlichkeitswerten für das zumindest eine weitere Pixel (54‘) des zweiten Bilds (42) für alle diskreten Disparitäten in dem defi nierten Disparitätsbereich (56) entlang einer dem weiteren Pixel (54‘) zuge- hörigen zweiten epipolaren Linie (52) in dem dritten Bild (44);
Bestimmen einer weiteren Entfernungsinformation aus den dritten und vierten Ähnlichkeitswerten.
12. Vorrichtung (10) zum Bestimmen von Entfernungsinformationen aus einer Abbil- dung eines Raumbereichs (18), umfassend: eine erste bildgebende Einheit (12) zum Aufnehmen eines ersten Bilds (40) des Raumbereichs (18), eine zweite bildgebende Einheit (14) zum Aufnehmen eines zweiten Bilds (42) des Raumbereichs (18) und eine dritte bildgebende Einheit (16) zum Aufnehmen eines dritten Bilds (44) des Raumbereichs (18), wobei die erste, zweite und dritte bildgebende Einheit (12, 14, 16) in einer definierten Aufnahme- geometrie (20) angeordnet sind, bei der die bildgebenden Einheiten (12, 14, 16) ein gleichschenkliges Dreieck aufspannen, sowie eine Bildverarbeitungseinheit (26), die dazu eingerichtet ist, innerhalb eines definierten Disparitätsbereichs (56) mit einer Anzahl diskreter Disparitäten erste (66) und zweite Ähnlichkeitswerte (68) für zumindest ein Pixel (54) des ersten Bilds (40) zu bestimmen, wobei die Bildverarbeitungseinheit (26) dazu eingerichtet ist, die ersten Ähnlich- keitswerte (66) für das zumindest eine Pixel (54) für alle diskreten Disparitäten in dem definierten Disparitätsbereich (56) entlang einer dem Pixel (54) zugehörigen ersten epipolaren Linie (50) in dem zweiten Bild (42) zu bestimmen und die zwei- ten Ähnlichkeitswerte (68) für das zumindest eine Pixel (54) für alle diskreten Dis- paritäten in dem definierten Disparitätsbereich (56) entlang einer dem Pixel (54) zugehörigen zweiten epipolaren Linie (52) in dem dritten Bild (44) zu bestimmen, wobei die Bildverarbeitungseinheit (26) ferner dazu eingerichtet ist, die ersten Ähnlichkeitswerte (66) mit den zweiten Ähnlichkeitswerten (68) zu verknüpfen, ei- ne gemeinsame Disparität für das zumindest eine Pixel (54) zwischen dem ersten, zweiten und dritten Bild (40, 42, 44) anhand der verknüpften Ähnlichkeitswerte (70) zu bestimmen, sowie eine Entfernung zu einem Raumbereichspunkt für das zu- mindest eine Pixel (54) aus der gemeinsamen Disparität und der definierten Auf- nahmegeometrie (20) zu ermitteln.
13. Vorrichtung nach Anspruch 12, wobei die Bildverarbeitungseinheit (26) ein FPGA ist.
14. Vorrichtung nach einem der Ansprüche 12 oder 13, wobei die Vorrichtung ferner eine Auswerteeinheit aufweist, die dazu eingerichtet ist, eine Szenenanalyse durchzuführen, um anhand der Entfernung zu dem Raumbereichspunkt Fremdob- jekte in einem Gefahrenbereich einer technischen Anlage (72) zu detektieren, so- wie Mittel, die eingerichtet sind, die technische Anlage (72) in einen gefahrlosen Zustand zu überführen, wenn die Auswerteeinheit ein Fremdobjekt detektiert.
15. Vorrichtung nach einem der Ansprüche 12 bis 14, wobei die erste, zweite und
dritte bildgebende Einheit (12, 14, 16) in einem gemeinsamen Gehäuse (28) an- geordnet sind.
16. Verwendung der Vorrichtung nach einem der Ansprüche 12 bis 15 zum Absichern eines Gefahrenbereichs (78) einer technischen Anlage (72), wobei die Vorrichtung eingerichtet ist, anhand einer Szenenanalyse Fremdobjekte in dem Gefahrenbe- reich zu detektieren und die technische Anlage (72) in einen gefahrlosen Zustand zu überführen.
17. Computerprogramm, umfassend Befehle, die bewirken, dass die Vorrichtung nach einem der Ansprüche 12 bis 15 die Verfahrensschritte nach einem der Ansprüche 1 bis 11 ausführt.
EP18829322.9A 2017-12-21 2018-12-18 Verfahren zum bestimmen von entfernungsinformation aus einer abbildung eines raumbereichs Withdrawn EP3728995A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017130897.0A DE102017130897A1 (de) 2017-12-21 2017-12-21 Verfahren zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs
PCT/EP2018/085562 WO2019121729A1 (de) 2017-12-21 2018-12-18 Verfahren zum bestimmen von entfernungsinformation aus einer abbildung eines raumbereichs

Publications (1)

Publication Number Publication Date
EP3728995A1 true EP3728995A1 (de) 2020-10-28

Family

ID=64902050

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18829322.9A Withdrawn EP3728995A1 (de) 2017-12-21 2018-12-18 Verfahren zum bestimmen von entfernungsinformation aus einer abbildung eines raumbereichs

Country Status (5)

Country Link
US (1) US11039114B2 (de)
EP (1) EP3728995A1 (de)
CN (1) CN111630345B (de)
DE (1) DE102017130897A1 (de)
WO (1) WO2019121729A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009590B (zh) * 2021-02-01 2022-04-08 西南科技大学 一种车底安检系统中的异物三维检测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008020326B3 (de) * 2008-04-23 2009-09-03 Sick Ag Stereoskopisches 3D-Kamerasystem zur Überwachung eines Raumbereichs
US20100150455A1 (en) * 2008-02-12 2010-06-17 Ichiro Oyama Compound eye imaging apparatus, distance measuring apparatus, disparity calculation method, and distance measuring method
US20170359565A1 (en) * 2015-02-20 2017-12-14 Sony Corporation Image pickup device and image pickup method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007107214A2 (de) * 2006-03-22 2007-09-27 Pilz Gmbh & Co. Kg Verfahren und vorrichtung zur korrespondenzbestimmung, vorzugsweise zur dreidimensionalen rekonstruktion einer szene
JP6476831B2 (ja) * 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
CN104537707B (zh) * 2014-12-08 2018-05-04 中国人民解放军信息工程大学 像方型立体视觉在线移动实时测量系统
US9674505B2 (en) * 2014-12-09 2017-06-06 Intel Corporation Disparity search range determination for images from an image sensor array
KR20250035038A (ko) * 2015-04-19 2025-03-11 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
DE102016109173A1 (de) * 2015-11-19 2017-05-24 Aesculap Ag Medizintechnische Koordinatenmessvorrichtung und medizintechnisches Koordinatenmessverfahren

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100150455A1 (en) * 2008-02-12 2010-06-17 Ichiro Oyama Compound eye imaging apparatus, distance measuring apparatus, disparity calculation method, and distance measuring method
DE102008020326B3 (de) * 2008-04-23 2009-09-03 Sick Ag Stereoskopisches 3D-Kamerasystem zur Überwachung eines Raumbereichs
US20170359565A1 (en) * 2015-02-20 2017-12-14 Sony Corporation Image pickup device and image pickup method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2019121729A1 *

Also Published As

Publication number Publication date
CN111630345A (zh) 2020-09-04
DE102017130897A1 (de) 2019-06-27
US11039114B2 (en) 2021-06-15
US20200374503A1 (en) 2020-11-26
CN111630345B (zh) 2022-09-02
WO2019121729A1 (de) 2019-06-27

Similar Documents

Publication Publication Date Title
EP2854106B1 (de) 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten
EP2025991B1 (de) Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
EP2104904B1 (de) Verfahren und vorrichtung zur überwachung eines raumvolumens sowie kalibrierverfahren
EP3497476A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
DE102014209137A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
WO2018234011A1 (de) System, verfahren und marker zur positionsbestimmung eines beweglichen objektes im raum
EP4505211A1 (de) Verfahren zur prädiktion von trajektorien von objekten
EP3728995A1 (de) Verfahren zum bestimmen von entfernungsinformation aus einer abbildung eines raumbereichs
EP3496398B1 (de) Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
WO2013091626A1 (de) Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor
EP2937753A1 (de) Verfahren zum Vermessen von Werkstücken und nach dem Verfahren arbeitende Produktions- und/oder Werkzeugmaschine
DE102021113111B4 (de) Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs sowie Fahrassistenzsystem
DE102014219428A1 (de) Selbstkalibrierung eines Stereokamerasystems im Auto
DE10128722C1 (de) Vorrichtung zur Kontrolle von Objekten
EP3032517A1 (de) Vorrichtung und verfahren zur unterstützung eines fahrers eines fahrzeugs, insbesondere eines nutzfahrzeugs
DE102015110926A1 (de) System zur Bestimmung einer Objektivposition
DE102016105023A1 (de) Verfahren zum Erfassen zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs durch Zusammenlegen von Objektmerkmalen, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2022152522A1 (de) Verfahren und system zum erkennen von in einem bild anhand einer punktwolke repräsentierten objekten
DE102007033133A1 (de) Verfahren und Vorrichtung zur Detektion von Objekten
EP3798969A1 (de) Verfahren zur verarbeitung von tiefenbildern, bildverarbeitungsvorrichtung und tiefenkamera
DE3446009C2 (de)
DE102015101190A1 (de) Verfahren zum Bestimmen eines Bildtiefenwerts abhängig von einem Bildbereich, Kamerasystem und Kraftfahrzeug
DE102013216833A1 (de) 3D-Kamera
WO2015110331A1 (de) Verfahren zur erkennung einer bewegungsbahn mindestens eines bewegten objektes innerhalb eines erfassungsbereiches, verfahren zur gestikerkennung unter einsatz eines derartigen erkennungsverfahrens sowie vorrichtung zur durchführung eines derartigen erkennungsverfahrens
EP3142068A1 (de) Verfahren zur dreidimensionalen erfassung von objekten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200715

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210618

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230215