AT517656A1 - Fotometrisches Stereomatching - Google Patents

Fotometrisches Stereomatching Download PDF

Info

Publication number
AT517656A1
AT517656A1 ATA554/2015A AT5542015A AT517656A1 AT 517656 A1 AT517656 A1 AT 517656A1 AT 5542015 A AT5542015 A AT 5542015A AT 517656 A1 AT517656 A1 AT 517656A1
Authority
AT
Austria
Prior art keywords
image
feature
intensity values
images
determined
Prior art date
Application number
ATA554/2015A
Other languages
English (en)
Original Assignee
Ait Austrian Inst Of Tech G M B H
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ait Austrian Inst Of Tech G M B H filed Critical Ait Austrian Inst Of Tech G M B H
Priority to ATA554/2015A priority Critical patent/AT517656A1/de
Priority to PCT/AT2016/060025 priority patent/WO2017027895A1/de
Publication of AT517656A1 publication Critical patent/AT517656A1/de

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/024Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof deleted
    • H04N2201/02406Arrangements for positioning elements within a head
    • H04N2201/02427Element positioned
    • H04N2201/02435Illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Aufnahme eines dreidimensionalen Abbilds einer, insbesondere statischen, Szene (3) mit - einer Vielzahl von Bildaufnahmeeinheiten (21, 22) mit gemeinsamem überlappendem Aufnahmebereich (200) , sowie - einer Beleuchtungsanordnung, mit der eine Vielzahl von unterschiedlichen Lichtkonfigurationen zur Beleuchtung des gemeinsamen Aufnahmebereichs der Bildaufnahmeeinheiten (21, 22) erstellbar ist, - wobei mit jeder der Bildaufnahmeeinheiten (21, 22) jeweils zumindest ein Bild (411, 412, 413, 421, 422, 423) des gemeinsamen Aufnahmebereichs (200) für jeweils eine Anzahl der Lichtkonfigurationen erstellt wird, - wobei für jede Bildaufnahmeeinheit (21, 22) jeweils ein, gegebenenfalls mehrkanaliges, Merkmalsbild (51, 52) erstellt wird, indem die von dieser Bildaufnahmeeinheit (21, 22) erstellten Bilder (411, 412, 413; 421, 422, 423) nach einer vorgegebenen Funktion kombiniert werden, - wobei durch Korrespondenzanalyse für eine Anzahl von Referenzpunkten (611, 612, 613, 614), insbesondere für Punkte des überlappenden Aufnahmebereichs, in einem der Merkmalsbilder (51) jeweils der lageentsprechende Punkt (621, 622, 623, 624} in zumindest einem anderen Merkmalbild (52) ermittelt wird, und - wobei aufgrund der Disparität zwischen den miteinander korrespondierenden Punkte (611, 612, 613, 614; 621, 622, 623, 624) in den einzelnen Merkmalsbildern (51, 52) die dreidimensionale Lage des in den Punkten (611, 612, 613, 614; 621, 622, 623, 624) abgebildeten Raumpunkts ermittelt wird.

Description

Die Erfindung betrifft ein Verfahren zur Aufnahme eines dreidimensionalen Abbilds einer Szene gemäß dem Patentanspruch 1.
Bei aus dem Stand der Technik bekannten Methoden besteht das Problem, dass in Bereichen der Szene, die im jeweils aufgenommenen Bild bei einer bestimmten Beleuchtung homogen erscheinen, ein Stereo-Matching nicht möglich ist. Dies führt dazu, dass in größeren Bereichen der Szene keine Zuordnung zwischen einzelnen Punkten möglich ist, was insgesamt die Genauigkeit des dreidimensionalen Abbilds verschlechtert. Aufgabe der Erfindung ist es daher, ein Verfahren bereitzustellen, bei dem die Szene in höherer Auflösung dargestellt werden kann.
Die Erfindung löst diese Aufgabe mit den Merkmalen des Patentanspruchs 1.
Die Erfindung sieht vor - eine Vielzahl von Bildaufnahmeeinheiten mit gemeinsamem überlappendem Aufnahmebereich, sowie - eine Beleuchtungsanordnung, mit der eine Vielzahl von unterschiedlichen Lichtkonfigurationen zur Beleuchtung des gemeinsamen Aufnahmebereichs der Bildaufnahmeeinheiten erstellbar ist, - wobei mit jeder der Bildaufnahmeeinheiten jeweils zumindest ein Bild des gemeinsamen Aufnahmebereichs für jeweils eine Anzahl der Lichtkonfigurationen erstellt wird, - wobei für jede Bildaufnahmeeinheit jeweils ein, gegebenenfalls mehrkanaliges, Merkmalsbild erstellt wird, indem die von dieser Bildaufnahmeeinheit erstellten Bilder nach einer vorgegebenen Funktion kombiniert werden, - wobei durch Korrespondenzanalyse für eine Anzahl von Referenzpunkten, insbesondere für Punkte des überlappenden Aufnahmebereichs, in einem der Merkmalsbilder jeweils der lageentsprechende Punkt in zumindest einem anderen Merkmalbild ermittelt wird, und - wobei aufgrund der Disparität zwischen den miteinander korrespondierenden Punkte in den einzelnen Merkmalsbildern die dreidimensionale Lage des in den Punkten abgebildeten Raumpunkts ermittelt wird.
Durch diese Maßnahmen können mehr signifikante Strukturen in größeren Bereichen der Szene ermittelt werden, sodass insgesamt mehr korrespondierende Punkte in den Bildern aufgefunden werden können. Dadurch können dreidimensionale Abbilder mit höherer Genauigkeit und Vollständigkeit erstellt werden.
Um signifikante Strukturen besser hervorheben zu können, kann vorgesehen sein, dass die Merkmalsbilder für jede der Bildaufnahmeeinheiten erstellt werden, indem für eine Anzahl von Bildpunkten der einzelnen Bilder jeweils derselben Bildaufnahmeeinheit, insbesondere für alle Bildpunkte, - Intensitätswerte einander lageentsprechender Bildpunkte aus allen Bildern der jeweiligen Bildaufnahmeeinheit, gegebenenfalls auch die Intensitätswerte in der Umgebung der jeweiligen Bildpunkte, für die Bestimmung des zumindest einen Merkmalswertes herangezogen werden und dieser dem lageentsprechenden Punkt im Merkmalsbild zugeordnet wird, wobei insbesondere - für jeden der Bildpunkte jeweils nach einer vorgegebenen Vorschrift aus den Intensitätswerten lageentsprechender Bildpunkte, gegebenenfalls aus deren jeweiligen Umgebungen, jeweils Texturinformation und/oder die Richtung der Flächennormale ermittelt wird.
Um die Erstellung unterschiedlicher Beleuchtungskonfigurationen bei gleichzeitig einfachem Aufbau zu ermöglichen, kann vorgesehen sein, dass für jede Lichtkonfiguration jeweils eine dieser Konfiguration zugeordnete Anzahl von Lichtquellen aktiviert wird, wobei für jede Lichtkonfiguration eine eigene Lichtquelle verwendet wird.
Eine zuverlässige Schätzung kann erzielt werden, indem für jede Lichtkonfiguration und für jede Bildaufnahmeeinheit jeweils ein Bild erstellt wird.
Eine vorteilhafte Heranziehung der Oberflächennormale zur Verbesserung des Stereo-Matchings sowie zur verbesserten Hervorhebung von signifikanten Strukturen kann so sehr effizient und exakt vorgenommen werden, indem für jede der Lichtkonfigurationen jeweils die Richtung, in der das Licht auf die Szene trifft bekannt ist, und dass für jede der Bildaufnahmeeinheiten jeweils die relative Lage und Ausrichtung zur Szene bekannt ist, und dass aufgrund der relativen Lage der Lichteinfallrichtung zur Lage und Ausrichtung der Kamera die Oberflächennormalen in jedem Punkt ermittelt wird, wobei die Oberflächennormale als Merkmalswert dem jeweiligen Merkmalsbild zugeordnet wird und/oder dem jeweiligen Raumpunkt nach dessen Ermittlung zugeordnet wird.
Um vorteilhafte Merkmalsbilder zu erhalten, die gegenüber einzelnen Variationen, die durch unterschiedliche Beleuchtung verursacht wurden, stabil sind, kann vorgesehen sein, dass zur Erstellung der Merkmalsbilder jeweils pixelweise ein Merkmalswert ermittelt wird, der sich aus den Intensitätswerten der Bilder im lageentsprechenden Pixel ergibt, wobei der Merkmalswert vorzugsweise als gewichtete Summe der Intensitätswerte ermittelt wird, insbesondere a) wobei sich die Gewichte, mit denen die Intensitätswerte gewichtet werden, aus den einzelnen Intensitätswerten selbst ergeben, und/oder Intensitätswerte, die näher beim Mittelwert liegen stärker gewichtet werden, oder b) wobei als Merkmalswert der Median herangezogen wird, oder ein Mittelwert aus einer Menge von Intensitätswerten herangezogen wird, bei der eine Anzahl der größten oder kleinsten Intensitätswerte ausgeschlossen wird.
Zur Erhöhung der Erkennungsgenauigkeit kann vorgesehen sein, dass auf die Bilder vor der Erstellung des Merkmalsbilds ein Filter angewendet wird und bei der Erstellung des Merkmalsbilds anstelle der aufgenommenen Intensitätswerte solche Intensitätswerte herangezogen werden, die sich nach Anwendung des Filters ergeben. Dies ist insbesondere bei der Verwendung von Kantenfiltern oder ähnlichen Filtern besonders vorteilhaft möglich.
Um vorteilhafte Merkmalsbilder mit hohem Kontrast zu erhalten, kann vorgesehen sein, dass bei der Erstellung eines Merkmalsbilds pixelweise ein Merkmalswert ermittelt wird, indem eine gewichtete Summe der Intensitätswerte der lageentsprechenden Pixel der Bilder ermittelt wird, wobei jeder der Intensitätswerte mit einem Gewichtswert gewichtet wird, der dem Kontrast des jeweiligen Bilds innerhalb einer Umgebung um das Pixel oder einem davon abgeleiteten Wert entspricht, wobei der Kontrastwert insbesondere ermittelt wird, als a) Differenz zwischen maximalem und minimalem Intensitätswert innerhalb der Umgebung, b) maximale Differenz zwischen dem Intensitätswert des Pixels und einem Pixel innerhalb seiner Umgebung, c) Varianz der Intensitätswerte innerhalb der Umgebung.
Eine bevorzugte Ausführungsform der Erfindung ist in den folgenden Zeichnungsfiguren näher dargestellt. Fig. 1 zeigt eine Anordnung zur Aufnahme eines dreidimensionalen Abbilds einer, insbesondere statischen, Szene. Fig. 2 zeigt die Erstellung der Merkmalsbilder aus den einzelnen Bildern. Fig. 3 zeigt eine konkrete Vorgehensweise zur Erstellung eines Merkmalsvektors aus für einen Bildpunkt. Fig. 4 zeigt schematisch die Suche korrespondierender Punkte in Merkmalsbildern.
In Fig. 1 ist eine Anordnung zur Aufnahme eines dreidimensionalen Abbilds einer statischen Szene 3 dargestellt. Diese Anordnung stellt eine bevorzugte Ausführungsform der Erfindung dar und umfasst zwei Bildaufnahmeeinheiten 21, 22 in Form von Digitalkameras. Diese Bildaufnahmeeinheiten 21, 22 weisen jeweils einen
Aufnahmebereich 210, 220 auf, wobei diese beiden Aufnahmebereiche 210, 220 einen gemeinsamen Überlappungsbereich 200 aufweisen.
Darüber hinaus verfügt die in Fig. 1 dargestellte Anordnung über eine Beleuchtungsanordnung mit drei Lichtquellen 11, 12, 13, die die Szene 3 aus unterschiedlichen Richtungen beleuchten. Mit diesen Lichtquellen 11, 12, 13 können unterschiedliche Lichtkonfigurationen erstellt werden, wobei im vorliegenden Ausführungsbeispiel drei Lichtkonfigurationen vorhanden sind, bei der jeweils eine der Lichtquellen 11, 12, 13 aktiviert ist, während die übrigen Lichtquellen 11, 12, 13 inaktiv sind. Insgesamt ist es jedoch keineswegs erforderlich, dass jeder Lichtkonfiguration jeweils genau eine Lichtquelle 11, 12, 13 oder genau eine bestimmte Anzahl von Lichtquellen 11, 12, 13 zugeordnet ist, die bei allen übrigen Lichtkonfigurationen inaktiv geschaltet sind. Es ist vielmehr ausreichend, dass sich jede Lichtkonfiguration von jeder anderen Lichtkonfiguration dadurch unterscheidet, dass unterschiedliche Lichtquellen 11, 12, 13 jeweils aktiviert werden. Die Lichtquellen 11, 12, 13 werden typischerweise durch eine Steuereinheit angesteuert, die die Lichtquellen 11, 12, 13 derart aktiviert, dass jeweils eine ihr vorgegebene Lichtkonfiguration erstellt wird.
Grundsätzlich ist es bei allen Ausführungsbeispielen der Erfindung vorteilhaft, wenn die einzelnen Lichtquellen 11, 12, 13 die Szene 3 von unterschiedlichen Richtungen her beleuchten, da Oberflächenbereiche der Szene 3 typischerweise aus unterschiedlichen Beleuchtungsrichtungen unterschiedlich strukturiert erscheinen, sodass allfällige oberflächliche Strukturen auf der Oberfläche der Szene 3 bei zumindest einer Lichtkonfigurationen erscheinen.
In Fig. 2 werden die einzelnen von den Bildaufnahmeeinheiten 21, 22 erstellten Bilder 411, 412, 413; 421, 422, 423 dargestellt. Das mit dem Bezugszeichen 411 versehene Bild wird von der ersten Bildaufnahmeeinheit 21 bei Beleuchtung mit der ersten Lichtquelle 11 erstellt. Das mit dem Bezugszeichen 412 versehene Bild wird von der ersten Bildaufnahmeeinheit 21 bei Beleuchtung mit der zweiten Lichtquelle 12 erstellt. Das mit dem Bezugszeichen 413 versehene Bild wird von der ersten Bildaufnahmeeinheit 21 bei Beleuchtung mit der dritten Lichtquelle 13 erstellt. Das mit dem Bezugszeichen 421 versehene Bild wird von der zweiten Bildaufnahmeeinheit 22 bei Beleuchtung mit der ersten Lichtquelle 11 erstellt. Das mit dem Bezugszeichen 422 versehene Bild wird von der zweiten Bildaufnahmeeinheit 22 bei Beleuchtung mit der zweiten Lichtquelle 12 erstellt. Das mit dem Bezugszeichen 423 versehene Bild wird von der zweiten Bildaufnahmeeinheit 22 bei Beleuchtung mit der dritten Lichtquelle 13 erstellt.
Durch diese Maßnahme wird erreicht, dass für jede Lichtkonfiguration, im vorliegenden Fall bei Aktivierung jeder Lichtquelle, und für jede Bildaufnahmeeinheit 21, 22 jeweils separat ein Bild 411,412, 413; 421,422, 423 vorliegt.
Im Allgemeinen ist es nicht erforderlich, für jede beliebige Kombination einer Lichtkonfiguration und einer Bildaufnahmeeinheit 21, 22 jeweils ein separates Bild 411, 412, 413; 421, 422, 423 zu erstellen. Vielmehr kann es auch ausreichen, dass für eine Anzahl von Lichtkombinationen mit der ersten Bildaufnahmeeinheit 21 Bilder erstellt werden und für eine nicht notwendigerweise idente Anzahl und Menge von Lichtkonfigurationen mit der zweiten Bildaufnahmeeinheit 22 jeweils Bilder erstellt werden.
Aus den jeweils mit derselben Bildaufnahmeeinheit 21, 22 erstellten Bildern 411, 412, 413; 421, 422, 423 werden Merkmalsbilder 51, 52 erstellt. In dieser bevorzugten Ausführungsform der Erfindung ist die Größe der mit der ersten Bildaufnahmeeinheit 21 erstellten einzelnen Bilder 411, 412, 413 jeweils gleich, sodass einzelne Pixel in den einzelnen Bildern 411, 412, 413 einander lageentsprechend zugeordnet werden können. Dasselbe gilt auch für die von der zweiten Bildaufnahmeeinheit 22 erstellten Bilder 421, 422, 423. Darüber hinaus ist es auch möglich, dass die erste und zweite Bildaufnahmeeinheit 21,22 Bilder von gleicher Größe erstellen.
Die Bilder 411, 412, 413; 421, 422, 423, die von jeweils einer Bildaufnahmeeinheit 21, 22 erstellt wurden, werden jeweils zu einem Bildstapel 410, 420 zusammengefasst. Innerhalb des ersten Bildstapels 410 wird aus den von der ersten Bildaufnahmeeinheit 21 erstellten Bildern 411, 412, 413 ein erstes Merkmalsbild 51 erstellt. Innerhalb des zweiten Bildstapels 420 wird aus den von der zweiten Bildaufnahmeeinheit 22 erstellten Bildern 421,422, 423 ein zweites Merkmalsbild 52 erstellt.
Die Bilder 411, 412, 413; 421, 422, 423 aus einem Bildstapel 410, 420 können bei der Erstellung des jeweiligen Merkmalsbilds 51, 52 auf unterschiedliche Weise überlagert werden. Ein diesbezüglich vorteilhaftes Vorgehen ist in Fig. 3 näher dargestellt. Für die Bildung der Intensitätswerte des Merkmalsbilds können pixelweise akkumulierte Intensitätswerte der Bilder 411, 412, 413 herangezogen werden.
Typischerweise kann das Vorhandensein bestimmter Strukturen innerhalb eines Bildes 411, 412, 413; 421, 422, 423 einfach anhand der in der jeweiligen Umgebung eines Bildpunktes vorhandenen Intensitätswerte einfach festgestellt werden. So ist es beispielsweise möglich, innerhalb der jeweiligen Umgebung Texturinformationen wie beispielsweise das Vorhandensein oder die Richtung von Kanten festzustellen. Darüber hinaus ist es auch möglich, lokale Gradienten zu ermitteln, um auf diese Weise die Richtung einer Oberflächennormale des aufgenommenen Teils der Oberfläche der Szene 3 zu ermitteln. Die Merkmalsbilder 51, 52 des jeweiligen Bildstapels 410, 420 für die einzelnen Bildaufnahmeeinheiten 21, 22 können erstellt werden, indem für eine Anzahl von Bildpunkten der einzelnen Bilder 411, 412, 413; 421, 422, 423 aus dem Bildstapel dieser Bildaufnahmeeinheit 21, 22 bildpunktweise Merkmale anhand vorgegebener Vorschriften ermittelt werden. Intensitätswerte einander lageentsprechender Punkte aus allen Bildern 411, 412, 413; 421, 422, 423 des jeweiligen Bildstapels 410, 420 sowie gegebenenfalls auch die Intensitätswerte aus der Umgebung der jeweiligen Bildpunkte werden für die Bestimmung des jeweiligen Merkmalswerts herangezogen und dieser Merkmalswert wird dem lageentsprechenden Punkt des Merkmalsbilds 51,52 zugeordnet.
Wie in Fig. 3 dargestellt, wird in den einzelnen zueinander lageentsprechenden Punkten 411, 412, 413 jeweils innerhalb der Umgebung ein Merkmalswert errechnet. Dieser wird anschließend für die lageentsprechenden Punkte über die einzelnen Bilder 411, 412, 413 akkumuliert und im jeweiligen Merkmalsbild 51 abgespeichert. Im vorliegenden Fall umfasst das jeweilige Merkmalsbild 51 zwei Merkmalsbildkanäle 511, 512. Auf diese Weise werden im vorliegenden Ausführungsbeispiel zwei unterschiedliche Merkmale ermittelt und diese Merkmale werden in den beiden unterschiedlichen Kanälen des Merkmalsbilds 51 abgespeichert.
In Fig. 4 sind einzelne auf der Oberfläche der Szene aufgenommene Punkte dargestellt, in denen oberflächliche Strukturen in den Merkmalsbildern 51, 52 detektiert wurden. Bei den hier dargestellten Punkten handelt es sich lediglich um eine Auswahl von miteinander korrelierenden Punktepaaren in den unterschiedlichen Merkmalsbildern, die zur vereinfachten Darstellung der Korrespondenzanalyse ausgewählt werden. Grundsätzlich ist es möglich, für alle Punkte des überlappenden Aufnahmebereichs des ersten Merkmalsbilds jeweils einen korrespondierenden Punkt im zweiten Merkmalsbild zu ermitteln.
Durch Korrespondenzanalyse wird für die so aufgefundenen Referenzpunkte 611, 612, 613, 614 im ersten Merkmalsbild 51 jeweils ein korrespondierender Punkt 621, 622, 623, 624 im zweiten Merkmalsbild 52 aufgefunden, es werden Punktpaare umfassend je einen Referenzpunkt 611, 612, 613, 614 sowie den ihm jeweils zugeordneten Punkt erstellt.
In einem abschließenden Schritt kann für jedes derart aufgefundene Punktepaar aufgrund der Disparität zwischen den beiden miteinander korrespondierenden Punkten 611, 612, 613, 614; 621, 622, 623, 624 in den einzelnen Merkmalsbildern 51, 52 die dreidimensionale Lage der in den Punkten 611, 612, 613, 614; 621, 622, 623, 624 der Punktpaare abgebildeten Raumpunkte der Szene 3 ermittelt werden.
Ferner ist es auch möglich, dass für jede der Lichtkonfigurationen jeweils die Richtung, in der das Licht auf die Szene trifft, bekannt ist und dass auch für jede der Bildaufnahmeeinheiten 21, 22 jeweils die relative Lage und Ausrichtung zu den Lichtkonfigurationen bzw Lichtquellen 11, 12, 13 oder zur Szene 3 bekannt ist. Aufgrund dieser relativen Lage der Lichteinfallrichtung zur Lage und Ausrichtung der Bildaufnahmeeinheiten 21, 22 können die Oberflächennormalen in dem jeweiligen Punkt ermittelt werden, in dem jeweils der der Flächennormale entsprechende Merkmalswert des Merkmalsbilds herangezogen wird. Die Oberflächennormale wird dem jeweiligen Merkmalsbild 51,52 als Merkmalswert zugeordnet.
In einer bevorzugten Ausführungsform der Erfindung können die Merkmalswerte der Merkmalsbilder pixelweise ermittelt werden, indem für jedes Pixel die Intensitätswerte aus allen zur Verfügung stehenden Bildern 411, 412, 413, 421, 422, 423 jeweils im lageentsprechenden Pixel herangezogen werden und nach einer vorgegebenen Vorschrift der jeweilige Merkmalswert aus den Intensitätswerten ermittelt wird. So lässt sich beispielsweise der Merkmalswert als gewichteter Mittelwert der Intensitätswerte ermitteln. Die Intensitätswerte können dabei umso stärker gewichtet werden, je näher sie sich beim Mittelwert der Intensitätswerte befinden.
Alternativ kann als Merkmalswert auch der Median der Intensitätswerte herangezogen werden. Alternativ besteht auch die Möglichkeit, dass der Merkmalswert aus den wertmäßig mittleren Intensitätswerten durch Mittelwertbildung ermittelt wird. So ist es beispielsweise möglich, die n größten und die n kleinsten Werte aus der Menge der Intensitätswerte zu entfernen und aus den verbleibenden Intensitätswerten den Mittelwert zu bilden und als Merkmalswert heranzuziehen.
Hierbei besteht auch die Möglichkeit, anstelle der aufgenommenen Bilder abgeleitete Bilder gleicher Größe mit abgeleiteten Intensitätswerten zu verwenden, die durch Anwendung eines Filters auf die ursprünglich aufgenommenen Bilder erstellt wurden. So können beispielsweise Kantenfilter auf die ursprünglich aufgenommenen Bilder angewendet werden, um strukturelle Merkmale besonders gut hervorzuheben. Bei der Erstellung des Merkmalsbilds werden anstelle der ursprünglich aufgenommenen Bilder solche Bilder und deren Intensitätswerte herangezogen, die sich nach Anwendung des Filters ergeben.
Darüber hinaus besteht in einer alternativen Ausführungsform der Erfindung die Möglichkeit, nicht bloß den Intensitätswert des jeweiligen Pixels heranzuziehen, sondern die Pixel innerhalb einer vorgegebenen Umgebung zu betrachten und für die Umgebung des jeweiligen Pixels den Kontrast zu ermitteln. Unter allen lageentsprechenden Pixeln in den Bildern 411, 412, 413, 421, 422, 423 wird der jeweilige Intensitätswert mit einem Gewichtswert gewichtet, der dem ermittelten Kontrast entspricht oder von diesem abgeleitet ist.
Die Berechnung der Kontraststärke für eine Umgebung rund um ein Pixel kann auf unterschiedliche Weise berechnet werden, wobei auch die Größe der jeweiligen Umgebung auf unterschiedliche Weise festgelegt werden kann. Als mögliche Methoden zur Bestimmung des Kontrastes kommen in Frage: a) die Differenz zwischen maximalem und minimalem Intensitätswert innerhalb der Umgebung, b) die maximale Differenz zwischen dem Intensitätswert des Pixels und einem Pixel innerhalb seiner Umgebung, c) die Varianz der Intensitätswerte innerhalb der Umgebung.
Selbstverständlich ist es im Rahmen der Erfindung auch möglich, eine Anzahl von Pixeln mit dem größten Kontrast zu verwenden und den Intensitätswerten dieser Pixel den Mittelwert zu bilden.

Claims (8)

  1. Patentansprüche:
    1. Verfahren zur Aufnahme eines dreidimensionalen Abbilds einer, insbesondere statischen, Szene (3) mit - einer Vielzahl von Bildaufnahmeeinheiten (21, 22) mit gemeinsamem überlappendem Aufnahmebereich (200), sowie - einer Beleuchtungsanordnung, mit der eine Vielzahl von unterschiedlichen Lichtkonfigurationen zur Beleuchtung des gemeinsamen Aufnahmebereichs der Bildaufnahmeeinheiten (21,22) erstellbar ist, - wobei mit jeder der Bildaufnahmeeinheiten (21,22) jeweils zumindest ein Bild (411,412, 413, 421, 422, 423) des gemeinsamen Aufnahmebereichs (200) für jeweils eine Anzahl der Lichtkonfigurationen erstellt wird, - wobei für jede Bildaufnahmeeinheit (21, 22) jeweils ein, gegebenenfalls mehrkanaliges, Merkmalsbild (51, 52) erstellt wird, indem die von dieser Bildaufnahmeeinheit (21, 22) erstellten Bilder (411, 412, 413; 421, 422, 423) nach einer vorgegebenen Funktion kombiniert werden, - wobei durch Korrespondenzanalyse für eine Anzahl von Referenzpunkten (611, 612, 613, 614), insbesondere für Punkte des überlappenden Aufnahmebereichs, in einem der Merkmalsbilder (51) jeweils der lageentsprechende Punkt (621, 622, 623, 624) in zumindest einem anderen Merkmalbild (52) ermittelt wird, und - wobei aufgrund der Disparität zwischen den miteinander korrespondierenden Punkte (611, 612, 613, 614; 621, 622, 623, 624) in den einzelnen Merkmalsbildern (51, 52) die dreidimensionale Lage des in den Punkten (611, 612, 613, 614; 621, 622, 623, 624) abgebildeten Raumpunkts ermittelt wird.
  2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Merkmalsbilder (51, 52) für jede der Bildaufnahmeeinheiten (21, 22) erstellt werden, indem für eine Anzahl von Bildpunkten der einzelnen Bilder (411, 412, 413; 421, 422, 423) jeweils derselben Bildaufnahmeeinheit (21), insbesondere für alle Bildpunkte, - Intensitätswerte einander lageentsprechender Bildpunkte aus allen Bildern (411, 412, 413; 421, 422, 423) der jeweiligen Bildaufnahmeeinheit (21), gegebenenfalls auch die Intensitätswerte in der Umgebung der jeweiligen Bildpunkte, für die Bestimmung des zumindest einen Merkmalswertes herangezogen werden und dieser dem lageentsprechenden Punkt im Merkmalsbild (51, 52) zugeordnet wird, wobei insbesondere - für jeden der Bildpunkte jeweils nach einer vorgegebenen Vorschrift aus den Intensitätswerten lageentsprechender Bildpunkte, gegebenenfalls aus deren jeweiligen Umgebungen, jeweils Texturinformation und/oder die Richtung der Flächennormale ermittelt wird.
  3. 3. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für jede Lichtkonfiguration jeweils eine dieser Konfiguration zugeordnete Anzahl von Lichtquellen (11, 12, 13) aktiviert wird, wobei für jede Lichtkonfiguration eine eigene Lichtquelle (11, 12, 13) verwendet wird.
  4. 4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für jede Lichtkonfiguration und für jede Bildaufnahmeeinheit (21, 22) jeweils ein Bild (411, 412, 413; 421,422, 423) erstellt wird.
  5. 5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass für jede der Lichtkonfigurationen jeweils die Richtung, in der das Licht auf die Szene trifft bekannt ist, und dass für jede der Bildaufnahmeeinheiten (21,22) jeweils die relative Lage und Ausrichtung zur Szene bekannt ist, und dass aufgrund der relativen Lage der Lichteinfallrichtung zur Lage und Ausrichtung der Kamera die Oberflächennormalen in jedem Punkt ermittelt wird, wobei die Oberflächennormale als Merkmalswert dem jeweiligen Merkmalsbild (51, 52) zugeordnet wird und/oder dem jeweiligen Raumpunkt nach dessen Ermittlung zugeordnet wird.
  6. 6. Verfahren nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass zur Erstellung der Merkmalsbilder (51, 52) jeweils pixelweise ein Merkmalswert ermittelt wird, der sich aus den Intensitätswerten (411, 412, 413, 421, 422, 423) der Bilder im lageentsprechenden Pixel ergibt, wobei der Merkmalswert vorzugsweise als gewichtete Summe der Intensitätswerte ermittelt wird, insbesondere a) wobei sich die Gewichte, mit denen die Intensitätswerte gewichtet werden, aus den einzelnen Intensitätswerten selbst ergeben, und/oder Intensitätswerte, die näher beim Mittelwert liegen stärker gewichtet werden, oder b) wobei als Merkmalswert der Median herangezogen wird, oder ein Mittelwert aus einer Menge von Intensitätswerten herangezogen wird, bei der eine Anzahl der größten oder kleinsten Intensitätswerte ausgeschlossen wird.
  7. 7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass auf die Bilder vor der Erstellung des Merkmalsbilds ein Filter angewendet wird und bei der Erstellung des Merkmalsbilds anstelle der aufgenommenen Intensitätswerte solche Intensitätswerte herangezogen werden, die sich nach Anwendung des Filters ergeben.
  8. 8. Verfahren nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass bei der Erstellung eines Merkmalsbilds (51,52) pixelweise ein Merkmalswert ermittelt wird, indem eine gewichtete Summe der Intensitätswerte der lageentsprechenden Pixel der Bilder (411, 412, 413, 421, 422, 423) ermittelt wird, wobei jeder der Intensitätswerte mit einem Gewichtswert gewichtet wird, der dem Kontrast des jeweiligen Bilds innerhalb einer Umgebung um das Pixel oder einem davon abgeleiteten Wert entspricht, wobei der Kontrastwert insbesondere ermittelt wird, als a) Differenz zwischen maximalem und minimalem Intensitätswert innerhalb der Umgebung, b) maximale Differenz zwischen dem Intensitätswert des Pixels und einem Pixel innerhalb seiner Umgebung, c) Varianz der Intensitätswerte innerhalb der Umgebung.
ATA554/2015A 2015-08-20 2015-08-20 Fotometrisches Stereomatching AT517656A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ATA554/2015A AT517656A1 (de) 2015-08-20 2015-08-20 Fotometrisches Stereomatching
PCT/AT2016/060025 WO2017027895A1 (de) 2015-08-20 2016-08-02 Fotometrisches stereomatching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ATA554/2015A AT517656A1 (de) 2015-08-20 2015-08-20 Fotometrisches Stereomatching

Publications (1)

Publication Number Publication Date
AT517656A1 true AT517656A1 (de) 2017-03-15

Family

ID=56852019

Family Applications (1)

Application Number Title Priority Date Filing Date
ATA554/2015A AT517656A1 (de) 2015-08-20 2015-08-20 Fotometrisches Stereomatching

Country Status (2)

Country Link
AT (1) AT517656A1 (de)
WO (1) WO2017027895A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021105795A1 (de) 2021-03-10 2022-09-15 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur stereoskopie

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167092B (zh) * 2017-05-18 2019-12-13 上海晶电新能源有限公司 一种基于多目图像识别的定日镜面形检测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100315490A1 (en) * 2009-06-15 2010-12-16 Electronics And Telecommunications Research Institute Apparatus and method for generating depth information
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US20120237114A1 (en) * 2011-03-16 2012-09-20 Electronics And Telecommunications Research Institute Method and apparatus for feature-based stereo matching

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012037085A1 (en) * 2010-09-16 2012-03-22 Siemens Corporation Active lighting for stereo reconstruction of edges
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100315490A1 (en) * 2009-06-15 2010-12-16 Electronics And Telecommunications Research Institute Apparatus and method for generating depth information
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US20120237114A1 (en) * 2011-03-16 2012-09-20 Electronics And Telecommunications Research Institute Method and apparatus for feature-based stereo matching

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021105795A1 (de) 2021-03-10 2022-09-15 Carl Zeiss Microscopy Gmbh Verfahren und vorrichtung zur stereoskopie

Also Published As

Publication number Publication date
WO2017027895A1 (de) 2017-02-23

Similar Documents

Publication Publication Date Title
DE102012016160A1 (de) Bilderfassung für eine spätere Nachfokussierung oder Fokusmanipulation
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
DE102011011930A1 (de) Verfahren und System zur Bestimmung einer Anzahl von Übergangsobjekten
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
EP2275989A1 (de) Stereoskopische 3D-Kamera
DE102012209316A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
DE112017007695T5 (de) Facettenaugen-bildaufnahmevorrichtung, bildverarbeitungsverfahren, programm und aufzeichnungsmedium
DE102015208087A1 (de) Verfahren zum Generieren eines reflektionsreduzierten Kontrastbildes und diesbezügliche Vorrichtungen
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102018127754A1 (de) Verfahren und Vorrichtung zum Inspizieren einer Objektoberfläche, insbesondere zum Inspizieren der Oberfläche eines Pulverbettes mit einer Vielzahl von Pulverpartikeln
WO2017027895A1 (de) Fotometrisches stereomatching
EP3158285B1 (de) Verfahren zur ermittlung eines räumlichen verschiebungsvektorfeldes
WO2015155070A1 (de) Verfahren und sensor zum erzeugen und erfassen von mustern auf einer oberfläche
DE102018101023B3 (de) Verfahren zur Abstandsmessung mittels trajektoriebasierter Triangulation
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
DE102012222505B4 (de) Verfahren zum Erfassen dreidimensionaler Daten eines zu vermessenden Objekts, Verwendung eines derartigen Verfahrens zur Gesichtserkennung und Vorrichtung zur Durchführung eines derartigen Verfahrens
DE102016121668A1 (de) Automatische Identifizierung medizinisch relevanter Videoelemente
DE102018122816A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
DE102015011674A1 (de) Verfahren zur Tiefenfilterung von Tiefenbildern
DE102009024030B3 (de) Verfahren zur optischen Ermittlung von geometrischen Oberflächenmerkmalen
AT520839B1 (de) Verfahren zur Erstellung einer Bildstapel-Datenstruktur
DE102015112411A1 (de) System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
DE102012025463A1 (de) Verfahren zum Bestimmen eines Bewegungsparameters eines Kraftfahrzeugs durch Auffinden von invarianten Bildregionen in Bildern einer Kamera des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102016104043A1 (de) Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug
DE102012100848A1 (de) System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops

Legal Events

Date Code Title Description
REJ Rejection

Effective date: 20230715