DE102017102952A1

DE102017102952A1 - Eine Vorrichtung zum Erzeugen eines dreidimensionalen Farbbildes und ein Verfahren zum Produzieren eines dreidimensionalen Farbbildes

Info

Publication number: DE102017102952A1
Application number: DE102017102952.4A
Authority: DE
Inventors: Hannes Plank; Norbert Druml
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2016-02-26
Filing date: 2017-02-14
Publication date: 2017-08-31
Also published as: CN107133914B; CN107133914A; US20170251194A1; US10003783B2

Abstract

Eine Vorrichtung umfasst eine Eingangsschnittstelle zum Empfangen eines Farbbildes von zumindest einem Objekt und eines Niedrigauflösungstiefenbildes von zumindest dem Objekt. Die Vorrichtung umfasst ferner ein Bildverarbeitungsmodul, das ausgebildet ist zum Produzieren von Angaben zum Erzeugen eines dreidimensionalen Farbbildes basierend auf einer ersten Farbpixelbildangabe eines ersten Farbpixels und einer ersten hergeleiteten Tiefenpixelbildangabe eines ersten hergeleiteten Tiefenpixels. Das Bildverarbeitungsmodul ist ausgebildet zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels und einem Gewichtungsfaktor. Der Gewichtungsfaktor basiert auf einem Farbkantengrößensummationswert eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel. Die Vorrichtung umfasst ferner eine Ausgangsschnittstelle zum Bereitstellen des erzeugten dreidimensionalen Farbbildes.

Description

Technisches Gebiet
Ausführungsbeispiele beziehen sich auf Konzepte zum Produzieren von Bildern, und insbesondere auf eine Vorrichtung zum Erzeugen eines dreidimensionalen Farbbildes und ein Verfahren zum Produzieren eines dreidimensionalen Farbbildes.
Hintergrund
Tiefensensorsysteme (z. B. Laufzeit-Sensorsysteme oder z. B. andere dreidimensionale Tiefensensorsysteme) können unter schlechter Tiefenbildqualität, z. B. geringer Auflösung und/oder Rauschen, leiden. Aktuelle Verfahren und Operationen sind zum Beispiel möglicherweise nicht in der Lage, Tiefen- und Farbdaten mit hoher Performance (Leistungsfähigkeit) zu fusionieren und/oder sind möglicherweise nicht in der Lage, eine echte Tiefenangabenqualitätsverbesserung zu erreichen. Zusätzlich können viele Verfahren aufgrund von Datenabhängigkeiten und/oder der Unfähigkeit, den Algorithmus in parallele Aufgaben zu splitten, auf Graphikverarbeitungseinheiten (GPUs; GPU = Graphics Processing Unit) nicht effizient implementiert werden.
Zusammenfassung
Es besteht ein Bedarf zum Bereitstellen eines verbesserten Konzeptes für eine Vorrichtung zum Erzeugen eines dreidimensionalen Farbbildes, ein Kamerasystem und ein Verfahren zum Produzieren eines dreidimensionalen Farbbildes.
Ein solcher Bedarf kann durch den Gegenstand eines der Ansprüche erfüllt werden.
Einige Ausführungsbeispiele beziehen sich auf eine Vorrichtung zum Erzeugen eines dreidimensionalen Farbbildes. Die Vorrichtung umfasst eine Eingangsschnittstelle zum Empfangen eines Farbbildes von zumindest einem Objekt und eines Niedrigauflösungstiefenbildes von zumindest einem Objekt. Die Vorrichtung umfasst ferner ein Bildverarbeitungsmodul, das ausgebildet ist zum Produzieren von Angaben (data) zum Erzeugen eines dreidimensionalen Farbbildes von zumindest dem Objekt basierend auf einer ersten Farbpixelbildangabe (color pixel image data) eines ersten Farbpixels des Farbbildes und einer ersten hergeleiteten Tiefenpixelbildangabe (depth pixel image data) eines ersten hergeleiteten Tiefenpixels eines hergeleiteten Hochauflösungstiefenbildes von zumindest dem Objekt. Das Bildverarbeitungsmodul ist ausgebildet zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels des Niedrigauflösungstiefenbildes und einem Gewichtungsfaktor, der der gemessenen Tiefenpixelbildangabe zugeordnet ist. Der Gewichtungsfaktor basiert auf einem Farbkantengrößensummationswert eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel. Das Referenzfarbpixel weist eine Pixelposition in dem Farbbild auf, die einem gemessenen Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild des Objekts entspricht. Die Vorrichtung umfasst ferner eine Ausgangsschnittstelle zum Bereitstellen des erzeugten dreidimensionalen Farbbildes.
Einige Ausführungsbeispiele beziehen sich auf ein Verfahren zum Produzieren eines dreidimensionalen Farbbildes von zumindest einem Objekt. Das Verfahren umfasst ein Herleiten eines Gewichtungsfaktors, der einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels eines Niedrigauflösungstiefenbildes zugeordnet ist, basierend auf einem Farbkantengrößensummationswert eines Pfades zwischen einem ersten Farbpixel eines Farbbildes und einem Referenzfarbpixel des Farbbildes. Das Verfahren umfasst ferner ein Herleiten einer ersten Tiefenpixelbildangabe eines ersten Tiefenpixels eines Hochauflösungstiefenbildes basierend auf der gemessenen Tiefenpixelbildangabe und dem Gewichtungsfaktor, der der gemessenen Tiefenpixelbildangabe zugeordnet ist. Das Verfahren umfasst ferner ein Bereitstellen eines dreidimensionalen Farbbildes von zumindest dem Objekt basierend auf einer ersten Farbpixelbildangabe des ersten Farbpixels des Farbbildes und der ersten hergeleiteten Tiefenpixelbildangabe.
Einige Ausführungsbeispiele beziehen sich auf ein Kamerasystem. Das Kamerasystem umfasst ein zweidimensionales Hochauflösungskameramodul zum Erzeugen eines Farbbildes von zumindest einem Objekt. Das Kamerasystem umfasst ferner ein dreidimensionales Kameramodul zum Erzeugen eines Tiefenbildes von zumindest dem Objekt. Das Kamerasystem umfasst ferner eine Vorrichtung zum Erzeugen eines dreidimensionalen Farbbildes von zumindest dem Objekt.
Kurze Beschreibung der Figuren
Einige Ausführungsbeispiele von Vorrichtungen und/oder Verfahren werden nachfolgend nur beispielhaft und Bezug nehmend auf die beiliegenden Figuren beschrieben, in denen
1A eine schematische Darstellung einer Vorrichtung zum Erzeugen eines dreidimensionalen Farbbildes zeigt.
1B eine schematische Darstellung von zumindest einem Teil eines Hochauflösungstiefenbildes und eines Farbbildes zeigt;
1C eine schematische Darstellung von zumindest einem Teil eines Hochauflösungstiefenbildes zeigt;
1D eine schematische Darstellung von zumindest einem Teil eines Farbbildes zeigt.
2A eine schematische Darstellung von zumindest einem Teil eines Kantenführungsbildes zeigt;
2B eine Tabelle zeigt, die eine Bestimmung einer Mehrzahl von Farbkantengrößensummationswerten darstellt;
3A bis 3D schematische Darstellungen einer Pixel-Parsing-Hierarchie eines abgebildeten Tiefenwertes zeigt;
4 ein Flussdiagramm eines Verfahrens zum Produzieren eines dreidimensionalen Bildes zeigt; und
5 eine schematische Darstellung eines Kamerasystems zeigt.
Detaillierte Beschreibung
Verschiedene Ausführungsbeispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren kann die Dicke der Linien, Schichten und/oder Regionen der Klarheit halber übertrieben sein.
Während dementsprechend Abänderungen und alternative Formen von Ausführungsbeispielen möglich sind, werden Ausführungsbeispiele davon in den Figuren beispielhaft gezeigt und hier ausführlich beschrieben. Es versteht sich jedoch, dass es nicht beabsichtigt ist, Ausführungsbeispiele auf die offenbarten bestimmten Formen zu begrenzen, sondern im Gegensatz Ausführungsbeispiele alle in den Rahmen der Offenbarung fallenden Modifikationen, Entsprechungen und Alternativen abdecken sollen. In der gesamten Beschreibung der Figuren beziehen sich gleiche Ziffern auf gleiche oder ähnliche Elemente.
Es versteht sich, dass, wenn ein Element als mit einem anderen Element „verbunden” oder „gekoppelt” bezeichnet wird, es direkt mit dem anderen Element verbunden oder gekoppelt sein kann oder Zwischenelemente vorhanden sein können. Wenn im Gegensatz ein Element als „direkt” mit einem anderen Element „verbunden” oder „gekoppelt” bezeichnet wird, sind keine Zwischenelemente vorhanden. Sonstige zum Beschreiben des Verhältnisses zwischen Elementen benutzte Ausdrücke sollen auf gleichartige Weise ausgelegt werden (z. B. „zwischen” gegenüber „direkt zwischen”, „benachbart” gegenüber „direkt benachbart” etc.).
Die hier verwendete Terminologie bezweckt nur das Beschreiben bestimmter Ausführungsbeispiele und soll nicht begrenzend für Ausführungsbeispiele sein. Nach hiesigem Gebrauch sollen die Singularformen „ein, eine” und „das, der, die” auch die Pluralformen umfassen, sofern aus dem Zusammenhang nicht eindeutig etwas anderes hervorgeht. Es versteht sich weiterhin, dass die Begriffe „umfasst”, „umfassend”, „aufweist” und/oder „aufweisend” bei hiesigem Gebrauch das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten angeben, aber nicht das Vorhandensein oder die Zufügung eines oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen derselben ausschließen.
Sofern nicht anderweitig definiert besitzen alle hier benutzten Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) die gleiche Bedeutung wie sie gewöhnlich von einem Durchschnittsfachmann auf dem Gebiet verstanden wird, zu dem Ausführungsbeispiele gehören. Weiterhin versteht es sich, dass Begriffe, z. B. die in gewöhnlich benutzten Wörterbüchern definierten, als eine Bedeutung besitzend ausgelegt werden sollten, die ihrer Bedeutung im Zusammenhang der entsprechenden Technik entspricht, und nicht in einem idealisierten oder übermäßig formalen Sinn ausgelegt werden, sofern sie hier nicht ausdrücklich so definiert sind.
1A zeigt eine schematische Darstellung einer Vorrichtung 100 zum Erzeugen eines dreidimensionalen Farbbildes.
Die Vorrichtung 100 umfasst eine Eingangsschnittstelle 101 zum Empfangen eines Farbbildes 102 von zumindest einem Objekt und eines Niedrigauflösungstiefenbildes 103 von zumindest dem Objekt.
Die Vorrichtung 100 umfasst ferner ein Bildverarbeitungsmodul 104, das ausgebildet ist zum Produzieren von Angaben zum Erzeugen eines dreidimensionalen Farbbildes 106 von zumindest dem Objekt basierend auf einer ersten Farbpixelbildangabe eines ersten Farbpixels des Farbbildes 102 und einer ersten hergeleiteten Tiefenpixelbildangabe eines ersten hergeleiteten Tiefenpixels eines hergeleiteten Hochauflösungstiefenbildes von zumindest dem Objekt.
Das Bildverarbeitungsmodul 104 ist ausgebildet zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels des Niedrigauflösungstiefenbildes 103 und einem Gewichtungsfaktor, der der gemessenen Tiefenpixelbildangabe zugeordnet ist. Der Gewichtungsfaktor basiert auf einem Farbkantengrößensummationswert eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel. Das Referenzfarbpixel weist eine Pixelposition in dem Farbbild 102 auf, die einem gemessenen Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild des Objekts entspricht.
Die Vorrichtung 100 umfasst ferner eine Ausgangsschnittstelle 105 zum Bereitstellen des erzeugten dreidimensionalen Farbbildes 106.
Da der Gewichtungsfaktor auf einem Farbkantengrößensummationswert eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel basiert, kann die Tiefenqualität hinsichtlich Auflösung und/oder Rauschreduzierung eines erzeugten dreidimensionalen Farbbildes 106 verbessert werden. Zusätzlich kann zum Beispiel eine Tiefenqualitätsverbesserung des erzeugten dreidimensionalen Farbbildes 106 unter Aufrechterhaltung einer hohen Performance erreicht werden.
Das Farbbild 102 von (zumindest) dem Objekt kann ein hochauflösendes zweidimensionales Farbbild sein. Das Farbbild 102 kann ein zweidimensionales Array von Farbpixeln sein. Jedes Farbpixel des Farbbildes 102 kann zum Beispiel zweidimensionale Farbinformation (z. B. RGB-Farbraum-Information oder alternativ andere Farbrauminformation) bezogen auf das Objekt aufweisen.
Das Niedrigauflösungstiefenbild 103 von (zumindest) dem Objekt kann ein zweidimensionales Array von Tiefenpixeln sein. Jedes Tiefenpixel des Niedrigauflösungstiefenbildes 103 kann Distanz-(z. B. Tiefen-, z. B. Dreidimensional-3D-)Information bezogen auf das Objekt aufweisen. Zum Beispiel kann die Tiefeninformation auf die Distanz einer Oberfläche des Objekts zu einer Referenzebene oder einem Referenzpunkt bezogen sein.
Zum Beispiel kann das Farbbild 102 des Objekts, das von der Eingangsschnittstelle 101 der Vorrichtung empfangen wird, eine höhere Auflösung (z. B. Pixelauflösung) aufweisen als eine Auflösung des Niedrigauflösungstiefenbildes 103. Die Auflösung oder Pixelauflösung kann sich auf die Anzahl von Pixeln eines zweidimensionalen Arrays des Bildes beziehen.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Herleiten des Hochauflösungstiefenbildes 107 von zumindest dem Objekt. Als Ausgangssituation kann zum Beispiel die Tiefe auf das Hochauflösungsfarbbild 102 abgebildet werden. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten des Hochauflösungstiefenbildes 107 des Objekts basierend zumindest auf den gemessenen Tiefenpixeln des Niedrigauflösungstiefenbildes 103. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten des Hochauflösungstiefenbildes 107 des Objekts durch Umwandeln der gemessenen Tiefenpixelbildangabe eines jeden gemessenen Tiefenpixels des Niedrigauflösungstiefenbildes 103 zu dem Bildraum des Farbbildes 102 des Objekts, um zumindest einen Teil des Hochauflösungstiefenbildes 107 zu erhalten.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Abbilden der gemessenen Tiefenpixelbildangabe der gemessenen Tiefenpixel des Niedrigauflösungstiefenbildes 103 des Objekts auf den Bildraum des Farbbildes 102 des Objekts (wie in 1B gezeigt). Somit kann das Hochauflösungstiefenbild 107, das hergeleitet werden soll, möglicherweise den (gleichen) Bildraum des Farbbildes 102 aufweisen. Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Herleiten des Hochauflösungstiefenbildes 107 basierend auf dem Niedrigauflösungstiefenbild 103 des Objekts. Zum Beispiel kann die Anzahl von Tiefenpixeln in dem Niedrigauflösungsbild 103 die Gleiche sein wie die abgebildeten Pixel 112 in dem Hochauflösungstiefenbild 107. Zum Beispiel kann das Hochauflösungstiefenbild 107 die gleiche Größe (z. B. die gleiche Pixelauflösung) wie das Farbbild 102 aufweisen. Zum Beispiel kann die Anzahl von Pixeln des aufwärts-abgetasteten Hochauflösungstiefenbildes 107 die Gleiche sein wie die (oder z. B. gleich der) Anzahl von Pixeln des Farbbildes 102.
Das Hochauflösungstiefenbild 107, das durch das Bildverarbeitungsmodul 104 hergeleitet (herleitbar) ist, kann zumindest ein (z. B. ein oder mehrere oder z. B. eine Mehrzahl von) Tiefenpixel umfassen, das basierend auf gemessenen Tiefenpixelbildangaben eines gemessenen Tiefenpixels des Niedrigauflösungstiefenbildes 103 hergeleitet sind. Zum Beispiel kann das Hochauflösungstiefenbild 107 eine erste Gruppe von Tiefenpixeln umfassen (oder aufweisen). Jedes Tiefenpixel der ersten Gruppe von Tiefenpixeln des Hochauflösungstiefenbildes 107 kann hergeleitet sein basierend auf gemessenen Tiefenpixelbildangaben einer Mehrzahl von unterschiedlichen gemessenen Tiefenpixeln des Niedrigauflösungstiefenbildes 103.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen eines jeden Tiefenpixels einer zweiten Gruppe von Tiefenpixeln des Hochauflösungstiefenbildes 107. Die Tiefenpixel der zweiten Gruppe von Tiefenpixeln können die Tiefenpixel der ersten Gruppe von Tiefenpixeln des Hochauflösungstiefenbildes ausschließen (oder können sich z. B. von denselben unterscheiden).
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Herleiten der Tiefenpixel (z. B. eines jeden Tiefenpixels) der zweiten Gruppe von Tiefenpixeln des Hochauflösungstiefenbildes 107, um das Hochauflösungstiefenbild 107 zu erzeugen. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen (oder z. B. Herleiten) von Tiefenpixelbildangaben für jedes Tiefenpixel (der zweiten Gruppe von Tiefenpixeln) des Hochauflösungstiefenbildes 107.
Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen einer ersten hergeleiteten Tiefenpixelbildangabe eines ersten hergeleiteten Tiefenpixels des Hochauflösungstiefenbildes 107. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels basierend auf gemessenen Tiefenpixelbildangaben eines (oder z. B. zumindest eines oder z. B. eines oder mehrerer) gemessenen Tiefenpixels des Hochauflösungstiefenbildes 107 und einem Gewichtungsfaktor, w, der der gemessenen Tiefenpixelbildangabe des gemessenen Tiefenpixels zugeordnet ist. Zum Beispiel können mehrere Tiefenwerte (von dem Niedrigauflösungstiefenbild) das Ergebnis eines jeden Hochauflösungstiefenwertes beeinflussen.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen des Gewichtungsfaktors, der der gemessenen Tiefenpixelbildangabe des gemessenen Tiefenpixels zugeordnet ist, basierend auf dem Farbkantengrößensummationswert, S_E, eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel (z. B. eines Pfades von dem ersten Farbpixel zu dem Referenzfarbpixel).
Das Referenzfarbpixel weist eine Pixelposition in dem Farbbild 102 auf, die dem gemessenen Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts entspricht. Zum Beispiel kann das Referenzfarbpixel eine Pixelposition in dem Farbbild 102 aufweisen, die die gleiche sein kann wie eine Pixelposition des gemessenen Tiefenpixels in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts (wie in 1C bis 1D gezeigt).
Der Gewichtungsfaktor, w, basiert auf einem Farbkantengrößensummationswert, S_E, des Pfades (z. B. des Pixelpfades) zwischen dem ersten Farbpixel des empfangenen Farbbildes 102 und dem Referenzfarbpixel des empfangenen Farbbildes 102. Zum Beispiel kann der Gewichtungsfaktor, w, mit einem zunehmenden Farbkantengrößensummationswert, S_E, zwischen dem ersten Farbpixel und dem Referenzfarbpixel abnehmen. Zum Beispiel kann der Gewichtungsfaktor, w, mit einem zunehmenden Farbkantengrößensummationswert, S_E, zwischen dem ersten Farbpixel und dem Referenzfarbpixel exponentiell abnehmen.
Der Gewichtungsfaktor (der als das Interpolationsgewicht bezeichnet werden kann), w, quantifiziert den Einfluss eines jeden (gemessenen) Tiefenwertes. Die Funktion oder Formel zum Umwandeln des Farbkantengrößensummationswertes, S_E, zu dem Gewichtungsfaktor, w, kann eine sein, die kleine Änderungen des S_E erlaubt, um zu großen Änderungen von w zu führen. Zusätzlich ist es möglicherweise erforderlich, Tiefenwerte beim Ausbreiten über Kanten einzuschränken, wenn es auf der anderen Seite der Kante gültige Tiefenmessungen gibt. Zum Beispiel können Tiefenwerte beim Ausbreiten über Kanten eingeschränkt sein wegen des abnehmenden Gewichtungsfaktors.
Eine natürliche Exponentialfunktion (e) kann für diesen Zweck gut geeignet sein. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen des Gewichtungsfaktors, w, basierend auf dem Farbkantengrößensummationswert, S_E, gemäß dem Verhältnis:
w kann den Gewichtungsfaktor repräsentieren.
S_E kann den Farbkantengrößensummationswert basierend auf einer Summe von Farbkantengrößenwerten zwischen dem ersten Farbpixel und dem Referenzfarbpixel repräsentieren.
σ kann einen skalaren Parameter repräsentieren. Der Parameter σ kann das Argument der Exponentialfunktion skalieren, um den Bereich des Gewichtungsfaktors, w, zum Beispiel auf die Grenzen eines Fließkommadatentyps (z. B. eines 32-Bit-Fließkommadatentyps) einzuschränken. Zum Beispiel, je kleiner der skalare Parameter, desto steiler die Exponentialfunktion und desto größer der Einflussverfall. Somit kann ein kleinerer skalarer Parameter zu einem schärferen, heraufskalierten Tiefenbild führen. Zum Beispiel kann der Parameter σ kleiner sein als 0,6 (oder zum Beispiel kleiner als 0,05 oder zum Beispiel kleiner als 0,01). Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Auswählen des Wertes des skalaren Parameters. Optional kann der Parameter σ so klein wie möglich gewählt werden.
Optional kann der Gewichtungsfaktor, w, zum Beispiel einzig (oder nur) auf dem Farbkantengrößensummationswert, S_E, und dem skalaren Parameter basieren. Anders ausgedrückt, der Farbkantengrößensummationswert, S_E, kann der einzige variable Parameter sein, der die Gewichtung, w, zum Beispiel beeinflusst.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixel basierend auf dem zumindest einen gemessenen Tiefenpixel. Optional kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels basierend auf mehr als einem gemessenen Tiefenpixel (oder z. B. einer Mehrzahl von gemessenen Tiefenpixeln), die die erste hergeleitete Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels beeinflussen, das hergeleitet werden soll.
Zum Beispiel kann das erste hergeleitete Tiefenpixel innerhalb eines ersten Pixeleinflussradius des ersten gemessenen Tiefenpixels und innerhalb eines zweiten Pixeleinflussradius des zweiten gemessenen Tiefenpixels liegen. Somit kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen (oder Herleiten) der ersten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels basierend auf einem Gewichtungsfaktor, der der ersten gemessenen Tiefenpixelbildangabe des ersten gemessenen Tiefenpixels zugeordnet ist, und einem Gewichtungsfaktor, der der zweiten gemessenen Tiefenpixelbildangabe des zweiten gemessenen Tiefenpixels zugeordnet ist. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten eines jeden Gewichtungsfaktors, w_n, der jedem gemessenen Tiefenpixel, n, zugeordnet ist, in dessen Pixeleinflussradius das erste hergeleitete Tiefenpixel liegt.
Jeder Gewichtungsfaktor w_n kann hergeleitet werden basierend auf einem entsprechenden Farbkantengrößensummationswert, S_E. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten des Gewichtungsfaktors, der der ersten gemessenen Tiefenpixelbildangabe des ersten gemessenen Tiefenpixels zugeordnet ist, basierend auf einem Farbkantengrößensummationswert, S_E, eines Pfades zwischen dem ersten Farbpixel und dem ersten Referenzfarbpixel. Das erste Referenzfarbpixel weist eine Pixelposition in dem Farbbild 102 auf, die einem (ersten) gemessenen Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts entspricht. Zusätzlich kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten des Gewichtungsfaktors, der der zweiten gemessenen Tiefenpixelbildangabe des zweiten gemessenen Tiefenpixels zugeordnet ist, basierend auf einem Farbkantengrößensummationswert, S_E, eines Pfades zwischen dem ersten Farbpixel und dem zweiten Referenzfarbpixel. Das zweite Referenzfarbpixel weist eine Pixelposition in dem Farbbild 102 auf, die einem (zweiten) gemessenen Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts entspricht.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Bestimmen des (oder jedes) Farbkantengrößensummationswertes, S_E, basierend auf zumindest einem Farbkantengrößenwert einer Mehrzahl von Farbkantengrößenwerten, die durch das Bildverarbeitungsmodul 104 hergeleitet sind. Zusätzlich, optional oder alternativ kann der Farbkantengrößensummationswert, S_E, auf einer Summe aller gekreuzten Farbkanten basieren.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Bestimmen der Mehrzahl von Farbkantengrößenwerten durch Herleiten eines Kantenführungsbildes (z. B. in 2A gezeigt) basierend auf dem Farbbild 102 des Objekts. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Bestimmen der Mehrzahl von Farbkantengrößenwerten, die einer Mehrzahl von Farbpixeln des Farbbildes 102 entsprechen, durch eine Kantenfilterungsoperation des Farbbildes 102. Zum Beispiel kann optional ein (oder jeder) Farbkantengrößenwert eines (oder jedes) Farbpixels der Mehrzahl von Farbpixeln basierend auf Farbinformation von (nur) direkt benachbarten Pixeln des Pixels hergeleitet werden. Zum Beispiel kann die Kantenfilterungsoperation einen Farbkantengrößenwert eines Farbpixels der Mehrzahl von Farbpixeln basierend auf der Farbinformation (oder z. B. Farbwerten) von 4 Pixeln bestimmen, die das Farbpixel umgeben.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Herleiten der Mehrzahl von Farbkantengrößenwerten basierend auf einer Sobel-Operation des Farbbildes 102 (oder angewandt auf dasselbe). Alternativ oder optional kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten der Mehrzahl von Farbkantengrößenwerten durch Anwenden einer Kantenfilterungsoperation auf das Farbbild 102, z. B. einer Canny-Operation, einer Laplacian-of-Gaussian-Operation oder einer Prewitt-Operation.
Das Bildverarbeitungsmodul 104 kann einen Kantengrößenwert-Speicher aufweisen. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Speichern der Mehrzahl von Farbkantengrößenwerten in dem Kantengrößenwert-Speicher des Bildverarbeitungsmoduls 104.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen (oder Herleiten) einer Mehrzahl von Farbkantengrößensummationswerten nach dem Bestimmen und/oder Speichern der Mehrzahl von Farbkantengrößenwerten. Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen der Mehrzahl von Farbkantengrößensummationswerten, S_E, von denen jeder einer Mehrzahl von hergeleiteten Tiefenpixeln entspricht, die hergeleitet werden sollen und innerhalb eines Pixeleinflussbereichs des gemessenen Tiefenpixels liegen.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Bestimmen des (oder jedes) Farbkantengrößensummationswertes, S_E, basierend auf zumindest einem (z. B. einem oder mehreren, oder z. B. einer Mehrzahl von) Farbkantengrößenwert einer Mehrzahl von Farbkantengrößenwerten, die in dem Kantengrößenwert-Speicher gespeichert sind. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Bestimmen des Farbkantengrößensummationswertes, S_E, basierend auf einer Summe (z. B. einer Addition oder z. B. einer Summation) von Farbkantengrößenwerten entlang des (oder auf dem oder des) Pixelpfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel (z. B. von dem ersten Farbpixel zu dem Referenzfarbpixel). Zum Beispiel kann der Farbkantengrößensummationswert, S_E, auf einer Summe (z. B. einer Addition oder z. B. einer Summation) von Farbkantengrößenwerten entlang des Pixelpfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel basieren, umfassend den Farbkantengrößenwert des ersten Farbpixels und den Farbkantengrößenwert des Referenzfarbpixels (wie in 2B gezeigt).
Um die Anforderung zu erfüllen, dass S_E die Summe aller Kanten (z. B. Kantengrößen) entlang des Pixelpfades zwischen Pixel i (Pixel i kann jedes hergeleitete Tiefenpixel repräsentieren, das hergeleitet werden soll) und dem abgebildeten Tiefenwert d_n (d_n kann die gemessene Tiefenpixelbildangabe eines gemessenen Tiefenpixels, n, repräsentieren, das die hergeleitete Tiefenpixelbildangabe beeinflusst) sein kann, ist es erforderlich, dass die umgebenden Pixel in einer bestimmten Reihenfolge geparst werden (wie in 3A bis 3D gezeigt).
Der Pixeleinflussbereich, der das gemessene Tiefenpixel 331 umgibt, kann zum Beispiel durch einen Pixelradius definiert sein, der eine euklidische Distanz zu dem gemessenen Tiefenpixel sein kann. Die beeinflussten Pixel 332 können zum Beispiel innerhalb des Pixeleinflussbereichs liegen, der durch den Pixelradius, r, definiert ist. Jedes neu verarbeitete Pixel kann von seinem Vorgänger entlang des Pixelpfades abhängen.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen der Mehrzahl von Farbkantengrößensummationswerten, S_E, die der Mehrzahl von hergeleiteten Tiefenpixeln entsprechen, die hergeleitet werden sollen, gemäß einer Parsing-Reihenfolge. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen der Mehrzahl von Farbkantengrößensummationswerten S_E, gemäß der Parsing-Reihenfolge entlang zumindest eines Kreispfades um das gemessene Tiefenpixel.
Das Bildverarbeitungsmodul 104 kann ein Speicher-Array zum Speichern der Mehrzahl von Farbkantengrößensummationswerten S_E gemäß der Parsing-Reihenfolge umfassen. Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen der Mehrzahl von Gewichtungsfaktoren, die der Mehrzahl von hergeleiteten Tiefenpixelbildangaben entsprechen, basierend auf der Parsing-Reihenfolge der Mehrzahl von Farbkantengrößensummationswerten, die in dem Speicher-Array gespeichert sind.
Ein Berechnen der Pixelpfade während der Berechnung kann durch die Nachschlagtabelle vermieden werden. Die Tabelle kann die relativen Pixelpositionen auf den Pfaden in der korrekten Reihenfolge speichern. Ein kleines Array kann verwendet werden, um die Summe von Kantengewichtungen auf dem Pfad, S_E, für jedes Pixel zu Puffern, sodass es während der nächsten Pixeloperation auf dem Pfad nachgeschlagen werden kann. Dies kann die Voraussetzung abwenden, die Pixel entlang der radialen Pixelpfade zu parsen, solange die in 3A bis 3D gezeigte Hierarchie erfüllt ist. Folglich kann die Nachschlagtabelle von allen redundanten Operationen gereinigt werden, und nur n Pixel-Operationen für n beeinflusste Pixel sind möglicherweise zum Beispiel erforderlich.
Jedes (Tiefen-)Pixel des resultierenden Hochauflösungstiefenbildes kann zum Beispiel durch mehrere Tiefenwerte (z. B. mehr als einen, oder z. B. mehr als zwei oder z. B. mehr als 4 oder z. B. mehr als 5) beeinflusst werden, die dann durch ihren ausgebreiteten Einfluss interpoliert werden. Wenn zum Beispiel nur ein Tiefenwert das Pixel beeinflusst, kann der Pixelwert mit dem Tiefenwert identisch sein. Wenn zum Beispiel keine Tiefenwerte ein Pixel beeinflussen, gibt es keine Interpolation und der Wert bleibt undefiniert.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen der (ersten) hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels basierend auf einer Summe von Gewichtungsfaktoren Σ k / n=1w_n und einer Summe von gewichteten Tiefenwerten Σ k / n=1d_n·w_n, die dem zumindest einen gemessenen Tiefenpixel (oder z. B. einer Mehrzahl von gemessenen Tiefenpixeln) zugeordnet sind, das die (erste) hergeleitete Tiefenpixelbildangabe beeinflusst, die hergeleitet werden soll. Jeder gewichtete Tiefenwert der Summe von gewichteten Tiefenwerten kann auf einem Produkt (z. B. einer Multiplikation) von einer gemessenen Tiefenpixelbildangabe d_n und einem Gewichtungsfaktor w_n, der dem gemessenen Tiefenpixel zugeordnet ist, basieren.
Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen einer jeden hergeleiteten Tiefenpixelbildangabe, d_i, des Hochauflösungstiefenbildes basierend auf dem Verhältnis (oder z. B. der Interpolationsformel):
d_i kann zum Beispiel die hergeleitete Tiefenpixelbildangabe eines hergeleiteten Tiefenpixels, i, des Hochauflösungstiefenbildes repräsentieren. Zum Beispiel kann d_i die finale interpolierte Tiefe für jedes Farbpixel i repräsentieren.
k kann zum Beispiel die Anzahl von gemessenen Tiefenpixeln repräsentieren, die das hergeleitete Tiefenpixel beeinflussen.
d_n kann zum Beispiel die gemessene Tiefenpixelbildangabe eines gemessenen Tiefenpixels, n, repräsentieren, die die hergeleitete Tiefenpixelbildangabe beeinflusst.
w_n kann den zugeordneten Gewichtungsfaktor repräsentieren, der zum Beispiel dem gemessenen Tiefenpixel zugeordnet ist.
Die k Tiefenwerte, d_n, die ein Pixel i beeinflussen, können mit der Interpolationsformel durch Verwenden der Verhältnisse der Gewichtungen w interpoliert werden, was in der finalen Tiefe, di, resultiert. Die Tiefenwerte können ihren Einfluss auf die Einflusssphäre anderer Tiefenwerte ausbreiten, um Rauschen zu reduzieren. Da Farbkanten den Einfluss erheblich reduzieren können, kann die Rauschreduzierung kantenerhaltend sein.
Der eingeführte Algorithmus kann mit einigen Modifikationen effizient implementiert werden. Die Anzahl von Berechnungen und Speicherzugriffsoperationen kann reduziert werden. Zum Beispiel kann die Interpolationsformel als eine Aktualisierungsformel umformuliert werden. Zum Beispiel können d_sum [sum = Summe] und w_sum für jedes Pixel gespeichert werden und können den oberen und unteren Bruchterm in der Interpolationsformel ersetzen. Sie können aktualisiert werden, jedes Mal, wenn ein Tiefenwert auf einem Pixel arbeitet.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Aktualisieren der Summe von gewichteten Tiefenwerten, d_sum, die der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet sind, die hergeleitet werden soll, wenn ein neues gemessenes Tiefenpixel die erste hergeleitete Tiefenpixelbildangabe beeinflusst, die hergeleitet werden soll. Jeder gewichtete Tiefenwert der Summe von gewichteten Tiefenwerten kann auf einem Produkt (z. B. einer Multiplikation) von einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels, das die erste hergeleitete Tiefenpixelbildangabe, die hergeleitet werden soll, beeinflusst, und einem Gewichtungsfaktor, der dem gemessenen Tiefenpixel zugeordnet ist, basieren. Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Aktualisieren der Summe von gewichteten Tiefenwerten, d_sum, gemäß dem Verhältnis: d_sum = d_sum + d_n·w_new
w_new [new = neu] kann einen neuen Gewichtungsfaktor eines neuen gemessenen Tiefenpixels repräsentieren, das die erste hergeleitete Tiefenpixelbildangabe beeinflusst, die hergeleitet werden soll.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Aktualisieren der Summe von Gewichtungsfaktoren, w_sum, die der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet sind, die hergeleitet werden soll, wenn ein neues gemessenes Tiefenpixel die erste hergeleitete Tiefenpixelbildangabe beeinflusst, die hergeleitet werden sollen. Jeder Gewichtungsfaktor der Summe von Gewichtungsfaktoren kann einem (unterschiedlichen) gemessenen Tiefenpixel zugeordnet sein, das die erste hergeleitete Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels beeinflusst, das hergeleitet werden soll. Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Aktualisieren der Summe von Gewichtungsfaktoren, w_sum, gemäß dem Verhältnis: w_sum = w_sum + w_new
Das Bildverarbeitungsmodul 104 kann einen Gewichtungsfaktor-Speicher zum Speichern der Summe von Gewichtungsfaktoren, w_sum, umfassen, die der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet sind, die hergeleitet werden soll.
Das Bildverarbeitungsmodul 104 kann einen Gewichtet-Tiefenwert-Speicher zum Speichern der Summe von gewichteten Tiefenwerten, d_sum, umfassen, die der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet ist, die hergeleitet werden soll.
Die finale Tiefenpixelbildangabe, di, des hergeleiteten Tiefenpixels kann berechnet werden durch Teilen von d_sum, und w_sum auf jedem Pixel i gemäß dem Verhältnis:
Das Bildverarbeitungsmodul 104 kann einen Hergeleitet-Tiefenpixelbildangabe-Speicher zum Speichern von zumindest der ersten hergeleiteten Tiefenpixelbildangabe, d_l, des ersten hergeleiteten Tiefenpixels umfassen. Zum Beispiel kann der Hergeleitet-Tiefenpixelbildangabe-Speicher die hergeleitete Tiefenpixelbildangabe, d_i, eines jeden hergeleiteten Tiefenpixels einer Mehrzahl von hergeleiteten Tiefenpixel speichern.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Aktualisieren der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einer vorher gespeicherten, hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels und eines neuen gewichteten Tiefenwertes, der der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet ist. Zum Beispiel können sich die abgebildeten Positionen der Tiefenwerte jeden Rahmen (Frame) ändern und es ist möglicherweise nicht möglich, vorherzusagen, wie viele Tiefenwerte ein Ausgangspixel mit jedem Rahmen beeinflussen können.
Die Operation kann zumindest 3 Speicherzugriffsoperationen pro Pixel erfordern (z. B. ein Zugreifen auf den Gewichtungsfaktor-Speicher, den Gewichtet-Tiefenwert-Speicher und den Hergeleitet-Tiefenpixelbildangabe-Speicher). Zum Beispiel hat jedes Pixel seinen eigenen
d_i-, d_sum- und w_sum-Wert, was in drei Puffern in Bildgröße auf der GPU (Graphikverarbeitungseinheit) resultieren kann.
Optional kann die Anzahl der Speicherzugriffsoperationen reduziert werden. Um zumindest einen Puffer zu vermeiden, kann die Summe von gewichteten Tiefenwerten, d_sum, anstatt sie zu speichern, jedes Mal neu berechnet werden. Wenn zum Beispiel d_i während der Tiefeneinflussausbreitung berechnet und aktualisiert wird, kann d_sum extrahiert werden durch Multiplizieren von d_i mit w_sum. Ohne d_sum für jedes Pixel zu speichern, können die Tiefe d_i and w_sum bei jeder Pixeloperation gemäß den folgenden Verhältnissen aktualisiert werden:
Somit kann eine Speicherzugriffsoperation weniger (z. B. 2 Speicherzugriffsoperationen) pro Pixel verwendet werden.
Das Bildverarbeitungsmodul 104 ist ausgebildet zum Produzieren von Angaben zum Erzeugen des dreidimensionalen Farbbildes 106 von (zumindest) dem Objekt basierend auf der ersten Farbpixelbildangabe eines ersten Farbpixels des empfangenen Farbbildes 102 und der ersten hergeleiteten Tiefenpixelbildangabe, d_l, des ersten hergeleiteten Tiefenpixels des hergeleiteten Hochauflösungstiefenbildes 107 von (zumindest) dem Objekt. Das erste Farbpixel kann eine Pixelposition in dem Farbbild 102 aufweisen, die dem ersten hergeleiteten Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts entspricht. Das hergeleitete erste dreidimensionale Farbpixel des dreidimensionalen Farbbildes 106 kann eine Pixelposition in dem dreidimensionalen Farbbild 106 aufweisen, die dem ersten hergeleiteten Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild 107 und der Pixelposition des ersten Farbpixels in dem Farbbild 102 entspricht.
Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Produzieren von Angaben zum Erzeugen des dreidimensionalen Farbbildes 106 des Objekts basierend auf Farbpixelbildangaben einer Mehrzahl von Farbpixeln des empfangenen Farbbildes 102 und der hergeleiteten Tiefenpixelbildangabe d_i einer Mehrzahl von hergeleiteten Tiefenpixeln des hergeleiteten Hochauflösungstiefenbildes 107 des Objekts. Zum Beispiel kann ein hergeleitetes dreidimensionales Farbpixel einer Mehrzahl von hergeleiteten dreidimensionalen Farbpixeln des dreidimensionalen Farbbildes 106 basierend auf einem hergeleiteten Tiefenpixel des hergeleiteten Hochauflösungstiefenbildes 107 und einem Farbpixel des Farbbildes hergeleitet werden. Das hergeleitete Tiefenpixel kann die gleiche Pixelposition in dem hergeleiteten Hochauflösungstiefenbild 107 wie das hergeleitete dreidimensionale Farbpixel aufweisen und das Farbpixel kann die gleiche Pixelposition in dem Farbbild 102 aufweisen wie das hergeleitete dreidimensionale Farbpixel.
Das dreidimensionale Farbbild 106, das durch das Bildverarbeitungsmodul 104 erzeugt wird, kann zum Beispiel die gleiche Pixelauflösung aufweisen wie das Hochauflösungstiefenbild 107 und das Farbbild 102.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Produzieren von Angaben zum Erzeugen des dreidimensionalen Farbbildes 106 basierend auf einer Mehrzahl von Farbbildern 102 (z. B. Farbbildrahmen) und einer Mehrzahl von Niedrigauflösungstiefenbildern 103 (z. B. Niedrigauflösungstiefenbildrahmen), die von der Eingangsschnittstelle 101 der Vorrichtung 100 empfangen werden. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Verarbeiten von zumindest 5 (oder zumindest 10 oder 15) Rahmen pro Sekunde auf einer GPU.
Die Vorrichtung 100 kann zum Beispiel eine Computermikrosteuerung (z. B. eine zentrale Verarbeitungseinheit, CPU; CPU = Central Processing Unit), ein Prozessor sein oder kann Teil eines Computers, eines Prozessors oder einer Mikrosteuerung sein. Die Vorrichtung 100 kann Teil eines Kamerasystems (z. B. ein mobiles Gerät, oder z. B. ein Telekommunikationsgerät oder z. B. ein Computer oder z. B. ein Laptop) sein, der zum Beispiel eine 3D-Kamera zum Erzeugen eines Tiefenbildes und eine Farbkamera zum Erzeugen eines 2D-Farbbildes sein kann.
Jedes Modul der Vorrichtung 100 (z. B. das Bildverarbeitungsmodul) kann (oder kann Teil sein von oder kann umfassen) zum Beispiel ein Computer (z. B. eine zentrale Verarbeitungseinheit, CPU), ein Prozessor, eine Mikrosteuerung oder eine Schaltung) sein.
Die Eingangsschnittstelle 101 kann zum Beispiel ein Eingangsanschluss eines Computers, eines Prozessors oder einer Mikrosteuerung sein. Die Eingangsschnittstelle 101 kann zum Beispiel mit der Vorrichtung 100 via eine schnurgebundene oder drahtlose Verbindung gekoppelt sein.
Die Eingangsschnittstelle 101 der Vorrichtung 100 kann ausgebildet sein zum Empfangen des Niedrigauflösungstiefenbildes von zumindest dem Objekt von einem dreidimensionalen (3D) Sensorbauelement, das ausgebildet sein kann zum Erzeugen des Niedrigauflösungstiefenbildes. Zum Beispiel kann die Eingangsschnittstelle 101 ausgebildet sein zum Empfangen des Niedrigauflösungstiefenbildes von zumindest einer Laufzeit-(TOF-; TOF = Time of Flight = Laufzeit) Kamera, einer Kamera zum Produzieren von dreidimensionalen Bildern (z. B. einem 3D-Kameramodul) oder einem Ultraschallsensor. Zusätzlich kann die Eingangsschnittstelle 101 der Vorrichtung 100 kann ausgebildet sein zum Empfangen des Hochauflösungsfarbbildes von zumindest dem Objekt von einem zweidimensionalen (2D) Sensorbauelement (z. B. von einem zweidimensionalen Hochauflösungskameramodul), das ausgebildet sein kann zum Erzeugen des Hochauflösungsfarbbildes.
Die Ausgangsschnittstelle 105 der Vorrichtung 100 zum Bereitstellen des erzeugten dreidimensionalen Farbbildes 106 kann einen Videoanschluss umfassen (oder derselbe sein), der zum Beispiel ausgebildet sein kann zum Bereitstellen des erzeugten dreidimensionalen Farbbildes 106 an ein Anzeigegerät.
Das Objekt kann zum Beispiel eine Person, ein Gegenstand oder eine Szene sein, die/der fotografiert werden soll. Zum Beispiel kann das Objekt dreidimensional sein und/oder kann Farbe aufweisen.
Die hierin beschriebenen Beispiele können sich auf Farb- und Tiefenfusion beziehen. Für viele Anwendungen können Tiefenbilder zum Beispiel mit einer Hochauflösungsfarbkamera kombiniert werden. Die Farbinformation kann verwendet werden, um die Tiefenqualität zu erhöhen, um ein Hochauflösungsfarbbild zu erhalten, wobei Tiefeninformation für jedes Pixel verfügbar ist. Das Hochauflösungs-(3D-)Farbbild kann z. B. für Rechenphotographie (Computational Photography), auf Tiefe basierende Bildfilteranwendungen, Objektdetektion und/oder Objekttracking verwendet werden.
Die hierin beschriebenen Beispiele können sich auf interpolierende Niedrigauflösungstiefenangaben (low-resolution depth data) basierend auf Performance-Anforderungen für Echtzeitanwendungen beziehen. Unter Verwendung der Farbkanten können die beschriebenen, verschiedenen Beispiele die Tiefen(bild)qualität hinsichtlich Auflösung und Rauschreduzierung verbessern. Die hierin beschriebenen Beispiele können eine Tiefenqualitätsverbesserung unter Aufrechterhaltung einer hohen Performance erreichen. Die hierin beschriebenen Beispiele können auf Performance-Probleme anderer Ansätze durch einen Algorithmus eingehen, der in der Lage ist, eine Hochqualitäts-TOF- und/oder -Farb-Sensorfusion von geringer Rechenkomplexität durchzuführen. Der Entwurf des Algorithmus kann zur Ausführung auf GPUs optimiert werden. Dabei geht es um die Fähigkeit, zum Beispiel in parallelen und gebündelten Datenoperationen ausgeführt zu werden. Die präsentierte Sensorfusion stellt Tiefenbilder mit heraufskalierter Auflösung, erhöhter Schärfe, weniger Rauschen, weniger Bewegungsartefakten bereit und erreicht gleichzeitig hohe Rahmenraten.
Die hierin beschriebenen Beispiele können sich auf eine effiziente Tiefeninterpolationsprozedur beziehen, die in der Lage ist, Tiefenauflösung und Rauschreduzierung zu erhöhen. Bei den Beispielen kann der Tiefeneinfluss über das Farbbild ausgebreitet werden. Die Ausbreitung über die Farbbildkanten kann die Einflusstiefe zum Beispiel drastisch reduzieren. Bei den Beispielen kann der Einfluss auf jedes Farbpixel verwendet werden, um Tiefe zu interpolieren.
Tiefenheraufskalierungsverfahren oder -ansätze können globale Verfahren oder lokale Verfahren umfassen. Globale Verfahren bezogen auf ein globales Optimierungsproblem können eine gute Qualität ergeben, können aber sehr langsam sein. Lokale Verfahren können Qualitätsnachteile aufweisen und können auf iterativen Lösungen basieren. Tiefeninterpolationsansätze, die als Optimierungsprobleme formuliert sind, auf Graphen basierende oder iterative Ansätze, die zu langsamer Performance führen. Zum Beispiel können sie für eine effiziente Berechnung nicht optimiert werden. Dies kann die Anwendung bei interaktiven und zeitkritischen Systemen ungeeignet machen. Schnellen Ansätzen kann es an Tiefenbildqualität fehlen. Zum Beispiel kann ein gemeinsames bilaterales Filtern eine schlechtere Bildqualität produzieren, insbesondere mit großen Heraufskalierungsfaktoren, und kann aufgrund deren iterativer Anwendung deutlich langsamer sein.
Bei den hierin beschriebenen Beispielen kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Durchführen des Interpolationsalgorithmus. Die Interpolationsgewichtungen der Tiefenwerte können in dem Hochauflösungsbild ausgebreitet werden. Farbbildkanten können die Ausbreitung einschränken, weil Farbkanten häufig Tiefenbildkanten sind. Dies kann verursachen, dass die Tiefenwerte sich unter homogenen Oberflächen auszubreiten, was zum Beispiel zu einer hohen Auflösung und reduziertem Rauschen führt.
Die Eingabe für den Tiefenheraufskalierungsalgorithmus kann ein Farbbild und ein schwach abgebildetes Tiefenbild mit identischer Auflösung sein. Ein Vorbereitungsschritt kann die Extraktion von Kanteninformation von dem Farbbild mit einem Sobel-Operator (oder einem Kantenfilterungsoperator) sein. Der Algorithmus kann jeden abgebildeten Tiefenwert in dem schwach besetzten Tiefenbild nehmen und die Interpolationsprozedur ausführen. Der Algorithmus kann parallel für jeden Tiefenwert ausgeführt werden und kann als die Ausbreitung eines Tiefenwerteinflusses über einen lokalen Kreisbereich auf dem Farbbild interpretiert werden. Ein radialer Pfad von der abgebildeten Tiefenwertposition zu jedem beeinflussten Pixel kann geparst werden.
Bei den hierin beschriebenen Beispielen können Pixel auf Pfad und betreffend alle Kanten dazwischen, unabhängig von der Lage, geparst werden. Bei den hierin beschriebenen Beispielen können iterative Prozesse vermieden werden. Bei den hierin beschriebenen Beispielen kann eine schnelle Interpolation verwendet werden und mathematische Optimierung kann vermieden werden. Bei den hierin beschriebenen Beispielen können zum Beispiel eine Interpolation entlang von Pfaden zwischen Tiefenwerten und minimale Spanning-Trees (spannende Bäume) vermieden werden. Radiale Pfade von jedem Tiefenwert und ein Überschreiben existierender Tiefenwerte können stattdessen verwendet werden. Bei den hierin beschriebenen Beispielen kann die Auflösung erhöht oder verbessert werden.
1B zeigt eine schematische Darstellung von zumindest einem Teil des Hochauflösungstiefenbildes 107 (z. B. eines schwach besetzten Tiefenrahmens) und des Farbbildes 102. Zum Beispiel kann die Tiefe auf das Hochauflösungsfarbbild 102 abgebildet werden.
Wie in 1B gezeigt, kann die gemessene Tiefenpixelbildangabe von gemessenen Tiefenpixeln des Niedrigauflösungstiefenbildes des Objekts auf den Bildraum des Farbbildes 102 abgebildet werden, um das Hochauflösungsfarbbild 107 zu erhalten. Zum Beispiel zeigt 1B die erste Gruppe von Tiefenpixeln 112 des Hochauflösungstiefenbildes 107, hergeleitet basierend auf gemessenen Tiefenpixelbildangaben einer Mehrzahl von unterschiedlichen gemessenen Tiefenpixeln des Niedrigauflösungstiefenbildes.
1C zeigt eine schematische Darstellung von zumindest einem Teil des Hochauflösungstiefenbildes 107 (z. B. eines schwach besetzten Tiefenrahmens) des Objekts, das durch das Bildverarbeitungsmodul 104 hergeleitet ist. Zum Beispiel zeigt 1C die Einflussausbreitung. Zum Beispiel zeigen 1C und 1D Pixel-Parsing entlang von Kreispfaden für jeden Tiefenwert (z. B. d_n).
Wie in 1C gezeigt, können die Tiefenpixel der ersten Gruppe von Tiefenpixeln 112 zum Beispiel Tiefenpixel 7,5, Tiefenpixel 5,2 und Tiefenpixel 2,5 umfassen, die jeweils hergeleitet sein können basierend auf gemessenen Tiefenpixelbildangaben von unterschiedlichen gemessenen Tiefenpixeln des Niedrigauflösungstiefenbildes 103.
Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen einer ersten hergeleiteten Tiefenpixelbildangabe (z. B. d_l) eines ersten hergeleiteten Tiefenpixels (z. B. Tiefenpixel 3,6) des hergeleiteten (oder herleitbaren) Hochauflösungstiefenbildes 107. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels (z. B. Tiefenpixel 3,6) basierend auf dem Tiefenpixel (z. B. Tiefenpixel 7,5) des Hochauflösungstiefenbildes 107 und einem Gewichtungsfaktor, w, der der gemessenen Tiefenpixelbildangabe des gemessenen Tiefenpixels (z. B. Tiefenpixel 7,5) zugeordnet ist. Das Tiefenpixel (z. B. Tiefenpixel 7,5) des Hochauflösungstiefenbildes 107 zum Herleiten des ersten hergeleiteten Tiefenpixels des Hochauflösungstiefenbildes 107 kann durch das Bildverarbeitungsmodul 104 hergeleitet werden basierend auf gemessenen Tiefenpixelbildangaben eines gemessenen Tiefenpixels des Niedrigauflösungstiefenbildes 103.
Ein Beispiel eines Tiefeneinflussausbreitungspfades ist in 1C dargestellt. Der Einfluss eines Tiefenwertes auf den Ausgang hängt von der Summe von Kanten-(Größen-)Werten, S_E, zwischen dem abgebildeten Tiefenwert (bei 7,5) und jedem Pixel, das hergeleitet werden soll (z. B. dem ersten hergeleiteten Tiefenpixel 3,6), ab.
1D zeigt eine schematische Darstellung von zumindest einem Teil des Farbbildes 102 (z. B. einem Farbbildrahmen) des Objekts, das von dem Bildverarbeitungsmodul 104 empfangen wird.
Wie in 1D gezeigt, weist das Referenzfarbpixel (z. B. Farbpixel 7,5) eine Pixelposition in dem Farbbild 102 auf, die dem gemessenen Tiefenpixel (z. B. Tiefenpixel 7,5) in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts entspricht. Zum Beispiel weist das Referenzfarbpixel (z. B. Farbpixel 7,5) eine Pixelposition in dem Farbbild 102 auf, die die Gleiche sein kann wie eine Pixelposition des gemessenen Tiefenpixels (z. B. Tiefenpixel 7,5) in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen des Gewichtungsfaktors, der der gemessenen Tiefenpixelbildangabe des gemessenen Tiefenpixels (z. B. Tiefenpixel 7,5) zugeordnet ist, basierend auf dem Farbkantengrößensummationswert, S_E, eines Pfades zwischen dem ersten Farbpixel (Farbpixel 3,6) und dem Referenzfarbpixel (7,5).
Die gestrichelte Linie kann den zurückgelegten Pixelpfad zwischen dem gemessenen Tiefenpixel (z. B. Tiefenpixel 7,5) und dem Zielpixel, das hergeleitet werden soll (z. B. das erste hergeleitete Tiefenpixel 3,6) markieren. Für jedes Pixel auf dem Pfad kann der Einfluss berechnet und aktualisiert werden. Zum Beispiel werden bei Schritt 1 und 2 keine Farbkanten gekreuzt. Die bei Schritt 3 und 4 (in 1D) gekreuzten Farbkanten verringern zum Beispiel den Tiefeneinfluss. Der Einfluss kann abnehmen, wenn Kanten des Farbbildes passiert werden. Zum Beispiel kann Schritt 3 zwischen dem Farbpixel 5,6 und dem Farbpixel 4,6 eine unterschiedlich gefärbte Region passieren. Der Einfluss nimmt nach diesem Schritt ab. Während Schritt 4 kann ein anderer Farbkante passiert werden und der Einfluss nimmt wieder ab. Zusätzlich oder optional hat die räumliche Distanz von jedem Pixel, das hergeleitet werden soll (z. B. das erste hergeleitete Tiefenpixel 3,6), zu dem Tiefenwert (z. B. das gemessene Tiefenpixel 7,5) möglicherweise keinen Einfluss. Zum Beispiel können der Farbkantengrößensummationswert und/oder der Gewichtungsfaktor unabhängig von der räumlichen Distanz zwischen jedem Pixel, das hergeleitet werden soll (z. B. das erste hergeleitete Pixel 3,6) und dem gemessenen Tiefenpixel 7,5 sein. Der Gewichtungsfaktor nimmt mit der Summe der Größen der Farbkanten ab. Zum Beispiel tragen kleinere kanten nicht so sehr bei wie stärkere Kanten.
Der Gewichtungsfaktor, w, basiert auf einem Farbkantengrößensummationswert, S_E, des Pfades (z. B. des Pixelpfades) zwischen dem ersten Farbpixel (z. B. Farbpixel 3,6) des empfangenen Farbbildes 102 und dem Referenzfarbpixel (z. B. Farbpixel 7,5) des empfangenen Farbbildes 102. Zum Beispiel kann der Gewichtungsfaktor, w, mit einem zunehmenden Farbkantengrößensummationswert, S_E, zwischen dem ersten Farbpixel (z. B. Farbpixel 3,6) und dem Referenzfarbpixel (z. B. Farbpixel 7,5) abnehmen. Zum Beispiel kann der Gewichtungsfaktor, w, mit einem zunehmenden Farbkantengrößensummationswert, S_E, zwischen dem ersten Farbpixel (z. B. Farbpixel 3,6) und dem Referenzfarbpixel (z. B. Farbpixel 7,5) exponentiell abnehmen.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels (z. B. Tiefenpixel 3,6) basierend auf dem zumindest einen gemessenen Tiefenpixel (z. B. Tiefenpixel 7,5). Optional kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels (z. B. Tiefenpixel 3,6) basierend auf mehr als einem gemessenen Tiefenpixel (oder z. B. einer Mehrzahl von gemessenen Tiefenpixeln), die die erste hergeleitete Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels (z. B. Tiefenpixel 3,6), das hergeleitet werden soll, beeinflussen.
Zum Beispiel kann das erste hergeleitete Tiefenpixel (z. B. Tiefenpixel 3,6) innerhalb eines ersten Pixeleinflussradius des ersten gemessenen Tiefenpixels (z. B. Tiefenpixel 7,5) und innerhalb eines zweiten Pixeleinflussradius des zweiten gemessenen Tiefenpixels (z. B. Tiefenpixel 2,5) liegen. Somit kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen (oder Herleiten) der ersten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels (z. B. Tiefenpixel 3,6) basierend auf einem Gewichtungsfaktor, der der ersten gemessenen Tiefenpixelbildangabe des ersten gemessenen Tiefenpixels (z. B. Tiefenpixel 7,5) zugeordnet ist, und einem Gewichtungsfaktor, der der zweiten gemessenen Tiefenpixelbildangabe des zweiten gemessenen Tiefenpixels (z. B. Tiefenpixel 2,5) zugeordnet ist. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten eines jeden Gewichtungsfaktors w_n, der jedem gemessenen Tiefenpixel, n, zugeordnet ist, in dessen Pixeleinflussradius das erste hergeleitete Tiefenpixel (z. B. Tiefenpixel 3,6) liegt.
Jeder Gewichtungsfaktor w_n kann hergeleitet werden basierend auf einem entsprechenden Farbkantengrößensummationswert, S_E. Zum Beispiel kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten des Gewichtungsfaktors, der der ersten gemessenen Tiefenpixelbildangabe des ersten gemessenen Tiefenpixels (z. B. Tiefenpixel 7,5) zugeordnet ist, basierend auf einem Farbkantengrößensummationswert, S_E, eines Pfades zwischen dem ersten Farbpixel (Farbpixel 3,6) und dem ersten Referenzfarbpixel (z. B. Farbpixel 7,5). Das erste Referenzfarbpixel (z. B. Farbpixel 7,5) weist eine Pixelposition in dem Farbbild 102 auf, die einem (ersten) gemessenen Tiefenpixel (z. B. Tiefenpixel 7,5) in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts entspricht. Zusätzlich kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Herleiten des Gewichtungsfaktors, der der zweiten gemessenen Tiefenpixelbildangabe des zweiten gemessenen Tiefenpixels (z. B. Tiefenpixel 2,5) zugeordnet ist, basierend auf einem Farbkantengrößensummationswert, S_E, eines Pfades zwischen dem ersten Farbpixel (z. B. Farbpixel 3,6) und dem zweiten Referenzfarbpixel (z. B. Farbpixel 2,5). Das zweite Referenzfarbpixel (z. B. Farbpixel 2,5) weist eine Pixelposition in dem Farbbild 102 auf, die einem (zweiten) gemessenen Tiefenpixel (z. B. Tiefenpixel 2,5) in dem hergeleiteten Hochauflösungstiefenbild 107 des Objekts entspricht.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Bestimmen des Farbkantengrößensummationswertes, S_E, basierend auf einer Summe (z. B. einer Addition oder z. B. einer Summation) von Farbkantengrößenwerten entlang des Pixelpfades zwischen dem ersten Farbpixel (z. B. Farbpixel 3,6) und dem Referenzfarbpixel (z. B. Farbpixel 7,5).
2A zeigt eine schematische Darstellung von zumindest einem Teil eines Kantenführungsbildes 211 des Objekts, das durch das Bildverarbeitungsmodul 104 hergeleitet ist.
Das Bildverarbeitungsmodul 104 kann ausgebildet sein zum Bestimmen der Mehrzahl von Farbkantengrößenwerten, die einer Mehrzahl von Farbpixeln des Farbbildes 102 entsprechen, durch eine Kantenfilterungsoperation (z. B. eine Sobel-Operation) des Farbbildes 102.
Ein (oder jeder) Farbkantengrößenwert eines (oder jedes) Farbpixels der Mehrzahl von Farbpixeln kann basierend auf Farbinformation von (nur) direkt benachbarten Pixeln des Pixels hergeleitet werden. Die Kantenfilterungsoperation kann einen Farbkantengrößenwert eines jeden Farbpixels basierend auf der Farbinformation (oder z. B. Farbwerten) von Pixeln bestimmen, die das Farbpixel direkt umgeben. Zum Beispiel kann die Kantenfilterungsoperation einen Farbkantengrößenwert (0,25) des ersten Referenzfarbpixels basierend auf der Farbinformation (oder z. B. Farbwerten) von Pixeln bestimmen, die das erste Referenzfarbpixel (z. B. Pixel 7,4, Pixel 7,6, Pixel 6,5 und Pixel 8,5) direkt umgeben, wie in 2B gezeigt.
Das Kantenführungsbild kann ein realistischer Abtastwert für ein Kantenbild sein. Er kann durch Verwenden eines Sobel- oder eines ähnlichen Kantenfilters hergeleitet werden. Das Kantenführungsbild kann zum Beispiel mit einer Grauskala codiert sein, die von schwarz (das z. B. keine Kanten repräsentiert) bis weiß (das eine starke Kante repräsentiert) reicht.
2B zeigt eine Tabelle, die ein Bestimmen einer Mehrzahl von Farbkantengrößensummationswerten, S_E, entlang des Pixelpfades zwischen dem ersten Farbpixel (z. B. Farbpixel 3,6) und dem Referenzfarbpixel (z. B. Farbpixel 7,5) darstellt.
Wie in 2B gezeigt, kann jeder Farbkantengrößensummationswert, S_E, der einem hergeleiteten Tiefenpixel, das hergeleitet werden soll, entspricht, berechnet werden basierend auf einer Summe (z. B. einer Addition oder z. B. einer Summation) von Farbkantengrößenwerten zwischen dem Referenzfarbpixel und dem hergeleiteten Tiefenpixel, das hergeleitet werden soll.
Der Farbkantengrößensummationswert, S_E, der dem ersten hergeleiteten Tiefenpixel (z. B. Tiefenpixel 3,6), das hergeleitet werden soll, entspricht, kann basierend auf der Summe von Farbkantengrößenwerten zwischen dem Referenzfarbpixel (z. B. Farbpixel 7,5) und dem ersten Farbpixel (z. B. Farbpixel 3,6) berechnet werden. Das erste hergeleitete Tiefenpixel (z. B. Tiefenpixel 3,6), das hergeleitet werden soll, liegt innerhalb eines Pixeleinflussbereichs des gemessenen Tiefenpixels (z. B. Tiefenpixel 7,5). Bei dem Beispiel bei Schritt 4, S_E = 2,0. Das neu verarbeitete Pixel (z. B. der Farbkantengrößensummationswert, S_E, der dem Tiefenpixel 3,6 entspricht) kann von seinem Vorgänger (4,6) entlang des Pixelpfades abhängen.
Gemäß der Parsing-Reihenfolge kann ein weiterer Farbkantengrößensummationswert, S_E, der einem weiteren hergeleiteten Tiefenpixel (z. B. Tiefenpixel 5,6), das hergeleitet werden soll, entspricht, berechnet werden. Das weitere hergeleitete Tiefenpixel (z. B. Tiefenpixel 5,6), das hergeleitet werden soll, liegt auch innerhalb eines Pixeleinflussbereichs des gemessenen Tiefenpixels (z. B. Tiefenpixel 7,5). Zum Beispiel kann der weitere Farbkantengrößensummationswert, S_E, der einem weiteren hergeleiteten Tiefenpixel (z. B. Tiefenpixel 5,6) entspricht, basierend auf der Summe von Farbkantengrößenwerten zwischen dem Referenzfarbpixel (z. B. Farbpixel 7,5) und einem weiteren Farbpixel (z. B. Farbpixel 5,6) berechnet werden. Bei dem Beispiel bei Schritt 2, S_E = 0,75. Das verarbeitete Pixel (z. B. der Farbkantengrößensummationswert, S_E, der dem Tiefenpixel 5,6 entspricht) kann von seinem Vorgänger (6,5) entlang des Pixelpfades abhängen. Aufgrund der Parsing-Reihenfolge kann das weitere hergeleitete Tiefenpixel (z. B. Tiefenpixel 5,6), das hergeleitet werden soll, zum Beispiel vor dem ersten hergeleiteten Tiefenpixel (z. B. Tiefenpixel 3,6) berechnet werden.
Es ist davon auszugehen, dass S_E wächst bis Schritt 2, obwohl er keine Farbkanten kreuzt. Dies kann an der Natur der Kantendetektion liegen, die Pixel zusätzlich zu Kanten detektiert, nicht (oder unabhängig von) die exakten Pixelbegrenzungen. Dies beeinflusst zum Beispiel nicht das Ergebnis, weil der Effekt für jeden Tiefenwert ungefähr der Gleiche ist.
Weitere Einzelheiten und Aspekte sind in Verbindung mit den vor- oder nachstehend beschriebenen Ausführungsbeispielen erwähnt. Die in 2A bis 2B gezeigten Ausführungsbeispiele können jeweils ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1A bis 1D) oder nachstehend (3A bis 5) beschriebenen Ausführungsbeispielen erwähnt sind.
3A bis 3D zeigen schematische Darstellungen der Pixel-Parsing-Hierarchie eines jeden abgebildeten Tiefenwertes 331. Zum Beispiel zeigen 3A bis 3D die Abhängigkeitshierarchie, die durch das radiale Parsing-Prinzip verursacht wird.
Wie in 3A gezeigt, kann der Pixeleinflussbereich, der das gemessene Tiefenpixel umgibt, durch einen Pixelradius, r, definiert sein. Der Pixeleinflussbereich, der durch ein gemessenes Tiefenpixel beeinflusst wird, kann als ein Kern bezeichnet werden. 3A zeigt zum Beispiel einen Pixelradius (oder Kernradius) von 3. Ein Kernradius von 3 verarbeitet zum Beispiel alle Pixel innerhalb einer Euklidischen Distanz von 3 Pixeln zu dem gemessenen Tiefenpixel. Das Bildverarbeitungsmodul 104 kann zum Beispiel ausgebildet sein zum Steuern (oder Auswählen oder Berechnen) eines Pixeleinflussbereichs und/oder eines Pixelradius basierend auf einer Auflösungsrelation des empfangenen Farbbildes 102 und/oder einer Auflösungsrelation des empfangenen Niedrigauflösungstiefenbildes 107. Zum Beispiel kann der Pixeleinflussradius, r, berechnet werden basierend auf dem folgenden Verhältnis, unter der Annahme, dass die Relation zwischen Höhe und Breite immer gleich ist:
RCx kann die Breite des Farbbildes in Pixeln repräsentieren.
RCy kann die Höhe des Farbbildes in Pixeln repräsentieren.
RDx kann die Breite des Tiefenbildes in Pixeln repräsentieren.
RDy kann die Höhe des Tiefenbildes in Pixeln repräsentieren.
Qf kann den Qualitätsfaktor repräsentieren. Qf kann zum Beispiel ein Wert zwischen 1 und 4 sein.
Wie in 3B bis 3D gezeigt, kann das Bildverarbeitungsmodul 104 ausgebildet sein zum Berechnen der Mehrzahl von Farbkantengrößensummationswerten, S_E, die der Mehrzahl von hergeleiteten Tiefenpixeln entsprechen, die hergeleitet werden sollen, gemäß der Parsing-Reihenfolge entlang eines oder mehrerer Kreispfade um das gemessene Tiefenpixel 331. Zum Beispiel zeigen 3B bis 3D verarbeitete Pixel der Mehrzahl von Farbkantengrößensummationswerten, S_E, die der Mehrzahl von hergeleiteten Tiefenpixeln entsprechen, die hergeleitet werden sollen, gemäß einem sich erstreckenden Kreispfad um das gemessene Tiefenpixel 331.
Weitere Einzelheiten und Aspekte sind in Verbindung mit den vor- oder nachstehend beschriebenen Ausführungsbeispielen erwähnt. Die in 3A und 3D gezeigten Ausführungsbeispiele können jeweils ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1A bis 2B) oder nachstehend (4 bis 5) beschriebenen Ausführungsbeispielen erwähnt sind.
4 zeigt eine schematische Darstellung eines Verfahrens 400 zum Produzieren eines dreidimensionalen Farbbildes von zumindest einem Objekt.
Das Verfahren 400 umfasst ein Herleiten 410 eines Gewichtungsfaktors, der einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels eines Niedrigauflösungstiefenbildes zugeordnet ist, basierend auf einem Farbkantengrößensummationswert eines Pfades zwischen einem ersten Farbpixel eines Farbbildes und einem Referenzfarbpixel des Farbbildes.
Das Verfahren 400 umfasst ferner ein Herleiten 420 einer ersten Tiefenpixelbildangabe eines ersten Tiefenpixels eines Hochauflösungstiefenbildes basierend auf der gemessenen Tiefenpixelbildangabe und dem Gewichtungsfaktor, der der gemessenen Tiefenpixelbildangabe zugeordnet ist.
Das Verfahren 400 umfasst ferner ein Bereitstellen 430 eines dreidimensionalen Farbbildes von zumindest dem Objekt basierend auf einer ersten Farbpixelbildangabe des ersten Farbpixels des Farbbildes und der ersten hergeleiteten Tiefenpixelbildangabe.
Da das Herleiten des Gewichtungsfaktors auf einem Farbkantengrößensummationswert eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel basiert, kann die Tiefenqualität hinsichtlich Auflösung und/oder Rauschreduzierung des bereitgestellten dreidimensionalen Farbbildes verbessert werden. Zusätzlich kann zum Beispiel eine Tiefenqualitätsverbesserung des bereitgestellten dreidimensionalen Farbbildes unter Aufrechterhaltung einer hohen Performance erreicht werden.
Der Gewichtungsfaktor, w, basiert auf einem Farbkantengrößensummationswert, S_E, des Pfades (z. B. des Pixelpfades) zwischen dem ersten Farbpixel des empfangenen Farbbildes 102 und dem Referenzfarbpixel des empfangenen Farbbildes 102. Zum Beispiel kann der Gewichtungsfaktor, w, mit einem zunehmenden Farbkantengrößensummationswert, S_E, zwischen dem ersten Farbpixel und dem Referenzfarbpixel abnehmen. Zum Beispiel kann der Gewichtungsfaktor, w, mit einem zunehmenden Farbkantengrößensummationswert, S_E, zwischen dem ersten Farbpixel und dem Referenzfarbpixel exponentiell abnehmen.
Das Verfahren 400 kann ferner ein Bestimmen des Farbkantengrößensummationswertes, S_E, basierend auf zumindest einem Farbkantengrößenwert einer Mehrzahl von Farbkantengrößenwerten umfassen. Das Bestimmen des Farbkantengrößensummationswertes, S_E, kann ein Summieren (z. B. Addieren) von Farbkantengrößenwerten entlang eines Pixelpfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel umfassen. Das erste Farbpixel kann eine Pixelposition in dem Farbbild aufweisen, die dem ersten hergeleiteten Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild des Objekts entspricht.
Das Verfahren 400 kann ferner ein Bestimmen der Mehrzahl von Farbkantengrößenwerten durch Anwenden einer Kantenfilterungsoperation des Farbbildes umfassen. Die Kantenfilterungsoperation kann eine Sobel-Operation, eine Canny-Operation, eine Laplacian-of-Gaussian-Operation oder eine Prewitt-Operation sein.
Das dreidimensionale Farbbild kann zum Beispiel die gleiche Auflösung aufweisen wie das Hochauflösungstiefenbild und das Farbbild. Das hergeleitete erste dreidimensionale Farbpixel des dreidimensionalen Farbbildes kann zum Beispiel eine Pixelposition in dem dreidimensionalen Farbbild aufweisen, die dem ersten hergeleiteten Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild und der Pixelposition des ersten Farbpixels in dem Farbbild entspricht.
Weitere Einzelheiten und Aspekte sind in Verbindung mit den vor- oder nachstehend beschriebenen Ausführungsbeispielen erwähnt. Die in 4 gezeigten Ausführungsbeispiele können ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1A bis 3D) oder nachstehend (5) beschriebenen Ausführungsbeispielen erwähnt sind.
5 zeigt eine schematische Darstellung eines Kamerasystems 500.
Das Kamerasystem 500 umfasst ein zweidimensionales Hochauflösungskameramodul 521 zum Erzeugen eines Farbbildes von zumindest einem Objekt 523. Das Kamerasystem 500 umfasst ferner ein dreidimensionales Kameramodul 522 zum Erzeugen eines Tiefenbildes von zumindest dem Objekt 523. Das Kamerasystem 500 umfasst ferner eine Vorrichtung 100 zum Erzeugen eines dreidimensionalen Farbbildes von zumindest dem Objekt 523.
Da das Kamerasystem 500 die Vorrichtung 100 umfasst, kann das Kamerasystem 500 ein hochauflösendes dreidimensionales Farbbild erzeugen. Da der Gewichtungsfaktor zum Erzeugen des dreidimensionalen Farbbildes auf einem Farbkantengrößensummationswert eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel basiert, kann die Tiefenqualität hinsichtlich Auflösung und/oder Rauschreduzierung eines erzeugten dreidimensionalen Farbbildes verbessert werden. Zusätzlich kann zum Beispiel eine Tiefenqualitätsverbesserung des erzeugten dreidimensionalen Farbbildes unter Aufrechterhaltung einer hohen Performance erreicht werden.
Die Vorrichtung 100 kann zum Beispiel ein oder mehrere oder alle der Merkmale der Vorrichtung 100 aufweisen, die in Verbindung mit 1 bis 4 beschrieben ist. Zum Beispiel umfasst die Vorrichtung 100 eine Eingangsschnittstelle 101 zum Empfangen eines Farbbildes von zumindest einem Objekt und eines Niedrigauflösungstiefenbildes von zumindest dem Objekt.
Die Vorrichtung 100 umfasst ferner ein Bildverarbeitungsmodul 104, das ausgebildet ist zum Produzieren von Angaben zum Erzeugen eines dreidimensionalen Farbbildes von zumindest dem Objekt basierend auf einer ersten Farbpixelbildangabe eines ersten Farbpixels des Farbbildes und einer ersten hergeleiteten Tiefenpixelbildangabe eines ersten hergeleiteten Tiefenpixels eines hergeleiteten Hochauflösungstiefenbildes von zumindest dem Objekt.
Das Bildverarbeitungsmodul 104 ist ausgebildet zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels des Niedrigauflösungstiefenbildes und einem Gewichtungsfaktor, der der gemessenen Tiefenpixelbildangabe zugeordnet ist. Der Gewichtungsfaktor basiert auf einem Farbkantengrößensummationswert eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel. Das Referenzfarbpixel weist eine Pixelposition in dem Farbbild auf, die einem gemessenen Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild des Objekts entspricht.
Die Vorrichtung 100 umfasst ferner eine Ausgangsschnittstelle 105 zum Bereitstellen des erzeugten dreidimensionalen Farbbildes 106.
Das dreidimensionale Kameramodul 522 kann eine Laufzeit-(TOF-)Kamera, eine Kamera zum Produzieren von dreidimensionalen Bildern (z. B. eine 3D-Kamera) oder ein Ultraschallsensor sein (oder dieselbe/denselben umfassen). Jedes Tiefenpixel des Niedrigauflösungstiefen-(3D-)Bildes kann eine Distanz-(z. B. Tiefen-, z. B. Dreidimensional-3D-)Information bezogen auf das Objekt umfassen. Zum Beispiel kann die Tiefeninformation auf die Distanz einer Oberfläche des Objekts zu einer Referenzebene oder einem Referenzpunkt bezogen sein.
Das zweidimensionale Hochauflösungskameramodul 521 kann zum Beispiel ein zweidimensionales (2D) Sensorbauelement sein, das ausgebildet ist zum Erzeugen des Hochauflösungsfarbbildes. Das Farbbild von (zumindest) dem Objekt kann ein hochauflösendes zweidimensionales Farbbild (z. B. ohne Tiefeninformation) sein. Jedes Farbpixel des Farbbildes kann zum Beispiel zweidimensionale Farbinformation (z. B. RGB-Farbraum-Information oder alternativ andere Farbrauminformation) bezogen auf das Objekt umfassen.
Das Kamerasystem 500 kann zum Beispiel ein Computer (z. B. eine zentrale Verarbeitungseinheit CPU), ein Prozessor, eine Mikrosteuerung oder eine Schaltung sein (oder kann Teil derselben sein oder kann dieselbe umfassen). Zum Beispiel kann das Kamerasystem 500 ein mobiles Gerät, ein Telekommunikationsgerät, ein Computer oder ein Laptop sein oder dasselbe umfassen.
Jedes Kameramodul (z. B. das zweidimensionale Hochauflösungskameramodul 521 und das dreidimensionale Kameramodul 522) des Kamerasystems kann zum Beispiel einen Computer (z. B. eine zentrale Verarbeitungseinheit CPU), einen Prozessor, eine Mikrosteuerung oder eine Schaltung zum Erzeugen von Bildern bezogen auf zumindest das Objekt umfassen.
Verschiedene, hierin beschriebene Ausführungsbeispiele beziehen sich zum Beispiel auf einen effizienten Weg, um Tiefenbildqualität (z. B. Laufzeit-Tiefenbildqualität) mit Farbinformation zu erhöhen.
Aspekte und Merkmale (z. B. die Vorrichtung, das dreidimensionale Farbbild, die Eingangsschnittstelle, das Farbbild, das Objekt, das Niedrigauflösungstiefenbild, das Bildverarbeitungsmodul, die erste Farbpixelbildangabe, das erste Farbpixel, die erste hergeleitete Tiefenpixelbildangabe, das erste hergeleitete Tiefenpixel, das hergeleitete Hochauflösungstiefenbild, der Gewichtungsfaktor, die gemessene Tiefenpixelbildangabe, das gemessene Tiefenpixel, der Farbkantengrößensummationswert, der Farbkantengrößenwert, der Kantengrößenwert-Speicher, die Parsing-Reihenfolge, die gewichteten Tiefenwerte, der Gewichtungsfaktor-Speicher, der Gewichtet-Tiefenwert-Speicher, der Hergeleitet-Tiefenpixelbildangabe-Speicher, der Interpolationsalgorithmus, die Aktualisierungsformeln, der Pixelpfad, die Ausgangsschnittstelle), die in Verbindung mit einem oder mehreren spezifischen Beispielen erwähnt sind, können mit einem oder mehreren der anderen Beispiele kombiniert werden.
Ausführungsbeispiele können weiterhin ein Computerprogramm mit einem Programmcode zum Durchführen eines der obigen Verfahren bereitstellen, wenn das Computerprogramm auf einem Computer oder Prozessor ausgeführt wird. Ein Fachmann würde leicht erkennen, dass Schritte verschiedener oben beschriebener Verfahren durch programmierte Computer durchgeführt werden können. Hierbei sollen einige Ausführungsbeispiele auch Programmspeichervorrichtungen, z. B. Digitaldatenspeichermedien, abdecken, die maschinen- oder computerlesbar sind und maschinenausführbare oder computerausführbare Programme von Anweisungen codieren, wobei die Anweisungen einige oder alle der Schritte der oben beschriebenen Verfahren durchführen. Die Programmspeichervorrichtungen können z B. Digitalspeicher, magnetische Speichermedien wie beispielsweise Magnetplatten und Magnetbänder, Festplattenlaufwerke oder optisch lesbare Digitaldatenspeichermedien sein. Auch sollen weitere Ausführungsbeispiele Computer programmiert zum Durchführen der Schritte der oben beschriebenen Verfahren oder (feld-)programmierbare Logik-Arrays ((F)PLA = (Field) Programmable Logic Arrays) oder (feld-)programmierbare Gate-Arrays ((F)PGA = (Field) Programmable Gate Arrays) programmiert zum Durchführen der Schritte der oben beschriebenen Verfahren abdecken.
Die Beschreibung und Zeichnungen stellen nur die Grundsätze der Offenbarung dar. Es versteht sich daher, dass der Fachmann verschiedene Anordnungen ableiten kann, die, obwohl sie nicht ausdrücklich hier beschrieben oder gezeigt sind, die Grundsätze der Offenbarung verkörpern und in ihrem Sinn und Rahmen enthalten sind. Weiterhin sollen alle hier aufgeführten Beispiele ausdrücklich nur Lehrzwecken dienen, um den Leser beim Verständnis der Grundsätze der Offenbarung und der durch den (die) Erfinder beigetragenen Konzepte zur Weiterentwicklung der Technik zu unterstützen, und sollen als ohne Begrenzung solcher besonders aufgeführten Beispiele und Bedingungen dienend aufgefasst werden. Weiterhin sollen alle hiesigen Aussagen über Grundsätze, Aspekte und Ausführungsbeispiele der Offenbarung wie auch bestimmte Beispiele derselben deren Entsprechungen umfassen.
Als „Mittel für...” (Durchführung einer gewissen Funktion) bezeichnete Funktionsblöcke sind als Funktionsblöcke umfassend Schaltungen zu verstehen, die jeweils zum Durchführen einer gewissen Funktion eingerichtet sind. Daher kann ein „Mittel für etwas” ebenso als „Mittel eingerichtet für oder geeignet für etwas” verstanden werden. Ein Mittel ausgebildet zum Durchführen einer gewissen Funktion bedeutet daher nicht, dass ein solches Mittel notwendigerweise die Funktion durchführt (zu einem gegebenen Zeitmoment).
Funktionen verschiedener, in den Figuren dargestellter Elemente einschließlich jeder als „Mittel”, „Mittel zur Bereitstellung eines Sensorsignals”, „Mittel zum Erzeugen eines Sendesignals” usw. bezeichneter Funktionsblöcke können durch die Verwendung dedizierter Hardware wie beispielsweise „eines Signalanbieters”, „einer Signalverarbeitungseinheit”, „eines Prozessors”, „einer Steuerung”, usw. wie auch als Hardware fähig der Ausführung von Software in Verbindung mit zugehöriger Software bereitgestellt werden. Weiterhin könnte jede hier als „Mittel” beschriebene Instanz als „ein oder mehrere Module”, „ein oder mehrere Geräte”, „eine oder mehrere Einheiten”, usw. implementiert sein oder diesem entsprechen. Bei Bereitstellung durch einen Prozessor können die Funktionen durch einen einzigen dedizierten Prozessor, durch einen einzelnen geteilten Prozessor oder durch eine Mehrzahl einzelner Prozessoren bereitgestellt werden, von denen einige geteilt sein können. Weiterhin soll ausdrückliche Verwendung des Begriffs „Prozessor” oder „Steuerung” nicht als ausschließlich auf zur Ausführung von Software fähige Hardware bezogen ausgelegt werden, und kann implizit ohne Begrenzung Digitalsignalprozessor-(DSP-)Hardware, Netzprozessor, anwendungsspezifische integrierte Schaltung (ASIC), feldprogrammierbares Gate-Array (FPGA; FPGA = Field Programmable Gate Array), Nurlesespeicher (ROM; ROM = Read Only Memory) zum Speichern von Software, Direktzugriffsspeicher (RAM; RAM = Random Access Memory) und nichtflüchtige Speichervorrichtung (storage) einschließen. Auch kann sonstige Hardware, herkömmliche und/oder kundenspezifische, eingeschlossen sein.
Der Fachmann sollte verstehen, dass alle hiesigen Blockschaltbilder konzeptmäßige Ansichten beispielhafter Schaltungen darstellen, die die Grundsätze der Offenbarung verkörpern. Auf ähnliche Weise versteht es sich, dass alle Ablaufdiagramme, Flussdiagramme, Zustandsübergangsdiagramme, Pseudocode und dergleichen verschiedene Prozesse darstellen, die im Wesentlichen in computerlesbarem Medium dargestellt und so durch einen Computer oder Prozessor ausgeführt werden können, ungeachtet dessen, ob ein solcher Computer oder Prozessor ausdrücklich dargestellt ist.
Weiterhin sind die nachfolgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wo jeder Anspruch als getrenntes Ausführungsbeispiel für sich stehen kann. Wenn jeder Anspruch als getrenntes Beispiel für sich stehen kann, ist zu beachten, dass obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine bestimmte Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann – andere Ausführungsbeispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs einschließen können. Diese Kombinationen werden hier vorgeschlagen, sofern nicht angegeben ist, dass eine bestimmte Kombination nicht beabsichtigt ist. Weiterhin sollen auch Merkmale eines Anspruchs für jeden anderen unabhängigen Anspruch eingeschlossen sein, selbst wenn dieser Anspruch nicht direkt abhängig von dem unabhängigen Anspruch gemacht ist.
Es ist weiterhin zu beachten, dass in der Beschreibung oder in den Ansprüchen offenbarte Verfahren durch eine Vorrichtung mit Mitteln zum Durchführen jedes der jeweiligen Schritte dieser Verfahren implementiert sein können.
Weiterhin versteht es sich, dass die Offenbarung von mehreren, in der Beschreibung oder den Ansprüchen offenbarten Schritten oder Funktionen nicht als in der bestimmten Reihenfolge befindlich ausgelegt werden sollte. Durch die Offenbarung von mehreren Schritten oder Funktionen werden diese daher nicht auf eine bestimmte Reihenfolge begrenzt, es sei denn, dass diese Schritte oder Funktionen aus technischen Gründen nicht austauschbar sind. Weiterhin kann bei einigen Ausführungsbeispielen ein einzelner Schritt mehrere Teilschritte einschließen oder in diese unterteilt werden. Solche Teilschritte können eingeschlossen sein und Teil der Offenbarung dieses Einzelschritts sein, sofern sie nicht ausdrücklich ausgeschlossen sind.

Claims

Eine Vorrichtung (100) zum Erzeugen eines dreidimensionalen Farbbildes, umfassend: eine Eingangsschnittstelle (101) zum Empfangen eines Farbbildes (102) von zumindest einem Objekt und eines Niedrigauflösungstiefenbildes (103) von zumindest dem Objekt; ein Bildverarbeitungsmodul (104), das ausgebildet ist zum Produzieren von Angaben zum Erzeugen eines dreidimensionalen Farbbildes (106) von zumindest dem Objekt basierend auf einer ersten Farbpixelbildangabe eines ersten Farbpixels des Farbbildes (102) und einer ersten hergeleiteten Tiefenpixelbildangabe eines ersten hergeleiteten Tiefenpixels eines hergeleiteten Hochauflösungstiefenbildes von zumindest dem Objekt, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels des Niedrigauflösungstiefenbildes (103) und einem Gewichtungsfaktor, der der gemessenen Tiefenpixelbildangabe zugeordnet ist, wobei der Gewichtungsfaktor auf einem Farbkantengrößensummationswert eines Pfades zwischen dem ersten Farbpixel und dem Referenzfarbpixel basiert, wobei das Referenzfarbpixel eine Pixelposition in dem Farbbild (102) aufweist, die einem gemessenen Tiefenpixel in dem hergeleiteten Hochauflösungstiefenbild des Objekts entspricht; und eine Ausgangsschnittstelle (105) zum Bereitstellen des erzeugten dreidimensionalen Farbbildes (106).
Die Vorrichtung gemäß Anspruch 1, wobei der Gewichtungsfaktor mit einem zunehmenden Farbkantengrößensummationswert zwischen dem ersten Farbpixel und dem Referenzfarbpixel abnimmt.
Die Vorrichtung gemäß Anspruch 1 oder 2, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Berechnen des Gewichtungsfaktors basierend auf dem Farbkantengrößensummationswert gemäß dem Verhältnis:
wobei w den Gewichtungsfaktor repräsentiert, wobei S_E einen Farbkantengrößensummationswert basierend auf einer Summe von Farbkantengrößenwerten zwischen dem ersten Farbpixel und dem Referenzfarbpixel repräsentiert, und wobei σ einen skalaren Parameter repräsentiert.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Bestimmen des Farbkantengrößensummationswertes basierend auf zumindest einem Farbkantengrößenwert einer Mehrzahl von Farbkantengrößenwerten, die in einem Kantengrößenwert-Speicher des Bildverarbeitungsmoduls (104) gespeichert sind.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Bestimmen einer Mehrzahl von Farbkantengrößenwerten, die einer Mehrzahl von Farbpixeln des Farbbildes (102) entsprechen, durch eine Kantenfilterungsoperation des Farbbildes (102).
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Berechnen einer Mehrzahl von Farbkantengrößensummationswerten, die einer Mehrzahl von hergeleiteten Tiefenpixeln entsprechen, die hergeleitet werden sollen und innerhalb eines Pixeleinflussbereichs des gemessenen Tiefenpixels liegen.
Die Vorrichtung gemäß Anspruch 6, wobei die Mehrzahl von Farbkantengrößensummationswerten, die der Mehrzahl von hergeleiteten Tiefenpixeln entsprechen, die hergeleitet werden sollen, gemäß einer Parsing-Reihenfolge berechnet wird.
Die Vorrichtung gemäß Anspruch 6 oder 7, wobei die Mehrzahl von Farbkantengrößensummationswerten gemäß der Parsing-Reihenfolge entlang zumindest eines Kreispfades um das gemessene Tiefenpixel berechnet wird.
Die Vorrichtung gemäß einem der Ansprüche 6 bis 8, wobei das Bildverarbeitungsmodul (104) ein Speicher-Array zum Speichern der Mehrzahl von Farbkantengrößensummationswerten gemäß der Parsing-Reihenfolge umfasst.
Die Vorrichtung gemäß Anspruch 9, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Berechnen einer Mehrzahl von Gewichtungsfaktoren, die der Mehrzahl von hergeleiteten Tiefenpixelbildangaben entsprechen, basierend auf der Parsing-Reihenfolge der Mehrzahl von Farbkantengrößensummationswerten, die in dem Speicher-Array gespeichert sind.
Die Vorrichtung gemäß einem der vorhergehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einem ersten Gewichtungsfaktor, der einer ersten gemessenen Tiefenpixelbildangabe eines ersten gemessenen Tiefenpixels zugeordnet ist, und auf einem zweiten Gewichtungsfaktor, der einer zweiten gemessenen Tiefenpixelbildangabe eines zweiten gemessenen Tiefenpixels zugeordnet ist, wobei das erste hergeleitete Tiefenpixel innerhalb eines ersten Pixeleinflussradius des ersten gemessenen Tiefenpixels und innerhalb eines zweiten Pixeleinflussradius des zweiten gemessenen Tiefenpixels liegt.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Berechnen der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einer Summe von Gewichtungsfaktoren und einer Summe von gewichteten Tiefenwerten, die zumindest einem gemessenen Tiefenpixel zugeordnet sind, das die hergeleitete Tiefenpixelbildangabe beeinflusst, die hergeleitet werden soll.
Die Vorrichtung gemäß Anspruch 12, wobei jeder gewichtete Tiefenwert der Summe von gewichteten Tiefenwerten auf einem Produkt aus einer gemessenen Tiefenpixelbildangabe und einem Gewichtungsfaktor, der dem gemessenen Tiefenpixel zugeordnet ist, basiert.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) einen Gewichtungsfaktor-Speicher zum Speichern einer Summe von Gewichtungsfaktoren umfasst, die der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet sind, die hergeleitet werden soll, wobei jeder Gewichtungsfaktor der Summe von Gewichtungsfaktoren einem gemessenen Tiefenpixel zugeordnet ist, das die erste hergeleitete Tiefenpixelbildangabe beeinflusst, die hergeleitet werden soll.
Die Vorrichtung gemäß Anspruch 14, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Aktualisieren der Summe von Gewichtungsfaktoren, die der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet sind, die hergeleitet werden soll, wenn ein neues gemessenes Tiefenpixel die erste hergeleitete Tiefenpixelbildangabe beeinflusst, die hergeleitet werden soll.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) einen Gewichtet-Tiefenwert-Speicher zum Speichern einer Summe von gewichteten Tiefenwerten umfasst, die der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet sind, die hergeleitet werden soll, wobei jeder gewichtete Tiefenwert der Summe von gewichteten Tiefenwerten auf einem Produkt aus einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels, das die erste hergeleitete Tiefenpixelbildangabe, die hergeleitet werden soll, beeinflusst, und eines Gewichtungsfaktors, der dem gemessenen Tiefenpixel zugeordnet ist, basiert.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) einen Hergeleitet-Tiefenpixelbildangabe-Speicher zum Speichern von zumindest der ersten hergeleiteten Tiefenpixelbildangabe umfasst.
Die Vorrichtung gemäß einem der vorangehenden Ansprüche, wobei das Bildverarbeitungsmodul (104) ausgebildet ist zum Aktualisieren der ersten hergeleiteten Tiefenpixelbildangabe basierend auf einer vorher gespeicherten hergeleiteten Tiefenpixelbildangabe des ersten hergeleiteten Tiefenpixels und einem neuen gewichteten Tiefenwert, der der ersten hergeleiteten Tiefenpixelbildangabe zugeordnet ist.
Ein Kamerasystem, umfassend: ein zweidimensionales Hochauflösungskameramodul zum Erzeugen eines Farbbildes (102) von zumindest einem Objekt; ein dreidimensionales Kameramodul zum Erzeugen eines Tiefenbildes von zumindest dem Objekt; und eine Vorrichtung gemäß einem der vorangehenden Ansprüche zum Erzeugen eines dreidimensionalen Farbbildes (106) von zumindest dem Objekt.
Ein Verfahren (400) zum Produzieren eines dreidimensionalen Farbbildes von zumindest einem Objekt, umfassend: Herleiten (410) eines Gewichtungsfaktors, der einer gemessenen Tiefenpixelbildangabe eines gemessenen Tiefenpixels eines Niedrigauflösungstiefenbildes (103) zugeordnet ist, basierend auf einem Farbkantengrößensummationswert eines Pfades zwischen einem ersten Farbpixel eines Farbbildes (102) und einem Referenzfarbpixel des Farbbildes (102); Herleiten (420) einer ersten Tiefenpixelbildangabe eines ersten Tiefenpixels eines Hochauflösungstiefenbildes basierend auf der gemessenen Tiefenpixelbildangabe und dem Gewichtungsfaktor, der der gemessenen Tiefenpixelbildangabe zugeordnet ist; und Bereitstellen (430) eines dreidimensionalen Farbbildes (106) von zumindest dem Objekt basierend auf einer ersten Farbpixelbildangabe des ersten Farbpixels des Farbbildes (102) und der ersten hergeleiteten Tiefenpixelbildangabe.