DE102021103537A1

DE102021103537A1 - Verfahren und Vorrichtung zur Rekonstruktion von Segmenten des Vordergrunds eines Bildes

Info

Publication number: DE102021103537A1
Application number: DE102021103537.6A
Authority: DE
Inventors: Sebastian Loew
Original assignee: Gestigon GmbH
Current assignee: Gestigon GmbH
Priority date: 2021-02-16
Filing date: 2021-02-16
Publication date: 2022-08-18

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur Rekonstruktion von Segmenten von Bildern, wobei das Verfahren die folgenden Schritte aufweist:- Erhalten (110) von ursprünglichen Bilddaten eines Objekts, die sowohl Tiefendaten als auch Nicht-Tiefendaten aufweisen, wobei die Nicht-Tiefendaten Graustufenwerte aufweisen;- Umwandeln (120) der Bilddaten in eine binäre zweidimensionale Darstellung;- Anwenden (130) eines Algorithmus zur Trennung des Vordergrunds und des Hintergrunds auf die binäre zweidimensionale Darstellung auf der Grundlage der Tiefendaten, um getrennte Segmente des Vordergrunds und des Hintergrunds zu erhalten;- Ermitteln (140) eines Bereichs (250, 270) eines Segments des Vordergrunds, der einem Bereich entspricht, der als Ergebnis der Trennung des Vordergrunds und des Hintergrunds entfernt wurde;- Anwenden (150) eines „Region Growing“-Iterationsprozesses, um eine zweidimensionale Segmentierung des Bereichs zu erhalten, wobei in jedem Iterationsschritt ein Bildelement zu dem wachsenden Bereich hinzugefügt wird, wenn das Bildelement, das hinzuzufügen ist, ein vordefiniertes Kriterium erfüllt; und- Rekonstruieren (160) des Segments des Vordergrunds auf der Grundlage einer logischen Verknüpfung aus der durch Region Growing gewachsenen zweidimensionalen Segmentierung und der binären zweidimensionalen Darstellung, die sich durch die Trennung des Vordergrunds und des Hintergrunds ergeben hat.

Description

Die vorliegende Erfindung bezieht sich auf das Gebiet der Bildverarbeitung. Insbesondere bezieht sich die vorliegende Erfindung auf ein Verfahren und eine Vorrichtung zur Rekonstruktion von Segmenten des Vordergrunds eines Bildes.
Des Weiteren bezieht sich die Erfindung auf ein Computerprogramm und eine Vorrichtung zur Rekonstruktion von Segmenten eines Vordergrunds.
In Bildverarbeitungsanwendungen ist es so üblich, Algorithmen zur Trennung von Vordergrund und Hintergrund zu verwenden. Beispielsweise kann es sein, dass ein Benutzer den Hintergrund in einem Bild aus Gründen der Unterhaltung, aus praktischen Gründen wie zum Beispiel dem Ersetzen des Hintergrunds einer Person, die in einer Videokonferenz spricht, um einen Hintergrund zu schaffen, der für geschäftliche Zwecke geeigneter oder weniger ablenkend ist, oder aus künstlerischen Gründen ändern möchte.
Während des Vorgangs der Trennung von Vordergrund und Hintergrund kann es vorkommen, dass Segmente des Vordergrunds einer Szene negativ beeinflusst werden. Insbesondere können solche Probleme bei dreidimensionalen (3D) Bildern auftreten, wie z. B. Bildern, die unter Verwendung einer Time-of-Flight (TOF)-Kamera erzeugt werden können, z. B. wenn es sehr kleine Unterschiede der gegebenen Tiefenwerte zwischen Segmenten des Hintergrunds und Segmenten des Vordergrunds gibt oder fehlerhafte Tiefenwerte, die Segmenten des Hintergrunds zugeordnet sind, die durch nichtdiffuse Reflexionen (Spiegel, Smartphones, andere glänzende Bereiche usw.) verursacht werden könnten. Zusätzlich können auch Ähnlichkeiten in den Graustufenwerten zwischen Segmenten des Hintergrunds und Segmenten des Vordergrunds die Trennung mit gängigen Separationsalgorithmen erschweren.
Bereits bekannte Ansätze konzentrieren sich auf die allgemeine Trennung / Segmentierung von Objekten des Vordergrunds und Objekten des Hintergrunds. Weitere Ansätze können sich sogar auf die Segmentierung von bestimmten Teilen konzentrieren, zum Beispiel Körperteile (z. B. Hände oder ein Gesicht), wenn Personen in einem Bild dargestellt sind. Insbesondere können maschinelle Lernansätze, bei denen die Bildpixel / Voxel als solche oder andere Bilddeskriptoren als Eingaben verwendet werden, für diesen Zweck eingesetzt werden. Jedoch erfordern Ansätze, die auf maschinellem Lernen basieren, typischerweise erhebliche Verarbeitungsressourcen.
Darüber hinaus können bestimmte Toolchains der Bildverarbeitung, z. B. zweidimensionale Faltung, Kantenschärfung und auf einer initialen Zelle basierendes Region Growing, verwendet werden, um gezielt Segmente des Vordergrunds zu korrigieren, die durch einen Algorithmus zur Trennung von Vordergrund und Hintergrund beeinträchtigt wurden.
Die vorliegende Erfindung macht es sich zur Aufgabe, ein verbessertes Verfahren zur Korrektur eines Segments des Vordergrunds eines Bildes bereitzustellen.
Eine Lösung für dieses Problem wird durch die Lehre der unabhängigen Ansprüche bereitgestellt. Verschiedene bevorzugte Ausführungsformen der vorliegenden Erfindung werden durch die Lehre der abhängigen Ansprüche bereitgestellt.
Ein erster Aspekt der Erfindung ist auf ein Verfahren, insbesondere ein computerimplementiertes Verfahren, zur Rekonstruktion eines Bereichs eines Segments des Vordergrunds eines Bildes gerichtet. Das Verfahren weist die folgenden Schritte auf:

- Erhalten von ursprünglichen Bilddaten eines Objekts, die sowohl Tiefendaten als auch Nicht-Tiefendaten aufweisen, wobei die Nicht-Tiefendaten Graustufenwerte aufweisen;
- Umwandeln der ursprünglichen Bilddaten in eine binäre zweidimensionale Darstellung;
- Anwenden eines Algorithmus zur Trennung des Vordergrunds und des Hintergrunds auf die binäre zweidimensionale Darstellung basierend auf den Tiefendaten, um getrennte Segmente des Vordergrunds und des Hintergrunds zu erhalten;
- Ermitteln eines Bereichs eines Segments des Vordergrunds, der einem Bereich entspricht, der als Ergebnis der Trennung des Vordergrunds und des Hintergrunds entfernt wurde;
- Anwenden eines „Region Growing“-Iterationsprozesses, um eine zweidimensionale Segmentierung des Bereichs, der entfernt wurde, zu erhalten, wobei in jedem Iterationsschritt ein Bildelement zu dem wachsenden Bereich hinzugefügt wird, wenn das Bildelement, das hinzuzufügen ist, ein vordefiniertes Kriterium erfüllt; und
- Rekonstruieren des Segments des Vordergrunds auf der Grundlage einer logischen Verknüpfung aus der durch Region Growing gewachsenen zweidimensionalen Segmentierung und der binären zweidimensionalen Darstellung, die sich durch die Trennung des Vordergrunds und des Hintergrunds ergeben hat.

Das ursprüngliche Bild kann ein dreidimensionales (3D) Bild sein. Die ursprünglichen Bilddaten können insbesondere von einem 3D-Bildsensor, wie z. B. einer Time-of-Flight (TOF)-Kamera, erzeugt worden sein. In jedem Fall können ein oder mehrere Bildvorverarbeitungsschritte durchgeführt worden sein, um die ursprünglichen Bilddaten aus den von den Bildsensoren gelieferten Bilddaten abzuleiten. Als Alternative hierzu können die ursprünglichen Bilddaten stattdessen auch künstlich erzeugt worden sein, z. B. mit Hilfe von Computergrafikanwendungen. Konkret kann es sich bei einem oder beiden, dem ursprünglichen Bild und dem normierten Bild, um digitale Bilder handeln, die entsprechende Bildpunkte enthalten (d. h. Voxel in 3D).
Der Begriff „Bildelement“, wie er hier verwendet wird, bezieht sich insbesondere auf ein „Pixel“ oder einen „Index“, der sich auf ein Pixel bezieht. Ein Index kann den Wert „1“ oder „0“ haben, wobei „1“ einen Index darstellt, der einen Grauwert hat, der einen vordefinierten Schwellenwert überschreitet, und ein Index von „0“ einen Index darstellt, der einen Grauwert hat, der unter dem vordefinierten Schwellenwert liegt. Dementsprechend kann das Verfahren sowohl auf pixelbasierte Daten als auch auf indexbasierte Daten oder eine andere Darstellung von Daten, die die Pixel oder die Indizes repräsentieren, angewendet werden.
Im Folgenden wird unter einem Pixel eine zweidimensionale Darstellung des „Bildelements“ verstanden. Die Erfindung kann jedoch auch mit einer dreidimensionalen Darstellung des „Bildelements“ ausgeführt werden, womit ein sogenanntes „Voxel“ gemeint ist. Aus Gründen der Vereinfachung wird in dieser Offenbarung der Begriff „Pixel“ verwendet, aber der Begriff „Voxel“ ist in gleicher Weise anwendbar, so dass der Begriff „Pixel“ durch „Voxel“ ersetzt werden könnte oder der Begriff „Voxel“ zusätzlich zu dem Begriff „Pixel“ in Fällen verwendet werden könnte, in denen es ein Bild sowohl mit zweidimensionalen als auch mit dreidimensionalen Bildelementen gibt.
Die ursprünglichen Bilddaten werden in eine binäre zweidimensionale Darstellung umgewandelt, die durch Indizes dargestellt werden kann. Der Begriff „binäre Darstellung“, wie er hier verwendet wird, bezieht sich auf Bilddaten, die durch zwei verschiedene Werte, „0“ und „1“, dargestellt werden. Diese Umwandlung in eine binäre zweidimensionale Darstellung sorgt dafür, dass die Verarbeitungsressourcen, die für die nachfolgenden Verfahrensschritte benötigt werden, im Vergleich zu den Verarbeitungsressourcen, die für die Verarbeitung der vollständigen ursprünglichen Bilddaten erforderlich sind, reduziert sind.
Des Weiteren können alle Informationen, welche sich auf die Tiefendaten und die Nicht-Tiefendaten beziehen, mit den entsprechenden Indizes oder den entsprechenden Pixeln verknüpft werden. Das bedeutet, dass alle Informationen, welche sich auf die Tiefendaten und die Nicht-Tiefendaten beziehen, sowie die Daten, welche sich auf die auf die ursprünglichen Bilddaten angewendeten Algorithmen beziehen, mit den entsprechenden Indizes oder mit den entsprechenden Pixeln der binären zweidimensionalen Darstellung verknüpft werden können. Zum Beispiel kann ein Algorithmus zur Rauschunterdrückung auf die ursprünglichen Bilddaten angewendet werden, bevor diese Daten in die binäre zweidimensionale Darstellung umgewandelt werden. Alle Daten, die sich auf die Indizes oder Pixel beziehen, können gespeichert werden, damit sie in einer späteren Phase der Rekonstruktion des Segments des Vordergrunds verwendet werden können.
In dem nächsten Schritt wird der Algorithmus zur Trennung des Vordergrunds und des Hintergrunds angewendet, was dazu führen kann, dass unbeabsichtigt ein Bereich eines Segments des Vordergrunds entfernt wird.
Auf einen ermittelten Bereich, der dem Bereich, der entfernt wurde, entspricht, wird ein „Region Growing“-Iterationsprozess angewendet, wobei in jedem Iterationsschritt ein Bildelement zu dem wachsenden Bereich hinzugefügt wird, wenn das Bildelement, das hinzuzufügen ist, ein vorgegebenes Kriterium erfüllt. Es ist möglich, dass das Segment des Vordergrunds während der ersten Iteration aus nur einem Bildelement besteht. In jeder Iteration können benachbarte Bildelemente von bereits hinzugefügten Bildelementen hinzugefügt werden.
Für die Rekonstruktion des Segments des Vordergrunds einschließlich des ermittelten Bereichs wird eine logische Verknüpfung der rekonstruierten Indizes des durch den Prozess des „Region Growing“ gewachsenen Bereichs und der binären zweidimensionalen Darstellung, die sich nach der Trennung des Vordergrunds und des Hintergrunds ergeben hat, durchgeführt. Da es sich sowohl bei den rekonstruierten Indizes als auch bei den binären Indizes der binären Darstellung um binäre Werte handelt, führt eine logische „ODER“-Verknüpfung zu dem Ergebnis, dass ein rekonstruierter Index des Vordergrunds den Wert „1“ hat, wenn ein Index der binären Indizes des rekonstruierten Bereichs und der binären Indizes der binären Darstellung den Wert „1“ hat. Das Ergebnis kann durch eine logische „UND“-Verknüpfung mit der binären zweidimensionalen Darstellung verknüpft werden, bevor die Trennung des Vordergrunds und des Hintergrunds durchgeführt wird. In dieser binären zweidimensionalen Darstellung sind alle Verarbeitungsinformationen noch auf die entsprechenden Bilddaten bezogen. Das bedeutet, dass alle Informationen über Tiefendaten und Nicht-Tiefendaten sowie die Daten über die auf die ursprünglichen Bilddaten angewandten Algorithmen auf die entsprechenden Indizes der binären zweidimensionalen Darstellung bezogen sein können.
Die Erfindung gemäß dem ersten Aspekt stellt ein Verfahren zur Rekonstruktion eines Bereichs eines Segments des Vordergrunds vor, nachdem Teile versehentlich durch einen Segmentierungsalgorithmus des Hintergrunds entfernt wurden, was zu einer korrigierten Segmentierung des Vordergrunds und des Hintergrunds führt.
Des Weiteren ist das Verfahren des ersten Aspekts nicht auf einen hohen Einsatz von Rechenleistung angewiesen und kann dennoch ein besonders robustes Verfahren zur Rekonstruktion eines Segments des Vordergrunds, das entfernt wurde, bereitstellen.
Im Folgenden werden bestimmte bevorzugte Ausführungsformen des Verfahrens beschrieben, die beliebig miteinander oder mit anderen Aspekten der vorliegenden Erfindung kombiniert werden können, es sei denn, eine solche Kombination ist ausdrücklich ausgeschlossen oder technisch nicht möglich.
In manchen Ausführungsformen wird der Bereich als ein Bereich, der entfernt wurde, klassifiziert, wenn eine Anzahl von Bildelementen, die an den Bereich, der entfernt wurde, angrenzen, eine vordefinierte Anzahl überschreitet. Diese können Bildelementen entsprechen, die nicht entfernt wurden, die aber an den Bereich, der entfernt wurde, angrenzen. Falls die Anzahl der benachbarten Bildelemente diese vordefinierte Anzahl nicht übersteigt, kann der entsprechende Bereich des Vordergrunds als gültig klassifiziert werden. Um die benachbarten Bildelemente mit einer vordefinierten Anzahl zu vergleichen, können die benachbarten Bildelemente zusammengezählt werden.
In manchen Ausführungsformen wird die Größe des Bereichs auf der Grundlage der Anzahl der Bildelemente bestimmt, die an den Bereich, der entfernt wurde, angrenzen. Falls die benachbarten Bildelemente in einer Linie angeordnet sind, kann diese Linie der Durchmesser einer Kreisfläche sein, die der Größe des Bereichs entspricht. Auf der Grundlage der Anzahl der benachbarten Indizes kann ein Schwerpunkt ermittelt werden, der die Grundlage für die Bestimmung einer Umgebung um den Schwerpunkt sein kann. Die Linie kann auch die Basis für einen anderen geometrischen Bereich sein, wie z. B. die Seite eines Rechtecks. Zusätzlich oder alternativ kann die Größe des Bereichs anhand der Kenntnis des Teils bestimmt werden, der entfernt wurde. Wenn z. B. versehentlich Finger oder eine Hand entfernt wurden, so liefert durch Anwenden eines Algorithmus zum Erkennen des Teils, der entfernt wurde, dieser Algorithmus die Information, dass ein Finger oder eine Hand entfernt wurde. Anhand dieser Information kann eine durchschnittliche Größe ermittelt werden, die aus Datenbanken bekannt ist, in denen durchschnittliche Größen von menschlichen Körperteilen gespeichert sind. Es kann auch möglich sein, dass ein Benutzer den Teil, der entfernt wurde, oder eine geschätzte Größe bestimmt.
Die Größe des Bereichs kann auf der Grundlage des Schwerpunkts bestimmt werden, der auf den benachbarten Bildelementen beruht.
In manchen Ausführungsformen wird der Iterationsprozess beendet, wenn eine vordefinierte maximale Größe des gewachsenen Bereichs erreicht ist. Die vordefinierte maximale Größe kann der Größe des Bereichs entsprechen, der entfernt wurde. In besonderen Anwendungsfällen, in denen Bilder von Personen aufgenommen werden und Teile entfernt werden, kann die maximale Größe der durchschnittlichen Größe dieser Teile, die entfernt wurden, entsprechen, die Hände, Finger oder andere Teile des menschlichen Körpers sein können, für die eine durchschnittliche Größe bekannt ist.
In manchen Ausführungsformen wird ein erstes Bildelement auf der Grundlage einer Auswahl aus mehreren Bildelementen bestimmt, wobei sich alle der mehreren Bildelemente innerhalb des Bereichs befinden und der Graustufenwert des ersten Bildelements niedriger als der höchste Graustufenwert und höher als der niedrigste Graustufenwert der mehreren Bildelemente ist. Man kann die mehreren Bildelemente durch Betrachtung des Bereichs des unkorrigierten Segments des Vordergrunds erhalten. Die mehreren Bildelemente können in der Nähe von den Bildelementen oder im Abstand zu den Bildelementen liegen, die an den Bereich, der entfernt wurde, angrenzen, um zu vermeiden, dass das erste Bildelement genau an der Kante zwischen dem Bereich, der entfernt wurde, und einem Segment des Vordergrunds, das nicht entfernt wurde, liegt. Im Allgemeinen kann es vorteilhaft sein, wenn sich das erste Bildelement weit entfernt von dem Rand des Segments des Vordergrunds befindet, da die Werte, die sich zum Rand hin befinden, wesentlich niedriger werden als die Mehrheit der Segmentwerte in einem homogenen Bereich, der weiter vom Rand entfernt ist.
In manchen Ausführungsformen erfordert das vordefinierte Kriterium, dass der Graustufenwert des Bildelements, das hinzuzufügen ist, innerhalb eines vordefinierten Bereichs von Graustufenwerten liegt. Der vordefinierte Bereich von Graustufenwerten kann auf dem Bereich von Graustufenwerten des gesamten Bildes oder eines bestimmten Bereichs basieren.
In manchen Ausführungsformen erfordert das vordefinierte Kriterium, dass der Graustufenwert des Bildelements, das hinzuzufügen ist, innerhalb eines vordefinierten Bereichs in Bezug auf den Graustufenwert eines benachbarten Bildelements liegt, das zuvor zu dem Bereich hinzugefügt wurde.
In manchen Ausführungsformen wird ein Kantenschärfungsalgorithmus zur Gewinnung von kantengeschärften Daten auf die Graustufenwerte angewendet, bevor der „Region Growing“-Iterationsprozess gestartet wird, insbesondere in Bezug auf die Kanten, die in einer zweidimensionalen Betrachtung Segmente des Vordergrunds von Segmenten des Hintergrunds trennen. Es ist vorteilhaft, einen kontrastreichen Abschnitt des Bildes (insbesondere Kanten) für die Korrektur der Trennung zu verwenden, so dass der Vordergrund an den kritischen Abschnitten korrekt von dem Hintergrund getrennt wird. Der Algorithmus zur Kantenschärfung kann eine Folge von zweidimensionalen Faltungen aufweisen, die auf die Graustufendarstellung des Bereichs angewendet werden, um die Kanten zu schärfen, und die im Folgenden weiter beschrieben werden.
In manchen Ausführungsformen kann der Graustufenwert geglättet werden, um die Homogenität des zu korrigierenden Segments des Vordergrunds zu erhöhen. In einem weiteren Verfahrensschritt können die kontrastreichen Bereiche des Bildes aufgewertet werden, während die homogenen Bereiche unangetastet bleiben. Die Glättung kann mit einer Gaußschen Filterung durchgeführt werden, während die Kantendetektion z. B. dadurch erfolgen kann, dass das skalierte und geclippte Ergebnis der Faltung des geglätteten Bildes und ein räumlicher Kern von dem geglätteten Bild subtrahiert wird.
In manchen Ausführungsformen weist der Algorithmus zur Kantenschärfung Folgendes auf:

- Graustufenglättung von Graustufenwerten, die auf einer Gaußschen Filterung basieren kann;
- räumliches Filtern, das auf die geglätteten Graustufenwerte angewendet wird, um räumlich gefilterte Daten zu erhalten, bei denen homogene Bereiche einen niedrigen Graustufenwert erhalten, während kontrastreiche Bereiche hohe Graustufendaten erhalten;
- Multiplizieren der räumlich gefilterten Daten mit einem vordefinierten Faktor, um skalierte Daten zu erhalten, die ein Maß für den Grad der Kantenschärfung darstellen;
- Clippen der räumlich gefilterten Daten bei einem vordefinierten Wert, um auf Null geclippte Daten zu erhalten; und
- Subtrahieren der skalierten Daten und der geclippten Daten von den geglätteten Graustufenwerten, um kantengeschärfte Daten zu erhalten, was zu glatten homogenen Oberflächen und harten Kanten führt.

In manchen Ausführungsformen werden auf der Grundlage der Bildelemente, die an den Bereich, der entfernt wurde, angrenzen, weitere Bereiche ermittelt, die aus dem Segment des Vordergrunds entfernt wurden.
Ein zweiter Aspekt der Erfindung ist auf eine Bildverarbeitungsvorrichtung zur Rekonstruktion von Segmenten des Vordergrunds gerichtet, wobei die Bildverarbeitungsvorrichtung konfiguriert ist, um das Verfahren gemäß dem ersten Aspekt durchzuführen.
Ein dritter Aspekt der Erfindung ist auf ein Computerprogramm gerichtet, das, wenn es auf einem Computer ausgeführt wird, den Computer dazu veranlasst, das Verfahren gemäß dem ersten Aspekt durchzuführen.
Ein dritter Aspekt der Erfindung ist auf ein Computerprogramm gerichtet, das, wenn es auf der Bildverarbeitungsvorrichtung gemäß dem zweiten Aspekt ausgeführt wird, die Bildverarbeitungsvorrichtung dazu veranlasst, das Verfahren gemäß dem ersten Aspekt durchzuführen.
Das Computerprogramm (Computerprogrammprodukt) kann insbesondere in Form eines Datenträgers ausgeführt sein, auf dem ein oder mehrere Programme zur Durchführung des Verfahrens gespeichert sind. Vorzugsweise handelt es sich dabei um einen Datenträger, wie z. B. eine CD, eine DVD oder ein Flash-Speichermodul. Dies kann von Vorteil sein, falls es beabsichtigt ist, dass das Computerprogrammprodukt als Einzelprodukt unabhängig von der Prozessorplattform, auf der das eine oder die mehreren Programme ausgeführt werden sollen, gehandelt werden soll. In einer anderen Implementierung wird das Computerprogrammprodukt als Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server, bereitgestellt und kann über eine Datenverbindung, z. B. das Internet oder eine dedizierte Datenverbindung, wie z. B. ein proprietäres oder lokales Netzwerk, heruntergeladen werden.
Die Bildverarbeitungsvorrichtung des zweiten Aspekts, bei der es sich insbesondere um eine Computervorrichtung oder ein Computersystem handeln kann, kann dementsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm gespeichert ist. Als Alternative hierzu kann die Bildverarbeitungsvorrichtung auch so eingerichtet sein, dass sie über eine Kommunikationsverbindung auf ein Computerprogramm zugreift, das extern, z. B. auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten, verfügbar ist, insbesondere um mit ihm Daten auszutauschen, die im Verlauf der Ausführung des Computerprogramms verwendet werden oder die Ausgaben des Computerprogramms darstellen.
Die Erfindung kann auf jede Bildverarbeitungsanwendung angewendet werden, die einen dynamischen Vordergrund hat, der ständig von einer statischen Hintergrundszene unterschieden werden muss. Die Graustufendarstellung der Objekte des Vordergrunds wird in dem Bereich als weitgehend homogen angenommen, weshalb dieser Ansatz auch auf menschliche Haut / einen menschlichen Körper angewendet werden kann. Die Erfindung kommt mit Situationen zurecht, bei denen Teile der Segmentierung des Vordergrunds entweder von dem Hauptkörper des Segments des Vordergrunds getrennt sind oder bei denen die Teile des Segments des Vordergrunds, die entfernt wurden, von dem Hauptkörper des Segments des Vordergrunds umschlossen sind. Die Erfindung benutzt auch sehr wenig Ressourcen im Vergleich zu maschinellen Lernansätzen, da die Bildverarbeitungsalgorithmen auf den Bereich beschränkt werden können.
Die verschiedenen Ausführungsformen und Vorteile, die oben im Zusammenhang mit dem ersten Aspekt der vorliegenden Erfindung beschrieben wurden, gelten in ähnlicher Weise auch für die anderen Aspekte der Erfindung. Weitere Vorteile, Merkmale und Anwendungen der vorliegenden Erfindung sind in der folgenden detaillierten Beschreibung und den beigefügten Figuren aufgeführt, wobei:

1 zeigt eine beispielhafte Ausführungsform eines Verfahrens zur Rekonstruktion eines Bereichs eines Segments des Vordergrunds.
Die 2a-c zeigen ein aufgenommenes Bild, eine binäre Maske des Bildes und die binäre Maske nach einer Trennung des Vordergrunds und des Hintergrunds.
Die 3a-e zeigen schematisch Szenarien, in denen Pixel an ein Segment des Hintergrunds, das entfernt wurde, angrenzen.
Die 4a und b zeigen schematisch das „Region Growing“ auf der Grundlage von einem Initialpixel.
Die 5a-d zeigen schematisch eine logische Operation, um das rekonstruierte Segment des Vordergrunds zu erhalten.

In den Figuren werden gleiche Bezugszeichen für die gleichen oder für einander entsprechende Elemente der hier beschriebenen Erfindung verwendet.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
1 zeigt eine beispielhafte Ausführungsform eines Verfahrens zur Rekonstruktion eines Bereichs eines Segments des Vordergrunds, das die folgenden Schritte aufweist:

a) Erhalten 110 von ursprünglichen Bilddaten eines Objekts, die sowohl Tiefendaten als auch Nicht-Tiefendaten aufweisen, wobei die Nicht-Tiefendaten Graustufenwerte aufweisen;
b) Umwandeln 120 der Bilddaten in eine binäre zweidimensionale Darstellung;
c) Anwenden eines Algorithmus zur Trennung 130 des Vordergrunds und des Hintergrunds auf die binäre zweidimensionale Darstellung auf der Grundlage der Tiefendaten, um getrennte Segmente des Vordergrunds und des Hintergrunds zu erhalten;
d) Ermitteln 140 eines Bereichs 250 eines Segments des Vordergrunds, der im Zuge der Trennung entfernt wurde;
e) Anwenden 150 eines „Region Growing“-Iterationsprozesses, um eine zweidimensionale Segmentierung des Bereichs, der entfernt wurde, zu erhalten, wobei in jedem Iterationsschritt ein Bildelement zu dem wachsenden Bereich hinzugefügt wird, wenn das Bildelement, das hinzuzufügen ist, ein vordefiniertes Kriterium erfüllt; und
f) Rekonstruieren 160 des Segments des Vordergrunds auf der Grundlage einer logischen Verknüpfung aus der durch Region Growing gewachsenen zweidimensionalen Segmentierung und der binären zweidimensionalen Maske.

Die 2a-c zeigen schematisch ein Bild, eine binäre Maske des Bildes und die binäre Maske, nachdem eine Trennung des Vordergrunds und des Hintergrunds angewendet wurde.
2a zeigt schematisch ein ursprüngliches Bild eines menschlichen Arms 200, einer menschlichen Hand 210 und menschlicher Finger 220 der Hand 210, die zu dem Vordergrund des Bildes gehören. Des Weiteren sind auf dem Bild verschiedene Dinge dargestellt, die nicht zu dem beschriebenen Arm 200, der Hand 210 und den Fingern 220 gehören und die im Folgenden allgemein als Hintergrund 230 bezeichnet werden. Es ist ein bestimmtes Segment 260 des Hintergrunds dargestellt, das die Finger 220 teilweise überlagert. In allgemeineren Worten ausgedrückt ist in 2a ein schematisches Bild mit Elementen des Vordergrunds und Elementen des Hintergrunds dargestellt. Die Bilddaten weisen Tiefendaten und Nicht-Tiefendaten auf, die Graustufenwerte aufweisen.
In einem Vorverarbeitungsschritt können ein Algorithmus zur Rauschunterdrückung und eventuell weitere Algorithmen, z. B. ein Algorithmus, der den Kontrast zum ursprünglichen Bild betrifft, angewendet werden, um die Bildqualität für weitere Verarbeitungsschritte zu verbessern.
In dem nächsten Schritt werden die Bilddaten des ursprünglichen Bildes, die in Form von Pixeln vorliegen können, in eine binäre Struktur umgewandelt, die auch als binäre Maske bezeichnet wird.
2b zeigt eine binäre Maske des Bildes aus 2a. Es ist immer noch möglich, den Arm 200 und die Finger 220 des Vordergrunds zu identifizieren. Der größte Teil des Hintergrunds 230 ist schwarz, aber manche Merkmale des Hintergrunds 230 und insbesondere ein Segment 260 des Hintergrunds können identifiziert werden. In der binären Maske werden Pixel durch die Indizes „0“ und „1“ dargestellt. Das Ensemble aller Indizes beschreibt die binäre Maske vollständig. Des Weiteren sind alle Informationen über Tiefendaten und Nicht-Tiefendaten mit den entsprechenden Indizes bzw. Pixel verknüpft. Des Weiteren sind alle Verarbeitungsdaten, d. h. alle Daten, die durch Anwendung eines Algorithmus verändert wurden, mit den entsprechenden Indizes verknüpft. Alle der beschriebenen Daten sind direkt oder indirekt in der binären Maske enthalten. Diese Daten müssen gespeichert werden, damit sie zu einem späteren Zeitpunkt für die Rekonstruktion des Bereichs des Segments des Vordergrunds, der entfernt wurde, verwendet werden können.
2c zeigt eine binäre Maske, die auf der binären Maske, die in 2b gezeigt ist, basiert, wobei eine Trennung des Vordergrunds und des Hintergrunds angewendet wurde. Der Algorithmus zur Trennung des Vordergrunds und des Hintergrunds basiert auf den Tiefendaten des Bildes, die mit jedem Index entsprechend verknüpft sind. Bei dem Trennungsvorgang wurden die Finger 220, die zu dem Vordergrund gehören, entfernt und dann durch Anwenden des Algorithmus zum Abtrennen des Hintergrunds abgeschnitten. Des Weiteren wurden alle anderen Merkmale des Hintergrunds 230 abgeschnitten. Dementsprechend ist es möglich, den Arm 200 zu identifizieren, während der Hintergrund 230 komplett schwarz ist.
Die 3a-e zeigen schematisch Szenarien, in denen Pixel an ein Segment des Hintergrunds, das entfernt wurde, angrenzen.
Die 3a-b zeigen schematisch eine binäre Maske auf der Grundlage der 2b. In den 3a-b ist das Segment 260 des Hintergrunds hervorgehoben. 3b zeigt eine vergrößerte Darstellung der Hand 210 mit dem hervorgehobenen Segment 260 des Hintergrunds aus 3a. Wie vorangehend beschrieben, überlagert das Segment 260 des Hintergrunds die Finger 220 der Hand 210. Insbesondere erscheint es in Anbetracht von 3b möglich, dass es zwei Abschneidekanten gibt, eine auf der linken Seite und eine auf der rechten Seite des Segments 260 des Hintergrunds. Diese Szenarien werden in den 3c-3e betrachtet.
Die 3c und d zeigen schematisch die ursprünglichen Bilddaten mit einer Kenntlichmachung von Pixeln 240 einer ersten Kante, die sich neben den Teilen befinden, die durch die Trennung des Vordergrunds und des Hintergrunds entfernt wurden. Dabei zeigt 3d einen vergrößerten Ausschnitt aus 3c. Es werden nun die Pixel 240 der ersten Kante gezählt, die sich direkt neben denjenigen Pixeln des Hintergrunds befinden, die im Zuge der Trennung des Vordergrunds und des Hintergrunds entfernt wurden. In diesem Fall befinden sich die benachbarten Pixel auf der linken Seite der Pixel 240 der ersten Kante.
Es ist auch möglich, je nach Anwendungsfall ein anderes Kriterium zu definieren, welche Pixel in Bezug auf den entfernten Teil gezählt werden sollen, z. B. nur Randpixel, die an die Teile des Segments des Vordergrunds angrenzen, die entfernt wurden, wenn eine vordefinierte Himmelsrichtung (Nord, Süd, West, Ost usw.) vorgegeben ist.
Des Weiteren kann je nach Anwendungsfall ein Schwellenwert auf die Anzahl der gefundenen Pixel angewendet werden, um eine Quote von „falsch positiven“ Ergebnissen zur Erkennung einer falschen Trennung von Vordergrund und Hintergrund zu reduzieren. Das heißt, wenn in einem gegebenen Szenario die Anzahl der Pixel diesen Schwellenwert nicht überschreitet, wird das entsprechende Segment des Vordergrunds als gültig eingestuft und weitere Schritte des Verfahrens können übersprungen werden. Zusätzlich kann die Menge der auf die beschriebene Weise gefundenen Pixel geclustert werden, beispielsweise mit bereits bekannten Clustering-Techniken wie z. B. k-Means-Algorithmen, um möglicherweise mehr als einen relevanten Abschnitt auf jedem Segment des Vordergrunds zu finden, der separat behandelt werden muss.
Auf der Grundlage der gezählten Anzahl kann ein Schwerpunkt ermittelt werden, der dann dazu verwendet werden kann, um eine Umgebung 250 um diesen Schwerpunkt weiter zu bestimmen. Die Umgebung 250 kann je nach Anwendungsfall durch einen oder mehrere Schwellenwerte definiert werden, die einen zweidimensionalen Bereich definieren, der auf dem Schwerpunkt basiert (z. B. ein Radius oder eine Kantenlänge eines Rechtecks).
3e zeigt einen ähnlichen vergrößerten Ausschnitt wie er in 3d gezeigt ist, jedoch anstelle von Pixeln 240 der ersten Kante sind die Pixel 245 der zweiten Kante gezeigt. Die Pixel 245 der zweiten Kante befinden sich ebenfalls zwischen möglichen Teilen, die entfernt wurden, und dem verbleibenden Vordergrund, was durch die Pixel 245 der zweiten Kante dargestellt wird.
Wie in 3a angedeutet, grenzen die Pixel 240 der ersten Kante an ein Segment 260 des Hintergrunds an, wobei sich die Pixel der ersten Kante auf der rechten Seite dieses Segments 260 des Hintergrunds befinden. Das Segment 260 des Hintergrunds scheint sich auch mit den Fingern 210 zu überlagern. Um zu untersuchen, ob es eine zweite Abschneidekante gibt, wird die ermittelte Umgebung 250 genutzt, um Pixel 245 der zweiten Kante anzuwenden, die sich in Bezug auf die Pixel 240 der ersten Kante auf der linken Seite befinden. Um zu analysieren, ob es benachbarte Pixel zu den Pixeln 240 der ersten Kante gibt, werden die gleichen Kriterien wie oben angewendet. Die Pixel 245 der zweiten Kante grenzen wiederum an das Segment des Hintergrunds, das entfernt wurde, an, aber mit einer anderen Bedingung, z. B. einer anderen Himmelsrichtung. Auf diese Weise könnte das System ein „Ausschneiden“ oder „Abschneiden“ von wesentlichen Teilen des entsprechenden Segments des Vordergrunds anzeigen und die Fälle einer falschen Trennung von Vordergrund und Hintergrund noch weiter reduzieren. Dies ist vor allem dann nützlich, wenn die Segmente des Hintergrunds klein und / oder dünn sind und entweder Löcher oder dünne Linien in dem Segment des Vordergrunds verursachen, was dazu führt, dass diese in kleinere Segmente, z. B. abgeschnittene Finger, aufgeteilt werden.
Die Pixel 245 der zweiten Kante können gezählt werden und je nach Anwendungsfall kann ein anderer Schwellenwert auf die Anzahl der gefundenen Pixel angewendet werden, um wiederum die Quote von „falsch positiven“ Ergebnissen für die Erkennung des beschriebenen Szenarios zu reduzieren.
Die 4a und b veranschaulichen schematisch den Prozess des „Region Growing“. 4a zeigt schematisch den Beginn des Prozesses des „Region Growing“ auf der Grundlage von einem Initialpixel 270, und 4b zeigt den fertig gewachsenen Bereich 280.
Um die Datenqualität der Daten, die für den Prozess des „Region Growing“ verwendet werden, zu verbessern, wird ein Algorithmus zur Kantenschärfung auf die Graustufenwerte angewendet, bevor der Iterationsprozess des „Region Growing“ gestartet wird, um kantengeschärfte Daten zu erhalten, insbesondere im Hinblick auf die Kanten, die Segmente des Vordergrunds von Segmenten des Hintergrunds im zweidimensionalen Raum trennen. Der Algorithmus zur Kantenschärfung kann eine Folge von zweidimensionalen Faltungen aufweisen, die auf die Graustufendarstellung des Bereichs angewendet werden, um die Kanten zu schärfen. Die Graustufenwerte können geglättet werden, um die Homogenität des zu korrigierenden Segments des Vordergrunds zu erhöhen. In einem weiteren Verfahrensschritt können die kontrastreichen Bereiche des Bildes aufgewertet werden, während die homogenen Bereiche unangetastet bleiben. Die Glättung kann mit Hilfe einer Gaußschen Filterung durchgeführt werden, während die Kantendetektion z. B. dadurch erfolgen kann, dass das skalierte und geclippte Ergebnis der Faltung des geglätteten Bildes und ein räumlicher Kern von dem geglätteten Bild subtrahiert wird.
Der Algorithmus des „Region Growing“ beginnt mit einem ersten Pixel, das durch eine zweidimensionale Koordinate dargestellt werden kann und welches als „Seed“ bezeichnet werden kann, das als Initialpixel des Segmentierungsalgorithmus fungiert.
Der erste Schritt, um ein Seed-Pixel zu bestimmen, besteht darin, eine Menge von möglichen Seed-Pixeln zu bestimmen. Die Menge der möglichen Seed-Pixel kann dadurch ermittelt werden, dass ein Teil des unkorrigierten Segments des Vordergrunds betrachtet wird. Der Teil kann als eine Menge von Pixeln in einer bestimmten Umgebung in der Nähe der Teile, die versehentlich entfernt wurden, definiert werden. Sobald eine Menge möglicher Startpixel gefunden worden ist, müssen die entsprechenden Pixel in Bezug auf ihren jeweiligen Graustufenwert sortiert werden. Das Seed-Pixel kann dann als ein Pixel definiert werden, das einen Grauwert aufweist, der keinen extremen Grauwert an einem der beiden Enden des Bereichs aller betrachteten Grauwerte aufweist. Es ist vorteilhaft, wenn sich das erste Pixel weit entfernt von dem Rand des Segments des Vordergrunds befindet, da die Werte zu den Rändern hin wesentlich niedriger werden als die Mehrheit der Werte der Segmente in dem homogenen Bereich.
Während der ersten Iteration besteht das Segment des Vordergrunds nur aus dem Seed. In jeder Iteration werden alle benachbarten Pixel des aktuell definierten Segments des Vordergrunds (in der ersten Iteration nur der Seed), unter bestimmten Bedingungen zu dem Segment des Vordergrunds hinzugefügt: Der Wert der entsprechenden Pixel muss in einem globalen vordefinierten Bereich (minimaler / maximaler Graustufenwert) und in einem lokalen Bereich liegen, der sich an dem / den benachbarten Pixel(n) orientiert, das / die in der jeweiligen Iteration bereits zu dem Segment des Vordergrunds gehört / gehören. Die Schwellenwerte können für einen bestimmten Anwendungsfall kalibriert werden. Die maximale Größe des Segments kann auch unter Verwendung eines vordefinierten Schwellenwerts auf der Grundlage des Anwendungsfalls begrenzt werden.
Die 5a-d zeigen schematisch eine logische Operation, um das rekonstruierte Segment des Vordergrunds zu erhalten.
Für die Rekonstruktion des Segments des Vordergrunds, das den ermittelten Bereich enthält, wird eine logische Verknüpfung der rekonstruierten Indizes des gewachsenen Bereichs und der binären Indizes der binären zweidimensionalen Darstellung, die sich nach der Trennung des Vordergrunds und des Hintergrunds ergibt, durchgeführt. Da es sich sowohl bei den rekonstruierten Indizes als auch bei den binären Indizes der binären Darstellung um binäre Werte handelt, führt eine logische „ODER“-Verknüpfung zu dem Ergebnis, dass ein rekonstruierter Index des Vordergrunds den Wert „1“ hat, wenn ein Index der binären Indizes des rekonstruierten Bereichs und die binären Indizes der binären Darstellung den Wert „1“ hat. Das Ergebnis kann mit einer logischen „UND“-Verknüpfung mit der binären zweidimensionalen Darstellung kombiniert werden, bevor die Trennung des Vordergrunds und des Hintergrunds durchgeführt wird. In dieser binären zweidimensionalen Darstellung sind alle Verarbeitungsinformationen noch auf die entsprechenden Indizes bezogen. Das bedeutet, dass alle Informationen über Tiefendaten und Nicht-Tiefendaten sowie die Daten über die auf die ursprünglichen Bilddaten angewandten Algorithmen mit den entsprechenden Indizes der binären zweidimensionalen Darstellung verknüpft sind.
Die Segmentierung kann dazu verwendet werden, um die vorliegende Segmentierung des Vordergrunds zu korrigieren, und zwar durch eine weitere logische Operation mit der unkorrigierten Segmentierung des Vordergrunds.
Wenn die gültigen Indizes vor der Anwendung der Trennung des Hintergrunds O sind, die Menge der gültigen Indizes innerhalb der zweidimensionalen Segmentierung N und die Menge der gültigen Indizes innerhalb des unkorrigierten Segments des Vordergrunds U. Dann wäre die logische Operation, um das Segment C des Vordergrunds zu korrigieren: $C = (O UND N) ODER U .$
Während vorausgehend wenigstens eine beispielhafte Ausführungsform der vorliegenden Erfindung beschrieben wurde, ist zu bemerken, dass es dazu eine große Anzahl von Variationen gibt. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nicht einschränkende Beispiele darstellen, wie die vorliegende Erfindung umgesetzt werden kann, und dass es nicht beabsichtigt ist, den Umfang, die Anwendung oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform der Erfindung zur Verfügung stellen, wobei es sich zu verstehen hat, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der Elemente der beispielhaften Ausführungsform vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
Bezugszeichenliste

100: Exemplarische Ausführungsform eines Verfahrens zur Rekonstruktion eines Bereichs eines Segments des Vordergrunds
110-160: Verfahrensschritte des Verfahrens 100
200: Bild eines menschlichen Arms
210: Bild einer menschlichen Hand
220: Bild von menschlichen Fingern
230: Hintergrund
240: Pixel der ersten Kante
245: Pixel der zweiten Kante
250: Umgebung
260: Segment des Hintergrunds
270: Erstes Bildelement
280: Gewachsenes zweidimensionales Segment
C: Gültige Indizes, bevor die Trennung des Hintergrunds auf das Bild angewendet wurde
N: Menge der gültigen Indizes innerhalb der zweidimensionalen Segmentierung
U: Menge der gültigen Indizes innerhalb des unkorrigierten Segments des Vordergrunds
C: Menge der gültigen Indizes des korrigierten Segments des Vordergrunds

Claims

Verfahren (100) zur Rekonstruktion eines Bereichs eines Segments des Vordergrunds eines Bildes, wobei das Verfahren die folgenden Schritte aufweist: - Erhalten (110) von ursprünglichen Bilddaten eines Objekts, die sowohl Tiefendaten als auch Nicht-Tiefendaten aufweisen, wobei die Nicht-Tiefendaten Graustufenwerte aufweisen; - Umwandeln (120) der ursprünglichen Bilddaten in eine binäre zweidimensionale Darstellung; - Anwenden (130) eines Algorithmus zur Trennung des Vordergrunds und des Hintergrunds auf die binäre zweidimensionale Darstellung auf der Grundlage der Tiefendaten, um getrennte Segmente des Vordergrunds und des Hintergrunds zu erhalten; - Ermitteln (140) eines Bereichs (250) eines Segments des Vordergrunds, der einem Bereich entspricht, der als Ergebnis der Trennung des Vordergrunds und des Hintergrunds entfernt wurde; - Anwenden (150) eines „Region Growing“-Iterationsprozesses, um eine zweidimensionale Segmentierung (280) des Bereichs zu erhalten, wobei in jedem Iterationsschritt ein Bildelement (270) zu dem wachsenden Bereich hinzugefügt wird, wenn das Bildelement, das hinzuzufügen ist, ein vordefiniertes Kriterium erfüllt; und - Rekonstruieren (160) des Segments des Vordergrunds auf der Grundlage einer logischen Verknüpfung aus der durch Region Growing gewachsenen zweidimensionalen Segmentierung (280) und der binären zweidimensionalen Darstellung, die sich durch die Trennung des Vordergrunds und des Hintergrunds ergeben hat.
Verfahren nach Anspruch 1, wobei der Bereich als ein Bereich, der entfernt wurde, klassifiziert wird, wenn eine Anzahl von Bildelementen, die an den Bereich, der entfernt wurde, angrenzen, eine vordefinierte Anzahl überschreitet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Größe des Bereichs auf der Grundlage der Anzahl der Bildelemente bestimmt wird, die an den Bereich, der entfernt wurde, angrenzen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Iterationsprozess beendet wird, wenn eine vordefinierte maximale Größe des gewachsenen Bereichs erreicht ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein erstes Bildelement (270) auf der Grundlage einer Auswahl aus mehreren Bildelementen bestimmt wird, wobei sich alle der mehreren Bildelemente innerhalb des Bereichs befinden und der Graustufenwert des ersten Bildelements niedriger als der höchste Graustufenwert und höher als der niedrigste Graustufenwert der mehreren Bildelemente ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das vordefinierte Kriterium erfordert, dass der Graustufenwert des Bildelements, das hinzuzufügen ist, innerhalb eines vordefinierten Bereichs von Graustufenwerten liegt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das vordefinierte Kriterium erfordert, dass der Graustufenwert des Bildelements, das hinzuzufügen ist, innerhalb eines vordefinierten Bereichs in Bezug auf den Graustufenwert eines benachbarten Bildelements liegt, das zuvor zu dem Bereich hinzugefügt wurde.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Kantenschärfungsalgorithmus zur Gewinnung von kantengeschärften Daten auf die Graustufenwerte angewendet wird, bevor der „Region Growing“-Iterationsprozess gestartet wird.
Verfahren nach Anspruch 8, wobei der Algorithmus zur Kantenschärfung Folgendes aufweist: - Graustufenglättung von Graustufenwerten; - räumliches Filtern, das auf die geglätteten Graustufenwerte angewendet wird, um räumlich gefilterte Daten zu erhalten; - Multiplizieren der räumlich gefilterten Daten mit einem vordefinierten Faktor, um skalierte Daten zu erhalten; - Clippen der räumlich gefilterten Daten bei einem vordefinierten Wert, um geclippte Daten zu erhalten; und - Subtrahieren der skalierten Daten und der geclippten Daten von den geglätteten Graustufenwerten, um kantengeschärfte Daten zu erhalten.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für die Rekonstruktion des Segments des Vordergrunds auf der Grundlage der logischen Operation ferner die binäre Darstellung vor der Trennung in die logische Operation einbezogen wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei auf der Grundlage der Bildelemente, die an den Bereich, der entfernt wurde, angrenzen, weitere Bereiche ermittelt werden, die aus dem Segment des Vordergrunds entfernt wurden.
Bildverarbeitungsvorrichtung zur Rekonstruktion von Segmenten des Vordergrunds, wobei die Bildverarbeitungsvorrichtung konfiguriert ist, um das Verfahren nach einem der vorhergehenden Ansprüche 1 durchzuführen.
Computerprogramm, das, wenn es auf der Bildverarbeitungsvorrichtung nach Anspruch 12 ausgeführt wird, die Bildverarbeitungsvorrichtung dazu veranlasst, das Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.